Een niet-succesvolle interviewvraag meenemen in resultaten?

[TessaW]

Hallo iedereen,

Op het moment ben ik bezig met het afronden van mijn scriptie, waarbij ik tegen een vraag aanloop die ik lastig beantwoord krijg.

Een van mijn onderzoeksmethoden was het houden van interviews. Nu is er gebleken dat 1 van mijn interviewvragen 'foutief' of te onduidelijk geformuleerd is. De antwoorden die ik heb gekregen zijn hierdoor voor 2/3 niet bruikbaar, doordat men de vraag hoogstwaarschijnlijk niet snapte. De interviewvraag is geen belangrijk component in het beantwoorden van mijn hoofd- en deelvragen.

Nu zie ik 3 opties voor me die ik kan gaan bewandelen binnen mijn scriptie:

1. De resultaten in mijn scriptie houden, met in het hoofdstuk Reflectie een eerlijk verhaal over de bruikbaarheid van die interviewvraag en haar resultaten.

2. Geen resultaten benoemen in mijn scriptie en in het hoofdstuk Reflectie een verhaal schrijven waarom deze vraag weggehaald is uit de resultaten.

3. De gehele interviewvraag inclusief resultaten weghalen alsof deze nooit bestaan heeft.

Heeft iemand een idee wat ik het beste kan toepassen?

[ Voor 3% gewijzigd door TessaW op 26-08-2020 14:43 ]

[OosterF]

Kun je dit niet met je begeleider overleggen? Uiteindelijk schrijf je je scriptie voor hem of haar. Iedere begeleider heeft andere voorkeuren, en uit ervaring kan ik je zeggen dat je je scriptie aanpassen op de persoon tot de beste resultaten leidt.

[Flappiewappie]

Resultaten nooit schrappen, maar behandelen zoals je het volgens je onderzoeks methode zou willen behandelen. Vervolgens concluderen dat je niet iets uit de antwoorden kan concluderen tav. je onderzoeks vraag.

Vervolgens in je reflectie vertellen waarom de vraag in jouw ogen incorrect was en wat je in een vervolg onderzoek zou moeten aanpassen om wel iets met de vraag te kunnen.

Iets wat op hoofdlijnen je begeleider je ook had kunnen vertellen.

[Bartske]

Kun je niet je vraag wel vermelden, meteen vermelden dat de resulaten onduidelijk waren en deze resultaten in een supplementary table/figure doen, en dan bespreken in de discussie waarom de resultaten onduidelijk waren (de vraag was niet goed).

[SmurfLink]

3 is soort van realiteitsvervalsing. Onderzoek hoeft niet altijd positieve resultaten te hebben. Een gefaald experiment heeft nog steeds nuttige resultaten, dat niemand anders dat hoeft te herhalen bijv. (geintje, wetenschap = altijd herhalen). Maar in dit geval dus voor optie 1 gaan. Duidelijk beschrijven waarom de resultaten naar jouw mening niet geheel bruikbaar zijn en wat je ervan geleerd hebt.

[Pizza_Boom]

Voor zover ik weet is het de bedoeling dat je een scriptie zelfstandig werkt. Men heeft ooit tegen mij gezegd dat er in dit soort zaken eigenlijk geen foute keuzes zijn, zo lang jij maar goed kan onderbouwen waarom je een bepaalde keuze gemaakt heb. Ik heb met mijn scriptie uiteindelijk voor andere onderdelen gekozen dan volgens mijn eigen onderzoek de beste zouden zijn, simpelweg omdat het logistiek voor mijn opdrachtgever beter zou zijn en zij daar meer waarde aan hechtten dan aan betere inkoop, simpelweg omdat zij door hun positie als marktleider dat konden maken.

Heb je op de vraag ook nog een extra vraag moeten uitzetten? Die kan je natuurlijk weer meenemen en als leerpunt behandelen.

Flappiewappie schreef op woensdag 26 augustus 2020 @ 14:49:
Iets wat op hoofdlijnen je begeleider je ook had moeten kunnen vertellen.

Mijn ervaring is dat begeleiders lang niet altijd doen wat ze kunnen en moeten doen...

[President]

SmurfLink schreef op woensdag 26 augustus 2020 @ 14:53:
3 is soort van realiteitsvervalsing. Onderzoek hoeft niet altijd positieve resultaten te hebben. Een gefaald experiment heeft nog steeds nuttige resultaten, dat niemand anders dat hoeft te herhalen bijv. (geintje, wetenschap = altijd herhalen). Maar in dit geval dus voor optie 1 gaan. Duidelijk beschrijven waarom de resultaten naar jouw mening niet geheel bruikbaar zijn en wat je ervan geleerd hebt.

Maar, dan lees je (even gechargeerd) in je hele scriptie dat 60% van de mannen heeft aangegeven dat ze homoseksuele gevoelens hebben om vervolgens in de conclusie (achteraf) te lezen dat dit percentage mogelijk maar 10% is omdat de vraagstelling verkeerd was?

[Bartske]

SmurfLink schreef op woensdag 26 augustus 2020 @ 14:53:
3 is soort van realiteitsvervalsing. Onderzoek hoeft niet altijd positieve resultaten te hebben. Een gefaald experiment heeft nog steeds nuttige resultaten, dat niemand anders dat hoeft te herhalen bijv. (geintje, wetenschap = altijd herhalen). Maar in dit geval dus voor optie 1 gaan. Duidelijk beschrijven waarom de resultaten naar jouw mening niet geheel bruikbaar zijn en wat je ervan geleerd hebt.

Dat is inderdaad een goed idealistisch wereldbeeld maar in de wetenschappelijke wereld werkt het helaas anders, negatieve resultaten krijg je niet gepubliceerd namelijk, met als gevolg dat iedereen opnieuw het wiel moet gaan uitvinden. Voor je collega's is het natuurlijk wel handig om negatieve resultaten te bespreken zodat zij de fout ook niet maken. Ik laat studentenverslagen ook altijd wel de negatieve resultaten vermelden, is handig voor latere naslag en meestal blijft er anders niet veel over om op te schrijven

[Pizza_Boom]

President schreef op woensdag 26 augustus 2020 @ 14:56:
[...]

Maar, dan lees je (even gechargeerd) in je hele scriptie dat 60% van de mannen heeft aangegeven dat ze homoseksuele gevoelens hebben om vervolgens in de conclusie (achteraf) te lezen dat dit percentage mogelijk maar 10% is omdat de vraagstelling verkeerd was?

Daarom pak je dus 2, laat je het resultaat weg, maakt het cursief o.i.d. en licht je toe waarom je dat gedaan hebt.

Bartske schreef op woensdag 26 augustus 2020 @ 14:57:
[...]


Dat is inderdaad een goed idealistisch wereldbeeld maar in de wetenschappelijke wereld werkt het helaas anders, negatieve resultaten krijg je niet gepubliceerd namelijk, met als gevolg dat iedereen opnieuw het wiel moet gaan uitvinden. Voor je collega's is het natuurlijk wel handig om negatieve resultaten te bespreken zodat zij de fout ook niet maken. Ik laat studentenverslagen ook altijd wel de negatieve resultaten vermelden, is handig voor latere naslag en meestal blijft er anders niet veel over om op te schrijven

Operatie geslaagd, patiënt overleden.

[SmurfLink]

Bartske schreef op woensdag 26 augustus 2020 @ 14:57:
[...]


Dat is inderdaad een goed idealistisch wereldbeeld maar in de wetenschappelijke wereld werkt het helaas anders, negatieve resultaten krijg je niet gepubliceerd namelijk, met als gevolg dat iedereen opnieuw het wiel moet gaan uitvinden. Voor je collega's is het natuurlijk wel handig om negatieve resultaten te bespreken zodat zij de fout ook niet maken. Ik laat studentenverslagen ook altijd wel de negatieve resultaten vermelden, is handig voor latere naslag en meestal blijft er anders niet veel over om op te schrijven

Dan leven wij in andere wetenschappelijke werelden, gezien ik juist ook mijn negatieve resultaten heb moeten publiceren. en die werden prima geaccepteerd.

[MsG]

Optie 1. lijkt me een hele redelijke. Immers is een scriptie ook vooral een leerzaam ding, en wordt een beetje realistische terugblik waarin je aangeeft dat dingen niet bruikbaar waren, of je achteraf anders zou doen, veelal juist gewaardeerd.

Alles oppoetsen en doen alsof er niets fout ging en alsof je alles de volgende keer exact zo zou doen, zouden mij juist verdacht overkomen :-p.

[Bartske]

SmurfLink schreef op woensdag 26 augustus 2020 @ 14:58:
[...]

Dan leven wij in andere wetenschappelijke werelden, gezien ik juist ook mijn negatieve resultaten heb moeten publiceren. en die werden prima geaccepteerd.

In de biologie is dat geen gemeengoed helaas, er zijn wel een paar journal waar je gefaald onderzoek kunt rapporteren maar die worden over het algemeen niet echt gevonden/gelezen.

Wat nartuurlijk wel geaccepteerd is (en meestal het geval ook) is van we dachten A, onderzoek bleek dat dat niet waar was maar het bleek B. Maar dat noem ik geen negatieve resultaten.

Een van die journals is zelfs gestopt blijkbaar: https://jnrbm.biomedcentral.com/

[ Voor 6% gewijzigd door Bartske op 26-08-2020 15:04 ]

[SmurfLink]

President schreef op woensdag 26 augustus 2020 @ 14:56:
[...]

Maar, dan lees je (even gechargeerd) in je hele scriptie dat 60% van de mannen heeft aangegeven dat ze homoseksuele gevoelens hebben om vervolgens in de conclusie (achteraf) te lezen dat dit percentage mogelijk maar 10% is omdat de vraagstelling verkeerd was?

Ja, je hebt resultaten en de interpretatie van de resultaten. Dat gaat niet in de conclusie maar in het Discussie gedeelte.

[TurnTheLightsOn]

Ik kom uit de 'exacte' wetenschappen en dus geen zicht op wat de standaard manier is in de socio-wet, maar je kan het vergelijken met een kalibratiefout. Als je meettoestel (in dit geval je vraag) verkeerd gekalibreerd werd, doe je ofwel de meting over, of schrap je hem gewoon. Je vermeldt dat dan gewoon in je onderzoek maar besteed er niet teveel aandacht aan (optie 2)

Vraag is natuurlijk waarom jij vindt dat de antwoorden niet bruikbaar zijn, je moet opletten dat je geen confirmation bias doet en de antwoorden als niet bruikbaar declareert omdat ze niet bevestigen waar je naartoe wil

[Bartske]

TurnTheLightsOn schreef op woensdag 26 augustus 2020 @ 15:04:
Ik kom uit de 'exacte' wetenschappen en dus geen zicht op wat de standaard manier is in de socio-wet, maar je kan het vergelijken met een kalibratiefout. Als je meettoestel (in dit geval je vraag) verkeerd gekalibreerd werd, doe je ofwel de meting over, of schrap je hem gewoon. Je vermeldt dat dan gewoon in je onderzoek maar besteed er niet teveel aandacht aan (optie 2)

Vraag is natuurlijk waarom jij vindt dat de antwoorden niet bruikbaar zijn, je moet opletten dat je geen confirmation bias doet en de antwoorden als niet bruikbaar declareert omdat ze niet bevestigen waar je naartoe wil

Hier is de vraag onderdeel van een hele enquete/interview dus dan zou je het hele interview opnieuw moeten doen. Het lijkt me dat mensen door de vraagstelling in de ene vraag ook beinvloed kunnen worden in een volgende vraag, tenzij het een fact vraag is misschien (hoe oud ben je, waar woon je etc).

[Terpen Tijn]

Veruit het beste is optie 1. Optie 3 is echt uit den boze, en 2 is ook niet ideaal, want dan laat je toch iets weg wat wel onderdeel was van het onderzoek; het excuus daarvoor noemen verhelpt dat niet.

Ik wil hier liever niet ingaan op mijn professionele CV, maar ik zit aan de andere kant van de tafel, bij wijze van spreken, en ik kan het dus weten.

[KnoxNL]

4. Bij behandelen van de interview resultaten beargumenteren waarom de antwoorden op desbetreffende vraag niet meewegen. In een scriptie is niet van belang dat er een "foutje" in een interview/enquete zit, maar dat je deze herkent en hoe je er mee omgaat. Meenemen in persoonlijke reflectie zou ik te zwaar aangezet vinden, dus vandaar 4.

[TheMak]

Optie 1, en dan twee zinnen aan wijden, dat er geen conclusies getrokken kunnen worden omdat de vraag anders geïnterpreteerd kan worden dan de bedoeling was. En dan schrijven dat je in de rest van de scriptie niet op terugkomt. Als je iets opvallends ziet kan je dat nog benoemen. (Ik heb bij een marktonderzoekbureau gewerkt, daar werden de vragenlijsten altijd tegengelezen om dergelijke fouten te voorkomen. Dus als leermoment (is dat reflectie?) zeggen dat je dit ervan geleerd hebt).

[The Eagle]

Ik zou gewoon beide wegen bewandelen. Eentje warbij je uitwerkt met de "slechte" vraag er in, en dan je conclusies trekken (inclusief dat dit dus vertekent), en eentje waarbij je die slechte vraag weg laat en dan je conclusies. Kan niemand iets van zeggen, anders dan dat je het proces dubbel goed gevolgd hebt en ook het hele principe goed snapt.

[KnoxNL]

TheMak schreef op woensdag 26 augustus 2020 @ 19:13:
Optie 1, en dan twee zinnen aan wijden, dat er geen conclusies getrokken kunnen worden omdat de vraag anders geïnterpreteerd kan worden dan de bedoeling was. En dan schrijven dat je in de rest van de scriptie niet op terugkomt. Als je iets opvallends ziet kan je dat nog benoemen. (Ik heb bij een marktonderzoekbureau gewerkt, daar werden de vragenlijsten altijd tegengelezen om dergelijke fouten te voorkomen. Dus als leermoment (is dat reflectie?) zeggen dat je dit ervan geleerd hebt).

Helemaal eens, maar schrijven dat je er niet op terug komt is niet eens nodig en benadrukt alleen maar wat niet benadrukt hoeft te worden, en hoeft niet in de reflectie.

[t_captain]

Antwoorden netjes uitwerken in je paper, maar als "onbetrouwbaar" vlaggen met de juiste verklaring erbij en niet meenemen in de verdere statistieken.

[FlowSnake]

Probleem in mijn ogen is als jij het onderzoek opstelt en vervolgens naar eigen interpretatie onderdelen van je onderzoek, en daarmee dus onderzoeksresultaten, schrapt je echt een grens over kan gaan.

Waar jij slechts vindt dat je wat scherpe onhandige randjes verwijdert, ziet een ander dat je onwenselijke onderzoeksresultaten schrapt en toewerkt naar bewijs voor jouw bias. Die transparantie is zoek, en als je lezers daar achterkomen, verdedig je dat niet meer zomaar.

De charme van een scriptie is ook juist die ruimte voor reflectie en 'foutjes'. Het is geen onderzoeksvraag die het bestaansrecht van je scriptie in twijfel trekt, slechts een interviewvraagje. Ongeacht of de vraag 'goed' of 'fout' is geformuleerd, dan nog ben je afhankelijk van de interpretatie van de ondervraagden.

[daaavi]

Optie 1 is inderdaad de beste optie. Zo blijft het onderzoek betrouwbaar. Je kunt ook op ReviseMe een scriptiebegeleider vragen wat ze denken. Zij hebben veel verstand van scriptie nakijken.

[Whaam]

daaavi schreef op woensdag 9 september 2020 @ 22:06:
Optie 1 is inderdaad de beste optie. Zo blijft het onderzoek betrouwbaar. Je kunt ook op ReviseMe een scriptiebegeleider vragen wat ze denken. Zij hebben veel verstand van scriptie nakijken.

Bedoel je echt optie 1? Resultaten waarvan blijkt dat ze niet correct of bruikbaar zijn wel voor waarheid publiceren?

[ Voor 6% gewijzigd door Whaam op 11-09-2020 09:07 ]

[Mythio]

Persoonlijk denk ik dat het juiste antwoord ook afhangt van het opleidingsniveau.

Mijn ervaring is dat het bij HBO scripties vooral gaat om het proces en de reflectie van jezelf daarop (m.a.w. melden en een sterk verhaal wat er mis is met de vraag, hoe je daar achter bent gekomen, wat je gedaan hebt om de rest van het onderzoek niet te laten beinvloeden, etc.).

Bij een WO scriptie gaat het veel meer om de inhoud en zou ik in het hoofdverhaal de vraag weglaten. Dan inderdaad een appendix waarin je aangeeft dat er een extra vraag was, maar dat die uit de resultaten is geschrapt vanwege onbruikbaarheid (met uitleg waarom).

Ik zou dit wel altijd met de begeleider bespreken. Misschien vindt hij/zij de vraag helemaal niet zo slecht of hebben jullie een andere interpretatie. Dat wil je vooraf helder hebben.

[naitsoezn]

Ik mis optie 1.5: De vraag en resultaten in de scriptie behouden, benoemen waarom de resultaten niet of minder bruikbaar zijn, en je conclusies vervolgens transparant baseren op de overige resultaten.

Optie 3 is veruit de slechtste optie, maar ook optie 2 zou raar zijn imho: Ik neem aan dat er een reviewer zal kijken naar welke interview-vragen gesteld zijn, en als er dan antwoorden ontbreken van één specifieke vraag zou dat de wenkbrauwen wel doen fronsen. Daartegenover doen alsof er niets mis is met de vraag en de resultaten behandelen als alle overige resultaten is ook weer niet de bedoeling wegens redenen die je zelf al aangeeft.

Dus: Gewoon eerlijk zijn over de proefopzet, alle resultaten benoemen, en daarna verder gaan (conclusies trekken, etc) met de resultaten die je daadwerkelijk kunt gebruiken.