Relevantie onderzoek

[djluc]

Ik ben benieuwd of je op deze manier onderzoek kan doen wat ook daadwerkelijk representatief is. Het betreft onderstaand onderzoek uitgevoerd door het Trimbos instituut:

http://www.rijksoverheid....teit-in-de-bevolking.html

De volgende quotes (alles uit dit rapport) geven deels het kader van het onderzoek aan:

Voorliggend rapport is geschreven in het kader van NEMESIS-2, de Netherlands Mental Health Survey and Incidence Study-2, waarvan de eerste meting is uitgevoerd in 2007-2009. Dit is een representatief onderzoek bij volwassenen in de algemene bevolking naar psychische problematiek, waarin ook vragen over suïcide gedachten, suïcide plannen en suïcide pogingen zijn meegenomen.

Aan deze eerste meting deden 6646 personen mee, wat neerkwam op een respons van 65,1%. De respondenten kwamen volgens cijfers van het CBS, Centraal Bureau voor de Statistiek, redelijk goed overeen met de hele Nederlandse bevolking wat betreft geslacht, leeftijd, woonsituatie (al of niet met partner wonen), opleidingsniveau en urbanisatiegraad van de woonplaats.

Eerste vraag:

Het valt mij in het rapport dat pagina 3 en 7 elkaar tegenspreken, mag je afronden in dit soort rapporten? 0.2 % van de bevolking verschil is toch een aanzienlijk aantal personen?! +/- 30000!

p3:

Dat er een antwoord gevonden moet worden blijkt duidelijk uit dit rapport: 8% van de Nederlanders heeft ooit aan suïcide gedacht als een serieuze mogelijkheid bij proble- matische levenssituaties, en 2% heeft ooit een suïcidepoging ondernomen.

p7:

Uit deze studie blijkt dat 8,3% van de Nederlanders ooit in het leven suïcide gedachten heeft gehad, 3,0% ooit een suïcide plan heeft gemaakt, en 2,2% ooit een suïcide poging heeft gedaan.

Tweede vraag:

Dan kijkend naar het totale aantal personen wat onderzocht is: 6646 personen. Dat is +/- 0,039 % (gerekend met 16.600.000 personen in NL) van de bevolking wat onderzocht is.

In de afgelopen 12 maanden
38,1% van de volwassenen die in het afgelopen jaar suïcide gedachten hebben gehad, heeft in diezelfde periode ook een suïcide plan gemaakt. Deze groep bestaat uit slechts 26 personen. Mede daarom is er in tabel 3.4 geen uitsplitsing binnen deze groep gemaakt naar demografische kenmerken.
10,5% (95% BI: 4,8% – 21,3%) van de volwassenen die in het afgelopen jaar suïcide gedachten hebben gehad, heeft in diezelfde periode ook een suïcide poging gedaan: 2,4% deed deze poging zonder vooraf bedacht plan en 8,0% ondernam een geplande poging (zie tabel 3.4). In totaal bestaat deze groep uit slechts 8 personen.

Het lijkt me erg vertekende resultaten geven als je een onderzoek gaat doen met een erg klein percentage van de totale bevolking waarin je 8 hits hebt. Iedere persoon betekend dan 12.5% waardoor iemand die liegt, valse verklaring af geeft of wat dan ook meteen het resultaat enorm beinvloed?

Of zie ik bepaalde onderzoekmethoden niet die dit soort harde conclusies wel verantwoord maken en zo'n relatief kleine onderzoek van de totale bevolking wel wetenschappelijk onderbouwen?

[gambieter]

Alhoewel ik geen statisticus ben, uit mijn herinnering met patienten-studies.

Als je een dergelijke studie opzet, dan ga je eerst met een statisticus praten, om een poweranalyse te doen, waarbij je uitrekent hoeveel mensen je moet includeren om bepaalde verschillen te kunnen onderscheiden, en je ook rekening houd met gebrekkige responses, etc. Of dat voor deze studie is gedaan is moeilijk te zeggen, maar er worden in ieder geval betrouwbaarheidsintervallen gegeven (BI).

Houd verder rekening met de verschillen tussen de echte bevindingen en het persbericht... Maar een groep van 8 personen is erg klein en ik zou er niet snel conclusies aan durven verbinden, voor de redenen die je geeft.

[ Voor 16% gewijzigd door gambieter op 18-11-2011 01:46 ]

[Spheroid]

Het probleem met dit soort onderzoek is dat je vantevoren weet dat je sommige zaken eerder onder- dan overschat.

10,5% (95% BI: 4,8% – 21,3%) van de volwassenen die in het afgelopen jaar suïcide gedachten hebben gehad, heeft in diezelfde periode ook een suïcide poging gedaan: 2,4% deed deze poging zonder vooraf bedacht plan en 8,0% ondernam een geplande poging (zie tabel 3.4). In totaal bestaat deze groep uit slechts 8 personen.

Tenslotte ga ik ervan uit dat, gezien de informatie die de onderzoekers hebben over het al of niet aanwezig zijn van een plan, dat die 10.5% bestaat uit mensen wier poging niet is gelukt.

Nu wordt het natuurlijk nog interessanter. Die groep van 6646 personen, is die achteraf benaderd om vragen over zelfmoordneigingen/pogingen, etc te beantwoorden over een periode in het verleden (het afgelopen jaar). In dat geval is je steekproef onvolledig, want zal de mensen missen die in die periode een succesvolle poging hebben ondernomen (maar dat zijn er wsch. weinig, want volgens wikipedia plegen maar 100 mensen/miljoen zelfmoord).

Aan de andere kant is het ook mogelijk dat een groep van 6646 personen aan het begin en einde van het jaar een vragenlijst over zelfmoord is gegeven. In dat geval neem je de gelukte pogingen deels mee. (ze vullen de tweede vragenlijst niet in, maar je kunt ze iig optellen bij het aantal mensen dan een poging heeft ondernomen). Het probleem nu is dat doordat ze meedoen aan het onderzoek in deze periode, hun acties misschien beinvloed worden, misschien besluiten ze eerder geen poging te doen.

[Verwijderd]

Spheroid schreef op vrijdag 18 november 2011 @ 09:01:
Het probleem met dit soort onderzoek is dat je vantevoren weet dat je sommige zaken eerder onder- dan overschat.

[...]
Tenslotte ga ik ervan uit dat, gezien de informatie die de onderzoekers hebben over het al of niet aanwezig zijn van een plan, dat die 10.5% bestaat uit mensen wier poging niet is gelukt.

Nu wordt het natuurlijk nog interessanter. Die groep van 6646 personen, is die achteraf benaderd om vragen over zelfmoordneigingen/pogingen, etc te beantwoorden over een periode in het verleden (het afgelopen jaar). In dat geval is je steekproef onvolledig, want zal de mensen missen die in die periode een succesvolle poging hebben ondernomen (maar dat zijn er wsch. weinig, want volgens wikipedia plegen maar 100 mensen/miljoen zelfmoord).

Aan de andere kant is het ook mogelijk dat een groep van 6646 personen aan het begin en einde van het jaar een vragenlijst over zelfmoord is gegeven. In dat geval neem je de gelukte pogingen deels mee. (ze vullen de tweede vragenlijst niet in, maar je kunt ze iig optellen bij het aantal mensen dan een poging heeft ondernomen). Het probleem nu is dat doordat ze meedoen aan het onderzoek in deze periode, hun acties misschien beinvloed worden, misschien besluiten ze eerder geen poging te doen.

p.20
"Drie jaar na de eerste meting volgde een tweede meting. Het veldwerk hiervoor
is gestart in november 2010 en zal tot juli 2012 duren. Alle mensen die aan meting 1
hebben deelgenomen zullen opnieuw worden benaderd voor een tweede interview."

Over het verschil tussen p.3 en p.7: De cijfers uit p.3 zijn het voorwoord en p.7 de samenvatting. Het voorwoord heeft gewoon 1 significant cijfer minder dan de samenvatting. Het is niet echt netjes om de "verbasterde" onderzoeksresultaten in het voorwoord te plaatsen, maar het kan wel.

Over de groep van 8 personen:
"Toegepaste methode
De mensen die in het afgelopen jaar een suïcide poging hebben gedaan, gebruikten
diverse methoden. Bij ongeveer de helft betrof het een overdosis aan medicijnen
(49,0%) of andere middelen (5,6%). Bij 9,5% was de methode ophanging, wurging
of verstikking, en bij 7,1% verdrinking. Deze percentages moeten voorzichtig worden
geïnterpreteerd omdat de groep mensen die in het afgelopen jaar een suïcide poging
heeft ondernomen uit slechts 8 personen bestaat. Daarnaast moet worden bedacht dat
dit methoden zijn die niet geresulteerd hebben in een daadwerkelijke suïcide ofwel de
dood."

Lees: Hecht hier aub geen waarde aan.

De TS heeft helemaal gelijk dat sommige uitspraken in dit rapport niet gedaan hadden mogen worden. Als het mijn onderzoek zou zijn, zou ik deze analyse achterwege hebben gelaten.

[Spheroid]

Hoe kun je op basis van een groep van 8 man in godesnaam op een percentage van 49% uitkomen

Zelfs als 1 of twee van de 8 personen meerdere pogingen hebben genomen lijkt me dat onwaarschijnlijk. Nog onwaarschijnlijker lijkt het me dat de 8 tezamen tientallen pogingen ondernomen hebben, zodat 49.0% op een ongebroken getal slaat.

[djluc]

Dank voor jullie reacties, het lijkt er inderdaad sterk op dat hier wel erg snel conclusies getrokken worden waarvan de toepasbaarheid op de totale Nederlandse bevolking ten twijfel getrokken kan worden.

Kan iemand me verwijzen naar de methoden die je moet toepassen om een dergelijk onderzoek relevant te maken? Zijn er bijvoorbeeld bepaalde minimum percentages die je moet gebruiken om een relevante steekproef te verkrijgen? Wellicht zijn hier wetenschappers aanwezig die over de statistische zaken een antwoord kunnen geven op basis van eigen uitgevoerde onderzoeken?

[pedorus]

djluc schreef op donderdag 17 november 2011 @ 13:08:
Het valt mij in het rapport dat pagina 3 en 7 elkaar tegenspreken, mag je afronden in dit soort rapporten? 0.2 % van de bevolking verschil is toch een aanzienlijk aantal personen?! +/- 30000!

Ik zou niet weten waarom je niet zou mogen afronden? Stel dat die 2,2 procent voor 146 staat, op een totaal van 6646 willekeurig geselecteerde personen, dan is het 95% betrouwbaarheidsinterval [0.0185798,0.0257843], en ligt afronden naar 2 procent dus voor de hand. In werkelijkheid gaat het ongetwijfeld om een gestratificeerd onderzoek, dus wijken deze getallen iets af, maar het blijft voor de hand liggen om naar 2% af te ronden.

Het lijkt me erg vertekende resultaten geven als je een onderzoek gaat doen met een erg klein percentage van de totale bevolking waarin je 8 hits hebt. Iedere persoon betekend dan 12.5% waardoor iemand die liegt, valse verklaring af geeft of wat dan ook meteen het resultaat enorm beinvloed?

Je ziet dan ook dat het gegeven betrouwbaarheidsinterval hier een stuk groter is. Desalniettemin zegt het allicht meer dan niets.

Spheroid schreef op vrijdag 18 november 2011 @ 11:42:
Hoe kun je op basis van een groep van 8 man in godesnaam op een percentage van 49% uitkomen

Dit komt door stratificatie. Die 8 personen komen uit bepaalde groepen, waardoor de weging niet steeds 1 is. Zie het Wikipedia-artikel voor een voorbeeld.

[djluc]

pedorus schreef op maandag 21 november 2011 @ 12:24:
[...]

Ik zou niet weten waarom je niet zou mogen afronden? Stel dat die 2,2 procent voor 146 staat, op een totaal van 6646 willekeurig geselecteerde personen, dan is het 95% betrouwbaarheidsinterval [0.0185798,0.0257843], en ligt afronden naar 2 procent dus voor de hand. In werkelijkheid gaat het ongetwijfeld om een gestratificeerd onderzoek, dus wijken deze getallen iets af, maar het blijft voor de hand liggen om naar 2% af te ronden.
[...]

Ik begrijp je onderbouwing op dit punt maar ik zie niet in waarom dit in een paar pagina's afgerond mag worden. Als er 2% staat ga je toch uit van 2% en niet van 2,2%? Ik zie niet in waarom je dit in geval 1 wel af gaat ronden en in geval 2 niet of is het gewoon statistisch gezien irrelevant?

pedorus schreef op maandag 21 november 2011 @ 12:24:
[...]
Je ziet dan ook dat het gegeven betrouwbaarheidsinterval hier een stuk groter is. Desalniettemin zegt het allicht meer dan niets.

De betrouwbaarheidsinterval lijkt inderdaad een grote belangrijke factor te zijn in dit soort onderzoeken. Daarnaast de "steekproefomvang" waarvoor een aantal formules bestaan. Ik heb bijvoorbeeld even deze test ingevoerd:

http://www.journalinks.be/steekproef/

Hierbij heb ik ingevoerd:

5%

95%

16.000.000

50%

Daar komt dan een getal uit: Streekproefgrootte 385. Zou dit betekenen dat je dus 385 mensen moet interviewen om relevante cijfers te krijgen? Of moet je dan juist 312.813 mensen interviewen? Blijf het zo stug vinden dat je conclusies aan 8 personen kan hangen. Zeker over dit soort issues waarbij mensen tegen een vreemde niet waarschijnlijk direct open en eerlijk zullen zijn.

[pedorus]

djluc schreef op maandag 21 november 2011 @ 13:11:
Ik zie niet in waarom je dit in geval 1 wel af gaat ronden en in geval 2 niet of is het gewoon statistisch gezien irrelevant?

Minder details in de samenvatting? Het is wat mij betreft een beetje geneuzel over komma's.

De betrouwbaarheidsinterval lijkt inderdaad een grote belangrijke factor te zijn in dit soort onderzoeken. Daarnaast de "steekproefomvang" waarvoor een aantal formules bestaan. Ik heb bijvoorbeeld even deze test ingevoerd:

http://www.journalinks.be/steekproef/
[..]
Daar komt dan een getal uit: Streekproefgrootte 385. Zou dit betekenen dat je dus 385 mensen moet interviewen om relevante cijfers te krijgen? Of moet je dan juist 312.813 mensen interviewen? Blijf het zo stug vinden dat je conclusies aan 8 personen kan hangen. Zeker over dit soort issues waarbij mensen tegen een vreemde niet waarschijnlijk direct open en eerlijk zullen zijn.

385 mensen geeft in veel gevallen al een steekproef die een aardig beeld geeft, deze grootte hangt dus totaal niet af van de totale populatiegrootte. Wel is het vaak lastiger om daadwerkelijk willekeurig te selecteren als de populatie groter wordt. Welke steekproefgrootte goed is, hangt sterk af van de grootte van het effect/fenomeen en de onderzoeksopzet. 312.813 komt er niet uit, en lijkt me veelal wat hoog, maar als het om een erg klein effect gaat (kans om dood te gaan vanwege X aan zeldzame ziekte Y bijvoorbeeld), dan kan de steekproef nog steeds te klein zijn. Het al genoemde poweranalyse is hier het trefwoord.

[FunkyTrip]

Uit deze studie blijkt dat 8,3% van de Nederlanders ooit in het leven suïcide gedachten heeft gehad, 3,0% ooit een suïcide plan heeft gemaakt, en 2,2% ooit een suïcide poging heeft gedaan.

Dit lijkt me ook een bizar hoog aantal. 1 op de 50 mensen in NL heeft ooit een zelfmoord poging gedaan? Dat lijkt me gewoon erg stug. Een zelfmoordpoging is nogal wat.

[djluc]

pedorus schreef op maandag 21 november 2011 @ 17:04:
[...]

Minder details in de samenvatting? Het is wat mij betreft een beetje geneuzel over komma's.

[...]

385 mensen geeft in veel gevallen al een steekproef die een aardig beeld geeft, deze grootte hangt dus totaal niet af van de totale populatiegrootte. Wel is het vaak lastiger om daadwerkelijk willekeurig te selecteren als de populatie groter wordt. Welke steekproefgrootte goed is, hangt sterk af van de grootte van het effect/fenomeen en de onderzoeksopzet. 312.813 komt er niet uit, en lijkt me veelal wat hoog, maar als het om een erg klein effect gaat (kans om dood te gaan vanwege X aan zeldzame ziekte Y bijvoorbeeld), dan kan de steekproef nog steeds te klein zijn. Het al genoemde poweranalyse is hier het trefwoord.

Ok, stel dat de kans uit andere onderzoeken +/- 1 op 10.000 is dat iemand zelfmoord pleegt in een jaar. Uitgaande van dat feit neem ik aan dat een onderzoek van 6646 personen niet meer representatief is? Of mag je dat toch omdat het volgens de statistische regels zo is en dat volgens die formules als representatief geacht wordt? Je hebt dus kans dat je helemaal niemand te pakken hebt, ik zou denken dat je echt een veelvoud van bijvoorbeeld deze 10.000 moet gaan onderzoeken om daadwerkelijk realistische cijfers te verkrijgen.

FunkyTrip schreef op maandag 21 november 2011 @ 17:15:
[...]


Dit lijkt me ook een bizar hoog aantal. 1 op de 50 mensen in NL heeft ooit een zelfmoord poging gedaan? Dat lijkt me gewoon erg stug. Een zelfmoordpoging is nogal wat.

Zie ook het citaat uit de topicstart:

In de afgelopen 12 maanden
38,1% van de volwassenen die in het afgelopen jaar suïcide gedachten hebben gehad, heeft in diezelfde periode ook een suïcide plan gemaakt. Deze groep bestaat uit slechts 26 personen. Mede daarom is er in tabel 3.4 geen uitsplitsing binnen deze groep gemaakt naar demografische kenmerken.
10,5% (95% BI: 4,8% – 21,3%) van de volwassenen die in het afgelopen jaar suïcide gedachten hebben gehad, heeft in diezelfde periode ook een suïcide poging gedaan: 2,4% deed deze poging zonder vooraf bedacht plan en 8,0% ondernam een geplande poging (zie tabel 3.4). In totaal bestaat deze groep uit slechts 8 personen.

Als je dat door gaat rekenen (dus afgelopen jaar 10,5% van 38,1% van de volwassenen zou op basis van die cijfers de 2,2% niet gek zijn. We hebben elk jaar weer een aantal die toegevoegd worden aan de lijst. Dus dat stijgt constant. Of de testresultaten betrouwbaar zijn is een andere vraag uiteraard.

[ Voor 30% gewijzigd door djluc op 21-11-2011 19:30 ]

[Taigu]

Statistisch gezien is de steekproef representatief voor de totale populatie. Ik denk dat je goed door de statistiek heen kijkt (lies, damned lies and ...) en dat het onderzoek inclusief analyses nou niet op geweldig niveau staat. 95% is meestal de laagste BI, en het onderzoek heeft toch wat "wij van wc eend" trekjes. Is het onderzoek relevant? Ja. Moet je op basis van dit onderzoek wetten aanpassen of miljoeneninvesteringen doen? Nee.

[ Voor 16% gewijzigd door Taigu op 21-11-2011 20:07 ]

[pedorus]

djluc schreef op maandag 21 november 2011 @ 19:26:
Ok, stel dat de kans uit andere onderzoeken +/- 1 op 10.000 is dat iemand zelfmoord pleegt in een jaar. Uitgaande van dat feit neem ik aan dat een onderzoek van 6646 personen niet meer representatief is?

Dat hangt er maar helemaal van af wat je wil onderzoeken. Als uit andere onderzoeken blijkt dat de kans 1/10.000 is, maar je denkt dat dit een stuk hoger ligt op zeg 15/10000, en je wil aantonen dat 1/10.000 niet klopt dan kan dit best werken. Bij 6646 personen heb je minimaal 4 positieven nodig om een p-waarde van lager dan 0.05 te krijgen en te concluderen dat 1/10.000 waarschijnlijk een te lage schatting is. De kans dat dit lukt bij een daadwerkelijke kans van 15/10000 is 97%.

Of misschien wil je wel aantonen dat de kans niet hoger ligt dan 10%, dan is de groep zelfs flink aan de grote kant.

FunkyTrip schreef op maandag 21 november 2011 @ 17:15:
Dit lijkt me ook een bizar hoog aantal. 1 op de 50 mensen in NL heeft ooit een zelfmoord poging gedaan? Dat lijkt me gewoon erg stug. Een zelfmoordpoging is nogal wat.

Volgens Wikipedia gaat in België +/-1 op de 50 mensen dood aan zelfmoord. Nogal veel pogingen mislukken. Misschien juist aan de lage kant?

[djluc]

Taigu schreef op maandag 21 november 2011 @ 19:58:
Statistisch gezien is de steekproef representatief voor de totale populatie. Ik denk dat je goed door de statistiek heen kijkt (lies, damned lies and ...) en dat het onderzoek inclusief analyses nou niet op geweldig niveau staat. 95% is meestal de laagste BI, en het onderzoek heeft toch wat "wij van wc eend" trekjes. Is het onderzoek relevant? Ja. Moet je op basis van dit onderzoek wetten aanpassen of miljoeneninvesteringen doen? Nee.

Het is een onderzoek in opdracht van een minister, als het niet voor eigen hobby is zal dat dus inderdaad besluitvorming zijn.

Het is natuurlijk altijd lastig om een onderwerp als dit al te onderzoeken. Dat is helemaal logisch omdat mensen hier niet zomaar over praten. Je zou eigenlijk dus eerst moeten zoeken hoe "eerlijk" mensen zijn als je ze een vraag stelt over dit onderwerp.

Deze cijfers zijn in opdracht van de minister dus kan een dergelijk onderzoek veel gevolgen hebben vandaar mijn interesse voor de wetenschappelijke correctheid.

pedorus schreef op maandag 21 november 2011 @ 20:14:
[...]
Volgens Wikipedia gaat in België +/-1 op de 50 mensen dood aan zelfmoord. Nogal veel pogingen mislukken. Misschien juist aan de lage kant?

Dit percentage betreft 2% van de overlijdens inderdaad. Let op dus want dit zegt dus niet veel over de vergelijk met het totaal van de bevolking. Het is inderdaad een serieus percentage van de overlijdens.