Statistiek, interpretatie 1-way ANOVA

[T-MOB]

Ik ben bezig met het analyseren van onderzoeksdata. Hierbij toets ik middels een one-way ANOVA of er verschil bestaat tussen 5 groepen op zo'n 40 parameters. Uit deze analyse volgt dat op 2 van deze parameters een significant verschil bestaat bij een alpha van 0.05.

Gaan we dieper in op wat de significantie betekent in geval van deze testmethodiek dan kom je er op uit dat deze de kans voorstelt dat de onderscheiden groepen uit dezelfde populatie zijn genomen. Is deze kans kleiner dan je alpha dan kun je een nulhypothese die stelt dat de groepen gelijk zijn (op deze parameter) verwerpen.

Combineer ik de getallen dan zou ik zeggen dat het met 40 parameters en een alpha van .05 volledig te verwachten is dat je op (.05*40=) 2 parameters een significant verschil vindt. Ondanks dat ik statistisch kan aantonen dat er verschillen zijn tussen de 5 groepen, kan ik imho niet hard maken dat de groepen verschillend zijn.
Dit komt nogal paradoxaal op mij over, en ondanks dat ik doorgaans prima met statistiek uit de voeten kan heb ik in dit geval het idee dat ik er wel eens naast kan zitten. Iemand hier een idee over?

[RikTW]

Ik blaat even wat over FDR (false discovery rate), maar weet niet precies waar de klepel hangt, zeg maar.
Waar het denk ik om gaat is hoeveel tests je doet (hoeveel p waarden krijg je terug): ik meen te begrijpen dat je 40 p waarden terug krijgt, waarvan twee kleiner dan alpha.
In dat geval is je conclusie denk ik juist dat je geen statistische significantie hebt aangetoond, het aantal significante verschillen is gelijk aan het aantal verwachtte verschillen (aantal tests * p); de FDR is dus 1
Je zou misschien een of andere analyse kunnen bedenken waarbij je kijkt of er uberhaupt een verschil is (1 test dus) waarna je eventueel kunt gaan kijken waar dat verschil dan zit. Dit is zo'n beetje waarvoor ANOVA is uitgevonden dacht ik.
Een andere mogelijkheid is om i.p.v. alpha, een maximale FDR te nemen, bijv. met de methode van Benjamini en Hochberg (ff googelen en je vindt genoeg), FDR cut-offs van 0.1 tot 0.5 zijn heel gebruikelijk volgens mij.
Ik heb evt een Matlab-scriptje liggen dat dit doet, maar ieder serieus pakket kan dit gewoon denk ik.

(just 2 cents

[Keida]

Juist met ANOVA kun je wel wat zeggen over het verschil in meer dan 2 groepen. De T-test is hier niet goed voor omdat je veel meer paren nodig hebt. Je filtert dan wrs alleen de significante waarden eruit die maar 5% voorkomen.
http://www.physics.csbsju.edu/stats/anova.html


Met ANOVA krijg je voor een verschil tussen de groepen 1 enkele waarde, en die kun je met " Post Hoc" testing in SPSS laten splitsen voro de verschillende groepen:

http://www.wellesley.edu/Psychology/Psych205/anova.html

[T-MOB]

Ik weet wat een ANOVA is en het gaat hier ook om verschillende groepen (5 om precies te zijn). Het probleem is ongeveer als volgt:

Stel dat ik de biersmaak van een aantal mensen (die in 5 groepen zijn te verdelen) wil onderzoeken. Ik laat ze veertig verschillende bieren proeven en beoordelen. Nu wil ik weten of er een verschil is tussen de 5 groepen qua biersmaak. Om dit uit te vinden voer ik voor elk bier een one-way ANOVA uit. Als resultaat krijg ik hier uit dat er voor 2 van de 40 bieren een significant verschil bestaat in beoordeling.

Kan ik hier uit concluderen dat er een verschil is in biersmaak tussen de 5 groepen? De naieve conclusie is ja, er zijn immers 2 bieren gevonden waarvoor verschil bestaat. De imho juiste conclusie is echter nee. Met een alpha van 0.05 zeg je namelijk dat er een significant verschil is wanneer het verschil in beoordeling een kans van <5% heeft om voor te komen bij groepen met een gelijke smaak. Met een test op 40 bieren is het dus te verwachten dat alleen door toeval al op 2 bieren een significant verschil gevonden wordt.
Ondanks significante verschillen in de beoordeling kun je met deze resultaten dus niet hard maken dat er een verschil in biersmaak bestaat tussen de 5 groepen. Dit heeft ongetwijfeld iets te maken met de FDR die RikTW noemt. Ik kan me alleen te weinig voorstellen van genenonderzoek om de methode van Benjamini en Hochberg te doorgronden.

Om de conclusie te checken heb ik uiteindelijk gecontroleerd met 8 sets random data. Daarmee weet je zeker dat er in de populatie geen verschil kan zijn. Op deze 8 sets vond ik met 40 parameters gemiddeld 2 significante verschillen middels een ANOVA. Dat geeft me voldoende vertrouwen in de pardoxale conclusie om hem aan te houden

[Keida]

T-MOB schreef op donderdag 15 december 2005 @ 11:35:
Ik weet wat een ANOVA is en het gaat hier ook om verschillende groepen (5 om precies te zijn). Het probleem is ongeveer als volgt:

Stel dat ik de biersmaak van een aantal mensen (die in 5 groepen zijn te verdelen) wil onderzoeken. Ik laat ze veertig verschillende bieren proeven en beoordelen. Nu wil ik weten of er een verschil is tussen de 5 groepen qua biersmaak. Om dit uit te vinden voer ik voor elk bier een one-way ANOVA uit. Als resultaat krijg ik hier uit dat er voor 2 van de 40 bieren een significant verschil bestaat in beoordeling.

Kan ik hier uit concluderen dat er een verschil is in biersmaak tussen de 5 groepen? De naieve conclusie is ja, er zijn immers 2 bieren gevonden waarvoor verschil bestaat. De imho juiste conclusie is echter nee. Met een alpha van 0.05 zeg je namelijk dat er een significant verschil is wanneer het verschil in beoordeling een kans van <5% heeft om voor te komen bij groepen met een gelijke smaak. Met een test op 40 bieren is het dus te verwachten dat alleen door toeval al op 2 bieren een significant verschil gevonden wordt.

Tis volgens mij niet helemaal zoals je het zegt. Volgens mij is het juist zo dat je met ANOVA wel mag zeggen dat er een verschil is. Zou je dit gedaan hebben mte 40 afzonderlijke T-testen (ok, met twee groepen zou het dan zijn zeg maar), dan mag je dit niet zeggen (vanwege je nu gegeven argumentatie.)

Wat je ZEKER kunt zeggen is dat er voor de 2 bieren die signif anders zijn de interpretatie van de 5 groepen mensen verschilt (dus niet de complete biersmaak, maar de smaak van die twee bieren).

[RikTW]

De conclusie is op deze manier wel duidelijk, je hebt geen significantie aangetoond.
Je kan alleen nog wel iets meer doen dan dat (je twee gevonden p waarden < alpha zijn denk niet precies 0.04999 maar nog wel wat kleiner. Het kan dus best zijn dat er wel degelijk een significant verschil is.
Benjamini en Hochberg staat op zich los van genenonderzoek, alleen wordt het in dat vakgebied vaak gebruikt omdat dat vaak tienduizenden tests simultaan worden uitgevoerd. Een oudere methode om om te gaan met FDR is een hele simpele correctie van je p-waarden (bonferroni); deze heeft alleen het nadeel dat ie heel conservatief is bij grote aantallen tests. In jou geval zou je hem nog wel kunnen gebruiken denk ik (zit ook in ieder normaal pakket denk ik, wat gebruik je om de anova uit te voeren?)

Keida schreef op donderdag 15 december 2005 @ 11:43:
[...]
Tis volgens mij niet helemaal zoals je het zegt. Volgens mij is het juist zo dat je met ANOVA wel mag zeggen dat er een verschil is. Zou je dit gedaan hebben mte 40 afzonderlijke T-testen (ok, met twee groepen zou het dan zijn zeg maar), dan mag je dit niet zeggen (vanwege je nu gegeven argumentatie.)

Wat je ZEKER kunt zeggen is dat er voor de 2 bieren die signif anders zijn de interpretatie van de 5 groepen mensen verschilt (dus niet de complete biersmaak, maar de smaak van die twee bieren).

Hij doet volgens mij 40 afzonderlijke anova modellen, waardoor multiple testing opnieuw gaat gelden.
1 anova model vervangt dus 10 (5 boven 2) t-testen (als ik het goed begrijp hoor)

[ Voor 35% gewijzigd door RikTW op 15-12-2005 11:49 ]

[SmartDoDo]

SG -> WL