Psychologische studies vallen door de mand

[Salvatron]

http://nos.nl/artikel/205...-vallen-door-de-mand.html

De meeste psychologische experimenten leveren bij herhaling andere resultaten op. Slechts 36 procent van de studies blijkt wel betrouwbaar, schrijven wetenschappers in het vakblad Science. Psychologen zijn geschrokken van de uitkomsten.

Maar volgens Alan Kraut van de Amerikaanse Associatie voor Psychologische Wetenschap horen misstappen er tot op zekere hoogte gewoon bij. Hij zegt in The Guardian: "Het enige onderzoek dat 100 procent reproduceerbaar is, levert afgezaagde, saaie uitkomsten op die we waarschijnlijk al kennen. Zoals: inderdaad, je kunt dode mensen nooit leren lezen."

Dit is natuurlijk niet helemaal de bedoeling. Normaal gesproken moet onderzoek herhaalbaar zijn, uiteraard is dat wat lastiger te realiseren in zachte wetenschappen zoals psychologie dan in harde wetenschappen zoals natuurkunde, echter moet men het niet te bont maken.

Zou veel psychologisch onderzoek inderdaad op drijfzand gebaseerd zijn en zouden wij in feite voorgelogen worden in de naam der wetenschap, of zou het allemaal niet zo erg zijn? En wat betreft andere disciplines?

http://www.volkskrant.nl/...rd-op-drijfzand~a4130542/

Gelukkig maar:
De psychologische studies in kwestie gaan over wetenschappelijke detailzaken in de sociale en de cognitieve psychologie: therapieën of diepe inzichten staan niet op het spel.

Ook andere disciplines schijnen een gebrek te hebben aan mogelijkheid tot replicatie:
Uit eerdere, enigszins vergelijkbare replicatiestudies bleek dat ook veel andere disciplines te maken hebben met het probleem.

[SinergyX]

Maar je kan toch ook stukje 'onderzoeksgroep' als afwijking meenemen?

Je leest vaak dat onderzoeken gedaan zijn onder 100-1000 mensen, maar de resultaten dan 'betrekking' hebben op soms miljoenen mensen. Maar dat zullen ze wel schuiven onder die 95% betrouwbaarheid.

Ik zie het probleem ook niet zo in het niet-reproduceren van zulke onderzoeken, maar meer de conclusies en 'feiten' die hieruit komen als absoluut en als maatstaaf worden gezien. Consequenties uit zulke conclusies zijn vaak dusdanig groot, andere kant voelt dit ook meer als een bevestiging van het vermoeden.

[Salvatron]

SinergyX schreef op vrijdag 28 augustus 2015 @ 17:01:
Maar je kan toch ook stukje 'onderzoeksgroep' als afwijking meenemen?

Je leest vaak dat onderzoeken gedaan zijn onder 100-1000 mensen, maar de resultaten dan 'betrekking' hebben op soms miljoenen mensen. Maar dat zullen ze wel schuiven onder die 95% betrouwbaarheid.

Ik begrijp niet wat je precies bedoelt, maar volgens mij moet er statistisch gezien een bepaalde steekproef uit een populatie worden getrokken, waarna die steekproef op de een of andere manier representief moet zijn voor de hele populatie, waarbij er slechts een kleine kans (5% bijv.) mag zijn dat het niet klopt. Dat zou dus reproduceerbaar moeten zijn.

Ik zie het probleem ook niet zo in het niet-reproduceren van zulke onderzoeken, maar meer de conclusies en 'feiten' die hieruit komen als absoluut en als maatstaaf worden gezien. Consequenties uit zulke conclusies zijn vaak dusdanig groot, andere kant voelt dit ook meer als een bevestiging van het vermoeden.

Volgens de NOS-site gaat het in ieder geval niet om therapieën of diepe inzichten.

[Juup]

De hele beroepsgroep zou zich veel meer moeten richten op het reproduceren van resultaten.
Dat is wel saai werk maar het zou de hele tak van pseudo wetenschap naar wetenschap kunnen schuiven.

[Hippocampus]

36% is wel erg weinig betrouwbaar inderdaad. Ik vraag me af of het ook belangrijk is hoe groot de afwijking is bij herhaling. Als er een totaal tegenovergesteld resultaat uit kan komen lijkt me dat erger dan een marginale afwijking, of zou dat alsnog niet veel uitmaken?

[SinergyX]

Salvatron schreef op vrijdag 28 augustus 2015 @ 17:07:
Ik begrijp niet wat je precies bedoelt, maar volgens mij moet er statistisch gezien een bepaalde steekproef uit een populatie worden getrokken, waarna die steekproef op de een of andere manier representief moet zijn voor de hele populatie, waarbij er slechts een kleine kans (5% bijv.) mag zijn dat het niet klopt. Dat zou dus reproduceerbaar moeten zijn.

Dat is soort van mijn punt, die statistische bepaling is blijkbaar verre van 'goed' om een reproduceerbaar onderzoek te kunnen maken. Misschien dat ze bij zulke onderzoeken een goed moeten kijken of zo'n steekproef wel representatief kan zijn.

Nu kan de afwijking in een reproduceerbaar onderzoek heel marginaal zijn (X zegt 85%, Y zegt 81%), dat de uiteindelijk uitkomst geen ander beeld geeft. Maar dan is de vraag, zien hun een onderzoek als 'niet reproduceerbaar' als hetzelfde onderzoek compleet andere uitkomsten bevat, of gewoon niet opnieuw is uit te voeren? (wat mij raar lijkt).
edit, iets anders verwoord

Juup schreef op vrijdag 28 augustus 2015 @ 17:08:
De hele beroepsgroep zou zich veel meer moeten richten op het reproduceren van resultaten.
Dat is wel saai werk maar het zou de hele tak van pseudo wetenschap naar wetenschap kunnen schuiven.

Nu geef de oplossing én het probleem in 1 zin, de oplossing is simpel, maar juist die pseudo wetenschap is van enorme waarde voor diverse partijen om hun 'mening' te onderbouwen, daar zal ongetwijfeld een gigantische lobby achter zitten.

[ Voor 10% gewijzigd door SinergyX op 28-08-2015 17:19 ]

[Mx. Alba]

Juist de opkomst van AI zou de psychologie, psychiatrie en neurologie flink verder moeten kunnen helpen. Zo is er geëxperimenteerd met die AI van Google die plaatjes moet herkennen. Eén enkele eenvoudige wijziging in het algoritme, die ongeveer het zelfde is als wat door de meeste neurologen wordt aangenomen als de oorzaak van autisme, zorgde ervoor dat die AI ook "autistische" trekjes vertoonde in zijn plaatjesherkenning. Nou is dat natuurlijk geen 100% bewijs dat dat de oorzaak van autisme is, maar onderzoek bij muizen die genetisch aangepast werden om ongeveer dat zelfde neurologische effect te verkrijgen, vertoonden ook autistisch gedrag, dus alles bij elkaar wel een heel nuttige toevoeging.

De stap van neurologie naar psychiatrie / psychologie is natuurlijk nog een flinke dus AI zal voor psychiatrisch / psychologisch onderzoek nog niet klaar zijn, maar ik zie wel degelijk mogelijkheden voor de toekomst. Allerlei experimenten die onethisch zijn als je ze op mensen uitvoert, kunnen natuurlijk wel op AI uitgevoerd worden. Totdat AI echt zelfbewust worden tenminste maar dan zal er waarschijnlijk eerst een "Data Trial" (Star Trek reference) aan te pas moeten komen om een AI als een persoon te zien en dat het dus niet ethisch is om dat soort experimenten te doen...

[Comp_Lex]

Ik kan als psychiatrisch patiënt met "ernstige psychische kwetsbaarheden" wel vertellen dat psychologie en psychiatrie niet wetenschappelijk zijn. Ze leunen volledig op cultuur.
Het ultieme bewijs daarvoor leveren ze zelf: de altijd veranderende DSM.
In de DSM staan "mentale stoornissen" beschreven die erin- en eruit worden gestemd. Dat is sowieso geen wetenschappelijke aanpak. In de wetenschap worden wordt er naar een beslissing toe gewerkt / gerekend en niet beslissingen genomen. Dat is hetzelfde als dat natuurkundigen gingen stemmen of zwaartekracht wel of niet bestaat. De zwaartekracht bestaat dan 30 jaar, het staat in de natuurkunde boek en dan komt er een nieuwe editie van de natuurkunde boek uit waarin zwaartekracht geschrapt is. Zoiets als dat zeg maar.
Psychiaters wijzen met hun vingers de verkeerde kant op. Ze zeggen "Ja, je kunt er niets aan doen dat je je zo gedraagt, je bent namelijk gewoon zo opgevoed, etc, etc." en dan komen ze met een diagnose en dan heb je een stoornis "Jij doet het! Jij gedraagt je zo!".
Ze hebben totaal niet door dat mentale stoornissen objectief gezien niet bestaan en dat ze eigenlijk gewoon aan het discrimineren zijn met hun DSM dat bol staat van de categorieën en verzamelingen symptomen gekoppeld aan naampjes.
Dat mensen zich op een bepaalde manier gedragen heeft volledig te maken met de chaotische, vernauwende, verstikkende, stress opwekkende, pijn veroorzakende werking van onze cultuur. Daar zouden psychiaters eens naar moeten kijken. Hoe een persoon zich mogelijk kan gaan gedragen is afhankelijk van de biologische aanleg van die persoon, maar daar ligt ook meteen de grens qua biologie.
Psychologie en psychiatrie zijn symptomen van een gebrek aan een samenleving. Onze cultuur genereert geen samenleving, terwijl mensen sociale wezens zijn. Daar wringt dus de schoen en dan vraag je ook om problemen bij mensen. We leven niet in een samenleving, maar in een op geld gestructureerde hiërarchie. We kunnen ons cultuur zo aanpassen dat psychologie en psychiatrie volledig overbodig kunnen worden gemaakt.

[downtime]

Juup schreef op vrijdag 28 augustus 2015 @ 17:08:
De hele beroepsgroep zou zich veel meer moeten richten op het reproduceren van resultaten.
Dat is wel saai werk maar het zou de hele tak van pseudo wetenschap naar wetenschap kunnen schuiven.

Saai werk lijkt me tot daar aan toe. Maar wie gaat er betalen voor onderzoek wat moet bevestigen wat we al (denken te) weten? En voor wie is daar eer aan te behalen?

[Mx. Alba]

Tja, toch werkt de wetenschap zo. Eén resultaat is géén resultaat. Het eigenlijke doel van het publiceren van onderzoeken is juist om andere wetenschappers uit te nodigen om het onderzoek te herhalen en te verifiëren. Maar als niemand dat doet "omdat er toch geen eer aan te behalen is" dan krijg je een wildgroei van pseudo-onderzoeken en dat is wat je tegenwoordig ziet. Alles wat gepubliceerd is wordt voor waar aangenomen zonder dat het ooit gedubbelcheckt wordt...

[noguru]

Comp_Lex schreef op zaterdag 29 augustus 2015 @ 16:07:
Ik kan als psychiatrisch patiënt met "ernstige psychische kwetsbaarheden" wel vertellen dat psychologie en psychiatrie niet wetenschappelijk zijn. Ze leunen volledig op cultuur.
Het ultieme bewijs daarvoor leveren ze zelf: de altijd veranderende DSM.
In de DSM staan "mentale stoornissen" beschreven die erin- en eruit worden gestemd. Dat is sowieso geen wetenschappelijke aanpak. In de wetenschap worden wordt er naar een beslissing toe gewerkt / gerekend en niet beslissingen genomen. Dat is hetzelfde als dat natuurkundigen gingen stemmen of zwaartekracht wel of niet bestaat. De zwaartekracht bestaat dan 30 jaar, het staat in de natuurkunde boek en dan komt er een nieuwe editie van de natuurkunde boek uit waarin zwaartekracht geschrapt is. Zoiets als dat zeg maar.
Psychiaters wijzen met hun vingers de verkeerde kant op. Ze zeggen "Ja, je kunt er niets aan doen dat je je zo gedraagt, je bent namelijk gewoon zo opgevoed, etc, etc." en dan komen ze met een diagnose en dan heb je een stoornis "Jij doet het! Jij gedraagt je zo!".
Ze hebben totaal niet door dat mentale stoornissen objectief gezien niet bestaan en dat ze eigenlijk gewoon aan het discrimineren zijn met hun DSM dat bol staat van de categorieën en verzamelingen symptomen gekoppeld aan naampjes.
Dat mensen zich op een bepaalde manier gedragen heeft volledig te maken met de chaotische, vernauwende, verstikkende, stress opwekkende, pijn veroorzakende werking van onze cultuur. Daar zouden psychiaters eens naar moeten kijken. Hoe een persoon zich mogelijk kan gaan gedragen is afhankelijk van de biologische aanleg van die persoon, maar daar ligt ook meteen de grens qua biologie.
Psychologie en psychiatrie zijn symptomen van een gebrek aan een samenleving. Onze cultuur genereert geen samenleving, terwijl mensen sociale wezens zijn. Daar wringt dus de schoen en dan vraag je ook om problemen bij mensen. We leven niet in een samenleving, maar in een op geld gestructureerde hiërarchie. We kunnen ons cultuur zo aanpassen dat psychologie en psychiatrie volledig overbodig kunnen worden gemaakt.

Wat je hier doet is een theorie poneren zonder enig bewijs. Dat is nu juist het probleem.
Je zou moeten beginnen met aantonen dat psychische problemen specifiek voor onze (westerse) cultuur zijn en daar gaat het waarschijnlijk al mis.

Bovendien ben je echt niet de eerste die psychische problemen aan onze maatschappij koppelt, integendeel, het is een zeer populaire opvatting. We hebben gezien hoe een hoogleraar sociale psychologie Diederik Stapel jarenlang bij elkaar verzonnen onderzoeken heeft kunnen publiceren zonder dat iemand kritische vragen heeft gesteld.
Achteraf uitgevoerde statistische analyses hebben niets heel gelaten van Stapels resultaten. Blijkbaar is het vakgebied niet in staat om deze analyses zelf uit te voeren.
Een paar van zijn studenten die wel kritisch waren werden weggewerkt. De rest van zijn vakgenoten leek vooral erg blij te zijn met de sociaal wenselijke resultaten. Hoogleraar Roos Vonk verscheen jubelend op TV om te roepen dat vleeseters asociaal zijn, als fanatiek vegetariër vond ze dat namelijk al jaren, terwijl de resultaten nog niet eens gepubliceerd waren. Dat is een wetenschappelijke doodzonde omdat je door publicatie je resultaten aan kritiek blootstelt. Dit voor een hoogleraar ontoelaatbare gedrag is door haar werkgever "bestraft" met een berisping voor onprofessioneel gedrag. Als Vonk niet hoogleraar in de sociale psychologie was geweest maar b.v. in de biochemie of humane genetica dan was ze nu full-time columniste geweest...

Met die mentaliteit, gebrek aan zelfkritiek en interne controle, gaat het vroeg of laat helemaal fout.

[Comp_Lex]

noguru schreef op woensdag 02 september 2015 @ 11:50:
[...]


Wat je hier doet is een theorie poneren zonder enig bewijs. Dat is nu juist het probleem.
Je zou moeten beginnen met aantonen dat psychische problemen specifiek voor onze (westerse) cultuur zijn en daar gaat het waarschijnlijk al mis.

Bovendien ben je echt niet de eerste die psychische problemen aan onze maatschappij koppelt, integendeel, het is een zeer populaire opvatting. We hebben gezien hoe een hoogleraar sociale psychologie Diederik Stapel jarenlang bij elkaar verzonnen onderzoeken heeft kunnen publiceren zonder dat iemand kritische vragen heeft gesteld.
Achteraf uitgevoerde statistische analyses hebben niets heel gelaten van Stapels resultaten. Blijkbaar is het vakgebied niet in staat om deze analyses zelf uit te voeren.
Een paar van zijn studenten die wel kritisch waren werden weggewerkt. De rest van zijn vakgenoten leek vooral erg blij te zijn met de sociaal wenselijke resultaten. Hoogleraar Roos Vonk verscheen jubelend op TV om te roepen dat vleeseters asociaal zijn, als fanatiek vegetariër vond ze dat namelijk al jaren, terwijl de resultaten nog niet eens gepubliceerd waren. Dat is een wetenschappelijke doodzonde omdat je door publicatie je resultaten aan kritiek blootstelt. Dit voor een hoogleraar ontoelaatbare gedrag is door haar werkgever "bestraft" met een berisping voor onprofessioneel gedrag. Als Vonk niet hoogleraar in de sociale psychologie was geweest maar b.v. in de biochemie of humane genetica dan was ze nu full-time columniste geweest...

Met die mentaliteit, gebrek aan zelfkritiek en interne controle, gaat het vroeg of laat helemaal fout.

Het is een combinatie van meerdere factoren. Onze hersenen worden gevormd door de combinatie van biologische aanleg en omgevingsfactoren. Daar valt genoeg over te vinden: https://scholar.google.nl...I6szumpDYxwIVw7sUCh3ncw8w
Waar trouwens altijd aan gedacht moet worden is dat de ervaringen en de problemen, die mensen in de fysieke wereld hebben, altijd echt zijn. Die mogen niet zomaar even genegeerd worden, want dat zou betekenen dat je de mensen niet geheel accepteert zoals ze zijn.

[Salvatron]

niet alleen psychologie heeft last van gebrek aan herhaling van onderzoek:

http://nos.nl/artikel/205...onderzoeken-overdoen.html

Wetenschappers gaan vijftig studies naar kankermedicijnen herhalen. Ze vertrouwen de uitkomsten van eerdere onderzoeken niet, schrijft Medisch Contact. Het lijkt erop dat veel medicijnen op de markt worden gebracht zonder deugdelijke wetenschappelijke onderbouwing. Dat zou kunnen verklaren waarom ze uiteindelijk een flop werden.

De Amerikaanse onderzoeker Glenn Begley, die eerst bij het herhalingsproject betrokken was, haakte af omdat hij er geen fiducie meer in heeft. Hij zegt dat sommige oorspronkelijke studies zo krakkemikkig waren, dat herhaling ervan tijdverspilling is.

De vraag is dan wat de eis van herhaalbaarheid van resultaten van wetenschappelijk onderzoek waard is, als ten eerste het onderzoek niet herhaald wordt, ten tweede er goede redenen zijn dat identiek onderzoek niet altijd dezelfde resultaten oplevert en ten derde herhaalbaarheid van resultaten niet perse nodig is om zinvolle conclusies uit onderzoek te kunnen trekken.
De eis van herhaalbaarheid is imo ook vooral bij betawetenschap zoals natuurkunde nuttig omdat het dan gaat om duidelijke resultaten, terwijl dat bij softere wetenschappen niet zo hoeft te zijn.

[Fiber]

Mx. Alba schreef op zondag 30 augustus 2015 @ 21:55:
Tja, toch werkt de wetenschap zo. Eén resultaat is géén resultaat. Het eigenlijke doel van het publiceren van onderzoeken is juist om andere wetenschappers uit te nodigen om het onderzoek te herhalen en te verifiëren. Maar als niemand dat doet "omdat er toch geen eer aan te behalen is" dan krijg je een wildgroei van pseudo-onderzoeken en dat is wat je tegenwoordig ziet. Alles wat gepubliceerd is wordt voor waar aangenomen zonder dat het ooit gedubbelcheckt wordt...

Dat inderdaad. Maar het is lang niet alleen de psychologie die zich hier aan schuldig maakt, maar ook inderdaad veel exactere wetenschap zoals bijvoorbeeld onderzoek naar (medicijnen tegen) kanker en zo.

Eigenlijk zou het gewoon verboden moeten zijn om onderzoek wat niet grondig geverifieerd is als basis te gebruiken voor verder onderzoek.

Salvatron schreef op zaterdag 05 september 2015 @ 13:23:
[...]

De vraag is dan wat de eis van herhaalbaarheid van resultaten van wetenschappelijk onderzoek waard is, als ten eerste het onderzoek niet herhaald wordt,

Niets. Of hooguit een basis voor verificatie onderzoek.

ten tweede er goede redenen zijn dat identiek onderzoek niet altijd dezelfde resultaten oplevert

Dan deugt het onderzoek niet of is je onderzoeksvraag niet scherp genoeg of je kan er gewoon geen conclusies uit trekken zodat het resultaat dus waardeloos is. Of in ieder geval zou het moeten vallen onder de 'duizend mannieren hoe iets niet werkt'... (Hoe ging die qute ook al weer...?)

en ten derde herhaalbaarheid van resultaten niet perse nodig is om zinvolle conclusies uit onderzoek te kunnen trekken.
De eis van herhaalbaarheid is imo ook vooral bij betawetenschap zoals natuurkunde nuttig omdat het dan gaat om duidelijke resultaten, terwijl dat bij softere wetenschappen niet zo hoeft te zijn.

Onzin. Herhaalbaarheid moet altijd een eis zijn, anders krijg je pseudo wetenschap en fantasie wetenschap.

[ Voor 39% gewijzigd door Fiber op 05-09-2015 13:44 ]

[Salvatron]

Fiber schreef op zaterdag 05 september 2015 @ 13:32:
Dan deugt het onderzoek niet of is je onderzoeksvraag niet scherp genoeg of je kan er gewoon geen conclusies uit trekken zodat het resultaat dus waardeloos is. Of in ieder geval zou het moeten vallen onder de 'duizend mannieren hoe iets niet werkt'... (Hoe ging die qute ook al weer...?)

Er is geen reden voor dat standpunt in het geval van bijv. psychologie, aangezien mensen verschillend reageren onder exact dezelfde omstandigheden. Logischerwijs hoeven precies dezelfde omstandigheden niet tot dezelfde resultaten te leiden.

Onzin. Herhaalbaarheid moet altijd een eis zijn, anders krijg je pseudo wetenschap en fantasie wetenschap.

Er moet beargumenteerd worden waarom herhaalbaarheid perse nodig is, daarnaast is pseudo-wetenschap om andere redenen pseudo-wetenschap, niet alleen om niet-herhaalbaarheid.

[MTV DNA]

Salvatron schreef op zaterdag 05 september 2015 @ 22:33:
Er is geen reden voor dat standpunt in het geval van bijv. psychologie, aangezien mensen verschillend reageren onder exact dezelfde omstandigheden. Logischerwijs hoeven precies dezelfde omstandigheden niet tot dezelfde resultaten te leiden.

Daarom doe je dan ook onderzoek onder een grote groep mensen, die representatief is voor iedereen. Is je groep niet willekeurig, dan kun je uiteraard niets zeggen over iedereen, alleen over de onderzochte groep. Als je onder een andere groep, die ook representatief is, hetzelfde onderzoek doet, zou je hetzelfde resultaat moeten krijgen. De kans dat je een ander resultaat krijgt is in ieder geval heel klein.

Er moet beargumenteerd worden waarom herhaalbaarheid perse nodig is, daarnaast is pseudo-wetenschap om andere redenen pseudo-wetenschap, niet alleen om niet-herhaalbaarheid.

Het hele idee van wetenschap is dat je een model (hypothese) opstelt, die je toetst m.b.v. een experiment. Als je experiment elke keer dat je het herhaald een ander resultaat geeft, kun je geen zinnige conclusie trekken. Herhaalbaarheid is dus wel degelijk een vereiste voor gedegen wetenschappelijk onderzoek.

[Salvatron]

MTV DNA schreef op zondag 06 september 2015 @ 01:59:
[...]

Daarom doe je dan ook onderzoek onder een grote groep mensen, die representatief is voor iedereen. Is je groep niet willekeurig, dan kun je uiteraard niets zeggen over iedereen, alleen over de onderzochte groep. Als je onder een andere groep, die ook representatief is, hetzelfde onderzoek doet, zou je hetzelfde resultaat moeten krijgen. De kans dat je een ander resultaat krijgt is in ieder geval heel klein.

Vaak bestaat de onderzochte groep uit universiteitsstudenten, kennelijk makkelijk te bereiken mensen. Ook bijv. het Stanford Prison Experiment had geloof ik studenten.

Het hele idee van wetenschap is dat je een model (hypothese) opstelt, die je toetst m.b.v. een experiment. Als je experiment elke keer dat je het herhaald een ander resultaat geeft, kun je geen zinnige conclusie trekken. Herhaalbaarheid is dus wel degelijk een vereiste voor gedegen wetenschappelijk onderzoek.

Misschien zijn er wel meerdere mogelijkheden en krijg je soms het ene resultaat, soms het andere.

[MTV DNA]

Salvatron schreef op zondag 06 september 2015 @ 02:19:Vaak bestaat de onderzochte groep uit universiteitsstudenten, kennelijk makkelijk te bereiken mensen. Ook bijv. het Stanford Prison Experiment had geloof ik studenten.

Precies, dat is dus juist géén representatieve weergave van de samenleving. Het resultaat kun je dan dus ook niet toepassen op de gehele bevolking.

Misschien zijn er wel meerdere mogelijkheden en krijg je soms het ene resultaat, soms het andere.

Omdat gedegen onderzoek onder een grote, willekeurige groep gebeurd zou dit al uit 1 groep zichtbaar moeten worden. Het resultaat zou dan bijv. kunnen zijn dat 40% van de mensen A doet, 40% van de mensen B en 20% iets anders. Bij een nieuw experiment zou dit er wéér uit moeten komen.

Ik kan best begrijpen dat het lastig is om voor elke studie opnieuw een voldoende grote groep willekeurige mensen te vinden. Bovendien worden studies die gebruik maken van dure medische apparatuur, zoals bijv. MRI scanners, al snel veel duurder dan het budget toelaat. Het kost al snel 1000 euro om iemand in zo'n apparaat een test te laten uitvoeren.

Het feit dat onderzoek niet altijd zo gebeurd, wil dus nog niet zeggen dat het goed is. Daardoor vallen nu dus ook zoveel studies door de mand.

[ Voor 23% gewijzigd door MTV DNA op 06-09-2015 02:27 ]

[Salvatron]

overigens is kritiek op het Stanford Prison Experiment dat de bewaarders deden wat van ze verwacht werd door de samenleving, en door de wetenschapper die het experiment op had gezet. Dat wil zeggen dat er van de bewakers verwacht werd dat ze zich streng tegen de gevangenen zouden opstellen. Daarom zou de conclusie niet juist zijn dat mensen zich vanzelf zo zouden gaan gedragen als in het experiment, wanneer er geen verwachting zou zijn.

https://www.psychologytod...ment-isn-t-in-my-textbook

Desondanks toch een fraai experiment.

- de bewakers zouden gedaan kunnen hebben wat van ze verwacht werd:
In a nutshell, here’s the criticism, somewhat simplified. Twenty-one boys (OK, young men) are asked to play a game of prisoners and guards. It’s 1971. There have recently been many news reports about prison riots and the brutality of guards. So, in this game, what are these young men supposed to do? Are they supposed to sit around talking pleasantly with one another about sports, girlfriends, movies, and such? No, of course not. This is a study of prisoners and guards, so their job clearly is to act like prisoners and guards—or, more accurately, to act out their stereotyped views of what prisoners and guards do. Surely, Professor Zimbardo, who is right there watching them (as the Prison Superintendent) would be disappointed if, instead, they had just sat around chatting pleasantly and having tea. Much research has shown that participants in psychological experiments are highly motivated to do what they believe the researchers want them to do. Any characteristics of an experiment that let research participants guess how the experimenters expect or want them to behave are referred to as demand characteristics. In any valid experiment it is essential to eliminate or at least minimize demand characteristics. In this experiment, the demands were everywhere..

Subsequent revelations about the experiment—published since the first edition of my textbook—reveal that the guards didn’t even have to guess how they were supposed to behave; they were largely told how by Zimbardo and his associates..

My own guess is that the behavior of the guards was largely if not entirely the result of their doing what they were told to do and what they believed they were supposed to do. The behavior of the prisoners in the first day or two, when they were pretending to riot and pretending to plot escapes, was probably also playacting of stereotyped concepts of what prisoners do..

Deze kritiek zet dus de oorspronkelijke conclusie op losse schroeven, namelijk deze conclusie:

http://www.bbcprisonstudy.org/bbc-prison-study.php?p=17

Guard aggression … was emitted simply as a ‘natural’ consequence of being in the uniform of a ‘guard’ and asserting the power inherent in that role.

Furthermore, because the Guards could not help themselves, they could not be blamed for their actions.

Zimbardo has used this simple and powerful account to explain the atrocities committed by very diverse actors – from the suicide bombers who flew into New York’s Twin Towers on 9/11 to the American torturers at Iraq’s infamous Abu Ghraib prison.ison.

[ Voor 75% gewijzigd door Salvatron op 06-09-2015 03:10 ]

[Gomez12]

Fiber schreef op zaterdag 05 september 2015 @ 13:32:
[...]
Eigenlijk zou het gewoon verboden moeten zijn om onderzoek wat niet grondig geverifieerd is als basis te gebruiken voor verder onderzoek.

Met zo'n eis zou je de hele wetenschap stilzetten.

Menige ontdekking komt voort uit eerst een foutieve hypothese die tijdens het onderzoek niet waargemaakt kan worden, maar waar vanwege de uitkomsten van het onderzoek toch wel weer nieuwe bruikbare hypotheses op te maken zijn.
Met jouw eis zou je eerst de foutieve hypothese echt definitief fout moeten verklaren door reproduceerbaarheid en tegen die tijd ben je al weer jaren verder.

[gambieter]

Reproduceerbaarheid zal ook nog eens onafhankelijk moeten zijn, dwz niet alleen intra-experiment (bij de onderzoekers zelf), maar ook nog eens inter-experiment bij andere onderzoekers.

En wie gaat dat betalen? Voor het herhalen van andermans onderzoek gaat geen enkele instantie zomaar geld geven. En het is ook nog eens niet uitdagend, dus je zult daar ook weinig goede mensen voor kunnen vinden.

[Salvatron]

gambieter schreef op zondag 06 september 2015 @ 02:45:
En wie gaat dat betalen? Voor het herhalen van andermans onderzoek gaat geen enkele instantie zomaar geld geven. En het is ook nog eens niet uitdagend, dus je zult daar ook weinig goede mensen voor kunnen vinden.

Dan is dus de vraag waarom de eis van herhaalbaarheid überhaupt gesteld wordt als daar in de praktijk te weinig mee gebeurt.

Overigens zijn sommige onderzoeken van de NASA eveneens voorbeelden van niet kunnen reproduceren: eerst zou er leven op Mars zijn, dan komt men weer aan met een totaal nieuw soort bacterie, zonder dat dat vantevoren gedubbelchecked werd kennelijk waardoor de NASA weer de zoveelste flater slaat.

[ Voor 24% gewijzigd door Salvatron op 06-09-2015 02:53 ]

[gambieter]

Salvatron schreef op zondag 06 september 2015 @ 02:50:
Dan is dus de vraag waarom de eis van herhaalbaarheid überhaupt gesteld wordt als daar in de praktijk te weinig mee gebeurt.

Het kan wel gevraagd worden, maar dan moeten funding agencies een andere aanpak volgen en niet blijven eisen dat alles innovatief en vernieuwend is.

[Gomez12]

Salvatron schreef op zondag 06 september 2015 @ 02:50:
[...]
Dan is dus de vraag waarom de eis van herhaalbaarheid überhaupt gesteld wordt als daar in de praktijk te weinig mee gebeurt.

Als iets niet gebeurt betekent het nog niet dat je de mogelijkheid weg moet halen...
Herhaalbaarheid betekent ook dat je het in verschillende vormen kan herhalen.

Bijv kanker-medicijnen daar hoeft het niet 100% herhaalbaar te zijn dat het kanker weghaalt, maar we hebben wel eisen dat het herhaalbaar geen ergere schade bij mensen moet aanrichten.

Overigens zijn sommige onderzoeken van de NASA eveneens voorbeelden van niet kunnen reproduceren:

Dat zijn juist onderzoeken die perfect herhaalbaar zijn, alleen zijn ze extreem duur om onder die exacte omstandigheden te herhalen.

[Mx. Alba]

De herhaalbaarheid is niet voor niets een van de fundamenten van de wetenschap. Het kan bijvoorbeeld best zijn dat de resultaten van je experiment beïnvloed worden door iets wat je over het hoofd hebt gezien. Daar kom je pas achter als iemand anders het experiment over doet exact volgens jouw beschrijving - maar dat wat jij over het hoofd hebt gezien staat natuurlijk niet in de beschrijving waardoor de kans groot is dat bij herhaling het resultaat anders is. Je kan dan gaan zoeken naar wat de oorzaak is van die afwijkende resultaten en de fout ontdekken.

Een tijdje geleden was er toch ook een resultaat dat leek uit te wijzen dat neutrinos sneller dan het licht zouden reizen? Alleen door het experiment elders te herhalen kwam men erachter waar de fout zat. In dit geval wisten de wetenschappers van dat eerste experiment dat ze waarschijnlijk een fout hadden gemaakt maar dat is een uitzondering. Vooral bij psychologische onderzoeken blijven zulke fouten vaak onontdekt juist doordat experimenten niet herhaald worden. En vervolgens worden patiënten behandeld gebaseerd op foute aannames en conclusies met alle gevolgen van dien.

[begintmeta]

Een bekend stukje enigszins gerelateerd is natuurlijk ook Ioannidis JPA (2005) Why Most Published Research Findings Are False. PLoS Med 2(8): e124. doi:10.1371/journal.pmed.0020124:

Summary

There is increasing concern that most current published research findings are false. The probability that a research claim is true may depend on study power and bias, the number of other studies on the same question, and, importantly, the ratio of true to no relationships among the relationships probed in each scientific field. In this framework, a research finding is less likely to be true when the studies conducted in a field are smaller; when effect sizes are smaller; when there is a greater number and lesser preselection of tested relationships; where there is greater flexibility in designs, definitions, outcomes, and analytical modes; when there is greater financial and other interest and prejudice; and when more teams are involved in a scientific field in chase of statistical significance. Simulations show that for most study designs and settings, it is more likely for a research claim to be false than true. Moreover, for many current scientific fields, claimed research findings may often be simply accurate measures of the prevailing bias. In this essay, I discuss the implications of these problems for the conduct and interpretation of research.

[MailMan]

begintmeta schreef op vrijdag 11 september 2015 @ 09:42:
Een bekend stukje enigszins gerelateerd is natuurlijk ook Ioannidis JPA (2005) Why Most Published Research Findings Are False. PLoS Med 2(8): e124. doi:10.1371/journal.pmed.0020124:


[...]

Ik vind die Summary een beetje gek overkomen. Wetenschappelijk onderzoek bewijst niet dat iets waar is, het ontkracht het tegenovergestelde. Je weerlegt de nulhypothese dat iets b.v. geen invloed heeft en accepteert de alternatieve hypothese dat het wel zo is. Dat laatste zegt niet dat het waar is, alleen dat je niet hebt gevonden dat het onwaar is.
Enigszins vergelijkbaar; als iemand onschuldig wordt bevonden in relatie tot een misdaad, betekent dat niet automatisch dat diegene het ook niet gedaan heeft. Je hebt/vindt alleen niet genoeg bewijs en accepteert dus de 'onschuld'.

Omdat wetenschap niet de waarheid bewijst, vind ik het gek dat het artikel claimt wat de kans is dat research 'waar' is. Maar goed, misschien dat het artikel zelf daar duidelijker op ingaat.

(Psychologisch) Onderzoek is vaak verre van accuraat en breed toepasbaar tegelijk. Meestal is het het ene of het andere (beetje het kwantum onzekerheidsprincipe probleem met het tegelijk accuraat meten van snelheid en positie). Maar ik vind wel dat psychologisch onderzoek de mogelijkheid tot discussie, voorspelling en toetsing van menselijke constructen biedt. Hele nuttige aspecten als het gaat om bepaalde relaties of ogenschijnlijke constanten daarin achterhalen.

[begintmeta]

Het is heel gangbaar dat research waar(schijnklijk)heidsclaims doet, dat is vaak een van de doelen zou ik zelfs durven stellen. Het al dan niet verwerpen van H₀ is dan ook veelal een stelling op basis van het resultaat van het onderzoek, (research finding) die 'in werkelijkheid' juist of onjuist kan zijn.

Het artikel van Ioannidis is trouwens voor iedereen volledig toegankelijk, dus voel je vrij het te lezen. Er is uiteraard het een en ander op aan te merken (en zeker in context van de titel), maar het is IMHO toch wel interessant leesvoer, maar zoals ik aangaf 'enigszins gerelateerd'.

Dat het doen, uitwisselen en bekritiseren van psychologisch onderzoek of gedachten aangaande psychologie heel zinvol is, zal ik zeker niet betwijfelen.

[ Voor 18% gewijzigd door begintmeta op 20-11-2015 12:43 ]

[KopjeThee]

Salvatron schreef op vrijdag 28 augustus 2015 @ 16:46:
...Zou veel psychologisch onderzoek inderdaad op drijfzand gebaseerd zijn en zouden wij in feite voorgelogen worden in de naam der wetenschap, of zou het allemaal niet zo erg zijn? En wat betreft andere disciplines?...

Ik vermoed dat het meeste onderzoek wel integer wordt uitgevoerd, maar dat we gewoon met een statistisch probleem te maken hebben.

Vaak word er bij onderzoek gewerkt met een steekproef. Dan wordt na afloop van het experiment een statistische test uitgevoerd om te kijken of een resultaat binnen de steekproef significant is. Een uitspraak wordt gedaan in de trant van: De p-waarde was < 0.05. Een p-waarde van 0.05 betekent ongeveer dat bij 1 op de 20 steekproeven onterecht wordt geconcludeerd dat er een effect is.

Als je nu een heleboel van dit soort experimenten/onderzoeken gaat doen (met dezelfde p-waarde grens), dan ga je dus best vaak onterecht een effect claimen. Om dit te voorkomen zouden de veel gebruikte grenzen van 0.05 of 0.01 eigenlijk structureel iets omlaag moeten. De vraag is natuurlijk: Wat moet het dan wel zijn? Een hele strenge methode is de Bonferroni methode, die eenvoudigweg zegt: als je 10 experimenten uitvoert, moet je de grens delen door 10, dus 0.005. Maar ja, er worden veel meer dan 10 onderzoeken gedaan... En de grens veel verlagen, gaat er ook voor zorgen dat je vaker echte effecten af gaat wijzen... Maar je bent je false-positives wel kwijt...

[RoD]

KopjeThee schreef op woensdag 13 januari 2016 @ 16:47:
[...]

Ik vermoed dat het meeste onderzoek wel integer wordt uitgevoerd, maar dat we gewoon met een statistisch probleem te maken hebben.

Vaak word er bij onderzoek gewerkt met een steekproef. Dan wordt na afloop van het experiment een statistische test uitgevoerd om te kijken of een resultaat binnen de steekproef significant is. Een uitspraak wordt gedaan in de trant van: De p-waarde was < 0.05. Een p-waarde van 0.05 betekent ongeveer dat bij 1 op de 20 steekproeven onterecht wordt geconcludeerd dat er een effect is.

Als je nu een heleboel van dit soort experimenten/onderzoeken gaat doen (met dezelfde p-waarde grens), dan ga je dus best vaak onterecht een effect claimen. Om dit te voorkomen zouden de veel gebruikte grenzen van 0.05 of 0.01 eigenlijk structureel iets omlaag moeten. De vraag is natuurlijk: Wat moet het dan wel zijn? Een hele strenge methode is de Bonferroni methode, die eenvoudigweg zegt: als je 10 experimenten uitvoert, moet je de grens delen door 10, dus 0.005. Maar ja, er worden veel meer dan 10 onderzoeken gedaan... En de grens veel verlagen, gaat er ook voor zorgen dat je vaker echte effecten af gaat wijzen... Maar je bent je false-positives wel kwijt...

Daarom: replicatie en het publiceren van negatieve bevindingen om publication bias tegen te gaan. Helaas is daar geen enkele beloning voor in de wetenschap. Het moet nieuw en spectaculair. Dat probleem zit hem grotendeels bij de (vaak commerciële) uitgevers van wetenschappelijke tijdschriften en het feit dat er nog teveel wordt aangestuurd op publiceren (met hoge "impact") als graadmeter voor kwaliteit (maar dat is weer een ietwat andere discussie).

[aufbakanleitung]

Bij veel grotere steekproefpopulaties zou de betrouwbaarheid van het onderzoek in deze "zachte" velden sterk toenemen. De reden dat zulke kleine steekproeven tot nu toe getolereerd werden is vanwege praktische bezwaren; het is gewoon veel werk om 1000+ mensen te ronselen voor onderzoek.

Maar sinds de opkomst van het internet is er een behoorlijke kentering aan het plaatsvinden. Facebook doet onderzoek op miljoenen mensen tegelijk. Ze laten bijvoorbeeld een promotiepraatje van Bernie Sanders in 8 verschillende formuleringen zien aan een enorme en perfect random sample van gebruikers, en kijken waar het meest op geklikt wordt. Dit levert super betrouwbare resultaten op, zeker als je het vergelijkt met 50 enquêtes ingevuld door voornamelijk studenten.

Het mooiste voorbeeld hiervan is het blog van OKCupid. Dit is een datingsite met een paar miljoen gebruikers. Even een voorbeeld; in onderstaande tabel wordt de relatie tussen etniciteit en aantrekkelijkheid weergegeven. Hiervoor wordt naar meer dan 300.000 gebruikers gekeken.

[Wobblier]

Bij veel grotere steekproefpopulaties zou de betrouwbaarheid van het onderzoek in deze "zachte" velden sterk toenemen.

Big data is een kans, maar enorm risico. Het aantal variabelen zijn immens en practisch niet uit te sluiten laat staan te controleren. Met als gevolg dat je elke stelling wel op één of andere manier wel significant te bewijzen valt.

Zeker bij zachte studies liggen de eisen niet aan de meting of de statistiek, maar aan de hypothese. En wat gezond verstand.

Probeer anders zelf maar wat reproduceerbaare statistiek:
http://www.tylervigen.com/spurious-correlations

Ik vind psychologie niet echt een zachte studie, wordt al decennia succesvol ingezet binnen de marketing.

[begintmeta]

Het volgende kwam me net onder ogen, heb het zelf nog niet goed kunnen bekijken aangezien andere dingen prioriteit hebben, maar het past natuurlijk goed in het topic.

Comment on "Estimating the reproducibility of psychological science", DOI: 10.1126/science.aad7243

A paper from the Open Science Collaboration (Research Articles, 28 August 2015, aac4716) attempting to replicate 100 published studies suggests that the reproducibility of psychological science is surprisingly low. We show that this article contains three statistical errors and provides no support for such a conclusion. Indeed, the data are consistent with the opposite conclusion, namely, that the reproducibility of psychological science is quite high.

en
Response to Comment on "Estimating the reproducibility of psychological science", DOI: 10.1126/science.aad9163

Gilbert et al. conclude that evidence from the Open Science Collaboration’s Reproducibility Project: Psychology indicates high reproducibility, given the study methodology. Their very optimistic assessment is limited by statistical misconceptions and by causal inferences from selectively interpreted, correlational data. Using the Reproducibility Project: Psychology data, both optimistic and pessimistic conclusions about reproducibility are possible, and neither are yet warranted.

[RoD]

Wobblier schreef op maandag 08 februari 2016 @ 11:25:
[...]


Big data is een kans, maar enorm risico. Het aantal variabelen zijn immens en practisch niet uit te sluiten laat staan te controleren. Met als gevolg dat je elke stelling wel op één of andere manier wel significant te bewijzen valt.

Precies, significantie vs. relevantie. Vaak vergeten, vooral bij die nutteloze correlatiestudies waarbij alles met alles wordt gecorreleerd met de hoop om er iets significants uit te halen. Een steekproefgrootte kies je vanwege een bepaalde verwachte, of relevante, effect size. En daar is het uiteindelijk om te doen.

En dan nog even buiten beschouwing gelatend dat je ook met statistische trucjes van alles aan kan tonen dat niet waar is cq. niet relevant is.

[DaniëlWW2]

Psychologie, was dat niet die studie waar ik studenten constant over heb horen klagen omdat ze statistiek kregen en er niks van begrepen en het vervolgens het jaar erop opnieuw konden gaan doen?

Psychologie, sociale wetenschappen in het algemeen, (dus zeker ook economie) en eigenlijk elke wetenschap die afhankelijk is van het produceren van data hebben een behoorlijk probleem in hun opzet. De noodzaak om wetenschappelijk gevonden te worden, oftewel zich schikken naar de maatstaven van de natuurwetenschappen zorgt ervoor dat er via allerlei omwegen data op tafel moet komen. Dat doen alle sociale wetenschappen door zelf data te produceren en deze vervolgens te interpreteren. Daar zitten twee zwakheden namelijk de productie en interpretatie. Het produceren van data is link omdat je heel goed voor ogen moet hebben hoe groot je databestand moet zijn om zinnige uitspraken te kunnen doen. Daar gaat het door geldgebrek, de onmogelijkheid om een afdoende databestand aan te leggen of door incompetentie vaak al mis. Dan heb je de fase interpretatie nog waar je door een klein detail over het hoofd te zien, dit verkeerd te interpreteren, missen dat het een statische fout is of een verkeerde waarde toekennen je onderzoek alsnog volledig de plank mis kan slaan.

Zie elke econoom ooit.

Ik heb er zelf laatst eens wat over uitgeweid in het autismetopic wat ikzelf heb ervaren met psychologen. Dat zal echt niet aan onwil hebben gelegen dat ze bij mij vijftien jaar de plank mis hebben geslagen en dat ik de oplossingen zelf ben gaan ontdekken. Het probleem is simpelweg dat het idee dat er een probleem is en een oplossing, causaal verband zoals de natuurwetenschappen, simpelweg niet mogelijk voor een sociale wetenschap waar je met mensen werkt die cultureel beïnvloed zijn en waarvan de de precieze werking nog lang niet hebben doorgrond.

Ik heb behoorlijke twijfels of het wel mogelijk is om binnen de huidige kaders sociale wetenschappen werkelijk tot harde uitspraken te komen. Big data, AI's en andere gecomputeriseerde hulpmiddelen zou best wel eens flink wat verworden kennis volledig op zijn kop kunnen gooien en dan ben je weer terug bij af. Of je dan dichter bij harde uitspraken komt is maar de vraag.

* DaniëlWW2 is heel blij dat hij in een andere tak van sport zit namelijk de geschiedenis waar de data bronmateriaal is en het probleem van data produceren in ieder geval niet bestaat. Het causaliteitsprobleem is ook op zeer slimme wijze opgelost door te stellen dat er meerdere oorzaken kunnen zijn voor een gevolg of een oorzaak meerdere gevolgen kan hebben.

[witeken]

[message=46072213,noline]
Ik heb behoorlijke twijfels of het wel mogelijk is om binnen de huidige kaders sociale wetenschappen werkelijk tot harde uitspraken te komen. Big data, AI's en andere gecomputeriseerde hulpmiddelen zou best wel eens flink wat verworden kennis volledig op zijn kop kunnen gooien en dan ben je weer terug bij af. Of je dan dichter bij harde uitspraken komt is maar de vraag.

Probleem met Big Data is net dat er 'helemaal' weggedaan wordt met causaliteit. Bv. Google dat de verspreiding van de griep bestudeert op basis van zoekresultaten.

* DaniëlWW2 is heel blij dat hij in een andere tak van sport zit namelijk de geschiedenis waar de data bronmateriaal is en het probleem van data produceren in ieder geval niet bestaat. Het causaliteitsprobleem is ook op zeer slimme wijze opgelost door te stellen dat er meerdere oorzaken kunnen zijn voor een gevolg of een oorzaak meerdere gevolgen kan hebben.

Bij geschiedenis kan je experimenten al helemaal niet herhalen .

Probleem bij alle niet-wiskundige wetenschappen (of hoe je het moet noemen) is dat de verklaringen meestal puur kwalitatief zijn. Hoe moet je dat beoordelen? Hoe kan je weten of de uitleg van dat just-so verhaaltje wel klopt? Vooral geschiedkundige en mensgerelateerde zaken hebben hier last van. Mensen, laat staan een groep mensen, zijn veel te complex om in simpele termen te kunnen uitleggen. Je weet niet wat er heel de tijd in een mens is omgegaan gedurende zijn leven, zijn gedachten, etc.

Je kan dan bv. achteraf orde opleggen of patronen een betekenis geven die in de toenmalige tijd helemaal niet zo bedoeld waren of betekenis hadden of wat dan ook.

[RoD]

witeken schreef op dinsdag 08 maart 2016 @ 21:47:
[...]

Probleem met Big Data is net dat er 'helemaal' weggedaan wordt met causaliteit. Bv. Google dat de verspreiding van de griep bestudeert op basis van zoekresultaten.


[...]

Bij geschiedenis kan je experimenten al helemaal niet herhalen .

Probleem bij alle niet-wiskundige wetenschappen (of hoe je het moet noemen) is dat de verklaringen meestal puur kwalitatief zijn. Hoe moet je dat beoordelen? Hoe kan je weten of de uitleg van dat just-so verhaaltje wel klopt? Vooral geschiedkundige en mensgerelateerde zaken hebben hier last van. Mensen, laat staan een groep mensen, zijn veel te complex om in simpele termen te kunnen uitleggen. Je weet niet wat er heel de tijd in een mens is omgegaan gedurende zijn leven, zijn gedachten, etc.

Je kan dan bv. achteraf orde opleggen of patronen een betekenis geven die in de toenmalige tijd helemaal niet zo bedoeld waren of betekenis hadden of wat dan ook.

Er zijn echt wel analysetechnieken voor kwalitatieve studies, en manieren om niet-wiskundige relaties en verbanden systematisch te onderzoeken. Daar zijn boeken over volgeschreven.

[witeken]

RoD schreef op dinsdag 08 maart 2016 @ 21:53:
Er zijn echt wel analysetechnieken voor kwalitatieve studies, en manieren om niet-wiskundige relaties en verbanden systematisch te onderzoeken. Daar zijn boeken over volgeschreven.

Zeker, maar het stoort me toch altijd als ik dingen lees/hoor zonder verklaring/bron waar de uitleg op gebaseerd is; waarom ik mag aannemen dat dit valide wetenschap is. Natuurlijk heb je daar bij betrouwbare bronnen minder last van, maar in het dagelijkse leven ergert het me soms wel.

Bij wetenschap is er nooit één gouden kogel, je moet het altijd geval per geval bekijken. Daarom dat deze discussie zinloos is omdat alles hier gegeneraliseerd wordt.

[RoD]

witeken schreef op dinsdag 08 maart 2016 @ 22:02:
[...]
Zeker, maar het stoort me toch altijd als ik dingen lees/hoor zonder verklaring/bron waar de uitleg op gebaseerd is; waarom ik mag aannemen dat dit valide wetenschap is. Natuurlijk heb je daar bij betrouwbare bronnen minder last van, maar in het dagelijkse leven ergert het me soms wel.

Bij wetenschap is er nooit één gouden kogel, je moet het altijd geval per geval bekijken. Daarom dat deze discussie zinloos is omdat alles hier gegeneraliseerd wordt.

Wat is je punt precies? Het enige wat je hier deponeert zijn dooddoeners. Uiteraard is een goede bron noodzakelijk en uiteraard is replicatie noodzakelijk. Dat is gewoon onderdeel van het wetenschappelijke proces, als je het goed doet tenminste.

Dus wat wil je nou eigenlijk zeggen?

[Brent]

witeken schreef op dinsdag 08 maart 2016 @ 22:02:
[...]

Bij wetenschap is er nooit één gouden kogel, je moet het altijd geval per geval bekijken. Daarom dat deze discussie zinloos is omdat alles hier gegeneraliseerd wordt.

Statistische wetenschap is generalisatie. Punt. Die verkenning hoor je in je hypothese te doen, niet erna.

Smoking gun is wmb het feit dat p=0.05 is bij psychologen en medici maar 0.0000003 voor deeltjesfysici is.

[RoD]

Brent schreef op donderdag 10 maart 2016 @ 16:41:
[...]

Statistische wetenschap is generalisatie. Punt. Die verkenning hoor je in je hypothese te doen, niet erna.

Smoking gun is wmb het feit dat p=0.05 is bij psychologen en medici maar 0.0000003 voor deeltjesfysici is.

Die P-waarde is helemaal zo belangrijk niet. Zie bijvoorbeeld http://www.nature.com/new...isuse-of-p-values-1.19503, toevallig recentelijk verschenen.

[Brent]

RoD schreef op donderdag 10 maart 2016 @ 17:03:
[...]

Die P-waarde is helemaal zo belangrijk niet. Zie bijvoorbeeld http://www.nature.com/new...isuse-of-p-values-1.19503, toevallig recentelijk verschenen.

Het punt van ASA komt erop neer dat er ook andere dingen belangrijk zijn. Dat zal niemand tegenspreken Echter, voor wat het kwantificeert is het natuurlijk wel zeer belangrijk. Het punt van de ASA is zeker niet: de precieze p-waarde is onbelangrijk. Het impliceert: interpreteer dit zorgvuldig.

Bovendien noemt men expliciet de 0.05 als dogmatische grootheid, in expliciet nu juist die velden met typisch zwak begrip van statistiek. Als je doorklikt naar http://www.nature.com/new...how-they-can-stop-1.18517, dan zie je dat men precies dat masseren aansnijdt, dus de kweeste voor de 0.05.

Kortom, de ASA en ik zijn het eens: in deze velden wordt overwegend de p-waarde niet begrepen

[RoD]

Brent schreef op donderdag 10 maart 2016 @ 17:11:
[...]

Het punt van ASA komt erop neer dat er ook andere dingen belangrijk zijn. Dat zal niemand tegenspreken Echter, voor wat het kwantificeert is het natuurlijk wel zeer belangrijk. Het punt van de ASA is zeker niet: de precieze p-waarde is onbelangrijk. Het impliceert: interpreteer dit zorgvuldig.

Bovendien noemt men expliciet de 0.05 als dogmatische grootheid, in expliciet nu juist die velden met typisch zwak begrip van statistiek. Als je doorklikt naar http://www.nature.com/new...how-they-can-stop-1.18517, dan zie je dat men precies dat masseren aansnijdt, dus de kweeste voor de 0.05.

Kortom, de ASA en ik zijn het eens: in deze velden wordt overwegend de p-waarde niet begrepen

Een ander punt wat vaak wordt vergeten is multiple testing. Daar moet je je P-waarden voor corrigeren.

[ Voor 5% gewijzigd door RoD op 10-03-2016 17:12 ]

[begintmeta]

RoD schreef op donderdag 10 maart 2016 @ 17:12:
...

Een ander punt wat vaak wordt vergeten is multiple testing. Daar moet je je P-waarden voor corrigeren.

Dat is overigens vaak nog niet zo straightforward mogelijk (of nodig), getuige de actieve methematische en epistemologische discussie en ontwikkelingen op dat gebied,

[RoD]

begintmeta schreef op donderdag 10 maart 2016 @ 17:26:
[...]

Dat is overigens vaak nog niet zo straightforward mogelijk (of nodig), getuige de actieve methematische en epistemologische discussie en ontwikkelingen op dat gebied,

Dat er ontwikkelingen zijn betekent niet dat je het niet zou hoeven doen. Vooral in die studies waar alles aan alles wordt gecorreleerd en waar de statistisch significante verbanden eruit worden gehaald... verschrikkelijk

[Gomez12]

witeken schreef op dinsdag 08 maart 2016 @ 22:02:
[...]
Zeker, maar het stoort me toch altijd als ik dingen lees/hoor zonder verklaring/bron waar de uitleg op gebaseerd is; waarom ik mag aannemen dat dit valide wetenschap is. Natuurlijk heb je daar bij betrouwbare bronnen minder last van, maar in het dagelijkse leven ergert het me soms wel.

Wat is een betrouwbare bron?

[begintmeta]

RoD schreef op donderdag 10 maart 2016 @ 21:55:
[...]

Dat er ontwikkelingen zijn betekent niet dat je het niet zou hoeven doen. Vooral in die studies waar alles aan alles wordt gecorreleerd en waar de statistisch significante verbanden eruit worden gehaald... verschrikkelijk

Bij zo'n aanpak is correctie van de P-waarden ook niet echt een oplossing natuurlijk

[RoD]

begintmeta schreef op donderdag 10 maart 2016 @ 22:38:
[...]

Bij zo'n aanpak is correctie van de P-waarden ook niet echt een oplossing natuurlijk

Euh jawel, daar zijn gewoon algemeen geaccepteerde manieren voor, zoals Bonferroni, Ŝidák, of verscheidene andere post-hoc tests.

[begintmeta]

RoD schreef op donderdag 10 maart 2016 @ 22:41:
...

Euh jawel, daar zijn gewoon algemeen geaccepteerde manieren voor, zoals Bonferroni, Ŝidák, of verscheidene andere post-hoc tests.

Zie mijn eerdere post. Als je 'lukraak correleert' en de p-waarde (te) klein maakt, neemt je kans op miskennen van eventueel aanwezige verbanden ook weer toe; je kan misschien beter overwegen niet 'lukraak te correleren'. Zoals ik al aangaf is dat nog best een actief wiskundig en filosofisch gebied.

[ Voor 34% gewijzigd door begintmeta op 11-03-2016 00:01 ]

[gambieter]

Er is intussen een nieuw paper in Science, welke probeert aan te tonen dat de conclusies van het eerdere artikel van de Open Science Collaboration niet klopt: http://projects.iq.harvard.edu/psychology-replications

Zie http://news.harvard.edu/g...ch-research-got-it-wrong/ voor een interview met de leider van de nieuwe studie.

Study that undercut psych research got it wrong

Widely reported analysis that said much research couldn’t be reproduced is riddled with its own replication errors, researchers say. According to two Harvard professors and their collaborators, a widely reported study released last year that said more than half of all psychology studies cannot be replicated is itself wrong.

In an attempt to determine the “replicability” of psychological science, a consortium of 270 scientists known as the Open Science Collaboration (OSC) tried to reproduce the results of 100 published studies. More than half of them failed, creating sensational headlines worldwide about the “replication crisis” in psychology.

But an in-depth examination of the data by Daniel Gilbert, the Edgar Pierce Professor of Psychology at Harvard, Gary King, the Albert J. Weatherhead III University Professor at Harvard, Stephen Pettigrew, a Ph.D. student in the Department of Government at Harvard, and Timothy Wilson, the Sherrell J. Aston Professor of Psychology at the University of Virginia, has revealed that the OSC made some serious mistakes that make its pessimistic conclusion completely unwarranted.

The methods of many of the replication studies turn out to be remarkably different from the originals and, according to the four researchers, these “infidelities” had two important consequences.

First, the methods introduced statistical error into the data, which led the OSC to significantly underestimate how many of their replications should have failed by chance alone. When this error is taken into account, the number of failures in their data is no greater than one would expect if all 100 of the original findings had been true.

Second, Gilbert, King, Pettigrew, and Wilson discovered that the low-fidelity studies were four times more likely to fail than were the high-fidelity studies, suggesting that when replicators strayed from the original methods of conducting research, they caused their own studies to fail.

Finally, the OSC used a “low-powered” design. When the four researchers applied this design to a published data set that was known to have a high replication rate, it too showed a low replication rate, suggesting that the OSC’s design was destined from the start to underestimate the replicability of psychological science.

Individually, Gilbert and King said, each of these problems would be enough to cast doubt on the conclusion that most people have drawn from this study, but taken together, they completely repudiate it. The flaws are described in a commentary to be published Friday in Science.

Ik kan niet oordelen wie er gelijk heeft (zeer ver van mijn bed show ), maar het leeft duidelijk in het vakgebied waar nu reacties, tegenreacties etc volgen

Edit: Ik zie dat begintmeta in "Psychologische studies vallen door de mand" het nieuwe artikel al noemde

[RoD]

begintmeta schreef op donderdag 10 maart 2016 @ 22:53:
[...]

Zie mijn eerdere post. Als je 'lukraak correleert' en de p-waarde (te) klein maakt, neemt je kan op miskennen van eventueel aanwezige verbanden ook weer toe, je kan misschien beter overwegen niet 'lukraak te correleren'. Zoals ik al aangaf is dat nog best een actief wiskundig en filosofiech gebied.

Ah zo, inderdaad. Ik had je post niet helemaal begrepen.

[Morrar]

Goede samenvatting van de huidige strijd in de psychologie wat mij betreft:

http://www.nrc.nl/next/20...che-oorlogvoering-1609356

Dit raakt een aantal belangrijke aspecten van de tekortkomingen van het veld naar mijn mening. Daarnaast zijn er nog wat andere problemen, maar positief is dat er tenminste aan gewerkt wordt.

[Salvatron]

Morrar schreef op zaterdag 09 april 2016 @ 15:11:
Goede samenvatting van de huidige strijd in de psychologie wat mij betreft:

http://www.nrc.nl/next/20...che-oorlogvoering-1609356

Dit raakt een aantal belangrijke aspecten van de tekortkomingen van het veld naar mijn mening. Daarnaast zijn er nog wat andere problemen, maar positief is dat er tenminste aan gewerkt wordt.

Men zou verwachten dat academici geleerd hebben om wetenschappelijk na te denken maar uit dat artikel blijkt maar weer eens dat academici vaak irrationeel zijn, bevooroordeeld, niet na denken en maar wat aan lopen te klooien. De vraag is wat ze dan in hun wetenschappelijke opleiding aan de universiteit hebben geleerd en waarom ze dat dan niet goed toepassen. Stelletje kleuters.

[ Voor 4% gewijzigd door Salvatron op 10-04-2016 13:28 ]

[Brent]

Salvatron schreef op zondag 10 april 2016 @ 13:27:
[...]
uit dat artikel blijkt maar weer eens dat academici vaak irrationeel zijn, bevooroordeeld, niet na denken en maar wat aan lopen te klooien.

Zulk soort academici noemen we slechte of zelfs geen academici, en als een hele tak van sport (bijv psychologie) een opmerkelijk hoge concentratie van zulke academici heeft, dat ligt het voor de hand de kwaliteit van het onderzoek voor de hele tak ter discussie te stellen.

Het is zeker zo dat psychologen onder andere groepen wetenschappers zeker niet als het neusje van de zalm bekend staan kwa kwaliteit. (Medisch onderzoek staat overigens even laag zo niet lager, zou ik me eerder druk om maken dus ).

[begintmeta]

offtopic:
Dat vraagt om wat xkcd natuurlijk.

Salvatron schreef op zondag 10 april 2016 @ 13:27:
... De vraag is wat ze dan in hun wetenschappelijke opleiding aan de universiteit hebben geleerd en waarom ze dat dan niet goed toepassen. Stelletje kleuters.

Je leert vanalles aan de universiteit, niet altijd goede academische praktijken, noch beklijft alles wat wel goed is bij iedereen natuurlijk. IMHO komt bij veel faculteiten (maar goed, ik zie slechts een beperkte selectie natuurlijk) een serieuze behandeling van wetenschapsfilosofie (en ook wetenschapethiek) wat te kort. Ook zou men meer aandacht mogen besteden aan de persoonlijkheid(sontwikkeling) van de student of medewerker...

Maar hoe/waarom wil je dat allemaal (en met name het laastste) wetenschappelijk verantwoord doen? Ik heb geen enkel goed wetenschappelijk argument voor mijn wens...

[ Voor 53% gewijzigd door begintmeta op 12-04-2016 10:36 ]

[begintmeta]

dubbel

[ Voor 153% gewijzigd door begintmeta op 12-04-2016 10:36 ]

[Salvatron]

Brent schreef op dinsdag 12 april 2016 @ 09:51:
[...]

Zulk soort academici noemen we slechte of zelfs geen academici, en als een hele tak van sport (bijv psychologie) een opmerkelijk hoge concentratie van zulke academici heeft, dat ligt het voor de hand de kwaliteit van het onderzoek voor de hele tak ter discussie te stellen.

Het is zeker zo dat psychologen onder andere groepen wetenschappers zeker niet als het neusje van de zalm bekend staan kwa kwaliteit. (Medisch onderzoek staat overigens even laag zo niet lager, zou ik me eerder druk om maken dus ).

De kwaliteit van argumenteren binnen de psychologie is niet meer of minder dan die in andere vakgebieden volgens mij. Wel is de studie simpeler dan bijv. natuurkunde aangezien je veel minder wiskunde e.d. hebt, maar meer gewone redenaties die sneller te begrijpen zijn.

[Brent]

Salvatron schreef op dinsdag 12 april 2016 @ 13:34:
[...]


De kwaliteit van argumenteren binnen de psychologie is niet meer of minder dan die in andere vakgebieden volgens mij. Wel is de studie simpeler dan bijv. natuurkunde aangezien je veel minder wiskunde e.d. hebt, maar meer gewone redenaties die sneller te begrijpen zijn.

De kwaliteit van (1) theorie, (2) experimentele data en de (3) analyse zijn aantoonbaar beneden peil, gezien vanuit exacte wetenschappen. Niet dat het ook een stuk moeilijker is de 'psyche' te onderzoeken dan een waterstof-atoom, maar toch, dit is direct evident. Eens een beetje babbelen met psychologen of een vakje volgen, dan zie je al snel dat echt goede onderzoekers hier dun gezaaid zijn.

[Morrar]

Wat mij betreft toch wat makkelijk om naar de mensen in het veld te wijzen. Studenten psychologie zijn inderdaad lang niet allemaal goed in statistiek of het doen van onderzoek, maar de selectie naar AIO en dus onderzoeker is extreem streng. Er zijn veel minder onderzoeksplaatsen dan er aanbod is van studenten; de besten blijven dus over. Onder de onderzoekers is de kennis van statistische analyses naar mijn mening redelijk.

Andere factoren zijn de extreem beperkte budgetten vergeleken met de 'exacte wetenschappen'; vaak een factor 100 lager. Hoever zouden de exacte wetenschappen gekomen zijn als ze aan zulke strakke budgetten werden gehouden? Deze budgetten hebben vervelende bijwerkingen, zoals erg kleine steekproefen, studenten die keer op keer als proefpersoon worden gebruikt, korte studies, etc.

Verder hoeft de kwaliteit van de argumenten niet minder te zijn, als je ze tenminste geaard zijn in solide statistiek. Dat het vaak niet gebeurt, ligt mede aan de oorzaken hierboven (gebrekkige steekproeven). De kwaliteit van de theorie is (nog) niet op het niveau van de exacte wetenschappen, maar ik zie geen reden waarom de theorie niet op orde zou kunnen komen. Wel zou je dan naar reductie van concepten en duidelijke definities moeten toewerken en daar ligt nu niet de nadruk op. De publicatiedruk vereist dat je vernieuwend bent, dus zal men eerder eigen nieuwe concepten toevoegen. Er is weinig drang om de bezem eens goed door de literatuur te halen.

Tot slot is er nog de hoge onderwijsdruk; studies zoals psychologie zijn de melkkoe van de universiteit en de inschrijvingen erop zijn massaal. Die studenten moeten allemaal onderwijs krijgen en ook dat legt flinke druk op de onderzoekers. Begeleiding van een stage + scriptie mag bijvoorbeeld zo'n 30 uur kosten; dat redt je alleen als de student goed en gemotiveerd is, maar anders kost het je of vrije tijd of onderzoekstijd...

M.a.w. er is denk ik wat meer aan de hand dan alleen 'domme onderzoekers' Wel is het zo dat slecht onderzoek / slechte onderzoekers door de tekortkomingen in het veld (o.a. gebrek aan replicatie) niet snel ontmaskerd zal / zullen worden. Maar goed, daar komt nu dus verandering in.

[ Voor 15% gewijzigd door Morrar op 12-04-2016 15:00 ]

[Salvatron]

Brent schreef op dinsdag 12 april 2016 @ 14:07:
[...]

De kwaliteit van (1) theorie, (2) experimentele data en de (3) analyse zijn aantoonbaar beneden peil, gezien vanuit exacte wetenschappen. Niet dat het ook een stuk moeilijker is de 'psyche' te onderzoeken dan een waterstof-atoom, maar toch, dit is direct evident. Eens een beetje babbelen met psychologen of een vakje volgen, dan zie je al snel dat echt goede onderzoekers hier dun gezaaid zijn.

Welk vakje? Het verschilt nogal per vak wat voor onderzoek er wordt gedaan en wat voor theorieen er zijn. En psychologen verschillen ook.

[RoD]

Salvatron schreef op zondag 10 april 2016 @ 13:27:
[...]


Men zou verwachten dat academici geleerd hebben om wetenschappelijk na te denken maar uit dat artikel blijkt maar weer eens dat academici vaak irrationeel zijn, bevooroordeeld, niet na denken en maar wat aan lopen te klooien. De vraag is wat ze dan in hun wetenschappelijke opleiding aan de universiteit hebben geleerd en waarom ze dat dan niet goed toepassen. Stelletje kleuters.

Omdat er vaak allerlei belangen spelen en dat academische integriteit daarvan doorgaans niet de belangrijkste is. Dat geldt overigens voor elk veld. Je komt als wetenschapper aan allerlei "krachten" bloot te staan.

[begintmeta]

Brent schreef op dinsdag 12 april 2016 @ 14:07:
... ]Eens een beetje babbelen met psychologen of een vakje volgen, dan zie je al snel dat echt goede onderzoekers hier dun gezaaid zijn.

Dat lijkt wel een psychologisch onderzoek, van wellicht zelfs nog ondermaatse kwaliteit.

RoD schreef op dinsdag 12 april 2016 @ 15:34:
[...]

Omdat er vaak allerlei belangen spelen en dat academische integriteit daarvan doorgaans niet de belangrijkste is. Dat geldt overigens voor elk veld. Je komt als wetenschapper aan allerlei "krachten" bloot te staan.

Niet alleen als wetenschapper komt je aan allerlei interne en externe krachten bloot te staan, maar algemeen als mens zou ik zeggen. Die wetenschapper blijven dan wel 'kleuters' die met de krachten meebuigen, krachten die vaak door 'peuters' worden voortgebracht. Maar soms is buigen natuurlijk wel volwassener dan breken...

Morrar schreef op dinsdag 12 april 2016 @ 14:55:
... als je ze tenminste geaard zijn in solide statistiek. ...

Statistiek kan helpen bij het bij-elkaar-houden en opbouwen van het huis, maar zonder een stevige bodem kan dat maar zeer beperkt, ik zou statistiek/wiskunde niet als bodem zien, maar eerder als winkelhaak, hamer en/of spijkers. Zonder een stevige bodem van concepten,heldere definities, modellen met duidelijke af te bakenen parameters en zonder meetstenen blijft het riskant, en moet men uitkijken teveel soliditeit te suggereren, want je kan maar zo op drijfzand zitten.. Aan de andere kant moet je ook opletten dat je bij gebrek aan zekerheid helemaal niets meer doet...

[ Voor 10% gewijzigd door begintmeta op 12-04-2016 16:50 ]

[RoD]

begintmeta schreef op dinsdag 12 april 2016 @ 16:13:
[...]
Niet alleen als wetenschapper komt je aan allerlei interne en externe krachten bloot te staan, maar algemeen als mens zou ik zeggen. Die wetenschapper blijven dan wel 'kleuters' die met de krachten meebuigen, krachten die vaak door 'peuters' worden voortgebracht. Maar soms is buigen natuurlijk wel volwassener dan breken...

Waarom zouden wetenschappers 'kleuters' zijn? Feit is dat in de wetenschap er nogal wat perverse prikkels zijn mbt prestaties (publicatiedruk, scoren om financiering binnen te halen, etc) die het uitvoeren van het beroep nogal eens in de weg zitten.

[begintmeta]

RoD schreef op dinsdag 12 april 2016 @ 16:58:
...
Waarom zouden wetenschappers 'kleuters' zijn? Feit is dat in de wetenschap er nogal wat perverse prikkels zijn mbt prestaties (publicatiedruk, scoren om financiering binnen te halen, etc) die het uitvoeren van het beroep nogal eens in de weg zitten.

De kleuters zijn van Salvatron afkomstig. Ik zou zeggen dat het wellicht 'kleuterachtig' is om mee te werken aan zaken die de uitvoering van dat waar het eigenlijk om gaat in de weg staan. Het oplossen/uit de weg ruimen van die zaken is dan 'volwassener' zou ik zeggen, en zeker als de bewuste druk/prikkels ertoe zouden leiden dat juist een averechts effect ontstaat, moet je dan maar ervoor kiezen geen onderzoek te doen bijvoorbeeld, goed werk of geen werk.
Maar eventueel(vaak?) is buigen zoals ik al aangeef wel te verkiezen boven breken, pragmatisch er maar het beste van maken, onder het juk van de eisen van de peuters... begint pragmatisme op kleuterleeftijd?

[RoD]

begintmeta schreef op dinsdag 12 april 2016 @ 17:14:
[...]

De kleuters zijn van Salvatron afkomstig. Ik zou zeggen dat het wellicht 'kleuterachtig' is om mee te werken aan zaken die de uitvoering van dat waar het eigenlijk om gaat in de weg staan. Het oplossen/uit de weg ruimen van die zaken is dan 'volwassener' zou ik zeggen, en zeker als de bewuste druk/prikkels ertoe zouden leiden dat juist een averechts effect ontstaat, moet je dan maar ervoor kiezen geen onderzoek te doen bijvoorbeeld, goed werk of geen werk.
Maar eventueel(vaak?) is buigen zoals ik al aangeef wel te verkiezen boven breken, pragmatisch er maar het beste van maken, onder het juk van de eisen van de peuters... begint pragmatisme op kleuterleeftijd?

Het grootste probleem is dat er prikkels van buitenaf komen waar je als wetenschapper wel iets mee moet doen. Als wetenschapper moet je op zoek naar de zak met geld. Anders kun je namelijk geen wetenschap doen. En degenen met de zak met geld (overheid, bedrijfsleven) zorgen ervoor dat je de grootste kans maakt als je veel publiceert en je resultaten zo goed mogelijk verkoopt.

Het is lastig om een systeem te veranderen waar je wel aan mee moet doen om je beroep uit te oefenen. Overigens is dat geen excuus en wordt er binnen de wetenschap ook wel tegen geageerd, maar het zal je wellicht niet verbazen dat het moeizaam gaat.

[begintmeta]

RoD schreef op dinsdag 12 april 2016 @ 17:23:
... Het is lastig om een systeem te veranderen waar je wel aan mee moet doen om je beroep uit te oefenen. ...

Je moet niet meedoen, het is een keuze na afweging tussen twee/drie kwaden. En natuurlijk kan iemand best een goede wetenschapper zijn maar een slechte politicus of verkoper, en ook zijn de diverse belanghebbenden (inclusief andere wetenschappers) lang niet altijd even geinteresseerd in goede wetenschap.... Vandaar dat ik ook zeg dat buigen beter kan zijn dan breken. Maar soms is het misschien ook beter om te breken dan te buigen.

[ Voor 10% gewijzigd door begintmeta op 12-04-2016 17:30 ]

[RoD]

begintmeta schreef op dinsdag 12 april 2016 @ 17:28:
[...]

Je moet niet meedoen, het is een keuze na afweging tussen twee/drie kwaden. En natuurlijk kan iemand best een goede wetenschapper zijn maar een slechte politicus of verkoper, en ook zijn de diverse belanghebbenden (inclusief andere wetenschappers) lang niet altijd even geinteresseerd in goede wetenschap.... Vandaar dat ik ook zeg dat buigen beter kan zijn dan breken. Maar soms is het misschien ook beter om te breken dan te buigen.

De keuze is dus, of meedoen, of geen wetenschap bedrijven. Tsja, voor een wetenschapper is dat dus geen keuze.

[begintmeta]

RoD schreef op dinsdag 12 april 2016 @ 17:41:
...
De keuze is dus, of meedoen, of geen wetenschap bedrijven. Tsja, voor een wetenschapper is dat dus geen keuze.

Waarom niet, soms moeten de eigen behoeften misschien maar even achtergesteld worden? Als geen enkele wetenschapper meespeelt, en er is toch wel degelijk behoefte aan wetenschappelijke resultaten, zal men wellicht toch wat geld vrijmaken voor een ander spelletje (een probleem daarbij is natuurlijk hoe je onderschid maakt tussen wetenschappers en mensen die pretenderen wetenschapper te zijn, om dat uit te zoeken heb je wellicht ook weer wetenschappers nodig. (het is dus een maatschappelijke kwestie, geen wetenschappelijke)). Daarnaast kan je altijd naar een weg zoeken wetenschap te bedrijven zonder mee te doen. Of je weegt af wat de beste van de mogelijke slechte opties is, ik heb dan wel begrip voor buigen niet breken hoor.

Daarnaast zie je dus aan de huidige 'processen' dat men inderdaad bezig is met buigen/terugbuigen in de psychologie.

[ Voor 27% gewijzigd door begintmeta op 12-04-2016 17:48 ]

[RoD]

begintmeta schreef op dinsdag 12 april 2016 @ 17:44:
[...]

Waarom niet, soms moeten de eigen behoeften maar even achtergesteld worden? Daarnaast kan je altijd naar een weg zoeken wetenschap te bedrijven zonder mee te doen. Of je weegt af wat de beste van de mogelijke slechte opties is, ik heb dan wel begrip voor buigen niet breken hoor.

Daarnaast zie je dus aan de huidige 'processen; dat men inderdaad bezig is in de psychologie.

Leg dan eens uit hoe je onafhankelijk wetenschap kan bedrijven zonder je te commiteren aan het bedrijfsleven of subsidieverstrekkers die vooral varen op status (publicaties etc). Want zelfs organisaties zoals de Hartstichting kijken naar je publicatielijst.

Ik ben serieus benieuwd, dan kan ik dat ook eens proberen

[begintmeta]

RoD schreef op dinsdag 12 april 2016 @ 17:45:
...

Leg dan eens uit hoe je onafhankelijk wetenschap kan bedrijven zonder je te commiteren aan het bedrijfsleven of subsidieverstrekkers die vooral varen op status (publicaties etc). Want zelfs organisaties zoals de Hartstichting kijken naar je publicatielijst.

Ik ben serieus benieuwd, dan kan ik dat ook eens proberen

Zie mijn edit. Ik zeg trouwens ook alleen dat je een weg kan zoeken, niet dat ik hem heb gevonden, of dat die weg er überhaupt is.

[ Voor 11% gewijzigd door begintmeta op 12-04-2016 17:51 ]

[Morrar]

Los daarvan, als je eenmaal buiten de wetenschap staat heb je er nul invloed meer op. De scheiding tussen de twee werelden is behoorlijk stevig.

[gambieter]

@RoD: ik heb begrip daarvoor en worstel er ook mee, maar ik weiger om mijn integriteit daarvoor op het spel te zetten; eenmaal verloren krijg je het niet meer terug. Zie bijvoorbeeld Olivier Voinnet in mijn vakgebied. Heeft hier in Norwich zijn PhD gedaan, veel prijzen gewonnen en aardige gast (ontmoet op congressen e.d.). Blijkt dat in veel van zijn werk er gefraudeerd is met figuren, en alhoewel de daarbij betrokken instituten/werkgevers de omerta handhaven is hij uitgerangeerd a la Stapel.

Dan maar wat minder prijzen en beurzen, er voor frauderen doe ik niet

Websites als PubPeer en RetractionWatch zitten de fraudeurs steeds dichter op de hielen.

* gambieter heeft zijn naam in PubPeer gegooid en geen van mijn papers komt er in voor

[ Voor 15% gewijzigd door gambieter op 12-04-2016 18:22 ]

[begintmeta]

Morrar schreef op dinsdag 12 april 2016 @ 17:50:
Los daarvan, als je eenmaal buiten de wetenschap staat heb je er nul invloed meer op. De scheiding tussen de twee werelden is behoorlijk stevig.

Zolang een wetenschapper ook moet eten van zijn werk of onderzoeksgeld van 'buiten de wetenschap' moet aantrekken is de scheiding in mijn ogen nogal wankel. Of horen het bedrijfsleven en subsidieverstrekkers inderdaad bij de wetenschap, want zoals meerdere mensen hier stellen hebben die wel invloed op de wetenschap. Uiteindelijk is het 'wetenschapbedrijf' een maatschappelijk product, dus onlosmakelijk verbonden met de maatschappij.

gambieter schreef op dinsdag 12 april 2016 @ 17:53:
...

Bij gebrek aan het volledig goede maar kiezen voor het minst slechte in plaats van voor het (in zekere zin wellicht) aantrekkelijkste zal je ook wel eens wat kosten inderdaad.

[ Voor 40% gewijzigd door begintmeta op 12-04-2016 18:14 ]

[Morrar]

begintmeta schreef op dinsdag 12 april 2016 @ 17:53:
[...]

Zolang een wetenschapper ook moet eten van zijn werk of onderzoeksgeld van 'buiten de wetenschap' moet aantrekken is de scheiding in mijn ogen nogal wankel. Of horen het bedrijfsleven en subsidieverstrekkers inderdaad bij de wetenschap, want zoals meerdere mensen hier stellen hebben die wel invloed op de wetenschap. Uiteindelijk is het 'wetenschapbedrijf' een maatschappelijk product, dus onlosmakelijk verbonden met de maatschappij.

In prinicipe is dit waar, maar (in ieder geval in de psychologie) komt verreweg het meeste geld via het NWO. Externe fondsen zijn vrij schaars. Die NWO fondsen zijn nogal een tombola (behoorlijk vaag systeem) en de maatschappelijke relevantie daarin is meestal een paragraafje over 'mogelijke toepassingen'.

Bij de beoordeling van het voorstel speelt dit niet de hoofdrol, maar aansluiting vinden bij een maatschappelijk relevant onderwerp helpt ongetwijfeld een beetje (bijvoorbeeld relateren aan terrorisme of radicalisering zou nu opportuun zijn). Dit is echter niet heel sturend; je kunt bijvoorbeeld een vrij breed scala aan onderwerpen koppelen aan radicalisme.

Waar ik echter meer op doelde, is dat je als individu in de wetenschap meer invloed hebt op het proces dan daarbuiten. De mening van insiders weegt zwaarder dan die van outsiders; alleen al omdat je de relevante spelers vaker spreekt, maar ook omdat je serieuzer genomen wordt als je hetzelfde spel speelt.

[begintmeta]

Morrar schreef op dinsdag 12 april 2016 @ 19:18:
...

De mening van insiders weegt zwaarder dan die van outsiders; ...omdat je serieuzer genomen wordt als je hetzelfde spel speelt.

Dat is op zich begrijpelijk, maar eigenlijk juist voor de wetenschap(per) best vreemd natuurlijk.

[RoD]

gambieter schreef op dinsdag 12 april 2016 @ 17:53:
@RoD: ik heb begrip daarvoor en worstel er ook mee, maar ik weiger om mijn integriteit daarvoor op het spel te zetten; eenmaal verloren krijg je het niet meer terug.

Je hoeft natuurlijk ook niet je integriteit te grabbel te gooien, maar je moet wel meedoen aan het systeem waarbij je wordt blootgesteld aan perverse prikkels. Ik wil natuurlijk niet beweren dat wetenschappers per definitie geen integriteit hebben. Ik ben er zelf ook eentje

[Salvatron]

RoD schreef op dinsdag 12 april 2016 @ 15:34:
[...]

Omdat er vaak allerlei belangen spelen en dat academische integriteit daarvan doorgaans niet de belangrijkste is. Dat geldt overigens voor elk veld. Je komt als wetenschapper aan allerlei "krachten" bloot te staan.

Nee, dat komt daar niet door. Ook als academici nergens belang bij hebben denken ze nogal eens niet na. Bijv. natuurkundigen die vreemde praatjes houden over klimaatverandering.

Zie bijv. ook de opmerking van Brent:

Brent in "Psychologische studies vallen door de mand"

De kwaliteit van (1) theorie, (2) experimentele data en de (3) analyse zijn aantoonbaar beneden peil, gezien vanuit exacte wetenschappen. Niet dat het ook een stuk moeilijker is de 'psyche' te onderzoeken dan een waterstof-atoom, maar toch, dit is direct evident. Eens een beetje babbelen met psychologen of een vakje volgen, dan zie je al snel dat echt goede onderzoekers hier dun gezaaid zijn..

Waar het hier om gaat is de uitspraak gezien vanuit exacte wetenschappen

Oftewel: iemand kijkt naar de psychologie vanuit het kader van de exacte wetenschappen, zoals een natuurkundige kijkt vanuit de natuurkunde naar klimaatwetenschappen. De natuurkundige vertelt vervolgens onzin over klimaatwetenschap omdat die niet in staat is om uit zijn eigen natuurkundige kader te stappen. Dus een mooi voorbeeld hoe het niet moet: kijken vanuit je eigen kader naar een ander vakgebied.

[ Voor 50% gewijzigd door Salvatron op 12-04-2016 23:56 ]

[Brent]

Salvatron schreef op dinsdag 12 april 2016 @ 23:49:
[...]
De natuurkundige vertelt vervolgens onzin over klimaatwetenschap omdat die niet in staat is om uit zijn eigen natuurkundige kader te stappen. Dus een mooi voorbeeld hoe het niet moet: kijken vanuit je eigen kader naar een ander vakgebied.

Inhoudelijk meepraten is iets totaal anders dan de rigueur, methoden en standaarden van het veld beoordelen. Simpelweg een blik op het curriculum van Psychologie werpen geeft al een indicatie van wat er niet pluis is. Weet overigens dat vanwege de statistische factor in het vakgebied en het curriculum, een psychologie opleiding een bachelor of master of Science mag heten, ipv of Arts. Dat maakt nog meer dat zulke standaarden beoordeelt mogen en moeten worden, en er niet slechts van zelfregulering moet worden uitgegaan.

[Salvatron]

Brent schreef op woensdag 13 april 2016 @ 10:13:
[...]

Simpelweg een blik op het curriculum van Psychologie werpen geeft al een indicatie van wat er niet pluis is.

Op wat voor manier?

[gambieter]

Deze is wel leuk voer voor deze discussie (letterlijk):

Bread and Other Edible Agents of Mental Disease in Frontier in Human Neuroscience. Frontiers is een Open Access journal waar een zweem van "betaal en wij publiceren" aan hangt, al wisselt het een beetje. Ik heb zelf ook twee papers gepubliceerd in eenn ander Frontiers journal en dat was geen negatieve ervaring.

Een blog over dit artikel: Frontiers’ Bread Madness.

Twee psychologen die complete onzin verkopen en zich uitlaten over immunologie, microbiologie, gastroenterologie, van het aluhoedje niveau dat brood mentale storingen veroorzaakt, doordat het gaten in je darmwand geeft, dan een immuunrespons etc etc.

[gambieter]

Nog zo'n leuke: "Air rage" komt door 1e klasse in vliegtuigen (vrij vertaald). Gebaseerd op dit artikel in PNAS. Ze claimen dat er een veel grotere kans is op "air rage" als er een 1e klasse in het vliegtuig is, suggererend dat het door jaloezie komt of zo.

Het is van het Stapel-niveau...

[RoD]

gambieter schreef op woensdag 04 mei 2016 @ 00:15:
Nog zo'n leuke: "Air rage" komt door 1e klasse in vliegtuigen (vrij vertaald). Gebaseerd op dit artikel in PNAS. Ze claimen dat er een veel grotere kans is op "air rage" als er een 1e klasse in het vliegtuig is, suggererend dat het door jaloezie komt of zo.

Het is van het Stapel-niveau...

Even kijken...
-Retrospectief
-Onduidelijke dataset, niet te repliceren
-Niet representatief (1 airline.. welke onbekend)
-Zwakke statistische analyse

...en daaruit volgend de onvermijdelijke causale verbanden die gepostuleerd worden in de de studie terwijl dat op basis van de studieopzet niet mogelijk is.

--> prullenbak

(en dat na 2 minuten scannen v/h artikel )

Edit: nog eens even een beetje doorgelezen, maar wat een prut is dit zeg. Echt pure bagger.

[ Voor 4% gewijzigd door RoD op 04-05-2016 01:10 ]

[gambieter]

PNAS heeft soms heel goede artikelen maar ook ontzettende prut als dit. Niet voor niets is er de parodie PNIS met als tagline: "We'll publish anything" . Soms moeilijk te zien welke de echte en welke de parodie is bij PNAS en PNIS...

[Salvatron]

Hier is nog een artikel uit PNAS:
http://www.pnas.org/content/113/28/7900.abstract

Een of andere bug in software om hersenen te bekijken met fMRI-scanners zou er heel lang in hebben gezeten en flinke fouten kunnen hebben veroorzaakt, waardoor veel psychologsich onderzoek dat gebruik maakt van fMRI fouten zou bevatten.

Daarover wordt geschreven:

http://www.sciencealert.c...earch-scientists-discover

A bug in fMRI software could invalidate 15 years of brain research

There could be a very serious problem with the past 15 years of research into human brain activity, with a new study suggesting that a bug in fMRI software could invalidate the results of some 40,000 papers.

They tested the three most popular fMRI software packages for fMRI analysis - SPM, FSL, and AFNI - and while they shouldn't have found much difference across the groups, the software resulted in false-positive rates of up to 70 percent.

And that’s a problem, because as Kate Lunau at Motherboard points out, not only did the team expect to see an average false positive rate of just 5 percent, it also suggests that some results were so inaccurate, they could be indicating brain activity where there was none.

"These results question the validity of some 40,000 fMRI studies and may have a large impact on the interpretation of neuroimaging results," the team writes in PNAS.

The bad news here is that one of the bugs the team identified has been in the system for the past 15 years, which explains why so many papers could now be affected.

[Verwijderd]

Salvatron schreef op zondag 24 juli 2016 @ 20:51:
Hier is nog een artikel uit PNAS:
http://www.pnas.org/content/113/28/7900.abstract

Een of andere bug in software om hersenen te bekijken met fMRI-scanners zou er heel lang in hebben gezeten en flinke fouten kunnen hebben veroorzaakt, waardoor veel psychologsich onderzoek dat gebruik maakt van fMRI fouten zou bevatten.

...

Een aantal punten in het artikel van sciencealert kloppen niet.

1. Er was geen bug in de software. De statistische aannames blijken niet altijd te kloppen. Dat is natuurlijk ook problematisch, maar heel iets anders dan een "fout in de software". Je kan je afvragen waarom de aanname niet eerder is getoetst, maar an sich is het feit dat dit nu gebeurd en blijkt dat we andere correcties moeten toepassen op statistische analyses gewoon een normaal onderdeel van wetenschappelijke vooruitgang.

2. Bij lange na niet alle MRI onderzoeken gebruiken deze manier van analyse, waardoor het aantal onderzoeken/artikelen dat "last" heeft van het probleem vele malen lager is. Een titel die zegt dat het gevolg "invalidate 15 years of brain research" is, is gewoon clickbait en geen juiste weergave van het artikel in PNAS.

3. Het is moeilijk/onmogelijk te zeggen hoeveel resultaten nu niet kloppen. De schatting van de auteurs (http://blogs.warwick.ac.u...bibliometrics_of_cluster/) is dat er 3500 studies zijn waar hun artikel direct betrekking op heeft. Dat wil nog niet direct zeggen dat de conclusies van die studies niet kloppen, maar wellicht meer dat deze wellicht opnieuw geëvalueerd moeten worden.

Ook de auteurs hebben gezegd dat hun artikel verkeerd is uitgelegd en ondertussen is het originele artikel ook aangepast zodat duidelijker is wat wordt bedoeld (http://blogs.warwick.ac.uk/nichols/entry/errata_for_cluster/)

Given the widespread misinterpretation of our paper, Eklund et al., Cluster Failure: Why fMRI inferences for spatial extent have inflated false-positive rates, we filed an errata with the PNAS Editoral office:

Two sentences were poorly worded and could easily be misunderstood as overstating our results.

The last sentence of the Significance statement should read: “These results question the validity of a number of fMRI studies and may have a large impact on the interpretation of weakly significant neuroimaging results.”

The first sentence after the heading “The future of fMRI” should have read: “Due to lamentable archiving and data-sharing practices it is unlikely that problematic analyses can be redone.”

These replace the two sentences that mistakenly implied that our work affected all 40,000 publications (see Bibliometrics of Cluster Inference for an guestimate of how much of the literature is potentially affected).

[ Voor 1% gewijzigd door Verwijderd op 29-07-2016 16:02 . Reden: Fout in link ]