kwaliteit of kwantiteit

[Verwijderd]

Hoe vaak hoor je niet: het gaat niet om kwantiteit, maar om kwaliteit? En zeker, kwaliteit is zeer belangrijk, vooral in de wetenschap. Wat moet je met een hele zooi artikelen die niets hardmaken?

Maar in de praktijk komt er weinig van terecht en wordt men toch (te) veel op kwantitatieve aspecten beoordeeld, omdat kwaliteit nou eenmaal niet makkelijk te meten en in geld te vertalen is.

[Verwijderd]

Ok je hebt gelijk. Maar hoe meer dingen hoe groter de kans dat er iets goes tussen zit.

[Verwijderd]

Maar stel dat het gaat om een groot onderzoeksproject, waar iemand subsidie voor aangevraagd heeft. Zoiets gebeurt dagelijks, en door meerderen tegelijk. Helaas kan daardoor niet iedereen subsidie krijgen.

Vraag is dan wie het geld krijgt: iemand die veel (middelmatige) artikelen op z'n naam heeft staan, of iemand die niet zo veel gepubliceerd heeft maar wel zeer goede en scherpe dingen?

Publicaties ed tellen vaak zwaar mee, dus is de kans groot dat het de middenmoter wordt. Eerlijk?

[Verwijderd]

Op dinsdag 03 juli 2001 18:29 schreef el_marcianito het volgende:
Maar stel dat het gaat om een groot onderzoeksproject, waar iemand subsidie voor aangevraagd heeft. Zoiets gebeurt dagelijks, en door meerderen tegelijk. Helaas kan daardoor niet iedereen subsidie krijgen.

Vraag is dan wie het geld krijgt: iemand die veel (middelmatige) artikelen op z'n naam heeft staan, of iemand die niet zo veel gepubliceerd heeft maar wel zeer goede en scherpe dingen?

Publicaties ed tellen vaak zwaar mee, dus is de kans groot dat het de middenmoter wordt. Eerlijk?

Dit ligt aan de voorbereiding. Wie met een vooronderzoek komt heeft veel meer kans dan iemand met 1 A4tje met het probleem.
Ook tellen geschiedenis van de persoon mee, verwacht budget, informatie sharing(wie krijgt het te lezen, Project team, toegankelijkheid en dergelijke mee.

[Verwijderd]

Voorbereiding bijvoorbeeld hoort ook bij de kwaliteit. Met zomaar wat aankloten kan niemand goed onderzoek leveren. Dat ene A4-tje zul je dus niet aantreffen.

Geldverstrekkers willen vaak resultaten zien, alleen dan levert het hun ook nog wat op. Als ze kunnen kiezen tussen verschillende onderzoekers, die allemaal een degelijk voorstel indienen, dan zullen ze iemand kiezen die al het een en ander gepresteerd heeft. Het makkelijkst is dat te meten aan publicaties: kwantiteit. Het aanzien van het blad waar het in stond is ook makkelijk mee te nemen, maar alle artikelen van te voren zorgvuldig doorlezen kost echt te veel tijd.

Aan een subsidieaanvraag zullen ze echt geen vele maanden pp besteden. (netto, het duurt nl wel een tijdje voordat iemand z'n subsidie toegezegd krijgt nadat ie een aanvraag ingedient heeft)

[Verwijderd]

Het hoeft ook geen heel boekwerk te zijn. Ik werk zelf regelmatig met projecten en voor dat een opdracht gever een 'go' geeft en geld schuift wil hij een zogenaamd 'startdocument' zien. Tevens wil hij graag regelmatig op de hoogte worden gehouden door op bepaalde data een 'voortgangsrapport' te ontvangen en vallen ze ook wel eens onverwacht een vergadering binnen. Onderzoeken kosten tegenwoordig veel geld en een groot bedrijf wil wel een aantal dingen weten voordat er tonnen worden gepompt.

[Verwijderd]

Tja, dat is het systeem dat de "Publish or Perish" cultuur in de wetenschappen heeft laten ontstaan. Als men niets publiceert blijft men onbekend, en krijgt dus nooit geld voor een groot project. Daarom kun je als beginnende wetenschapper beter kleine projecten draaien en elk (half) jaar een publicatie produceren.

Nadeel van zo'n klein project is dat het bijna per definitie niet erg origineel of baanbrekend is, er wordt voortgeborduurd op werk van anderen zodat er zo min mogelijk fundamenteel onderzoek gedaan moet worden (dat kost te veel tijd). Als je een klein maar toch baanbrekend onderzoek wilt doen, loop je namelijk kans op de andere kant van de medaille: "Publish and Perish", maw. je maakt in je haast grove fouten en gaat af.

Je moet je als beginnende wetenschapper dus "profileren" zonder veel risico te lopen, zodat je in de wetenschappelijke gemeenschap geaccepteerd wordt. Je moet als het ware bewijzen dat je een doel hebt en dat je gedisciplineerd kunt werken.

Maw. ik vind de manier waarop onderzoeksgelden worden toegewezen ook niet perfect, maar ik zou ook geen betere manier kunnen bedenken zonder dat je grote kans loopt dat charlatans er met het geld van door gaan.

[Verwijderd]

Ik ben ook niet zo dol op het huidige systeem, maar om een andere reden. Het probleem wat jij aangeeft, vind ik geen probleem. Baanbrekende onderzoeken worden over het algemeen wel vaker geciteerd dan kleine vervolgonderzoekjes, en bij een onderzoeker wordt toch meestal gekeken naar het aantal citaties en niet het aantal publicaties. Als het wel om het aantal publicaties gaat, wordt het inderdaad wel twijfelachtig.

Het aantal citaties kan echter wel misleidend zijn: Zo zijn er bepaalde onderzoeken die enorm vaak geciteerd worden, maar die niet enorm belangrijk zijn. Bijvoorbeeld een synthesemethode. Op het moment dat een groep onderzoekers een bepaald stofje nodig had voor iets, hebben ze daar een methode voor bedacht en deze methode gepubliceerd. Vervolgens blijkt dat stofje in een totaal andere richting van onderzoek, jaren later, enorm belangrijk te worden. Iedere keer dat iemand die synthese uitvoert, komt er weer een citatie binnenrollen. Terwijl dat onderzoekje helemaal niet baanbrekend hoeft te zijn: Het kan heel goed zijn dat ze een weekje bezig geweest zijn aan het ontwerpen van die synthesemethode, terwijl hun werkelijke onderzoeksdoel iets totaal anders was.

Dit soort dingen maken het huidige systeem nogal onbetrouwbaar: Het zegt weinig over de kwaliteit van de onderzoeker.

Maar ik geef toe: Ik kan ook geen betere methode verzinnen...

[Verwijderd]

Op woensdag 04 juli 2001 21:23 schreef Captain Proton het volgende:
Baanbrekende onderzoeken worden over het algemeen wel vaker geciteerd dan kleine vervolgonderzoekjes, en bij een onderzoeker wordt toch meestal gekeken naar het aantal citaties en niet het aantal publicaties.

Uiteraard gaat het om citaties, ik bedoelde dat het moeilijk is je hoofd boven water te houden in die enorme stroom van wetenschappelijke publicaties als je niet regelmatig publiceert. De kans om geciteerd te worden neemt toe naar mate je meer publicaties op je naam hebt.

Dit soort dingen maken het huidige systeem nogal onbetrouwbaar: Het zegt weinig over de kwaliteit van de onderzoeker.

In dit geval is die synthesemethode dan wel tamelijk belangrijk, het feit dat ze vaak geciteerd wordt zegt iets over haar belang. Hier heeft de onderzoeker dus geluk dat hij de eerste is die een belangrijke maar voor de hand liggende methode bedenkt, maar hij heeft daarmee toch belangrijk werk geleverd. Als hij besloten had die methode niet te publiceren, had zijn carriere er waarschijnlijk heel anders uitgezien.

<edit>
Ik bedoel dus niet belangrijk in de zin van fundamenteel of baanbrekend, maar toch is het van belang dat er een eenvoudige methode is om die stof aan te maken, als die stof zelf van belang is. Het vereenvoudigt verder onderzoek in andere vakgebieden.
</edit>

[Whaletyr]

Ik heb altijd geleerd dat meer is beter...

[Verwijderd]

Hier heeft de onderzoeker dus geluk dat hij de eerste is die een belangrijke maar voor de hand liggende methode bedenkt, maar hij heeft daarmee toch belangrijk werk geleverd. Als hij besloten had die methode niet te publiceren, had zijn carriere er waarschijnlijk heel anders uitgezien.

Mja... hij moest het waarschijnlijk wel publiceren, als je een stofje gebruikt dat verder niemand gebruikt, is het voor de reproduceerbaarheid van je onderzoek wel van belang dat een andere onderzoeker ook aan dat stofje kan komen. Maar wat ik bedoelde, is dat dit niets zegt over de wetenschappelijke prestatie.