Naar aanleiding van dit artikel in nature (tweakers.net samenvatting wil ik graag een discussie voeren over de kwaliteit van wetenschappelijke kennis: hoe stel je die vast en hoe verbeter je hem?
Volgens de vergelijking in dit artikel, die ik overigens vanwege de samplegrootte niet van nature-kwaliteit vind, ontlopen de encyclopaedia brittanica en wikipedia elkaar niet veel qua kwaliteit. Gesteld dat deze conclusie terecht is, vind ik het schokkend dat de encyclopaedia brittanica 3 fouten per artikel bevat en 1 ernstige fout per 10 artikelen. Voor wikipedia vind ik dit geen slechte score, maar dat een encyclopedie van de kwaliteit van de EB zo slecht scoort geeft aan dat het verkrijgen van correcte kennis een lastig probleem is.
Omdat ik wikipedia iedereen artikelen kan editten en er in de engelse versie ruim 850.000 artikelen zijn, zullen in de praktijk vooral enthousiastelingen over een specifiek onderwerp content aanvoeren. Dit heeft als voordeel dat deze over het algemeen een en ander van het onderwerp af weten, maar als nadeel dat ze er over het algemeen niet onbevooroordeeld tegenover staan en bovendien geen expert hoeven te zijn. Dit is een groot probleem in bijvoorbeeld artikelen over geloof, hoewel bijvoorbeeld het engelse topic over evolutie bewijst dat er toch een heel aardig verhaal uit kan komen rollen. Een tweede bezwaar kan zijn dat door de onderwerpkeuze een specifieke groep mensen met gemeenschappelijke bias zich bezighoudt met een artikel. Een derde nadeel van deze methode is dat artikelen onleesbaar kunnen worden door de vele stijlen en edits die door elkaar lopen.
Daar tegenover staat het EB model. Hierin doen betaalde editors die op zich niets met het onderwerp hebben, onderzoek en schrijven ze vervolgens een artikel. Deze editors zullen over het algemeen neutraler zijn omdat ze niet vanuit hun enthousiasme over een onderwerp schrijven, maar het is ondoenlijk voor hn om voor elk artikel dat ze schrijven een expert op het desbetreffende gebied te worden. Ook is de hoeveelheid mensen die een artikel van EB edit, kleiner dan de hoeveelheid mensen die in wikipedia edit, waardoor fouten die gemaakt worden wellicht minder goed opgemerkt worden. Deze editors kunnen echter wel schrijven...
Er is echter een derde model, dat van nature zelf. Hoewel artikelen in nature gaan over nieuwe ontdekkingen, kan het principe van peer review net zo goed op encyclopedie-artikelen toegepast worden. Artikelen in nature worden geschreven door wetenschappers die gespecialiseerd zijn in het onderwerp waar ze over schrijven. Vervolgens worden deze artikelen door een editor, iemand met een brede wetenschappelijke kennis, gescreend op kwaliteit, zowel qua wetenschappelijke methode als qua stijl. De editor roept als hij er iets in ziet de hulp in van 2 reviewers, andere wetenschappers die beoordelen of het artikel een beetje klopt. In theorie is dit een heel mooi model, in de praktijk blijkt dat een zekere mate van conservativiteit van de editors het proces aardig kan verstoren. De meeste problemen zitten echter bij de reviewers: Vaak gebeurt het dat reviewers pas accoord gaan met een artikel nadat de auteur hen geciteerd heeft of dat ze uit eigenbelang of vanwege irrationele argumenten het artikel frustreren. Bovendien is dit peer-review een arbeidsintensief en impopulair tijdsverdrijf, waardoor reviewers vinden altijd een probleem is. Om in staat te zijn snel reviewers te vinden staan veel bladen toe dat auteurs suggesties voor reviewers opgeven, die vaker wel dan niet gevolgd worden. Het nut van peer review gaat wel hard achteruit als de reviewers bevriend zijn met de auteur... Verder is een nadeel aan deze aanpak dat wetenschappers geen schrijvers zijn, en hoewel de editor vaak een hoop kan doen zijn veel artikelen alsnog lastig leesbaar door een slechte structuur en vervelend taalgebruik.
Nu heeft nature zichzelf helaas niet inbegrepen bij dit onderzoek, en hoewel het een moeilijke vergelijking zou zijn vraag ik me af of ze er zelf veel beter uitgekomen zouden zijn. Ik ben er dan ook niet van overtuigd dat het beter is als een wetenschapper over wetenschap schrijft dan wanneer een schrijver dat doet na enige studie.
Elk van de drie modellen heeft dus zijn voor- en zijn nadelen. Hoe zouden we de sterktes en zwaktes van elk kunnen combineren? Je zou kunnen denken aan het aanstellen/inhuren van editors om goede wikipedia-artikelen te structureren en vervolgens tot stable te bombarderen, maar wie gaat dat betalen? En wil de wikipedia community wel breken met het principe dat iedereen altijd elk artikel moet kunnen editen?
Je zou ook kunnen denken aan het vragen van wetenschappers om wikipedia-artikelen te peer-reviewen. De meesten zouden zoiets best een keertje aan willen pakken. Maar hoe voorkom je dat vervolgens een conspiracy-theoreticus de tesla-coil toch weer met nulpuntsenergie en warpmotoren verbindt? Wetenschappers hebben betere dingen te doen dan continu artikelen in de gaten te houden. Bovendien zijn veel wetenschappers ervan overtuigd dat hun kennis van grotere waarde is dan die van een leek en voelen ze zich daarom niet goed thuis in de anarchistische antiauthoritaire cultuur van wikipedia.
Wat denken jullie dat de beste manier is om een encyclopedie samen te stellen?
Volgens de vergelijking in dit artikel, die ik overigens vanwege de samplegrootte niet van nature-kwaliteit vind, ontlopen de encyclopaedia brittanica en wikipedia elkaar niet veel qua kwaliteit. Gesteld dat deze conclusie terecht is, vind ik het schokkend dat de encyclopaedia brittanica 3 fouten per artikel bevat en 1 ernstige fout per 10 artikelen. Voor wikipedia vind ik dit geen slechte score, maar dat een encyclopedie van de kwaliteit van de EB zo slecht scoort geeft aan dat het verkrijgen van correcte kennis een lastig probleem is.
Omdat ik wikipedia iedereen artikelen kan editten en er in de engelse versie ruim 850.000 artikelen zijn, zullen in de praktijk vooral enthousiastelingen over een specifiek onderwerp content aanvoeren. Dit heeft als voordeel dat deze over het algemeen een en ander van het onderwerp af weten, maar als nadeel dat ze er over het algemeen niet onbevooroordeeld tegenover staan en bovendien geen expert hoeven te zijn. Dit is een groot probleem in bijvoorbeeld artikelen over geloof, hoewel bijvoorbeeld het engelse topic over evolutie bewijst dat er toch een heel aardig verhaal uit kan komen rollen. Een tweede bezwaar kan zijn dat door de onderwerpkeuze een specifieke groep mensen met gemeenschappelijke bias zich bezighoudt met een artikel. Een derde nadeel van deze methode is dat artikelen onleesbaar kunnen worden door de vele stijlen en edits die door elkaar lopen.
Daar tegenover staat het EB model. Hierin doen betaalde editors die op zich niets met het onderwerp hebben, onderzoek en schrijven ze vervolgens een artikel. Deze editors zullen over het algemeen neutraler zijn omdat ze niet vanuit hun enthousiasme over een onderwerp schrijven, maar het is ondoenlijk voor hn om voor elk artikel dat ze schrijven een expert op het desbetreffende gebied te worden. Ook is de hoeveelheid mensen die een artikel van EB edit, kleiner dan de hoeveelheid mensen die in wikipedia edit, waardoor fouten die gemaakt worden wellicht minder goed opgemerkt worden. Deze editors kunnen echter wel schrijven...
Er is echter een derde model, dat van nature zelf. Hoewel artikelen in nature gaan over nieuwe ontdekkingen, kan het principe van peer review net zo goed op encyclopedie-artikelen toegepast worden. Artikelen in nature worden geschreven door wetenschappers die gespecialiseerd zijn in het onderwerp waar ze over schrijven. Vervolgens worden deze artikelen door een editor, iemand met een brede wetenschappelijke kennis, gescreend op kwaliteit, zowel qua wetenschappelijke methode als qua stijl. De editor roept als hij er iets in ziet de hulp in van 2 reviewers, andere wetenschappers die beoordelen of het artikel een beetje klopt. In theorie is dit een heel mooi model, in de praktijk blijkt dat een zekere mate van conservativiteit van de editors het proces aardig kan verstoren. De meeste problemen zitten echter bij de reviewers: Vaak gebeurt het dat reviewers pas accoord gaan met een artikel nadat de auteur hen geciteerd heeft of dat ze uit eigenbelang of vanwege irrationele argumenten het artikel frustreren. Bovendien is dit peer-review een arbeidsintensief en impopulair tijdsverdrijf, waardoor reviewers vinden altijd een probleem is. Om in staat te zijn snel reviewers te vinden staan veel bladen toe dat auteurs suggesties voor reviewers opgeven, die vaker wel dan niet gevolgd worden. Het nut van peer review gaat wel hard achteruit als de reviewers bevriend zijn met de auteur... Verder is een nadeel aan deze aanpak dat wetenschappers geen schrijvers zijn, en hoewel de editor vaak een hoop kan doen zijn veel artikelen alsnog lastig leesbaar door een slechte structuur en vervelend taalgebruik.
Nu heeft nature zichzelf helaas niet inbegrepen bij dit onderzoek, en hoewel het een moeilijke vergelijking zou zijn vraag ik me af of ze er zelf veel beter uitgekomen zouden zijn. Ik ben er dan ook niet van overtuigd dat het beter is als een wetenschapper over wetenschap schrijft dan wanneer een schrijver dat doet na enige studie.
Elk van de drie modellen heeft dus zijn voor- en zijn nadelen. Hoe zouden we de sterktes en zwaktes van elk kunnen combineren? Je zou kunnen denken aan het aanstellen/inhuren van editors om goede wikipedia-artikelen te structureren en vervolgens tot stable te bombarderen, maar wie gaat dat betalen? En wil de wikipedia community wel breken met het principe dat iedereen altijd elk artikel moet kunnen editen?
Je zou ook kunnen denken aan het vragen van wetenschappers om wikipedia-artikelen te peer-reviewen. De meesten zouden zoiets best een keertje aan willen pakken. Maar hoe voorkom je dat vervolgens een conspiracy-theoreticus de tesla-coil toch weer met nulpuntsenergie en warpmotoren verbindt? Wetenschappers hebben betere dingen te doen dan continu artikelen in de gaten te houden. Bovendien zijn veel wetenschappers ervan overtuigd dat hun kennis van grotere waarde is dan die van een leek en voelen ze zich daarom niet goed thuis in de anarchistische antiauthoritaire cultuur van wikipedia.
Wat denken jullie dat de beste manier is om een encyclopedie samen te stellen?
/u/41398/halo_icon_bll.JPG?f=community){kind=icon}
:strip_icc():strip_exif()/u/89520/kl.jpg?f=community)
/u/3626/front-kabels.png?f=community)
:strip_exif()/u/29711/tweakers.gif?f=community)