RazorBlade72nd schreef op woensdag 28 mei 2008 @ 16:11:
Ik vind dat de modbot niet goed werkt. Ik heb veel zeer goede argumenten al op dit forum gelezen dus er bestaat een kans dat dit een herhaling wordt. Desalniettemin vind ik dat er best nog een keer naar gekeken mag worden met alle argumenten op een rijtje.
Een belangrijk argument voor het modsysteem dat altijd genoemd wordt is het feit dat in een heel groot gedeelte van de gevallen de reacties op het nieuws uiteindelijk de juiste score krijgen, en dat het systeem dus klaarblijkelijk werkt. De vraag is alleen of het doel de middelen heiligt. Ten eerste geeft tweakers.net hun bezoekers de mogelijkheid om mee te helpen de discussie op een hoog niveau te krijgen door het toekennen van een waarde oordeel aan de argumenten. Het gevolg is dat bezoekers hun hulp vrijwillig aanbieden en dus het gevoel hebben dat ze een positieve bijdrage leveren aan deze community. Ik vind het dan ook behoorlijk bot overkomen als je ineens te zien krijgt dat een machine heeft bepaald dat jouw mening teveel afwijkt van het gemiddelde en dat daarom jouw mening niet deugd en dat je voor straf een maand lang je mening niet mag geven.
Zoals botoo hierboven al zegt gaat het dus absoluut niet om jouw mening, maar om jouw interpretatie van de richtlijnen en hoe je die door laat werken in de moderatie.
Probeer jezelf zoiets voor te stellen in een sociale context. Je hebt een grote hechte familie en om de paar weken is er wel een verjaardagsfeestje. Op een gegeven moment zegt je oom tegen jou, “Jaap ik heb statistisch bijgehouden hoe vaak jij tijdens discussies het niet eens bent met de meeste leden van de familie en dat wijkt nogal af van het gemiddelde. Omdat het mijn huis is bepaal ik dat jij voorlopig even je mond dicht houd.” Ondanks dat je oom formeel het recht heeft te bepalen wat er in zijn huis gebeurt, durf ik te wedden dat jij die oom niet zo heel erg aardig meer vind.
Dit gaat dan dus ook niet op

Sommige mensen zal het geen biet interesseren of ze wel of niet een dergelijke tekst in beeld krijgen maar anderen vinden dat onbeschoft en daar hoor je nooit meer wat van. Dat is zonde want het kunnen perfecte modderators zijn die door toeval wat veel afwijken van het gemiddelde.
Wat zou je dan voor willen stellen? Eerst een waarschuwing geven? Mismodders horen uitgesloten te worden van moderatie, en dat is natuurlijk lastig met een vrolijk en blij berichtje te brengen. Ik snap je punt wel, overigens.
Dan is er nog het gevaar van het na-apen. Wat is de snelste methoden om expert moderator te worden? Precies, je kijkt welke moderaties al geweest zijn en past je daaraan aan. En wie wil nou niet expert genoemd worden? Zelfs als je niet bewust wilt na-apen dan nog bedenk je jezelf wel drie keer om een reactie die tien keer +2 heeft gekregen omlaag te modden naar -1. Zelfs als je 100% overtuigd bent dat hij daar hoort.
Tsja, als je zoveel waarde hecht aan een status... Het komt zeker wel voor, het is ook een probleem, maar er is niet echt een oplossing voor. Wat dat betreft is de bot ook niet onfeilbaar. Het komt geregeld voor dat moderatierechten handmatig ontnomen worden of handmatig weer aangezet worden. De bot is echter wel instaat om de "standaard" mismodders eruit te vissen. Je kunt dat ook moeilijk met de hand doen, gezien de grote hoeveelheden moderators. Dat is niet handmatig bij te houden, dus een bot is redelijk noodzakelijk.
Dan is verder de formule die gebruikt wordt natuurlijk ook redelijk krom. Hoe minder moderaties je doet, hoe groter de kans door toeval is dat je zult afwijken van het gemiddelde. Je moet dus niet willen weten hoe groot het verschil is tussen een gegeven moderatie en een gemiddelde moderatie, maar je wilt weten of de gegeven moderatie significant afwijkt van het gemiddelde.
De formule die gebruikt wordt is redelijk beperkt. Afaik is dit gedaan door de devvers omdat het anders een te grote belasting op zou leveren. Het precieze weet ik er verder niet vanaf. Er zijn namelijk wel een aantal (goede) voorstellen geweest om de formule die de ModBot hanteert te veranderen.
Verder is het de bedoeling dat moderators eigenlijk geen onderscheid maken tussen de reacties die zij modereren. Volgens het systeem zou een reactie die al 10 keer neutraal is beoordeeld net zoveel recht hebben om door jou voor de 11de keer neutraal gemodereerd te worden, als een briljante reactie zonder moderatie het recht heeft om een +2 te krijgen. In de praktijk werkt dat natuurlijk niet zo. Moderatie is een andere manier van discussiëren. Je geeft in feite geen inhoudelijke reactie maar geeft wel een reactie op de kwaliteit van de argumenten. Zijn de argumenten goed onderbouwd? Zijn ze overtuigend opgeschreven? Kloppen de feiten? Zijn er geen belangrijke zaken over het hoofd gezien? Zijn het geen open deuren? Omdat je jezelf mengt in de discussie (ook al is het niet inhoudelijk) zal je eerder geneigd zijn om te reageren op zaken waar je een uitgesproken mening over hebt. Wow! Dat is een briljant betoog! Dat verdient een +2. Of,.. Bah,..Wat een vervelende reactie. Dat verdient een -1. Of,..Dat is een goede reactie maar het verdient echt geen +2! Dat verdient een +1. Een moderatie geven op een reactie die al 10 keer op juiste wijze neutraal is gemodereerd is niet zo spannend en zal dus ook minder gebeuren.
Klopt. Dit is een beetje een nadeel van de ModBot. Je bent min of meer verplicht om niet selectief (=alleen reacties goedzetten waarvan je vindt dat ze niet goed staan) te modden, en een rijtje reacties te pakken en die allemaal bij langs te gaan. De ModBot kan niet zien hoe "terecht" een afwijking is. Niet helemaal ideaal, maar imo ook niet zo'n ramp. Niet selectief modden is naar mijn mening niet onoverkomelijk.
Ik vraag me dan ook serieus af wat de meerwaarde is om een reactie voor de 11de keer neutraal te modereren. De kans dat een dergelijke reactie ineens op een ander filter niveau komt is vrijwel uitgesloten. Het is bovendien niet bijzonder voor de schrijver van de reactie. Die zal echt niet zeggen, “Tof! Ik ben voor de 11de keer neutraal beoordeelt. Iemand die wel een meerwaarde voor de discussie is zal dat misschien wel waarderen. Het lijkt uitsluitend een doel te hebben om statistieken op te vijzelen.
De meerwaarde ten opzichte voor het systeem is niet echt significant, inderdaad. Maar schadelijk is het ook niet. Een moderatie bevestigen (zolang het niet hersenloos is, en je je in de moderatie kunt vinden) is echt niet schadelijk.
Nu kan ik wel een hoop kritiek spuien maar zonder voorstellen tot verbetering heeft dit weinig waarde. Ten eerste ben ik er een voorstander van om ook de score van eigen berichten mee te laten wegen in de afwijking die je mag hebben van het gemiddelde. Iemand met een hoge eigenscore weet klaarblijk zelf prima berichten te schrijven en zal dus wellicht ook op een hoger niveau andermans berichten kunnen beoordelen. Hoewel het één het ander niet volledig uitsluit, is het beter dan alleen rekening houden met de afwijking van het gemiddelde. Dat systeem kan namelijk iedereen foppen door vaak mee te stemmen met de rest en af en toe je eigen mening te geven. In vrijwel iedere jury zitten vakmensen die zelf al het nodigde gepresteerd hebben op het onderdeel waar ze andere op beoordelen, en dat is niet voor niets. Je zou bijvoorbeeld (een bepaald percentage van) de eigen score kunnen optellen bij een acceptabele afwijking.
Met een beetje common sense kun je prima modereren, maar ik zou het niveau van de eigen reacties niet rechtstreeks willen correleren met het vermogen om te modereren. Dat vereist toch wel enigszins inzicht in het systeem. Nu is dat helemaal niet zo moeilijk als je even de ModFAQ doorleest.. maar goede reacties neerzetten betekent niet automatisch dat je ook een goede modder bent. Daarnaast zijn de afwijkingen vrij ruim. Als je niet selectief mod dan zou je eigenlijk niet boven de maximale afwijking uit moeten komen, imo.
Verder stel ik voor om minder de botte bijl te hanteren en meer gebruik te maken van waarschuwingen. Geef daarmee mensen ook de kans om zichzelf te verbeteren na waarschuwingen en sluit ze niet meteen buiten. “Het systeem merkt op dat uw moderatie veel afwijkt van het oordeel van onze experts. Lees daarom nog eens de richtlijnen door.”
Daar kan ik me ook wel enigszins in vinden, zoals ik hierboven al postte.
Zoals eerder gezegd zal het systeem ook beter rekening moeten houden met mensen die in een bepaalde maand wat weinig hebben gemodereerd. Misschien was iemand wel op vakantie. Werk met significantie in plaats van een absolute afwijking.
Dat je je experstatus snel kwijtraakt als je een tijdje weg bent is waar. Maar aan de andere kant heb je de status ook snel genoeg terugverdiend als je weer begint met modden. Het mes snijdt aan twee kanten.
Om even terug te komen op waar je je post mee begon: "heiligt het doel de middelen?" Imo wel. Het systeem functioneert opzich prima. Als je een goed moderatietechniek er op nahoudt (welke niet zo ingewikkeld is, als je gewoon niet selectief mod zit je al vrij goed) kom je bijna niet in de problemen met de ModBot. Wellicht zou er op het gebied van communicatie naar de modder het een en ander kunnen verbeteren, maar dat heeft opzich weinig met de bot zelf te maken.