Er is de afgelopen tijd in TMF veel gediscussieerd over verbetering van het reactie- en moderatiesysteem. De noodzaak om de reacties en moderaties op de schop te gooien is bij iedereen duidelijk, niet alleen bij jullie, maar ook bij mij, de fpa's en Wilbert. De afgelopen tijd heb ik de problemen en de ideeën voor verbetering van het reactie- en moderatiesysteem geïnventariseerd en met de betrokkenen doorgenomen, waaronder Wilbert, Zeef en de PowerMods en fpa's. Het plan ligt inmiddels bij Tino. Hij zal eraan beginnen zodra hij terug is van zijn vakantie.
Om de wijzigingen voor het devteam behapbaar te houden heb ik deze opgesplitst in drie stappen. Wat gaan we doen?
Stage 1: Reactiefilter met sortering op kwaliteit
We hebben gemerkt dat topics die daar gevoelig voor zijn (zoals alle onderwerpen die betrekking hebben op Apple) tegenwoordig steevast worden gedomineerd door fanboys en met name bashers. Het moderatiesysteem doet wat betreft het downmodden van bashers en fanboys goed zijn werk, echter verhindert dit niet dat de reacties van fanboys en bashers nog steeds prominent aanwezig zijn. Ten eerste omdat de gematigde bashposts op 0 gewoon zichtbaar blijven, ten tweede omdat de doorgewinterde bashers en fanboys niet terugdeinzen voor een 0 of -1.
We kunnen ook stellen dat gebruikers die wel hun best doen om nuttige reacties te plaatsen nauwelijks gestimuleerd worden om dit te doen. Je komt waarschijnlijk ergens halverwege de thread, waar de reactie nauwelijks opvalt. Veel moderators zijn niet in staat of durven bovendien niet het onderscheid te maken tussen een eenvoudige on-topic post, die met een +1 wordt beoordeeld, en de reacties die meer te bieden hebben en hoger zouden moeten eindigen.
Om dit aan te pakken gaan we een nieuw reactiefilter bouwen dat reacties standaard op kwaliteit in plaats van chronologische volgorde zal rangschikken. Threads blijven uiteraard intact in de nested layout. De exacte methode voor het bepalen van de kwaliteit moet nog worden vastgesteld. De eenvoudigste oplossing is om de score van de thread-parent te nemen, maar we zouden ook kunnen kijken naar de gemiddelde score van de (zichtbare) reacties in de thread. De mogelijkheid om reacties chronologisch te sorteren zal uiteraard blijven bestaan.
Het filter wordt met twee variabelen aangestuurd: het minimumniveau van de weer te geven reacties en het maximum aantal volledig weergegeven reacties. Het filter geeft de beste reacties volledig weer. Zijn er meer reacties dan het maximum, dan worden deze reacties ingeklapt getoond. Reacties onder het minimumniveau worden in hun geheel niet getoond. Het filter is niet niet zozeer gebruiksvriendelijker maar zal wel de indruk verbeteren die de bezoekers (met een standaardfilter) hebben van de kwaliteit van de reacties op t.net. De slechte reacties worden helemaal niet meer getoond en kunnen ook niet meer makkelijk uitgeklapt worden (je moet het filter aanpassen).
Mijn voorstel is om +1 tot minimumniveau van het standaardfilter te verheffen. Dit zal betekenen dat reacties eerst omhoog gemodereerd moeten worden voordat zij zichtbaar zijn voor de meerderheid van de bezoekers die gebruikmaken van de standaardinstellingen van het filter. Je moet als gebruiker dus je best doen om jezelf in de kijker te spelen. Ik ga er vanuit dat er voldoende gebruikers zullen zijn met een afwijkende instelling van het reactiefilter, die de binnenkomende reacties op 0 zullen upgraden naar +1 of hoger indien de reactie daar recht op heeft.
De bovenstaande wijzigingen zullen gepaard gaan met aanpassingen in de faq die de richtlijnen voor de +2 en +3 zullen afzwakken. De moderators moeten meer kijken naar een zinvolle invulling van het reactiefilter voor lezers van de reacties dan het op uiterste minitieuze en strikte wijze toepassen van de richtlijnen in de faq. Aan een filter dat nul reacties weergeeft heeft niemand wat. Een kwaliteitssortering van reacties die geen onderscheid in kwaliteit hebben brengt ook niets.
Stage 2: Afschaffen modbot, invoeren boostpunten
In de tweede stap zullen de modbot en de Master- en Grandmaster-statussen, die worden uitgedeeld door de modbot, worden afgeschaft. Er bestaat bij de gebruikers veel weerstand tegen de modbot. De modbot is succesvol geweest in het afdwingen van gedragsveranderingen, maar die gedragsverandering hebben lang niet altijd geleid tot betere moderaties. Gebruikers zijn overgegaan op papegaaimodden en durven niet meer van de massa af te wijken. Het is te eenvoudig om te handelen volgens de criteria van de modbot zonder daadwerkelijk goed te modereren. Moderators met een hoge status en veel invloed zijn niet per definitie goede moderators.
De fanboymoderaties uit het verleden zijn inmiddels geen probleem meer. De meeste moderators zijn erg terughoudend met hun (positieve) scores. Omdat er gewerkt wordt met gemiddelden is het sowieso niet eenvoudig voor reacties om een hoge of lage score te krijgen zonder medewerking van andere moderators. De modbot doet inmiddels meer kwaad dan goed en zal daarom afgeschaft worden. Met de modbot worden ook de moderatorstatussen Master en Grandmaster opgeheven. Het verschil tussen Beginner en Expert blijft bestaan. Een beginner kan niet zonder hulp van een ervaren mod een reactie naar het hoogste of laagste niveau dirigeren. De expertstatus zal geen misbruik uitlokken omdat hij eenvoudig verkregen kan worden en de gebruikers niet binnen een bepaalde afwijking van het gemiddelde moeten blijven.
In het nieuwe systeem krijgen alle ervaren moderators (uitgezonderd de PowerMods en bestaande ProMod-groep) een gelijke weging van 2x. Fanatieke moderators kunnen meer invloed krijgen door boostpunten te verzamelen waarmee zij de weging van een moderatie kunnen versterken naar 6x. Een moderator krijgt boostpunten als hij een +2 of +3-moderatie doet van een reactie die op het moment van moderatie een andere gemiddelde score heeft of nog niet is gemodereerd en uiteindelijk (na twee dagen als moderatie niet meer mogelijk is) eindigt op zjjn score. De meerderheid moet het dus eens zijn met de moderatie van de gebruiker. Papegaaien kan niet want de gebruiker moet de eerste zijn of afwijken van de momentane score.
De beloning voor het vinden van een +2-reactie is één boostpunt, die voor een +3 drie boostpunten. De maatregel stimuleert het speuren naar +2 en +3-reacties. Voor de meerderheid is er niet de perverse prikkel om te papegaaien. Zij hebben er geen baat bij of de +2 of +3 van de eerste user als uiteindelijk gemiddelde blijft staan en zullen corrigerend optreden als de score onterecht is. Het systeem stimuleert aan de ene kant individuën om +2- en +3-reacties op te zoeken die zo hard nodig zijn voor een bruikbaar niveaufilter, en aan de andere kant is er de corrigerende factor van de massa.
Met de boostpunten kan de moderator vervolgens zijn invloed verhogen. Ze vormen een alternatief voor de huidige modstatussen. We kunnen extra karma geven voor boostpuntjes en in het profiel van de gebruiker aangeven hoeveel boostpunten hij in zijn carrière verzameld heeft. Misbruik maken van het systeem is veel moeilijkbar dan bij de huidige modbot. De moderator moet actief blijven om zijn grotere invloed te kunnen blijven uitoefenen.
De boostpunten maken de werking van het moderatiesysteem iets ingewikkelder. De gevorderde moderator, voor wie de boostpunten zijn bedoeld, zullen er waarschijnlijk geen moeite mee hebben dat ze zich even in de werking moeten verdiepen. Ook maken we het systeem aan de andere eenvoudiger door de modbot af te schaffen.
Stage 3: Metareacties
Moderators die niet zelfstandig in staat zijn om de score van een reactie naar het door hun gewenste niveau te bewegen kunnen dat wel door hulp van anderen in te schakelen. Momenteel gebeurt dit al op kleine schaal in de mismoderatie- en grote +3-topics. Veel moderators laten zich niet zien in TMF of zijn uberhaupt niet op de hoogte van het bestaan van dit forum.
Het corrigeren van moderaties kan effectiever als moderators direct bij de reacties meta-discussies over de moderaties kunnen voeren. Moderators kunnen opmerkingen over de moderatie bij reacties plaatsen en de metareacties gebruiken als alternatief voor de oude moderatietags. Opmerkingen van reageerders over de moderatie van hun reactie kunnen door PowerMods en fpa's verplaatst worden naar een metareactie zodat zij de normale reacties niet vervuilen. Metareacties worden standaard verborgen en kunnen per reactie uitgeklapt worden. Op wens van de gebruiker kunnen we ze ook standaard allemaal uitklappen. Door ze een afwijkende kleur of opvallende indicator te geven zijn ze snel op te sporen in grote threads. Metareacties zullen anoniem zijn voor iedereen behalve eventueel de reactieschrijver.
Een aantal van de bovenstaande ideeën zijn experimenteel en niet eerder uitgevoerd. We zullen proefondervindelijk moeten vaststellen welke instellingen het beste zijn voor bijvoorbeeld het standaard minimumscorefilter en het bepalen van de sortering van reacties. Mogelijk gaan we het nieuwe reactiesysteem tezijnertijd eerst live gooien in de vorm van een betatest, waarbij nieuw naast oud blijft draaien. Vooraf kunnen we in de testomgeving met de users uit o.a. TMF proefdraaien. Niet alles staat dus vast en er zal genoeg ruimte zijn om feedback te verwerken.
Om de wijzigingen voor het devteam behapbaar te houden heb ik deze opgesplitst in drie stappen. Wat gaan we doen?
Stage 1: Reactiefilter met sortering op kwaliteit
We hebben gemerkt dat topics die daar gevoelig voor zijn (zoals alle onderwerpen die betrekking hebben op Apple) tegenwoordig steevast worden gedomineerd door fanboys en met name bashers. Het moderatiesysteem doet wat betreft het downmodden van bashers en fanboys goed zijn werk, echter verhindert dit niet dat de reacties van fanboys en bashers nog steeds prominent aanwezig zijn. Ten eerste omdat de gematigde bashposts op 0 gewoon zichtbaar blijven, ten tweede omdat de doorgewinterde bashers en fanboys niet terugdeinzen voor een 0 of -1.
We kunnen ook stellen dat gebruikers die wel hun best doen om nuttige reacties te plaatsen nauwelijks gestimuleerd worden om dit te doen. Je komt waarschijnlijk ergens halverwege de thread, waar de reactie nauwelijks opvalt. Veel moderators zijn niet in staat of durven bovendien niet het onderscheid te maken tussen een eenvoudige on-topic post, die met een +1 wordt beoordeeld, en de reacties die meer te bieden hebben en hoger zouden moeten eindigen.
Om dit aan te pakken gaan we een nieuw reactiefilter bouwen dat reacties standaard op kwaliteit in plaats van chronologische volgorde zal rangschikken. Threads blijven uiteraard intact in de nested layout. De exacte methode voor het bepalen van de kwaliteit moet nog worden vastgesteld. De eenvoudigste oplossing is om de score van de thread-parent te nemen, maar we zouden ook kunnen kijken naar de gemiddelde score van de (zichtbare) reacties in de thread. De mogelijkheid om reacties chronologisch te sorteren zal uiteraard blijven bestaan.
Het filter wordt met twee variabelen aangestuurd: het minimumniveau van de weer te geven reacties en het maximum aantal volledig weergegeven reacties. Het filter geeft de beste reacties volledig weer. Zijn er meer reacties dan het maximum, dan worden deze reacties ingeklapt getoond. Reacties onder het minimumniveau worden in hun geheel niet getoond. Het filter is niet niet zozeer gebruiksvriendelijker maar zal wel de indruk verbeteren die de bezoekers (met een standaardfilter) hebben van de kwaliteit van de reacties op t.net. De slechte reacties worden helemaal niet meer getoond en kunnen ook niet meer makkelijk uitgeklapt worden (je moet het filter aanpassen).
Mijn voorstel is om +1 tot minimumniveau van het standaardfilter te verheffen. Dit zal betekenen dat reacties eerst omhoog gemodereerd moeten worden voordat zij zichtbaar zijn voor de meerderheid van de bezoekers die gebruikmaken van de standaardinstellingen van het filter. Je moet als gebruiker dus je best doen om jezelf in de kijker te spelen. Ik ga er vanuit dat er voldoende gebruikers zullen zijn met een afwijkende instelling van het reactiefilter, die de binnenkomende reacties op 0 zullen upgraden naar +1 of hoger indien de reactie daar recht op heeft.
De bovenstaande wijzigingen zullen gepaard gaan met aanpassingen in de faq die de richtlijnen voor de +2 en +3 zullen afzwakken. De moderators moeten meer kijken naar een zinvolle invulling van het reactiefilter voor lezers van de reacties dan het op uiterste minitieuze en strikte wijze toepassen van de richtlijnen in de faq. Aan een filter dat nul reacties weergeeft heeft niemand wat. Een kwaliteitssortering van reacties die geen onderscheid in kwaliteit hebben brengt ook niets.
Stage 2: Afschaffen modbot, invoeren boostpunten
In de tweede stap zullen de modbot en de Master- en Grandmaster-statussen, die worden uitgedeeld door de modbot, worden afgeschaft. Er bestaat bij de gebruikers veel weerstand tegen de modbot. De modbot is succesvol geweest in het afdwingen van gedragsveranderingen, maar die gedragsverandering hebben lang niet altijd geleid tot betere moderaties. Gebruikers zijn overgegaan op papegaaimodden en durven niet meer van de massa af te wijken. Het is te eenvoudig om te handelen volgens de criteria van de modbot zonder daadwerkelijk goed te modereren. Moderators met een hoge status en veel invloed zijn niet per definitie goede moderators.
De fanboymoderaties uit het verleden zijn inmiddels geen probleem meer. De meeste moderators zijn erg terughoudend met hun (positieve) scores. Omdat er gewerkt wordt met gemiddelden is het sowieso niet eenvoudig voor reacties om een hoge of lage score te krijgen zonder medewerking van andere moderators. De modbot doet inmiddels meer kwaad dan goed en zal daarom afgeschaft worden. Met de modbot worden ook de moderatorstatussen Master en Grandmaster opgeheven. Het verschil tussen Beginner en Expert blijft bestaan. Een beginner kan niet zonder hulp van een ervaren mod een reactie naar het hoogste of laagste niveau dirigeren. De expertstatus zal geen misbruik uitlokken omdat hij eenvoudig verkregen kan worden en de gebruikers niet binnen een bepaalde afwijking van het gemiddelde moeten blijven.
In het nieuwe systeem krijgen alle ervaren moderators (uitgezonderd de PowerMods en bestaande ProMod-groep) een gelijke weging van 2x. Fanatieke moderators kunnen meer invloed krijgen door boostpunten te verzamelen waarmee zij de weging van een moderatie kunnen versterken naar 6x. Een moderator krijgt boostpunten als hij een +2 of +3-moderatie doet van een reactie die op het moment van moderatie een andere gemiddelde score heeft of nog niet is gemodereerd en uiteindelijk (na twee dagen als moderatie niet meer mogelijk is) eindigt op zjjn score. De meerderheid moet het dus eens zijn met de moderatie van de gebruiker. Papegaaien kan niet want de gebruiker moet de eerste zijn of afwijken van de momentane score.
De beloning voor het vinden van een +2-reactie is één boostpunt, die voor een +3 drie boostpunten. De maatregel stimuleert het speuren naar +2 en +3-reacties. Voor de meerderheid is er niet de perverse prikkel om te papegaaien. Zij hebben er geen baat bij of de +2 of +3 van de eerste user als uiteindelijk gemiddelde blijft staan en zullen corrigerend optreden als de score onterecht is. Het systeem stimuleert aan de ene kant individuën om +2- en +3-reacties op te zoeken die zo hard nodig zijn voor een bruikbaar niveaufilter, en aan de andere kant is er de corrigerende factor van de massa.
Met de boostpunten kan de moderator vervolgens zijn invloed verhogen. Ze vormen een alternatief voor de huidige modstatussen. We kunnen extra karma geven voor boostpuntjes en in het profiel van de gebruiker aangeven hoeveel boostpunten hij in zijn carrière verzameld heeft. Misbruik maken van het systeem is veel moeilijkbar dan bij de huidige modbot. De moderator moet actief blijven om zijn grotere invloed te kunnen blijven uitoefenen.
De boostpunten maken de werking van het moderatiesysteem iets ingewikkelder. De gevorderde moderator, voor wie de boostpunten zijn bedoeld, zullen er waarschijnlijk geen moeite mee hebben dat ze zich even in de werking moeten verdiepen. Ook maken we het systeem aan de andere eenvoudiger door de modbot af te schaffen.
Stage 3: Metareacties
Moderators die niet zelfstandig in staat zijn om de score van een reactie naar het door hun gewenste niveau te bewegen kunnen dat wel door hulp van anderen in te schakelen. Momenteel gebeurt dit al op kleine schaal in de mismoderatie- en grote +3-topics. Veel moderators laten zich niet zien in TMF of zijn uberhaupt niet op de hoogte van het bestaan van dit forum.
Het corrigeren van moderaties kan effectiever als moderators direct bij de reacties meta-discussies over de moderaties kunnen voeren. Moderators kunnen opmerkingen over de moderatie bij reacties plaatsen en de metareacties gebruiken als alternatief voor de oude moderatietags. Opmerkingen van reageerders over de moderatie van hun reactie kunnen door PowerMods en fpa's verplaatst worden naar een metareactie zodat zij de normale reacties niet vervuilen. Metareacties worden standaard verborgen en kunnen per reactie uitgeklapt worden. Op wens van de gebruiker kunnen we ze ook standaard allemaal uitklappen. Door ze een afwijkende kleur of opvallende indicator te geven zijn ze snel op te sporen in grote threads. Metareacties zullen anoniem zijn voor iedereen behalve eventueel de reactieschrijver.
Een aantal van de bovenstaande ideeën zijn experimenteel en niet eerder uitgevoerd. We zullen proefondervindelijk moeten vaststellen welke instellingen het beste zijn voor bijvoorbeeld het standaard minimumscorefilter en het bepalen van de sortering van reacties. Mogelijk gaan we het nieuwe reactiesysteem tezijnertijd eerst live gooien in de vorm van een betatest, waarbij nieuw naast oud blijft draaien. Vooraf kunnen we in de testomgeving met de users uit o.a. TMF proefdraaien. Niet alles staat dus vast en er zal genoeg ruimte zijn om feedback te verwerken.