Moderatie prestatie rapport

[JDVB]

Het stoort een vrij groot aantal moderatoren dat er zeer frequent waarderingen gecorrigeerd moeten worden en dat mis-moderateurs niet of nauwelijks aangepakt lijken te worden.

Is het een optie om een (anonieme) beoordelings-que te maken waarin een power/pro mod een moderateur kan beoordelen? Men neme de meest afwijkende moderaties en laten die controleren door een power/pro mod.

Dan kan ik me voorstellen dat een pro mod de volgende opties krijgt:
Geef geautomatiseerde waarschuwing voor de meest afwijkende moderaties
Attendeer powermod (verzoek tot afpakking moderatie rechten)
Niets doen (moderaties wijken af maar zijn toch prima (bijvoorbeeld doordat de berichten zelf op een onjuiste score staan))

De powermod heeft dan dezelfde opties behalve dan dat deze direct moderatie rechten kan afpakken met een berichtje daarover naar de gebruiker. De powermod mag daarnaast de (gebruikers)naam van een moderateur zien waar een pro mod dat anoniem kan beoordelen.


De geautomatiseerde waarschuwingen kunnen dan specifieke moderaties uitlichten met standaard teksten, zoals, hiervoor heb jij een +3 gegeven, de juiste score is een +1, voor een +3 is vereist dat ....

Of je hebt een -1 gegeven voor dit bericht, maar dat bericht is geenszins ongewenst, de juiste score is +1, voor een -1 zijn dit de vereisten. Met daarbij voorbeelden van een -1 etc.


Vervolgens kan bijgehouden worden hoe vaak een gebruiker een waarschuwing gekregen heeft en automatisch de moderatie rechten afgenomen worden bij een bepaald aantal waarschuwingen.


Het doel is dan niet om alle moderateurs te beoordelen, maar juist diegenen die het vaakst en of de grootste afwijking vertonen van de gewenste score of uiteindelijke score. Dit met als doel om deze moderateurs beter te laten beoordelen zodat een score op termijn vaker direct op een juiste score uitkomt waarbij correctie achteraf steeds minder vaak nodig zal blijken te zijn.

In de karma grafiek zou dit een nieuwe categorie mogen zijn, moderatie-reviews, zodat het actief aangemoedigd wordt aan power en of pro mods om moderateurs te beoordelen en daarmee de algemene kwaliteit van beoordelingen te verbeteren.


Ik twijfel over de plaats voor dit bericht, of dit bij mooie features mag of hier, maar waarschijnlijk is dit te groot voor mooie features, dus daarom maar hier.

[ Voor 3% gewijzigd door JDVB op 11-12-2020 16:20 ]

[Cloud]

Op zich een heel goed voorstel, maar eigenlijk hebben we (crew) dat al Met het verschil dat rapporteren op voorhand niet nodig is, omdat de tooling altijd naar de hele populatie moderatiegebruikers kijkt.

Het is niet heel bekend verder en ik wil niet al te diep op de details ingaan maar:
We hebben een overzicht waarin de gebruikers staan met de grootste afwijking ten opzichte van de geldende scores. Dit overzicht gebruiken we om gebruikers mee te vinden die erg vaak afwijken. Dat gaat niet geautomatiseerd, voordat iemand aangeschreven wordt bekijken we uiteraard de moderaties waar het om gaat. Maar de gedachte erachter is wel hetzelfde.
Hiermee kunnen we vrij efficient gebruikers vinden die op grotere schaal (niet altijd met kwade opzet overigens) foutieve moderaties plaatsen

Er zijn echter ook gebruikers die soms een flinke mismoderatie doen en voor de rest heel normaal modereren en die zijn, vanwege de lage aantallen in die tool niet zichtbaar. Dat maakt deze vorm van mismoderaties een stuk minder zichtbaar voor ons (we leunen daar nu een beetje op eigen vondsten en meldingen via het mismod-topic). Vandaar dat we ook wel wat zien in handmatige rapportage zien, al dat dan rapportage van een reactie zijn. Rapportage per gebruiker zoals je voorstelt zou betekenen dat we in elk geval een deel van de moderaties zichtbaar maken voor niet-crew (ProMods) en dat is denk ik lastig houdbaar. Plus het geeft al snel een soort kliklijn/heksenjacht gevoel wat we denk ik moeten voorkomen. Dat zal wel een taak blijven die voorbehouden is aan crew.

[ Voor 3% gewijzigd door Cloud op 11-12-2020 19:50 ]

[JDVB]

Cloud schreef op vrijdag 11 december 2020 @ 16:50:
Rapportage per gebruiker zoals je voorstelt zou betekenen dat we in elk geval een deel van de moderaties zichtbaar maken voor niet-crew (ProMods) en dat is denk ik lastig houdbaar. Plus het geeft al snel een soort kliklijn/heksenjacht gevoel wat we denk ik moeten voorkomen. Dat zal wel een taak blijven die voorbehouden is aan crew.

Ik bedoel ook een automatische beoordeling die enkel anoniem door een pro mod gecontroleerd zou kunnen worden. Rapportage per gebruiker zonder dat daarbij een gebruikersnaam zichtbaar is. De pro mod weet dus niet wie hij beoordeelt (zou zelfs zichzelf kunnen zijn). Hoe dat dan een heksenjacht is snap ik niet helemaal.
Wat je hierbij wel hebt is een handmatige controle of de aangedragen mismoderaties daarwerkelijk zo schokkend zijn dat deze een notificatie verdienen.

In de gegeven notificatie naar de gebruiker toe hoeft ook niet te staan wie beoordeeld heeft, gewoon, een geautomatiseerd systeem heeft geconstateerd dat ... Bij herhaald misbruik worden moderatie rechten (tijdelijk) afgenomen.


En omdat de workload hierdoor door meer mensen gedragen kan worden zullen ook gevallen die minder frequent (sterk) onjuiste beoordelingen aandragen opgespoord en aangesproken kunnen worden.


Dus geen handmatige actie om een gebruiker in die que te krijgen, maar geautomatiseerd enkel met handmatige controle. Waarbij de workload voor de power mod verlaagd wordt door de pro mod door de niet zo schokkende gevallen ofwel niets mee te doen ofwel een standaard bericht te laten geven ofwel onder de aandacht van een power mod te brengen.

[ Voor 15% gewijzigd door JDVB op 11-12-2020 17:18 ]

[Dirk]

Op zich klinkt dit idee niet onaardig, daar valt wel wat goeds van te maken, maar het zal niet eenvoudig zijn en voor zover ik zicht heb op de dev-agenda, is het daarmee direct al redelijk kansloos. Qua complexiteit zal het in de buurt komen van "Topicreport" voor de Frontpage en je ziet zelf hoe lang we daar al mee bezig zijn...

[RoD]

Ik zie er niet direct heel veel winst in. We hebben al tools en templates om snel mismodders eruit te filteren en aan te schrijven. Ik zie er dan meer in om simpelweg strenger te zijn en sneller rechten te ontnemen. Niet geheel toevallig zijn we daar nu ook net mee bezig, om dat te bediscussiëren.

We willen niet een te grote drempel omdat we dan alle reacties niet meer gemodereerd krijgen, maar volgens mij is dat momenteel geen probleem, als je ziet hoeveel moderaties reacties gemiddeld krijgen. Dus, dan maar iets harder ingrijpen om het aantal mismoderaties terug te dringen.