Herijking moderatie frontpage

Pagina: 1
Acties:
  • 807 views

Acties:
  • +8 Henk 'm!

  • CAPSLOCK2000
  • Registratie: Februari 2003
  • Laatst online: 29-05 13:43

CAPSLOCK2000

zie teletekst pagina 888

Topicstarter
1. Welk probleem ervaar je?
Het aantal reacties op de frontpage in categerie +2 en +3 is erg laag, vrijwel alle posts komen op 0 of +1.

jaar+2+3
20145,75%0.48%
20152,77%0.17%
20164,08%0.29%
20175,55%0.43%
20185,01%0.29%
20195,41%0.34%
20205,33%0.29%
20215,51%0.25%
20223,99%0.08%
20232,59%0.03%
20242,14%0.03%


In twee jaar tijd is het aantal +3 posts met bijna 90% afgenomen en het aantal +2 posts is meer dan gehalveerd. In heel 2023 zijn er 154 reacties op +3 geeindigd, dit jaar lijkt ook die kant op te gaan, en het was al zo'n kleine categorie. Dat is minder dan 1 per twee dagen.

Ik weet niet waarom het zo is maar ik vind het zorgelijk.

Misschien is het niveau gedaald. Misschien zijn we strenger gaan modereren. Misschien is het nog iets anders. Misschien zijn er meerdere redenen. Wat de reden ook is, het systeem werkt zo niet goed.

Voor de duidelijkheid, dit komt niet doordat het totaal aantal reacties daalt aan het aantal totaal aantal reactes. Dat er steeds meer ongemodereerde posts zijn (zie Toename van ongemodereerde posts) is ook niet voldoende om deze trend te verklaren. Naast die andere trends daalt het aantal +2's en +3's ook nog eens.

2. Waarom is dat een probleem?
De doelstellingen van het moderatiesysteem worden zo niet bereikt. Dat zijn:

"De eerste en belangrijkste is het aanbrengen van een scheiding in de kwaliteit van de reacties, zodat bezoekers bij het lezen van reacties hier een filter op kunnen toepassen.

De tweede doelstelling van het moderatiesysteem is het belonen van gebruikers die reacties met een hoge kwaliteit plaatsen en anderzijds het ontmoedigen van users die ongewenste berichten posten
" https://tweakers.net/info/faq/karma/#tab:1-2

1. Als teveel posts in dezelfde categorie komen is het niet mogelijk om zinnig onderscheid te maken.
Filteren is daardoor steeds meer "alles of niets". Als je op +2 filtert heb je veel nieuwsartikelen slechts een enkele reactie. Bij +3 kun je dagenlang geen enkele reactie zijn. Maar als je op +1 filtert krijg je tientallen reacties te lezen. Dat gat is te groot. Het is prima als er mensen zijn die heel weinig reacties willen zien of heel veel, maar er moet ook iets tussen in zijn.

2. Beloningen worden steeds zeldzamer, Gebruikers worden dus minder aangemoedigd om hun best te doen.
De verhouding tussen straffen en belonen is daarmee ver zoek.
In plaats van aanmoediging ervaar ik tegenwoordig vooral ontmoediging.


Het is niet de eerste keer dat we hier mee te maken hebben:
@Femme screef op 20 april 2011:
Het aantal reacties met een +2- of +3-score is mede daardoor veel lager dan gewenst.
(...)
Op dit moment is het reactiefilter nauwelijks bruikbaar om reacties met een score hoger dan +1 te vinden, terwijl er duidelijk verschil is tussen reacties die slechts on-topic zijn (+1) en reacties die informatief zijn of die een waardevolle aanvulling op artikelen bieden (+2 en +3). De eisen die aan +2- en +3-reacties worden gesteld, zijn in de praktijk veel strenger dan de richtlijnen in de moderatiefaq rechtvaardigen.
20-04-2011 .plan: Tweakers.net vernieuwt moderatiesysteem

Dat is precies zoals ik het nu ervaar. Het verschijnsel is dus niet nieuw, maar de laatste twee jaar ervaar ik het als steeds knellender. Moderatie is niet meer motiverend is maar juist demotiverend, voor zoals schrijvers als lezers én moderatoren. Schrijvers voelen geen waardering voor hun werk. Moderatoren zien geen resultaat want vrijwel alle posts krijgen dezelfde score. Dan had je net zo goed niks kunnen doen.


3. Hoe vaak loop je er tegenaan?
Bij de meeste nieuwsartikelen op de frontpage.


4. Hoe ziet de ideale oplossing er voor jou uit?
Ik weet niet waarom de afname zo groot is, als daar een goede verklaring voor gevonden kan worden (bv een technische bug) dan moet daar uiteraard iets aan gedaan worden. Het gaat zo plots en zo hard dat ik denk dat er directe aanleiding is, maar ik weet niet wat.

- Een mogelijke technische verklaring is de aanpassing van user interface voor mobiele gebruikers die schijnbaar lastiger is voor sommigen.

- Een andere technische verklaring is dat we steeds meer eisen stellen voor gebruikers mee kunnen modereren.

- Gezien de timing is .plan: Wij willen een vriendelijker Tweakers verdacht.
De grote verandering is dat modrechten niet langer automatisch aangezet worden maar alleen op aanvraag.

Er zijn echter nog een hoop andere verklaringen mogelijk, ik weet het niet.

Dit is een echter terugkerend thema, zie het citaat van Femme uit 2011 hierboven. We hebben het dus eerder aangepakt en (in ieder geval tijdelijk) weten te verbeteren, maar het probleem is terug/nooit helemaal opgelost.
Er loopt nu ook al 4 jaar een discussie in Structureel te laag gemod maar die gaat geen kant op want niemand kan iets veranderen. Er is zelfs geen overeenstemming over de doelen en het nut van moderatie of uberhaupt het bestaan van een probleem, dus daar gaan we niet uit komen. Zelfs als iedereen in dat topic het eens zou zijn dan heeft nog niemand de mogelijkheid om iets te veranderen.
Tussendoor heeft @RoD het nog geprobeerd in Het aanpassen van de moderatiescores maar dat is ook verzand.

De laatste tijd gaat het zo hard dat ik niet meer kan wachten. We hebben eerder grote veranderingen gezien, maar nog nooit zo groot. De gemiddelde reactiescore is 1 jaar tijd van +0.74 naar +0.65 gedaald (exclusief ongemodereerde posts), afgerond wordt dat dus net +1. Nog twee jaar op deze manier verder en dan zal het gemiddelde onder de +0.5 dalen en komt de gemiddelde post op 0 terecht. Als we ongemodereerde posts meetellen dan is het gemiddelde al gedaald naar +0.4.


Daarom bij deze het verzoek om een verandertraject te beginnen en:
a. vast te stellen dat het een probleem is dat we nauwelijks nog +2 en +3 hebben,
b. te onderzoeken of er een directe aanleiding/verklaring is,
c. het moderatiesysteem zo aan te passen dat de doelen weer bereikt worden (onderscheid maken tussen de reacties en het waarderen van schrijvers voor hun reactie).


Concrete suggesties:
1. boost-punten
Breng enthousiasme terug. In 2011 hebben we dat gedaan met "boost"-punten. Dat had een dubbel voordeel, het gaf namelijk motivatie om als eerste een post te willen moderen. Zo werden dus niet alleen de schrijvers gemotiveerd maar ook de moderatoren zelf.
Ik zou dus voorstellen om weer een systeem zoals "boost"-punten in te voeren zodat ook moderatoren gemotiveerd worden.

2. Voeg meer niveau's doe aan het moderatiesysteem.
Met meer niveau's is het mogelijk om onderscheid te maken tussen posts die nu in dezelfde categorie komen. Er zijn enorme kwaliteitsverschillen tussen +1 reacties. Als we dan toch bijna niks hebben dat op +2 of +3 komt, maak het dan mogelijk om scheiding aan te brengen tussen de posts die we wel hebben.
Door meer niveau's toe te voegen hoeven we geen concessies te doen aan het hoogste niveau.
Het maakt mij niet uit of je dat "+1.5 en +2.5" noemt of "+4 en +5" worden.
Halve punten maakt het makkelijker om compatibel te blijven met het verleden.
Hoge scores voelen fijner, dat is ook iets waard.

3. Maak het makkelijker voor "casual" gebruikers om mee te modereren. Het is geen gunst om te mogen modereren, we moeten mensen stimuleren om mee te doen in plaats van barrieres op te werpen uit angst voor incompetente moderatie.

Ons moderatiesysteem is gebouwd op de aanname dat vele moderaties samen uitmiddelen naar de juiste score. Alle extra barrieres laten het echter steeds meer werken als een systeem met een klein aantal vaste moderatoren. Die doen hun werk over het algemeen prima maar ze zijn niet representatief voor de gemiddelde gebruiker omdat het vooral mensen zijn met heel veel kennis en (IT-)ervaring, veel meer dan de gemiddelde bezoeker. Hun inschatting van wat "nuttig" of "informatief" is, is gewoon heel anders. (Ik hoor daar zelf ook bij).
Terzijde: dat het aantal ongemodereerde reacties al jaren toeneemt is daar volgens mij ook gerelateerd aan de de steeds hogere barrieres.

4. Kanaliseer meningmodden door óók duimpjes toe te voegen.
De strijd tegen meningmodders is imho een te groot deel van moderatie geworden. Het voelt alsof we het kind met het badwater hebben weggegooid. Mensen willen graag een instemming/afkeur laten weten weten. Als ze geen hele post willen schrijven dan is het moderatiesysteem het enige middel dat ze hebben.
Dat kunnen we kanaliseren door "duimpjes" te laten geven naast het bestaande moderatiesysteem. Die hoeven niet eens een gevolg te hebben, als mensen maar een makkelijk manier hebben om zich te uiten zodat ze moderatie niet hoeven te misbruiken.

De normale reactie op "duimpjes" is "we willen geen reddit zijn" maar dat vind ik kortzichtig, op talloze andere sites werkt het prima, de wereld is veel groter dan reddit. ArsTechnica werkt ook met duimpjes en op die site ligt het niveau enorm hoog en is "meningmodden" een vrijwel onbekend concept. Het gebeurt wel eens maar aangezien het verder geen invloed heeft op filtering of sortering hoor je er nooit iemand over klagen.
ArsTechnica lijkt voldoende op Tweakers om een goede vergelijking te zijn, veel beter dan reddit of nu.nl


5. Herschrijf de moderatierichtlijnen volledig zodat iedereen opnieuw moet nadenken over de de juiste interpretatie in plaats van te vertrouwen op oude patronen.

Deze suggestie is een beetje een losse flodder. Het gaat niet om een specifiek verandering, maar verandering om de verandering, het doel is vastgeroeste patronen doorbreken. Net zoals het goed is om af en toe je kantoor opnieuw in te richten, dat maakt mensen creatiever en productiever.


In afsluiting: ons moderatiesysteem en de reacties die we hebben passen steeds minder goed bij elkaar.
Hierboven staan suggesties voor oplossingen maar ik heb de wijsheid niet in pacht. Het gaat mij om het probleem, niet om een specifieke oplossing.
Zorg dat moderatie past bij de praktijk, op wat voor manier dan ook.

Ik besef dat een grote vraag stel met veel onderdelen maar ik geloof niet dat we de tijd hebben om nog vijf jaar te gaan praten zonder verder te komen.

This post is warranted for the full amount you paid me for it.


Acties:
  • 0 Henk 'm!

  • CAPSLOCK2000
  • Registratie: Februari 2003
  • Laatst online: 29-05 13:43

CAPSLOCK2000

zie teletekst pagina 888

Topicstarter
kick

This post is warranted for the full amount you paid me for it.


Acties:
  • +2 Henk 'm!

  • XWB
  • Registratie: Januari 2002
  • Niet online

XWB

Devver
Topic verplaatst naar Frontpagemoderatie

Voor dit soort features geldt dat er eerst (aangepast) beleid gemaakt moet worden alvorens development ook maar iets kan betekenen.

March of the Eagles


Acties:
  • 0 Henk 'm!

  • CAPSLOCK2000
  • Registratie: Februari 2003
  • Laatst online: 29-05 13:43

CAPSLOCK2000

zie teletekst pagina 888

Topicstarter
XWB schreef op donderdag 17 oktober 2024 @ 12:09:
Voor dit soort features geldt dat er eerst (aangepast) beleid gemaakt moet worden alvorens development ook maar iets kan betekenen.
Dat zitten we in een deadlock want Frontpagermoderatie heeft net vastgesteld dat we niet in staat zijn om beleid te maken zonder commitment van Tweakers. Zie ook Toename van ongemodereerde posts .

Ik citeer:
Bor schreef op woensdag 16 oktober 2024 @ 12:25:
Het wel uiteindelijk aan Tweakers om te bepalen wat ze met de input gaan doen.
jdh009 schreef op woensdag 16 oktober 2024 @ 19:50:
Klopt, uiteindelijk moet dit door Tweakers worden opgepakt.
RoD schreef op woensdag 16 oktober 2024 @ 21:31:
Klopt. Uiteindelijk hebben wij niet zoveel meer invloed dan niet-crew.
Zo blijft iedereen maar over en weer wijzen terwijl het schip zinkt.

[ Voor 52% gewijzigd door CAPSLOCK2000 op 17-10-2024 12:21 ]

This post is warranted for the full amount you paid me for it.


Acties:
  • 0 Henk 'm!

  • jdh009
  • Registratie: Juni 2002
  • Laatst online: 22:07

jdh009

FP ProMod
CAPSLOCK2000 schreef op donderdag 17 oktober 2024 @ 12:12:
[...]


Dat zitten we in een deadlock want Frontpagermoderatie heeft net vastgesteld dat we niet in staat zijn om beleid te maken zonder commitment van Tweakers. Zie ook Toename van ongemodereerde posts .

Ik citeer:

[...]


Zo blijft iedereen maar over en weer wijzen terwijl het schip zinkt.
Klopt, maar ik wil wel duidelijk maken dat ik niet bij het frontpagemoderatie- of adminteam hoor; ik ben gewoon een gebruiker. Ik heb geen speciale rechten of connecties om in te grijpen of actie te ondernemen. ProMods hebben ook geen rode naam, waarmee Tweakers-medewerkers of (admin/forum)crew herkenbaar zijn. We zijn dus gewone gebruikers, alleen telt 'onze' moderatiescore zes keer mee in plaats van twee of één keer. Van de drie die jij citeert, is mijn bijdrage meer een persoonlijke conclusie van een 'normale' gebruiker, en qua waarde net zo relevant of irrelevant als een reactie van jou of iedere willekeurige andere gebruiker.

Wie er verantwoordelijk is en de rol op zich zou moet nemen, is duidelijk: Tweakers (de medewerkers daarvan) zelf. Vanuit Tweakers wordt er volgens mij niet teruggewezen, maar er lijkt geen consensus te zijn of er is geen/beperkte tijd om hier überhaupt naar te kijken, omdat het laag op de prioriteitenlijst staat. Van Moonsugar hebben we 1,5 maand geleden iets gehoord, wat geen afwijzing was, maar wel dat het een lage prioriteit heeft vanwege tijdgebrek. Van devvers is er nog geen reactie geweest in de diverse topics, zover ik kan vinden, over dit onderwerp, teruggaand tot deze: RoD in "Het aanpassen van de moderatiescores"

"Each event is preceded by Prophecy. But without the hero, there is no Event." - Zurin Arctus, the Underking | "Ad Nocendum Potentes sumus." - Me, 30 November 1999


Acties:
  • +1 Henk 'm!

  • CAPSLOCK2000
  • Registratie: Februari 2003
  • Laatst online: 29-05 13:43

CAPSLOCK2000

zie teletekst pagina 888

Topicstarter
jdh009 schreef op donderdag 17 oktober 2024 @ 12:46:
Klopt, maar ik wil wel duidelijk maken dat ik niet bij het frontpagemoderatie- of adminteam hoor;
Duidelijk, dat heb ik ook niet anders bedoeld. Mijn punt is vooral dat er binnen Frontpagemoderatie overeenstemming is dat we er zo niet uit gaan komen en dat komt van verschillende kanten.
Wie er verantwoordelijk is en de rol op zich moet nemen, is duidelijk: Tweakers (de medewerkers daarvan) zelf.
Vanuit Tweakers wordt er volgens mij niet teruggewezen, maar er lijkt geen consensus te zijn
Na zoveel jaren van discussie lijkt me duidelijk dat die concensus er nooit gaat komen. Daarnaast kan ik me niet herinneren dat er in het verleden wel consensus is gezocht, zoals bijvoorbeeld bij de "Wij willen een vriendelijker Tweakers" update. Die was er opeens. Er is achter de schermen vast het een en ander besproken maar dat is anders dan brede consensus.
Ik snap dat Tweakers geen democratie is, maar juist daarom voelt vragen om consensus als een doodlopend pad.
of er is geen/beperkte tijd om hier überhaupt naar te kijken, omdat het laag op de prioriteitenlijst staat. Van @Moonsugar hebben we 1,5 maand geleden iets gehoord, wat geen afwijzing was, maar wel dat het een lage prioriteit heeft vanwege tijdgebrek.
Maar staat het ergens op de prioriteitenlijst? Is het uberhaupt voorgedragen? Ik krijg de indruk dat het juist niet op de lijst staat omdat er geen concreet voorstel is. Dat is op zich heel logisch maar dan moet er wel een pad zijn om tot een concreet voorstel te komen. We hebben het veel over consensus maar we hebben niet eens een manier om vast te stellen of er consensus is.

Overigens zijn er wel concrete voorstellen gedaan, zoals door RoD, mijzelf en nog heel wat anderen, maar er is altijd wel iemand tegen. 100% consensus zal het nooit worden.

[ Voor 3% gewijzigd door CAPSLOCK2000 op 17-10-2024 13:12 ]

This post is warranted for the full amount you paid me for it.


Acties:
  • +1 Henk 'm!

  • naitsoezn
  • Registratie: December 2002
  • Niet online

naitsoezn

Nait Soez'n!

CAPSLOCK2000 schreef op donderdag 17 oktober 2024 @ 12:12:
[...]


Dat zitten we in een deadlock want Frontpagermoderatie heeft net vastgesteld dat we niet in staat zijn om beleid te maken zonder commitment van Tweakers. Zie ook Toename van ongemodereerde posts .

Ik citeer:

[...]


[...]


[...]


Zo blijft iedereen maar over en weer wijzen terwijl het schip zinkt.
Volgens mij valt het wel mee wat deadlock betreft. Het is alleen een keuze waar jij het niet mee eens bent (wat prima is overigens):
(...)
Om te beginnen wil ik vanuit HQ wat duidelijkheid geven over hoe wij denken over het moderatiesysteem.
(...)
De conclusie is dus dat wij erkennen dat het systeem niet perfect is, maar we vinden dat het op dit moment voor ons werkt. We hebben op korte termijn geen plannen om het rigoureus te veranderen omdat er voor Tweakers momenteel andere prioriteiten zijn.
Moonsugar in "Toename van ongemodereerde posts"

Oftewel: Het is zoals het is en dat gaat niet veranderen. Da's geen deadlock, da's een beleidskeuze :) .

't Het nog nooit, nog nooit zo donker west, of 't wer altied wel weer licht


Acties:
  • 0 Henk 'm!

  • CAPSLOCK2000
  • Registratie: Februari 2003
  • Laatst online: 29-05 13:43

CAPSLOCK2000

zie teletekst pagina 888

Topicstarter
naitsoezn schreef op donderdag 17 oktober 2024 @ 13:14:
Volgens mij valt het wel mee wat deadlock betreft. Het is alleen een keuze waar jij het niet mee eens bent (wat prima is overigens):

Oftewel: Het is zoals het is en dat gaat niet veranderen. Da's geen deadlock, da's een beleidskeuze :) .
Fair enough. Ik zal beter moeten onderbouwen dat er een dringend probleem is. Will do.

This post is warranted for the full amount you paid me for it.


Acties:
  • +1 Henk 'm!

  • Dirk
  • Registratie: November 2004
  • Laatst online: 28-05 13:26

Dirk

Coördinator frontpagemoderatie
Zoals al die reacties aangeven, er is geen consensus, ook niet binnen de crew, waar de consensus het belangrijkste is. Dan valt er ook geen beleid te maken. Er is geen ruimte voor experimenten, maar dat is ook logisch, want er is veel ontwikkelingscapaciteit nodig om zulke experimenten uit te voeren op een groot systeem als de frontpagemoderatie en bovendien is het heel ingrijpend op de gebruikerservaring, waardoor een dergelijk experiment ook zorgvuldig uitgevoerd moet worden, wat nog meer tijd kost.

Wat mij betreft zitten we ook op het punt dat technisch ingrijpen eigenlijk weinig zin heeft, tenzij er een compleet nieuw systeem komt. Hiervoor zijn in het verleden verschillende voorstellen gedaan, maar ik heb geen voorstellen gezien die meer of betere voordelen en minder nadelen hebben dan het huidige systeem. Ik heb de indruk dat de meeste van mijn collega's hier hetzelfde over denken. De nadelen van het huidige systeem zitten dan ook (voornamelijk) in het menselijk gedrag en dat kun je slechts minimaal aanpakken met technische maatregelen, je moet gewoon blijven sturen.

De technische maatregelen waar ik wel wat in zie zijn dan ook klein en van cosmetische aard en zullen geen grote veranderingen te weeg brengen.

Ik zie ook geen urgent probleem, de kale statistiek waar je hier mee aankomt kan bijvoorbeeld al op twee manieren uitgelegd worden: er worden nu goede reacties over het hoofd gezien die op +2 of +3 zouden moeten staan, of er werden in het verleden meer reacties onterecht op +2 of +3 gezet. Sowieso zie ik geen snelle ontwikkelingen die snel ingrijpen vereisen. Ik vind het dan ook terecht dat het moderatiesysteem op het HQ een lage prioriteit heeft.

Om jouw voorstellen eens door te lopen:
1. Boostpunten: deze zijn niet voor niets verwijderd. Ze werden vaker gebruikt om te mismodden dan om te helpen bij goede moderaties.

2. Meer niveaus: reacties zijn geen films, ze hebben over het algemeen onvoldoende detail om ze effectief op een fijne niveauverdeling te beoordelen.

3. Het moderatiesysteem toegankelijker voor incidentele gebruikers en gebruikers aan de zijlijn: we hebben hier juist bewust de teugels aangetrokken omdat we bij deze groep veel mismoderaties zagen, terwijl ze vanwege hun lage aantallen moderaties per gebruiker en grootte van de totale groep nauwelijks te sturen waren.

4. Duimpjes toevoegen: dit is vaker besproken en dit heeft minstens zoveel nadelen als voordelen, waarbij ik de nadelen van extra complexiteit en gebrek aan eenduidigheid zeer zwaar vind wegen.

5. De richtlijnen herschrijven: als het doel van het systeem gelijk blijft zullen ze in essentie niet veranderen. Sowieso heeft een systeemreset altijd maar een kortdurend effect.

Maar goed, effectief zijn we de discussies uit Toename van ongemodereerde posts, Structureel te laag gemod en Het aanpassen van de moderatiescores aan het herhalen, dus een extra topic voegt maar weinig toe. Ik sluit dit topic dan ook, de discussie kan verder in die andere topics.

All statements are true in some sense, false in some sense, meaningless in some sense, true and false in some sense, true and meaningless in some sense, false and meaningless in some sense, and true and false and meaningless in some sense.

Pagina: 1

Dit topic is gesloten.