Moonsugar schreef op donderdag 18 juli 2024 @ 16:08:
Hoi @
CAPSLOCK2000 en anderen,
Allereerst wil ik zeggen dat ik het geweldig vind hoeveel moeite je hebt gestoken in de analyse van de moderaties. Daarom neem ik ook graag de tijd om hier een goede reactie op te geven. Met een goede kop koffie heb ik het hele topic doorgenomen en ik zie een hoop interessante punten.

Bedankt voor de uitgebreide reactie.
De meeste van ons, inclusief mezelf, vinden dat het systeem momenteel goed genoeg werkt en bij Tweakers past, maar dat het altijd beter kan en zeker niet perfect is. Het is echt een onderdeel waar de meningen enorm over verdeeld zijn.
Ik stel dan ook geen radicale aanpassingen voor maar imho relatief kleine tweaks. Ik wil niks aan de geest van het systeem veranderen, alleen verder verfijnen.
Ik zie hier veel interessante punten en vooral ook een sterke wens om duidelijkheid vanuit ons te krijgen. De conclusie is dus dat wij erkennen dat het systeem niet perfect is, maar we vinden dat het op dit moment voor ons werkt. We hebben op korte termijn geen plannen om het rigoureus te veranderen omdat er voor Tweakers momenteel andere prioriteiten zijn.
Ik verwacht niks op korte termijn, maar als we op lange termijn iets willen veranderen zullen we ergens moeten beginnen. De laatste verandering is al weer 2 jaar geleden en de laatste grote verandering is 9 jaar geleden. Dat lijkt mij voldoende tijd om er nog eens naar te kijken.

Het is belangrijk om te benoemen dat de organisatie bij Tweakers helaas niet is ingericht om snel en makkelijk op feedback in te spelen. Vaak is de planning voor een jaar al redelijk bepaald en is het lastig om zaken die niet urgent zijn ertussen te krijgen.
Een jaar zie ik als korte termijn. De vorige discussie over het moderatiesysteem heeft 4 jaar gelopen:)
Aangezien we het over trends hebben van vele jaren hoeven we niet hals-over-kop iets te gaan veranderen.
Het moderatiesysteem valt daar momenteel onder. Rond de tijd van mijn .plan over Vriendelijker Tweakers heeft het moderatiesysteem veel technische aandacht gehad, waardoor het nu minder snel steun krijgt om weer aan te sleutelen.
Heeft Tweakers intern een evaluatie gedaan van die veranderingen?
Mijn vermoeden is namelijk dat die veranderingen een negatief effect hebben gehad op het aantal moderaties terwijl dat toch al de verkeerde kant op ging.
Intern is het voor ons ook een uitdaging om aandacht te krijgen voor verschillende onderdelen van Tweakers, dus ik begrijp het gevoel beter dan je misschien denkt! Ik heb namelijk genoeg ideeën voor het verbeteren van zaken in de community. Een tipje van de sluier: bijvoorbeeld het verbeteren van het karmasysteem zodat het weer echt wat betekent om karma te verdienen, en dat die badges niet gaan om wie er het meest kan roeptoeteren.

Owje, daar gaat mijn karma... Tegen! ;
Zonder gekheid ben ik helemaal voor, dat ik de badge "Amsterdam" heb is op z'n best opmerkelijk.
Dat er minder wordt gemodereerd, is in mijn optiek dus iets wat de moeite waard is om te onderzoeken (nog even los van de spreiding van de gegeven punten en wat we daarvan vinden, ik begin liever iets simpeler).
<knip>
De doelen van moderaties zijn namelijk precies zoals al wordt genoemd: ervoor zorgen dat waardevolle bijdragen worden gescheiden van minder waardevolle bijdragen en het belonen van schrijvers van deze waardevolle bijdragen. Als veel ongemodereerd blijft, behalen we die doelen minder goed.
Ik ben blij dat je dat ook zo ziet.
Ik heb uiteraard toegang tot allerlei data om hierin te duiken en te bevestigen hoe ernstig dit eraan toe zou zijn.
Ah, jou zocht ik dus al die tijd

Dan vind ik het ook interessant om te kijken waaraan dat dan zou liggen en welke invloed wij daarop kunnen uitoefenen. Ik moet nog even bekijken in welke vorm we dit een vervolg kunnen geven, maar het lijkt me leuk om dit met elkaar eventueel in dit topic te doen. Het heeft wel even tijd nodig om de benodigde zaken op te vragen (en het is vakantietijd, dus wees lief voor me)
Wat hebben we dan nodig? Ik vond de eerste voorbeelden van @
jdh009 in elk geval wel sterk:
- Hoeveel gebruikers zitten net op het randje van mogen modereren?
- Hoeveel gebruikers hebben een moderatiescore van 0.5 maar hebben modereren uitgeschakeld?
Daaraan zou het gemiddelde percentage van ongemodereerde reacties per artikel (even puur op Nieuws en Reviews omdat dat constante factoren zijn) willen toevoegen om een conclusie te kunnen trekken.
Omdat mijn vermoeden is dat we te weinig actieve moderatoren hebben zou ik daar naar willen kijken. Daarvoor zou ik naar de volgende gegevens kijken:
- Hoeveel verschillende moderatoren zijn er actief in een bepaalde periode?
- Hoeveel moderaties doet de gemiddelde moderator in zo'n periode?
- Is het werk breed gedragen of wordt het meeste werk gedaan door een klein groepje harde werkers?
.. en hoe veranderen deze punten door de tijd heen, met name sinds moderatierechten moeten worden aangevraagd (21-09-2022) ?
- Hoeveel posts hebben (alleen) één +3 moderatie die niet is geeffectueerd omdat die score niet is bevestigd?
Dat is een indicatie van pareltjes die verborgen zijn gebleven door te weinig moderaties.
Een andere aanpak, waar ik zelf niet aan durfde te beginnen, is kijken naar hoe de reacties en moderaties van (groepen) individuele gebruikers die hier al lang rondlopen veranderen. Als we aannemen dat mensen niet snel veranderen dan kun je aannemen dat wie 10 jaar geleden veel goede posts deed dat nu ook zal doen, en omgekeerd. Idem voor moderatie. Wie nu streng modereert deed dat 10 jaar geleden waarschijnlijk ook, en omgekeerd.
Het doel is daarbij niet om specifieke mensen aan te wijzen die iets goed of fout doen, maar om een vinger te krijgen achter de vraag of de reacties zijn veranderd of de moderaties, of dat het heel ergens anders in zit.
Nog leuker zou het zijn om moderatiebots te bouwen die we trainen op reacties en moderaties uit verschillende tijdperken. Vervolgens kunnen we evalueren hoe die bots het doen in andere tijdperken. Zou een moderator 10 jaar gelden dezelfde beslissingen maken als nu of niet? Ik vrees alleen dat dit een juridisch wespennest is.
Ik geef alvast aan dat ik sinds ongeveer twee jaar actiever met data werk en daar nog altijd veel over leer. Ik ben dus nog geen expert en sta open voor suggesties! Ik denk dat we met deze drie zaken al snel een aardig betrouwbare conclusie kunnen trekken over de situatie.
Ik denk graag mee.
Het beste lijkt me te beginnen met (hopelijk) bevestigen van mijn data. Het zou vrij eenvoudig moeten zijn om het percentage ongemodereerde posts over de tijd heen te controleren.
Aanvullend ben ik ook benieuwd of we schommelingen zien sinds de GUI-aanpassingen. Ik moet alleen even uitzoeken sinds wanneer dat is aangepast (tenzij iemand dat ergens al heeft gevonden, ik weet dat niet uit mijn hoofd).
Dat zou ik ook wel willen weten.
Wat andere significante punten in de geschiedenis van het moderatiesysteem:
14-06-2009 Introductie +3
.plan: Moderatiesysteem getweakt
06-01-2015 Sorteren op kwaliteit
.plan: Development-round-up - Iteratie #62
27-01-2015 Modoverzicht
.plan: Development-round-up - Iteratie #63
12-05-2015 Karmabadges
.plan: Tweakers introduceert nieuw karmasysteem
12-05-2015 Filter Ongemodereerd
.plan: Development-round-up - Iteratie #68
15-09-2015
.plan: Development-round-up - Iteratie #74
2020-2022 Covid19
21-09-2022 Modrechten-op-aanvraag
.plan: Wij willen een vriendelijker Tweakers
This post is warranted for the full amount you paid me for it.