Moderatie score berekening: kan dat niet beter?

[Joop]

Het valt me wel eens op dat (in zijn algemeenheid) er vrij weinig reacties hoger dan +1 als eindscore krijgen. Vrij weinig op het totaal aantal reacties in ieder geval. Dat kan uiteraard komen door het lage niveau hier , maar ook omdat het moderatiesysteem niet optimaal werkt.

Filteren in artikelen met vrij veel reacties op +2 of +3 is vaak niet echt zinvol omdat er dan heel weinig meer over blijft. Ik heb de indruk dat er een categorie reacties is die interessanter zijn dan de standaard +1, maar in het huidige systeem daar niet boven uit komen qua score.

Vandaag zag ik bijvoorbeeld ook een +1 reactie, met de volgende moderaties:

8x +1
2x +2
2x +3

Mediaan: 1
Effectief: +1

Door de mediaan berekening, en de kennelijke eigenschap van veel mensen om niet echt scheutig te zijn met +2's of +3's, zal een reactie niet snel boven +1 uit komen. Waarom wordt er niet een andere berekening gehanteerd die er voor zorgt dat dit soort reacties wat sneller op +2 komen?

Als ik bijvoorbeeld het gemiddelde bereken bij deze reactie (8x1 + 2x2 + 2x3)/12 kom ik uit op 1,5. Dat zou met een afronding al op +2 komen.

Ik ben overigens totaal geen expert op het gebied van statistiek, en er zijn vast nog wel betere opties qua berekening dan een simpel gemiddelde. (Iets met een ingewikkeldere weging.) Maar ik heb wel het idee dat hier een beetje een gemiste kans zit om meer reacties die qua kwaliteit wat hoger zijn, ook op een hogere eindscore te laten komen.

[AGee]

Waarom zou een reactie met 8x +1 en 4x hoger op hoger dan +1 uit moeten komen?

[Joop]

Om hij kwalitatief kennelijk duidelijk beter is dan een andere reactie die bijvoorbeeld alleen maar 8x +1 krijgt. Maar door het huidige systeem komen ze op dezelfde +1 hoop.

[AGee]

Joop schreef op donderdag 11 oktober 2018 @ 19:36:
Om hij kwalitatief kennelijk duidelijk beter is dan een andere reactie die bijvoorbeeld alleen maar 8x +1 krijgt. Maar door het huidige systeem komen ze op dezelfde +1 hoop.

In dit specifieke voorbeeld zou één mismod van +2 of +3 er al voor zorgen dat ie op 1.5 uitkomt. Immers, 8x1, 1x2 en 2x3 komt afgerond al uit op +1. Het hele idee van de mediaan is juist om de mismodders (de outliers) een lager gewicht te geven.

[Bor]

Joop schreef op donderdag 11 oktober 2018 @ 19:36:
Om hij kwalitatief kennelijk duidelijk beter is dan een andere reactie die bijvoorbeeld alleen maar 8x +1 krijgt.

Dat kun je niet direct zo stellen zonder naar de daadwerkelijke post te kijken. We maken expres gebruik van de mediaam om mismoderaties zo weinig mogelijk invloed te laten hebben.

In het voorbeeld met 8x +1 en 4x hoger is de kans groot dat een reactie daadwerkelijk op +1 behoort, zeker wanneer bij de 4x hoger een +3 zit bijvoorbeeld. Vroeger werd er met het gemiddelde gewerkt wat niet goed bleek te werken.

Dat er meer reacties hoger dan +1 mogen zijn ben ik absoluut met je eens. Ze moeten dat echter wel verdienen.

[Voor 8% gewijzigd door Bor op 11-10-2018 19:44]

[Joop]

Mismoderaties is iets waar je rekening mee moet houden inderdaad. Al heb ik zelf geen idee hoe groot dat probleem overigens is. Mogelijk heb je daar ook meer last van aan de onderkant (onterechte -1's) dan aan de bovenkant? Met een wat ingewikkeldere formule zou je daar dan rekening mee kunnen houden.

Ik heb eens gekeken bij de voorbeeld reactie wat er voor nodig is om op +2 uit te komen. Er zouden dan 5 extra +2's of +3's bij moeten komen! Totaal 8x1, 2x2, 7x3. Dat gaat dus niet gebeuren bij een dergelijke reactie.

Maar stel je zegt bijvoorbeeld dat als 30% van de moderaties het +2 of hoger vindt, dan wordt het automatisch minimaal een +2. En als 40% zegt +3, dan automatisch +3. Je kan er ook nog iets bij doen dat bij deze regels pas actief zijn als er totaal minimaal 8 moderaties zijn gegeven.

De exacte percentages/aantallen moet je uiteraard beter naar kijken, maar iig een systeem wat dus een slimmere weging maakt.

[Bor]

Bedankt voor de reactie. We hebben gezocht naar een methode die simpel en doeltreffend is. Dat blijkt op dit moment nog steeds de mediaan te zijn. De ervaring is dat een ingewikkelder systeem met meer parameters niet altijd beter werkt. Ik verwacht op dit punt op korte termijn geen veranderingen.

[hans3702]

Bor schrijft: Dat er meer reacties hoger dan +1 mogen zijn ben ik absoluut met je eens. Ze moeten dat echter wel verdienen."

Zolang gebruikers het mod systeem (mis)bruiken als [ik ben er mee eens]/ [ik ben het niet mee eens], is het voor een behoorlijk deel van de reacties erg lastig om een score te krijgen die de leeswaardigheid eer aan doet. wat voor gebruikers die het systeem willen gebruiken om filtreren er niet veel aan hebben als alles op 1 staat

[Frozen]

Bor schreef op donderdag 18 oktober 2018 @ 09:32:
Bedankt voor de reactie. We hebben gezocht naar een methode die simpel en doeltreffend is. Dat blijkt op dit moment nog steeds de mediaan te zijn. De ervaring is dat een ingewikkelder systeem met meer parameters niet altijd beter werkt. Ik verwacht op dit punt op korte termijn geen veranderingen.

Dat is ook duidelijk de mediaan, welke veel robuuster is met betrekking tot "outliers". Ik wacht nog steeds op het moment dat de mediaan ook wordt ingevoerd bij userreviews...

[hans3702]

een mediaan bepaalen van -1 0 +1 +2 +3 is een aardige gedachte echter als je de betekenis van de -1 mee neemt in deze beoordeling en dan naar een scorekaart als

+3 Spotlight 2
+1 On-topic 8
0 Off-topic / Irrelevant 2
-1 Ongewenst 8

kijkt denk ik dat je er behoorlijk naast zit wat de waarde van het bericht is, het lijkt mij dat er als er meer + waarneming zijn dat er behoorlijk gedownmod is

Hoe het ook zou kunnen.
Mogelijk kijken naar boxen / ijsdansen , paardrijden enz waar de uiterste jury beoordelingen niet mee tellen, of bv de waardes buiten de standaard verdeling minder zwaar mee wegen
bij weg laten is het wel een heel poldermodel.
Wikipedia: Normale verdeling

[MsG]

hans3702 schreef op dinsdag 23 oktober 2018 @ 18:30:
Bor schrijft: Dat er meer reacties hoger dan +1 mogen zijn ben ik absoluut met je eens. Ze moeten dat echter wel verdienen."

Zolang gebruikers het mod systeem (mis)bruiken als [ik ben er mee eens]/ [ik ben het niet mee eens], is het voor een behoorlijk deel van de reacties erg lastig om een score te krijgen die de leeswaardigheid eer aan doet. wat voor gebruikers die het systeem willen gebruiken om filtreren er niet veel aan hebben als alles op 1 staat

En dat bevestigt juist m.i. waarom het goed is dat reacties maar scheutig omhoog gaan. 8X +1 en 4 X +2 is veelal vaker een paar meningmodders die het +2'en dan dat er 8 keer verkeerd wordt gewaardeerd. Maar zonder concrete posts blijft dit speculatie. Het valt mij meer op dat er in een thread vaak gewoon maar weinig goede posts worden gemaakt. De boostpunten en het verkrijgen er van zijn natuurlijk wel bedacht om eens wat meer durven +2 te waarderen.

[hans3702]

De door mij genoemde score is in een post van mij over Firefox 63 terug te vinden, zelf denk ik dat het een 0 behoort te zijn tov van het bericht of een kleine 1 tov waar het een reactie op is. Zowel de -1 als score hoger dan +1 zijn volgens mij up en down modders

Aanvulling: het betrefende bericht heeft nu ook een +1 score maar dat de score nu "juist" is wil nog niet zegen het het op juiste gronden zo is. Als je het score verloop in de tijd ziet is dat denk ik duidelijk het begin met 0, 0 -1 -1 -1 -1 -1 en een dag later kwamen de upmodders die het gecorrigeerd hebben maar ook dat is eigenlijk niet de manier. Het zou ook kunnen dat mijn aanvulling dat heeft veroorzaakt, maar daar had ik eigenlijk nog meer -1 op verwacht.

Voor het gemak: hans3702 in 'downloads: Mozilla Firefox 63.0'

[Voor 54% gewijzigd door hans3702 op 25-10-2018 13:32]

[zion]

Om even een duit in het zakje te doen,

Als je de sportmoderatie methode er overheen gooit, zou je in principe al een heel eind moeten komen:
Je gooit de hoogste en laagste score (1x) weg, en gebruikt van het overgeblevene het gemiddelde. (ik reken powermods hier even buiten).

Voorbeeld zoals hierboven aangehouden:
8x +1
2x +2
2x +3

- 1x laagste, -1x hoogste.

Effectief: 7x +1, 2x +2, 1x +3 = 7+4+3=14, gedeeld door 10 (12 totaal - 1x laagste, 1x hoogste) = 1,4 = 1
Bij 3x +2 is het dan nog steeds 1 (1,45), bij 4x +2 (1,5), of 2x +2 en 3x +3 (1,55) wordt het dan
Effectief 7x 1, 3x 2, 1x 3 = 7+6+3=16 / 11 = 1,45 = 1
Effectief 7x 1, 4x 2, 1x 3 = 7+8+3=18 / 12 = 1,5 = 2
Effectief 7x 1, 2x 2, 2x 3 = 7+6+6=17 / 11 = 1,55 = 2

En als er 8x +1 wordt gegeven, maar ook 4x +2 en 2x +3 is het zeer waarschijnlijk te noemen dat de reactie +2 verdient. Zelfde als je 8x +1 krijgt, en 1x -1, dan is die -1 hoogstwaarschijnlijk een meningmod, en wordt dan automagisch weggefilterd.

Op die manier vang je ook de meningmod van een individu af (de uitschietende +3 of -1 die nergens op gestoeld is)

Om helemaal los te gaan, en ook foutieve boost-mods gedeeltelijk af te vangen zou je bij hele actieve post-mods dit kunnen opschalen, door bijvoorbeel 0-15 mods = -1x hoog/laag, 15-30 mods -2x hoog-laag, etc... te doen, maar nu sla ik een beetje door

[Voor 10% gewijzigd door zion op 29-08-2019 11:24]

[Zeehond]

Door de huidige methode met de mediaan worden afwijkende scores ook gewoon eruit gefilterd .

[zion]

Zeehond schreef op donderdag 29 augustus 2019 @ 13:47:
Door de huidige methode met de mediaan worden afwijkende scores ook gewoon eruit gefilterd .

Ja, dat zal wel, maar de mediaan is niet eerlijk, want:

The median is a measure of central tendency. It represents the value for which 50% of observations a lower and 50% are higher. Put simply, it is the value at the center of the sorted observations.

Dus: als Jan met de Pet 20x iets denkt heeft Jan met de pet gelijk. Hier wordt compleet voorbij gegaan aan juist de mensen die wél modereren zoals het in de Moderatie FAQ staat.

Median formulas
This calculator uses two different formulas for calculating the median, depending on whether the number of observations is odd, or it is even:

When the number of observations is odd the formula is:

$ x_m = x_\frac{n+1}{2}$

When the number of observations is even the formula is:

$ x_m = \frac{x_\frac{n}{2}+x_\frac{n+2}{2}}{2}$

where n is the number of observations.

Dit betekend dus dat er altijd naar beneden afgerond wordt*, bovenop het feit dat het al niet eerlijk is dat JmdP sowieso al altijd gelijk krijgt.

*de betere term is, naar de grootste hoop, wat normaliter naar beneden zal zijn, maar zo zou je dus ook een +2 kunnen geven als iemand een 6x boost +2 geeft terwijl er 3 mensen een terechte +1 geven, central tendency at work.....

[Voor 8% gewijzigd door zion op 01-09-2019 02:13]

[mae-t.net]

Zeehond schreef op donderdag 29 augustus 2019 @ 13:47:
Door de huidige methode met de mediaan worden afwijkende scores ook gewoon eruit gefilterd .

Maar wel op een minder subtiele manier. Door de mediaan te gebruiken gooi je niet een enkele outlier eruit, maar een groter aantal moderaties waar dan kennelijk toch wel een beetje over nagedacht is.

[Zeehond]

Andersom werkt bovenstaande voorgesteld rekenmethode ook door in het corrigeren van scores. Een +3 die een +1 is zal mogelijk langer op +2 blijven hangen en is dus lastiger te corrigeren. In dat opzicht los je wellicht in sommige situaties een nadeel op, maar introduceer je ook weer op nieuwe punten nieuwe nadelen.

[SRich]

hans3702 schreef op donderdag 25 oktober 2018 @ 13:00:
De door mij genoemde score is in een post van mij over Firefox 63 terug te vinden, zelf denk ik dat het een 0 behoort te zijn tov van het bericht of een kleine 1 tov waar het een reactie op is. Zowel de -1 als score hoger dan +1 zijn volgens mij up en down modders

Aanvulling: het betrefende bericht heeft nu ook een +1 score maar dat de score nu "juist" is wil nog niet zegen het het op juiste gronden zo is. Als je het score verloop in de tijd ziet is dat denk ik duidelijk het begin met 0, 0 -1 -1 -1 -1 -1 en een dag later kwamen de upmodders die het gecorrigeerd hebben maar ook dat is eigenlijk niet de manier. Het zou ook kunnen dat mijn aanvulling dat heeft veroorzaakt, maar daar had ik eigenlijk nog meer -1 op verwacht.

Voor het gemak: hans3702 in 'downloads: Mozilla Firefox 63.0'

Persoonlijk vind ik dat de enige score daarvoor een -1 is. Schoolmeestergedrag is no-go hier