Reactiesortering op kwaliteit - voorbeeld!

[Femme]

Hi,

We hebben in deze iteratie een ticket om research te doen naar sortering van reacties op kwaliteit en wat voor een algoritme we daarvoor kunnen gebruiken. Ik kon niet laten om zelf ook even wat te experimenteren. Er is niets leukers dan het bedenken van leuke wegingsalgoritmen.

Ik heb even een prototype van de reactiesortering gebouwd met reacties uit de iPhone 6-review. Dit artikel had 470 reacties waarvan 60x -1, 132x 0, 264x +1, 11x +2 en 3x +3.

De weging van een reactie wordt in het voorbeeld bepaald door het volgende te doen:

PHP:

if ($score < 0 || $score > 1)
        {
            $score = $score * 2;
        }
        $weight = $score * abs($score) * 5;

Dit resulteert in
-1 => -20
0 => 0
1 => 5
2 => 80
3 => 180
+2 en +3 post tellen dan net zo zwaar als respectievelijk 16 en 36 gewone +1-posts. Misschien een beetje heftig maar dat kunnen we nog tweaken.

De weging van een thread wordt gedaan door het totaal van de wegingen te delen door pow(reactieaantal, 0.65). Dit is een middenweg tussen een gemiddelde score (waarbij korte threads met alleen hoogwaardige reacties in het voordeel zijn) en een totaal (waarin langere threads in het voordeel zijn). Bij alleen gebruik van een gemiddelde score zie je dat halverwege de pagina alleenstaande +1-reacties voorrang krijgen boven threads waarin +1, 0 en -1 reacties voorkomen. Ik denk dat die threads wat interessanter zijn voor de lezer dan alleenstaande reacties.

Het resultaat kun je hier bekijken:

http://achelois.tweakers.net/~femme/commentsorting/

En zoals we 'm nu presenteren:

reviews: Apple iPhone 6: niet vernieuwend, wel verleidelijk

Wat mij betreft is een sortering niet nadelig voor de leesbaarheid. De context is goed te volgen. In de praktijk zul je wel zien dat de volgorde van de threads zal wisselen wat wellicht verwarrend is voor gebruikers die dezelfde thread in korte tijd meerdere keren bezoeken.

[ Voor 5% gewijzigd door Femme op 09-10-2014 17:57 ]

[_David_]

De eerste 3 'threads' zijn kritiek op de review (wat in GR hoort) ipv discussie over de iphone 6 zelf

Je pakt hier natuurlijk meteen ook een artikel wat perfect laat zien waarom het mod systeem niet altijd werkt, van de 14 reacties die nu een +2 of +3 hebben zijn er maar 2 die ook echt informatief zijn.

Moi_in_actie in 'reviews: Apple iPhone 6: niet vernieuwend, wel verleidelijk'
Dit is imo een reactie die echt +2 of misschien zelfs +3 verdient, maar deze reactie staat pas op plaats 5 kwa sortering, terwijl de 4 reacties daarboven niet eens op +2 of +3 zouden moeten staan.

Wat je nu veroorzaakt is het Reddit-effect, de meeste populair post staan bovenaan en krijgt dus nog meer (onterecht) +2 en +3 terwijl de echt informatief (en correcte) reacties verder naar onderstaan.

[Femme]

Het sorteringsalgoritme kan uiteraard niets veranderen aan de moderaties zelf. De post die jij aanhaalt staat niet bovenaan omdat de thread vrij kort is en matig beoordeelde reacties bevat. Die positie is goed verdedigbaar.

De threads die boven komen door hoog gewaardeerde reacties zullen van alle lezers meer aandacht krijgen, dus ook gebruikers die geen fanboys/anti-fanboys zijn en een reactie kunnen beoordelen zonder dat daarbij emoties de overhand hebben.

[_David_]

Zou je ook een artikel kunnen doen die niet zoveel fanboy moderaties krijgt? ben benieuwd wat het effect daar is

Deze bijvoorbeeld: nieuws: Ziggo komt volgende week met nieuwe alles-in-1-bundels

[ Voor 45% gewijzigd door _David_ op 09-10-2014 18:53 ]

[Dirk]

Wat me vooral opvalt aan dit algoritme is dat het vrij complex is en een duidelijk negatieve waarde toekent aan laag gewaardeerde reacties, die kunnen een hele draad omlaag halen.

Wat als je de reacties sorteert op 1: de score van hoogst gewaardeerde reactie in de draad, 2: het tijdstip van deze reactie. Dus de draad met de oudste +3 komt bovenaan, dan de rest van de +3's, daarna de +2's, enzovoort.

Op die manier halen goede reacties een draad omhoog, maar slechte reacties brengen hem niet omlaag (als er ook goede reacties in de draad staan).

[crisp]

Ik zou persoonlijk wel op een of andere manier gehele threads mee willen nemen in de weging zodat grotere/actieve threads een voorsprong(etje) krijgen op enkele posts zonder reactie.

Je zou een wegingsfactor kunnen nemen die afneemt met de 'diepte' van de reactie. Bijvoorbeeld iets van:

Score/2 + AVG(Score sub-reacties)/3 + AVG(Score sub-subreacties)/4 etc.

[RoD]

Ik ben niet zo wiskundig onderlegd, dus dat algoritme laat ik nog even op me inwerken

Wat ik me wel afvraag is wat er nu met reacties gebeurt die op -2 belanden. Tellen die mee in de waardering van een thread?

[Orion84]

Als ik het algoritme volg zouden die een weging van -80 krijgen (maar dan doe ik de aanname dat er geen uitzondering is gemaakt voor -2 posts).

[crisp]

Orion84 schreef op vrijdag 10 oktober 2014 @ 09:20:
Als ik het algoritme volg zouden die een weging van -80 krijgen (maar dan doe ik de aanname dat er geen uitzondering is gemaakt voor -2 posts).

-2 posts worden doorgaans simpelweg niet opgehaald, dus die tellen dan ook niet mee.

[WoutF]

Ik vraag me af of een dergelijke sortering goed gaat werken bij 'hot topics', zoals reviews van Apple en Windows Phone-producten. Daar wordt enorm aan meningmodden gedaan en hele fanboyarmies voten elkaar daarbij omhoog.

[Femme]

Dirk schreef op donderdag 09 oktober 2014 @ 21:09:
Wat me vooral opvalt aan dit algoritme is dat het vrij complex is en een duidelijk negatieve waarde toekent aan laag gewaardeerde reacties, die kunnen een hele draad omlaag halen.

Wat als je de reacties sorteert op 1: de score van hoogst gewaardeerde reactie in de draad, 2: het tijdstip van deze reactie. Dus de draad met de oudste +3 komt bovenaan, dan de rest van de +3's, daarna de +2's, enzovoort.

Op die manier halen goede reacties een draad omhoog, maar slechte reacties brengen hem niet omlaag (als er ook goede reacties in de draad staan).

Ik vind het wel wenselijk om threads met veel -1-reacties naar een onaantrekkelijke positie te verplaatsen. In jouw sorteermethode is het mogelijk dat een thread met veel -1-reacties en een enkele +3 bovenaan komt te staan, alleen vanwege de +3. Ook biedt jouw sorteermethode geen goed antwoord op de vraag wat te doen met de massa's threads waarin alleen 0- en +1-reacties voorkomen.

In mijn algoritme wordt de penalty van een -1 opgeheven door vier +1-reacties en +2 en +3 reacties hebben een veel sterker positief effect dan het negatieve effect van een -1. Threads met voornamelijk goede reacties hoeven daardoor niet veel te lijden onder een enkele -1. Het effect is wel sterker in kleine threads. Als je met zijn tweeën in een thread zet en jij hebt een +1 en een troll een -1 dan ben je wel fucked. We zullen goed naar dit effect moeten kijken bij het tunen van het algoritme. Threads die voornamelijk uit -1's bestaan zullen onderaan komen te bungdelen, dat lijkt me wenselijk gedrag.

WoutF schreef op vrijdag 10 oktober 2014 @ 09:41:
Ik vraag me af of een dergelijke sortering goed gaat werken bij 'hot topics', zoals reviews van Apple en Windows Phone-producten. Daar wordt enorm aan meningmodden gedaan en hele fanboyarmies voten elkaar daarbij omhoog.

De hoger gewaardeerde reacties zullen beter zichtbaar worden en meer gemodereerd worden, ook door neutrale moderators. Ik ben het wel me je eens dat fanboys en (vooral) anti-fanboys een probleem zijn.

Ik kan me voorstellen dat -1-reacties relatief meer beoordeeld zullen worden door serieuze moderators die de moeite nemen om te kijken of er onderaan de reacties onterechte -1's zijn.

[ Voor 4% gewijzigd door Femme op 10-10-2014 10:30 ]

[RoD]

Wat mij betreft gaan we harder ingrijpen bij threads waar fanboys een grote rol spelen. Daar wordt overigens achter de schermen al over gediscussieerd.

[Dirk]

crisp schreef op vrijdag 10 oktober 2014 @ 09:21:
[...]

-2 posts worden doorgaans simpelweg niet opgehaald, dus die tellen dan ook niet mee.

Als het goed is, is hier nog een ergens een interne discussie over, want dit zou ik nog graag aangepast zien. Linken naar verwijderde reacties is nu namelijk erg onhandig en voor powermods zou het dus handiger zijn als verwijderde reacties gewoon behandeld worden als andere reacties. Maar dat betekend wel dat ze bij de sortering expliciet uitgesloten moeten worden.

[Dirk]

Femme schreef op vrijdag 10 oktober 2014 @ 10:29:
[...]


Ik vind het wel wenselijk om threads met veel -1-reacties naar een onaantrekkelijke positie te verplaatsen. In jouw sorteermethode is het mogelijk dat een thread met veel -1-reacties en een enkele +3 bovenaan komt te staan, alleen vanwege de +3. Ook biedt jouw sorteermethode geen goed antwoord op de vraag wat te doen met de massa's threads waarin alleen 0- en +1-reacties voorkomen.

In mijn algoritme wordt de penalty van een -1 opgeheven door vier +1-reacties en +2 en +3 reacties hebben een veel sterker positief effect dan het negatieve effect van een -1. Threads met voornamelijk goede reacties hoeven daardoor niet veel te lijden onder een enkele -1. Het effect is wel sterker in kleine threads. Als je met zijn tweeën in een thread zet en jij hebt een +1 en een troll een -1 dan ben je wel fucked. We zullen goed naar dit effect moeten kijken bij het tunen van het algoritme. Threads die voornamelijk uit -1's bestaan zullen onderaan komen te bungdelen, dat lijkt me wenselijk gedrag.

Op zich heb je daar een goed punt, alleen staat de complexiteit van jouw methode me wat tegen. Ik kan die berekening prima volgen, maar anderen hebben daar meer moeite mee.

De hoger gewaardeerde reacties zullen beter zichtbaar worden en meer gemodereerd worden, ook door neutrale moderators. Ik ben het wel me je eens dat fanboys en (vooral) anti-fanboys een probleem zijn.

Ik kan me voorstellen dat -1-reacties relatief meer beoordeeld zullen worden door serieuze moderators die de moeite nemen om te kijken of er onderaan de reacties onterechte -1's zijn.

Fanboymods zijn een probleem dat we nu ook al hebben en waarvan ik verwacht dat het niet serieus zal veranderen met een sortering op kwaliteit. Hooguit zullen de excessen wat beter zichtbaar worden en zullen we die dus harder moeten aanpakken.

[Cloud]

Allereerst, super fijn dat hier naar gekeken wordt! Dit gaat in mijn ogen grote verbeteringen brengen aan de leesbaarheid/bruikbaarheid - en volgens mij zelfs het niveau - van de reactiemogelijkheid op de frontpage

Dirk schreef op vrijdag 10 oktober 2014 @ 11:14:
[...]

Op zich heb je daar een goed punt, alleen staat de complexiteit van jouw methode me wat tegen. Ik kan die berekening prima volgen, maar anderen hebben daar meer moeite mee.

Hoewel transparantie fijn is, denk ik dat het lastig is een algoritme te maken dat zo eenvoudig is dat een leek het kan begrijpen en tóch doet wat bovenstaand algoritme kan doen (d.w.z. ook subthreads meenemen in weging van hoofdthread).

Wat mij betreft hoeft een begrijpelijk algoritme absoluut geen doelstelling te zijn. Die van Reddit, die serieus goed werkt, is ook verre van eenvoudig.

[...]

Fanboymods zijn een probleem dat we nu ook al hebben en waarvan ik verwacht dat het niet serieus zal veranderen met een sortering op kwaliteit. Hooguit zullen de excessen wat beter zichtbaar worden en zullen we die dus harder moeten aanpakken.

Dit dus. Fanboys hebben we nu ook al en zijn nu ook al een probleem.

Femme, ik neem aan dat als een reactiescore gefixed wordt op bijvoorbeeld -1, de subreacties niet meer gewogen gaan worden? En dus zo'n reactie ongeacht de subreacties altijd onderaan komt? Als dat zo is kan dat een middel zijn voor crew om fanboys die nutteloze discussies proberen te upvoten, tegen te gaan

[ Voor 7% gewijzigd door Cloud op 10-10-2014 11:19 ]

[crisp]

Technisch gezien ben ik ook voorstander van een simpeler algoritme, al is het alleen maar omdat de uitwerking dan makkelijker te voorspellen is in het grote geheel en het 'tweaken' dan niet meer puur trial-and-error wordt. Op het moment dat je met 'magic' zoals pow(reactieaantal, 0.65) gaat werken dan wordt het ook technisch heel erg ondoorzichtig, tenzij je dat heel erg goed weet uit te leggen en te onderbouwen.

Cloud schreef op vrijdag 10 oktober 2014 @ 11:17:
[...]
Femme, ik neem aan dat als een reactiescore gefixed wordt op bijvoorbeeld -1, de subreacties niet meer gewogen gaan worden? En dus zo'n reactie ongeacht de subreacties altijd onderaan komt? Als dat zo is kan dat een middel zijn voor crew om fanboys die nutteloze discussies proberen te upvoten, tegen te gaan

Op dit moment is het nog te vroeg om ueberhaupt ergens aannames over te maken

Een score fixeren heeft als doel om te zorgen dat die score niet meer gewijzigd kan worden. Ik zie het persoonlijk niet zo zitten om daar ook weer andere behaviour aan te koppelen...

[TheCapK]

Maar als je daar wel andere behaviour aan kan koppelen is het voor ons een goede mogelijkheid om fanboyisme af te straffen en wordt goed gedrag vanzelf beloond.
Dat kan misschien helpen om het hele fenomeen van fanboyisme minder tot uiting te laten komen op de FP waardoor er een hoop mensen die nou langzamerhand het idee krijgen dat Tweakers.net afzakt tot het Fok en Geenstijl niveau dan toch weer het oude vertrouwen terugkrijgt. Nieuwe mensen die ook graag niveau willen zien zullen niet zo snel afhaken als nu misschien wel het geval is.

[crisp]

k1n8fisher schreef op vrijdag 10 oktober 2014 @ 14:39:
Maar als je daar wel andere behaviour aan kan koppelen is het voor ons een goede mogelijkheid om fanboyisme af te straffen en wordt goed gedrag vanzelf beloond.
Dat kan misschien helpen om het hele fenomeen van fanboyisme minder tot uiting te laten komen op de FP waardoor er een hoop mensen die nou langzamerhand het idee krijgen dat Tweakers.net afzakt tot het Fok en Geenstijl niveau dan toch weer het oude vertrouwen terugkrijgt. Nieuwe mensen die ook graag niveau willen zien zullen niet zo snel afhaken als nu misschien wel het geval is.

Er is sec gezien geen relatie tussen een score fixeren en een gehele thread demoten. Dergelijke afhankelijkheden wel inbouwen zorgt voor lastiger te onderhouden code en mogelijke andere negatieve neven-effecten. Als er een optie moet komen om hele threads te demoten dan moet dat m.i. een optie zijn die specifiek dat doel dient. Je moet daar niet een andere feature voor gaan misbruiken...

[Cloud]

Ik dacht veel te lastig eigenlijk. Er hoeft w.m.b. niet gekeken te worden naar de fix status, waar ik eigenlijk om probeer te vragen is om de de parent van een discussie, wat zwaarder te wegen dan de geneste reacties erin. Ik vermoed dat het niet gebeurt gezien bijvoorbeeld de alleronderste thread. De score loopt lineair op vanaf de subreacties richting de parent (er komt 20 bij) om het totaal van de thread te maken.

Het is nu mogelijk dat threads met de rootreactie op niveau 0, threads met een root op 1 inhalen. Ik zie zelfs een reactie op niveau -1 die boven een x aantal 0 en zelfs 1-threads staat. Hoewel ik daar niet tegen ben, zou ik het liefst zien dat dat iets lastiger is dan nu.

Dit dus:

crisp schreef op vrijdag 10 oktober 2014 @ 09:10:
Ik zou persoonlijk wel op een of andere manier gehele threads mee willen nemen in de weging zodat grotere/actieve threads een voorsprong(etje) krijgen op enkele posts zonder reactie.

Je zou een wegingsfactor kunnen nemen die afneemt met de 'diepte' van de reactie. Bijvoorbeeld iets van:

Score/2 + AVG(Score sub-reacties)/3 + AVG(Score sub-subreacties)/4 etc.

Wat ik probeer te voorkomen, is dat een gebruiker een barslechte reactie plaatst, waar toevallig net een paar normale reacties op geplaatst worden. Die thread komt dan in een beginstadium hoog te staan, waardoor er nog meer subreacties bij komen. Gevoelsmatig zou ik zeggen dat daardoor zo'n slechte reactie aan de bovenkant kan blijven plakken. Gebruikers zijn sneller geneigd hun reactie te spuien aan de bovenkant van de threadlist.

Een weging factor die afneemt met diepte, zou dat tegengaan door de score van de hoofdreactie het zwaarst te wegen

[Femme]

Dirk schreef op vrijdag 10 oktober 2014 @ 11:14:
[...]

Op zich heb je daar een goed punt, alleen staat de complexiteit van jouw methode me wat tegen. Ik kan die berekening prima volgen, maar anderen hebben daar meer moeite mee.

De 'complexe' berekening kun je ook gewoon zien als een mapping om de verschillende scoreniveaus op een alternatieve manier te wegen, wat in het voorbeeld neerkomt op:

-1 => -20
0 => 0
1 => 5
2 => 80
3 => 180

Daarna wordt er nog iets gedaan om een middenweg te vinden tussen de totaalscore van een thread optellen en een gemiddelde score berekenen van een thread (wat beide voor- en nadelen heeft).

Het is nu mogelijk dat threads met de rootreactie op niveau 0, threads met een root op 1 inhalen. Ik zie zelfs een reactie op niveau -1 die boven een x aantal 0 en zelfs 1-threads staat. Hoewel ik daar niet tegen ben, zou ik het liefst zien dat dat iets lastiger is dan nu.

Ik kan me ook wel vinden in de gedachte dat een thread die al begint met een treurige -1 niet materiaal is dat we zouden moeten promoten. Er valt ook wel wat voor te zeggen om -1's minder zwaar te laten wegen als ze dieper in een thread voorkomen en op een minder prominente positie in de thread staan. Andersom zou het me voor de +3 niet uitmaken waar die in de thread staat en zou ik die wel even zwaar willen laten wegen. Een +3 valt ook veel beter op door zijn presentatie dan een -1 (die ingeklapt wordt bij de default setting).

[Cloud]

Femme schreef op zaterdag 11 oktober 2014 @ 00:25:
[...]
Ik kan me ook wel vinden in de gedachte dat een thread die al begint met een treurige -1 niet materiaal is dat we zouden moeten promoten.

Er valt ook wel wat voor te zeggen om -1's minder zwaar te laten wegen als ze dieper in een thread voorkomen en op een minder prominente positie in de thread staan. Andersom zou het me voor de +3 niet uitmaken waar die in de thread staat en zou ik die wel even zwaar willen laten wegen. Een +3 valt ook veel beter op door zijn presentatie dan een -1 (die ingeklapt wordt bij de default setting).

Door de aparte behandeling van +3's is dat nog iets complexer dan ik voor ogen had maar m.i. moet je dit effect ook wel voor elkaar kunnen krijgen door de +3's simpelweg (veel) zwaarder te wegen. Dan hoef je in de berekening van scores icm diepte, voor de verschillende niveau's geen uitzonderingen te maken in je code. Dat lijkt mij eenvoudiger in onderhoud en begrijpelijkheid

[_js_]

Is het ook een idee om juist korte threads met hoge waarderingen vooraan te plaatsen? Dan zien mensen een aantal goede posts die als voorbeeld kunnen dienen voor de community en een aantal verschillende meningen ipv een hele lange draad waarin tientallen keren dezelfde argumenten worden aangedragen waardoor mensen misschien afhaken en niet verder scrollen voor de goede reacties.

[Verwijderd]

Hier worden wij blij van.

[tweaker2010]

Misschien is het ook een idee om het aantal moderaties wat een post krijgt mee te laten wegen in de rangschikking. Populaire posts worden vaak veel gemod (dat kan zowel negatief als positief zijn).

Verder is het denk ik belangrijk om te kijken naar het werkelijk aantal moderaties. Het scheelt natuurlijk nogal wat of 30x +3 is bereikt door 15x 2 weging of door slechts 5 mensen die hun boostfunctie hebben gebruikt.

[crisp]

tweaker2010 schreef op donderdag 16 oktober 2014 @ 10:47:
Misschien is het ook een idee om het aantal moderaties wat een post krijgt mee te laten wegen in de rangschikking. Populaire posts worden vaak veel gemod (dat kan zowel negatief als positief zijn).

Verder is het denk ik belangrijk om te kijken naar het werkelijk aantal moderaties. Het scheelt natuurlijk nogal wat of 30x +3 is bereikt door 15x 2 weging of door slechts 5 mensen die hun boostfunctie hebben gebruikt.

Dat zou het technisch vele malen zwaarder maken omdat het aantal moderaties (en de verdeling daarvan) helemaal niet beschikbaar is bij het samenstellen van de reactie-boom. Wat mij betreft is dat geen optie...

Een algoritme moet technisch gezien in mijn ogen deze eigenschappen hebben:

- simpel (moet snel uit te rekenen zijn over grote boomstructuren)
- begrijpelijk (onderhoudbaarheid)
- voorspelbaar (aanpassingen mogen niet resulteren in een trial & error exercitie)

functioneel gezien zie ik een aantal wensen hier die daarin meegenomen moeten worden:

- relatieve afstand tussen de scores vergroten in de berekening
- sub-threads mee laten wegen (eventueel met een afnemende factor op basis van diepte)

[ Voor 25% gewijzigd door crisp op 16-10-2014 11:10 ]

[Dirk]

crisp schreef op vrijdag 10 oktober 2014 @ 09:10:
Ik zou persoonlijk wel op een of andere manier gehele threads mee willen nemen in de weging zodat grotere/actieve threads een voorsprong(etje) krijgen op enkele posts zonder reactie.

Je zou een wegingsfactor kunnen nemen die afneemt met de 'diepte' van de reactie. Bijvoorbeeld iets van:

Score/2 + AVG(Score sub-reacties)/3 + AVG(Score sub-subreacties)/4 etc.

Deze methode vind ik er wel prettig uitzien voor een diepte- en draadlengtecorrectie, alleen zou ik inderdaad de scoreweging willen aanpassen. Hierbij zou bijvoorbeeld de eerstvoorgestelde methode van Femme kunnen werken, maar ook een methode waarbij de -1 net zo zwaar weegt als een +2 en ook de 0 en +1 een gelijk maar tegengesteld effect hebben terwijl de +3 veel zwaarder weegt:

Score = (Score - 0,5) ^ 2 * 4
Dat zou het volgende opleveren:
-1 => -9
0 => -1
+1 => 1
+2 => 9
+3 => 25

Hierbij zou een +3 op het 49e niveau pas even zwaar wegen als een +1 op het bovenste niveau, terwijl draadjes met een -1 ook hard zullen zakken.

[CAPSLOCK2000]

Is deze al langs gekomen? Evan Miller - How Not To Sort By Average Rating

[ Voor 24% gewijzigd door CAPSLOCK2000 op 16-10-2014 22:22 ]

[ACM]

CAPSLOCK2000 schreef op donderdag 16 oktober 2014 @ 22:21:
Is deze al langs gekomen? Evan Miller - How Not To Sort By Average Rating

Dat is eigenlijk meer een manier om te bepalen wat de individuele score van een reactie is. Het grootste probleem daarvan is dat dat specifieke algoritme alleen toepasbaar is bij tweewaardige zaken (binomial), dus in deze context up vs niet-up.

Bij meer-waardige (multinomial) scores krijg je allerlei ingewikkelde dingen die dan proberen alles naar een gemiddelde van gemiddeldes toe te sorteren en hoe meer beoordelingen er zijn, hoe meer het naar zijn 'eigen' gemiddelde toegaat.
De keerzijde daarvan is dat bij reacties die maar een paar beoordelingen hebben ze ook nauwelijks van dat basis-gemiddelde afwijken en het dus veel langer duurt (in aantallen beoordelingen, maar dus ook tijd) voor ze er uiteindelijk uitspringen. En het is vrijwel onmogelijk om daar een duidelijk label op te plakken waarmee duidelijk is waarom een +1-reactie hoger wordt gesorteerd dan een +3 (je kan eigenlijk niet eens +1 of +3 tonen dan...).

En het is ook nog de vraag wat voor betekenis je aan -1 en 0 moet geven, je kan niet zomaar zeggen dat je dat wel even in een 1..5-score kan omzetten door domweg overal 2 bij op te tellen. Dat is technisch vast correct, maar de perceptie is natuurlijk heel anders.

Uiteindelijk was ik er niet heel erg van overtuigd dat de voordelen ('betere' sortering) opweegt tegen dat soort nadelen.

Overigens maakt dat voor dit verhaal niet zo heel veel uit, als we kiezen om individuele reacties op score te sorteren, zal het vooral kleine nuance-verschillen geven. De belangrijkste discussie hier is meer hoe we de subthreads moeten sorteren.

Je kan hier trouwens spelen met een 5-waardige wilson-score.

[ Voor 11% gewijzigd door ACM op 21-10-2014 07:51 ]

[CAPSLOCK2000]

Fijn om te zien hoe goed er over na wordt gedacht.