[bug] Karmaberekening reviewbeoordeling

[Wiethoofd]

Zonet viel mij op dat de hoeveelheid karma die ik voor m'n reviews heb (veel) lager is dan diegene die in de productreview topkarmaranglijst net boven me staat. (ik sta op 14 met 7.766 aan karma en op 13 makafacka die net 1 meer, maar 'slechter' beoordeelde reviews heeft geschreven en ook minder beoordeeld is.

Hetzelfde bij nummer 12 Saturnus, hij heeft net iets meer reviews geschreven dan ik, en is veel minder vaak beoordeeld en ook lager dan ik, maar heeft toch meer karma.

Ik dacht aan dit plan te lezen: plan: Productreviews uitgebreid met sterwaarderingen dat je per gekregen waardering iets van karma er bij krijgt; Femme in 'plan: Productreviews uitgebreid met sterwaarderingen'. Hierdoor had ik dus verwacht dat ik op mijn reviews (4+ reviews, met 16 tot 38 beoordelingen per review) meer karma had gekregen dan die van nummer 12 en 13 in de lijst die 3+ reviews hebben geschreven en 1 tot 7 beoordelingen per review hebben.

Hopelijk kan dit gefixt worden en als er extra linkjes en/of antwoorden nodig zijn, vraag er aub om.

[ Voor 0% gewijzigd door Wiethoofd op 14-05-2008 10:46 . Reden: typo ]

[Floor-is]

Ik mag me er vast niet tegenaanbemoeien, maar hoewel ik begrijp dat je met je Karma natuurlijk een ub3r1337-joesert wilt zijn... Kan je ook gewoon te obsessief bezig zijn met Karma.

Schijnbaar zijn er collega's die vinden dat ik dat niet (zomaar) zeggen mag; ik probeer een beetje aan te geven dat er een verschil is tussen iLife en IRLife, waarbij die laatste op zich belangrijker is dan de eerste. Tuurlijk worden productreviews op prijs gesteld en puike reacties zijn ook fijn, dat je ergens in de top 20 van de site uit wil komen is misschien zelfs wel admirabel te noemen: het is alleen niet echt gezond als dat je doel van leven wordt.

[ Voor 55% gewijzigd door Floor-is op 14-05-2008 13:23 ]

[Wiethoofd]

het is gewoon zo dat ik idd de karma mooi meeneem, maar als ik goede reviews schrijf en dan lager in de top zoveel sta dan iemand die 1 review meer maar van slechtere kwaliteit heeft geschreven vind ik dat onterecht, vandaar mijn 'bugrequest'

[Floor-is]

Okay, ik snap dat je het prettig vind als zo'n overzicht klopt. Hopelijk begrijp jij dan weer dat het bij ons niet echt de allerhoogste prioriteit heeft. We vinden het op zich belangrijker dat nieuwe ontwikkelingen daadwerkelijk ontwikkeld worden om het zo maar te zeggen.

[pasta]

Productreviews zijn ook niet alles hoor.

Ik zie zelf bijv. liever iemand die goed bezig is op het forum en in de reacties op de T.net FP en daarmee een hogere karma heeft dan iemand die zich eigenlijk redelijk vervelend gedraagt maar wel goede product-reviews schrijft.

[ Voor 5% gewijzigd door pasta op 14-05-2008 13:41 ]

[Regeneration]

Wiethoofd schreef op woensdag 14 mei 2008 @ 10:46:
Hopelijk kan dit gefixt worden

Weet niet echt zeker of het echt "fout" is want:

Jij: Wiethoofd 9 reviews, 7.766
makafacka 13 review, 7.780
Saturnus 12 review, 8.911

Ten eerste is het verschil erg klein in karma. Dat gezegd te hebben zijn er nog "echte redenen"
- Verschil in aantal reviews, ze hebben toch wel 3 of 4 reviews meer dat mag ook best gewaardeerd worden in de vorm van karma punten, toch?
- Volgens telt het aantal woorden ook mee, niet elke slecht beoordeelde review heeft gelijk weinig woorden, maar ook andersom, niet elke goed beoordeelde review heeft gelijk veel woorden. Ook kan het zo zijn dat misschien jouw gemiddelde aantal woorden lager is dan de andere twee users, maar jij net iets betere beoordelingen krijgt.
- Aantal beoordelingen. Tja, Het zal wel zo zijn dat je bij meerdere beoordelingen meer karma krijgt, maar het zal wat geen vast aantal zijn, maar eerder een wortelfunctie of iets dergelijks die bij heel veer beoordelingen zelfs nagenoeg de karma toevoeging zelfs heel weinig kan zijn, want anders zou je theoretisch met 1 review steeds meer karma bij kunnen krijgen, wat waarschijnlijk ook niet het doel is van T.net.
- Aantal views telt misschien ook mee. Als je meer views krijg krijg je wellicht meer karma.

Een extremer voorbeeld ben ik misschien wel: Regeneration met "maar" 8 (volledige) reviews en een karma van 8.785 terwijl het aantal stemmen een stuk lager is dan die van jou, namelijk 1-10 stemmen. (Weet trouwens niet zeker of simpele reviews worden meegerekend bij de reviewkarma, maar volgens mij was dat niet het geval, anders is dit een slecht voorbeeld. ) Tja, ik vermoed eigenlijk dat het een van de redenen is die ik hierboven heb staan, maar eigenlijk, heel stiekem, (zoals de reacties hierboven ook eigenlijk zeggen) is dit toch wel een klein verschil (en dus een klein probleem), nietwaar?

[ Voor 4% gewijzigd door Regeneration op 15-05-2008 12:04 ]

[Femme]

Er zijn veel factoren die meegewogen worden in de waardering van je reviews. Het aantal beoordelingen van users heeft een kleine invloed. Veel belangrijker is de gemiddelde beoordeling en de lengte van de tekst.

Ik zie geen onredelijke waardering in de hierboven genoemde voorbeelden.

[Wiethoofd]

Het ligt hem dus puur in het aantal reviews dat je getypt hebt en de lengte er van.
Ik dacht juist door die beoordeling van de reviews toe te voegen van de tekstlengte af te zijn.

Dat je dus met 1x 5sterren een x-aantal karma punten kreeg en voor elke 5sterren beoordeling eenzelfde hoeveelheid karma, zo zou je dus theoretisch (met mijn 'reviewkarmasysteem') met 4* 5sterren beoordeling meer/of hetzelfde aantal karma moeten krijgen dan met 6x een 4 sterren beoordeling. en zo zou dan dus 8x een 3 sterren beoordeling hetzelfde opleveren of minder zijn dan die 4* een 5 sterren beoordeling.

Nu is het zo dat de hoeveel heid sterren voor je review ongeacht het aantal beoordelingen een bepaalde hoeveelheid karma oplevert. Of het aantal views meeweegt zou ik niet weten, maar dat zou ik flauw vinden, het gaat om de kwaliteit van de review, als 120 mensen em gezien hebben en 25 hebben em beoordeeld met 4 sterren zou ik dat een betere review vinden en meer karma waard vinden dan een review die door 250 mensen is gezien en door 20 mensen met 4 sterren is beoordeeld.

en @ regeneration, ja, simpele reviews worden meegerekend in je totale reviewkarma dus het is eigenlijk een slecht voorbeeld

[Femme]

Wiethoofd schreef op donderdag 15 mei 2008 @ 16:07:

Dat je dus met 1x 5sterren een x-aantal karma punten kreeg en voor elke 5sterren beoordeling eenzelfde hoeveelheid karma, zo zou je dus theoretisch (met mijn 'reviewkarmasysteem') met 4* 5sterren beoordeling meer/of hetzelfde aantal karma moeten krijgen dan met 6x een 4 sterren beoordeling. en zo zou dan dus 8x een 3 sterren beoordeling hetzelfde opleveren of minder zijn dan die 4* een 5 sterren beoordeling.

De beoordeling heeft een grote invloed op de hoeveelheid karma die er voor een productreview wordt gegeven, maar de invloed is niet zo groot als in jouw voorbeeld (vermenigvuldiging van het aantal punten met de beoordeling).

Nu is het zo dat de hoeveel heid sterren voor je review ongeacht het aantal beoordelingen een bepaalde hoeveelheid karma oplevert.

Het aantal beoordeling heeft wel degelijk invloed op de hoeveelheid karma, het is echter niet heel erg groot.

Of het aantal views meeweegt zou ik niet weten, maar dat zou ik flauw vinden, het gaat om de kwaliteit van de review, als 120 mensen em gezien hebben en 25 hebben em beoordeeld met 4 sterren zou ik dat een betere review vinden en meer karma waard vinden dan een review die door 250 mensen is gezien en door 20 mensen met 4 sterren is beoordeeld.

Het aantal views weegt niet mee.

Je krijgt een aantal basispunten voor een productreview (simpel dan wel uitgebreid). Daarop komen punten voor de lengte, de gemiddelde beoordeling en het aantal beoordelingen. Vervolgens worden er nog een vast aantal puntjes uitgedeeld voor afbeeldingen, platformkoppelingen, productkoppelingen en productexemplaren.

[Wiethoofd]

Femme schreef op donderdag 15 mei 2008 @ 16:35:
[...]
De beoordeling heeft een grote invloed op de hoeveelheid karma die er voor een productreview wordt gegeven, maar de invloed is niet zo groot als in jouw voorbeeld (vermenigvuldiging van het aantal punten met de beoordeling).

Daar zat dus mijn vraag, is dat ook weer duidelijk, maar zou dat niet hoger kunnen, als je een goede review schrijft die 5 sterren beoordeeld wordt door net iets minder mensen dan een goede 4 sterren review zou de 5 sterren toch meer karma moeten opleveren, puur omdat hij 5 sterren is tsja, karmageil of karmageil

Het aantal beoordeling heeft wel degelijk invloed op de hoeveelheid karma, het is echter niet heel erg groot.

of dat verhoogt zou kunnen worden, puur als stimulans om echte goede reviews te gaan schrijven als je karmageil bent en het verschil in karma tussen het aantal sterren te vergroten.
Zo moet een kleine review bijvoorbeeld 20 karma opleveren.
1 sterren review, 1x beoordeling 40, 2 beoordelingen 45, 3 beoordelingen 50. (5 punten per beoordeling)
2 sterren review, 1x beoordeling 80, 2 beoordelingen 90, 3 beoordelingen 100. (10 punten per beoordeling)
3 sterren review, 1x beoordeling 120, 2 beoordelingen 135, 3 beoordelingen 140. (15 punten per beoordeling)
4 sterren review, 1x beoordeling 160, 2 beoordelingen 180, 3 beoordelingen 200. (20 punten per beoordeling)
5 sterren review, 1x beoordeling 200, 2 beoordelingen 225, 3 beoordelingen 250. (25 punten per beoordeling)

Dus per ster per beoordeling 5 punten per beoordeling extra (5, 10, 15, 20, 25), als dit doorgaat tot de 10 beoordelingen en dan het aantal punten per beoordeling halveert is dat een eerlijker systeem lijkt me. dus dan (2.5, 5, 7.5, 10, 12.5) en dan eventueel bij de 25 of 50 of een andere waarde weer het aantal punten per beoordeling door de helft.

het wordt dan dus:
1 sterren review, 9x beoordeling 80, 10 beoordelingen 82.5, 15 beoordelingen 95.
2 sterren review, 9x beoordeling 160, 10 beoordelingen 165, 15 beoordelingen 190.
3 sterren review, 9x beoordeling 240, 10 beoordelingen 247.5, 15 beoordelingen 285.
4 sterren review, 9x beoordeling 320, 10 beoordelingen 330, 15 beoordelingen 380.
5 sterren review, 9x beoordeling 400, 10 beoordelingen 412.5, 15 beoordelingen 475.

extreem voorbeeld, ik weet de waarden/hoeveelheid karma niet die je nu krijgt voor een review, dus gewoon logische getallen genomen (al zou dit volgens mij wel een eerlijk systeem zijn met deze hoeveelheid punten)

Het aantal views weegt niet mee.

dankje voor de info, weet ik dat ook weer.

Je krijgt een aantal basispunten voor een productreview (simpel dan wel uitgebreid).

Wist ik en lijkt me logisch

Daarop komen punten voor de lengte, de gemiddelde beoordeling en het aantal beoordelingen.

het aantal beoordelingen weegt dus niet heel zwaar mee (of iig niet zo zwaar als ik dacht dat het deed) en de lengte, per 100 woorden zoveel karma extra?

Vervolgens worden er nog een vast aantal puntjes uitgedeeld voor afbeeldingen, platformkoppelingen, productkoppelingen en productexemplaren.

hier ben ik het kwijt, valt dit echt te controleren en wordt hier echt de hoeveelheid uitgedeelde karma op berekend? zo ja, dan zou ik volgens mij meer moeten hebben dan de nummers 12 en 13 boven mij omdat ik in m'n reviews (3x4 en 6x5 sterren) allemaal relevante links naar artikelen bronnen, de pricewatch, nieuwsberichten etc plaats. De afbeeldingen host ik deels zelf en een deel komt via het ajaxformulier onderaan de review er bij.

[Kixtart]

Gaat dat laatste niet over hoe populair het product is (bij veel winkels verkocht wordt) en dus koppelingen binnen de database? Het lijkt me niet zo gek als je een goede review maakt over bijvoorbeeld een iPhone dat je meer karma zou ontvangen dan een toetsenbord, die maar bij één bedrijf verkocht wordt en nogal basic is.

[ Voor 6% gewijzigd door Kixtart op 15-05-2008 18:14 ]

[Wiethoofd]

dan zou ik daar dus alle karma mislopen bij mijn Headsetreview ik deze uit amerika heb laten overvliegen, ik em zelf aan de pricewatch heb toegevoegd om een review te kunnen schrijven en hij door geen enkele winkel hier in NL (nog) verkocht wordt.

[Femme]

Wiethoofd schreef op donderdag 15 mei 2008 @ 17:04:
[...]

hier ben ik het kwijt, valt dit echt te controleren en wordt hier echt de hoeveelheid uitgedeelde karma op berekend? zo ja, dan zou ik volgens mij meer moeten hebben dan de nummers 12 en 13 boven mij omdat ik in m'n reviews (3x4 en 6x5 sterren) allemaal relevante links naar artikelen bronnen, de pricewatch, nieuwsberichten etc plaats. De afbeeldingen host ik deels zelf en een deel komt via het ajaxformulier onderaan de review er bij.

Voor geuploade afbeeldingen en de koppelingen met producten en besturingssystemen die in het formulier zijn opgegeven krijg je een paar puntjes. Voor een grote review die een hoge beoordeling heeft maakt dit echter nauwelijks iets uit. Het merendeel van de punten krijg je voor de lengte van de tekst, de gemiddelde beoordeling en het aantal beoordelingen.

[Wiethoofd]

Femme schreef op donderdag 15 mei 2008 @ 18:18:
[...]
Voor geuploade afbeeldingen en de koppelingen met producten en besturingssystemen die in het formulier zijn opgegeven krijg je een paar puntjes. Voor een grote review die een hoge beoordeling heeft maakt dit echter nauwelijks iets uit. Het merendeel van de punten krijg je voor de lengte van de tekst, de gemiddelde beoordeling en het aantal beoordelingen.

maar dan is nog niet opgelost waarom ik met minder reviews (3) die beter en meer/vaker beoordeeld zijn een lagere karmascore heb dan iemand met 3 reviews meer die minder beoordeeld zijn en minder hoog beoordeeld. 6x5sterren+3x4sterren reviews van mij tegenover 4x5sterren, 1x4, 3x3 en 3x2 van Dima_2005 en 1x5, 5x4, 5x3 en 2x2 van makafacka met veel minder vake beoordelingen lager scoor dan de eerder genoemden.

[Regeneration]

Wiethoofd schreef op donderdag 15 mei 2008 @ 18:44:
[...]

maar dan is nog niet opgelost waarom ik met minder reviews (3) die beter en meer/vaker beoordeeld zijn een lagere karmascore heb dan iemand met 3 reviews meer die minder beoordeeld zijn en minder hoog beoordeeld. 6x5sterren+3x4sterren reviews van mij tegenover 4x5sterren, 1x4, 3x3 en 3x2 van Dima_2005 en 1x5, 5x4, 5x3 en 2x2 van makafacka met veel minder vake beoordelingen lager scoor dan de eerder genoemden.

Dan is het kennelijk zo dat:
1) Dat jouw reviews vaker zijn beoordeeld en beter zijn beoordeeld niet opweegt tegen de 2 of 3 extra reviews van de andere. Zou dat niet kunnen?
2) Daarnaast kan het ook nog zijn dat jij minder woorden hebt gebruikt in je reviews, waardoor je ook iets minder karma ontvangt, waardoor het effect dat jij veel meer karma moet ontvangen een beetje wordt weggenomen.

Uitleg bij mogelijke reden 1)
Stel het aantal beoordeling is verwaarloosbaar klein, dan zou het puur dus om jouw reviews gaan met een hogere gemiddelde beoordeling tegenover die van andere users met een gemiddelde lagere beoordeling.
Jij hebt een gemiddelde van 42/9 = ~4,67 en
makafacka: 44/13 = ~3,38
Dima_2005: 39/11 = ~3,55

Wat jij dus zegt is dat omdat jij score gemiddeld hoger is jij meer karma zou moeten ontvangen, toch?
Jij: 7.766 karma ==========> 7766/9 = ~ 862.9 gemiddelde karma per review
makafacka: 7.780 karma ===> 7780/13 = ~ 598.5 gemiddelde karma per review
Dima_2005: 7.833 karma ===> 7833/11 = ~ 712.1 gemiddelde karma per review

Zie hier het verschil jij ontvangt dus al veel meer karma per review. Dat klopt want je de waardering van jou reviews is hoger. Wat is er dus nu zo fout en moet dan opgelost worden?

Uitleg bij mogelijke reden 2)
Zoals je misschien ziet is die gemiddelde karma per review van Dima_2005 duidelijk hoger dan makafacka terwijl die (en jij dus ook) een hogere gemiddelde beoordeling hebben. Een moglijke verklaring daarvoor kan zijn het aantal woorden. Dima_2005 heeft gemiddeld meer woorden gebruikt dan jij en makafacka, wat dus resulteert in iets meer karma. Let op het is nog steeds (veel) minder dan gemiddelde karma per review voor jouw reviews.
Het zou mogelijk dus zoiets kunnen zijn qua aantal woorden gemiddeld per review:
Jij ========> 1600 gemiddelde aantal woorden per review
makafacka ==> 1600 gemiddelde aantal woorden per review
Dima_2005 ==> 1800 gemiddelde aantal woorden per review

Maar het zou dus ook zoiets kunnen zijn:
Jij ========> 1500 gemiddelde aantal woorden per review
makafacka ==> 1500 gemiddelde aantal woorden per review
Dima_2005 ==> 2000 gemiddelde aantal woorden per review
Bij beide voorbeelden betekend dat jij dus iets minder woorden gebruikt, wat dus een klein beetje minder karma voor je oplevert, waardoor het verschil wat minder groot verschil lijkt. Dit laatste is puur een speculatie, want het was me iets te veel werk om het aantal woorden van al deze alle reviews van jou en de andere 2 users te tellen. Neemt niet weg dat jij nog steeds gemiddeld meer karma krijgt per review.

Kortom volgens mij is er weinig mis en ziet het er gewoon eerlijk uit. Femme heeft misschien al een blik geworpen op de code en daar is dan niets fout. Maar misschien ook niet, maar dat komt omdat dit niet zo'n hoge prioriteit heeft, zoals eerder is gezegd. Dit lijkt me het meest duidelijke voorbeeld en redenatie:

Jij: 7.766 karma ==========> 7766/9 = ~ 862.9 gemiddelde karma per review
makafacka: 7.780 karma ===> 7780/13 = ~ 598.5 gemiddelde karma per review
Dima_2005: 7.833 karma ===> 7833/11 = ~ 712.1 gemiddelde karma per review

Jij krijgt dus gewoon gemiddelde dik meer karma per review.

---

Edit: Reactie op eerder bericht:

Wiethoofd schreef op donderdag 15 mei 2008 @ 17:04:
hier ben ik het kwijt, valt dit echt te controleren en wordt hier echt de hoeveelheid uitgedeelde karma op berekend?

Dit wordt gewoon bij je review karma opgeteld lijkt me. Hoe het precies is het werk gaat weet ik niet, maar denk niet dat Femme dat zo gauw naar buiten zal brengen. Is ook niet nodig lijkt me.

zo ja, dan zou ik volgens mij meer moeten hebben dan de nummers 12 en 13 boven mij omdat ik in m'n reviews (3x4 en 6x5 sterren) allemaal relevante links naar artikelen bronnen, de pricewatch, nieuwsberichten etc plaats.

Het gaat volgens mij niet om de links in je review volgens mij, maar om de links boven je review.
Voorbeeldje: productreview: Samsung Syncmaster 226BW review door Wiethoofd
Hier gaat het dus om:

Gebruikt in combinatie met:

* Asus EN7600 GS Silent/HTD/512M
* Asus EN8800GT/G/HTDP/512M

Onder besturingssystemen:

* Windows XP en Linux AMD64

De afbeeldingen host ik deels zelf en een deel komt via het ajaxformulier onderaan de review er bij.

Ik vind het heel erg goed van je dat je zelf plaatjes host, want soms is 4 afbeeldingen gewoon niet genoeg, maar als je karma wilt ontvangen moet je dat ook via T.net doen, anders telt dat niet mee voor je extra karma.
Voorbeeldje: productreview: Samsung Syncmaster 226BW review door Wiethoofd
Hier heb je 1 afbeelding via T.net geupload en de rest zelf. Je kan dus beter (als je karma wilt ontvangen) gewoon de maximaal aantal afbeeldingen via T.net uploaden (max = 4) en de rest via je eigen host.

Maar let op, dit is maar levert maar een klein beetje meer karma op, zoals Femme had gezegd, maar alles is meegenomen voor een "karmageil" bent, toch?

[ Voor 20% gewijzigd door Regeneration op 16-05-2008 16:12 ]

[Femme]

Wiethoofd schreef op donderdag 15 mei 2008 @ 18:44:
[...]

maar dan is nog niet opgelost waarom ik met minder reviews (3) die beter en meer/vaker beoordeeld zijn een lagere karmascore heb dan iemand met 3 reviews meer die minder beoordeeld zijn en minder hoog beoordeeld. 6x5sterren+3x4sterren reviews van mij tegenover 4x5sterren, 1x4, 3x3 en 3x2 van Dima_2005 en 1x5, 5x4, 5x3 en 2x2 van makafacka met veel minder vake beoordelingen lager scoor dan de eerder genoemden.

Nogmaals, er zijn vele factoren die invloed hebben op de karmascore. Ik heb geen behoefte om daarover in details te treden omdat het mogelijk tot misbruik kan leiden en ellenlange discussies van personen die denken dat zij zijn benadeeld. Karma heeft tot doel om globaal een idee te geven van de totale input die een gebruiker op Tweakers.net heeft geleverd. Het is niet de wenselijk dat er op het niveau van individuele reviews, reacties en dergelijke over de juistheid van de waardering wordt gediscussieerd. Door de grote aantallen zien we toch altijd dat de zeer actieve gebruikers naar boven komen drijven in de karmastats.

De reviews die Dima_2005 heeft geschreven zijn niet de meest karige die er in de Productreviews zijn te vinden dus het verbaast mij niets dat hij met elf reviews 0,9 procent meer puntjes scoort dan jij met negen reviews.

Verdere discussie hierover lijkt me niet zinvol. Dit topic gaat dus dicht.