[PW] Winkelscore soms misleidend?

[shotputty]

Op zoek naar een moederbord met een wat ouder type socket kwam ik uit op een resultaat met maar 1 winkel:

pricewatch: AOpen AX4PE Max

Bij score stonden oranje sterretjes en dat betekent bij mij gelijk even verder zoeken. Achteraf kom ik dan toch terug en ben maar even reviews gaan lezen, deze bleken allemaal juist overwegens erg positief te zijn. Ik snapte in eerste instantie dan ook niet waarom er zo'n slechte score bij het linkje stond (zie boven). Het is me nu wel duidelijk, dat is de score over de laatste 3 maanden. Echter bij deze winkel is er maar 1 review over de laatste 3 maanden. Als die review nou net "slecht" is dan kan ik me voorstellen dat dat vrij funest is voor zo'n winkel (ik sla persoonlijk winkels met een slechte score over als ik een lange lijst heb om uit te kiezen).

Is het een idee om die score niet van de laatste 3 maanden maar van de laatste 5 reviews te laten middelen? Zo is het toch vrij actueel maar niet erg zwart/wit bij weinig reviews.

[Erkens]

Als je de laatste 5 reviews gaat gebruiken, dan heb je geen helder beeld, als je als shop veel reviews krijgt dan wil je ook dat die allemaal mee tellen, niet alleen de laatste 5.

Juist de weergave van de laatste 3 maanden is handig, immers resultaten uit het verleden.... Je kan 6 maanden geleden wellicht je hele process aangepast hebben waarbij je meer inzet op klantenservice, en als je dan nog de slechte score van eerst weergeeft is niet handig dan (en andersom geld dat natuurlijk ook).

[shotputty]

Je kan er ook een formule van maken. If reviews in de laatste 3 maanden < dan 3 then gemiddelde uit laatste 5, else, zoals het nu is. Als je niet aan de lopende band reviews krijgt dan kan de laatste review dus een enorme impact hebben op je score.

[Erkens]

shotputty schreef op maandag 09 januari 2012 @ 12:14:
Je kan er ook een formule van maken. If reviews in de laatste 3 maanden < dan 3 then gemiddelde uit laatste 5, else, zoals het nu is. Als je niet aan de lopende band reviews krijgt dan kan de laatste review dus een enorme impact hebben op je score.

Maar in hoeverre is een review van >3 maanden nog relevant voor de huidige gang van zaken?

[shotputty]

In dit specifiek geval is de winkel al 17 jaar oud. Ik verwacht geen spannende wijzigingen waardoor de algemene waardering van zo'n winkel ineens drastisch zou veranderen.

[NMe]

Daar zeg je heel mooi "in dit specifieke geval". Datzelfde zal niet opgaan voor alle andere winkels met hetzelfde probleem. Hoe wil je daar onderscheid in maken?

[Erkens]

shotputty schreef op maandag 09 januari 2012 @ 12:37:
In dit specifiek geval is de winkel al 17 jaar oud. Ik verwacht geen spannende wijzigingen waardoor de algemene waardering van zo'n winkel ineens drastisch zou veranderen.

Juist voor de winkels die wat ouder zijn kan je juist spannende wijzgingen verwachten (ander personeel, andere strategie etc).
En verder natuurlijk hetzelfde als NMe aangeeft, je wilt niet een systeem voor 1 shop aanpassen zodat die shop er beter voor komt te staan, dan moet die shop maar zorgen dat ze meer (goede) reviews krijgen.

Wat wellicht nog wel handig kan zijn, is een weergave over hoeveel reviews die waarde is bepaald.

[ Voor 7% gewijzigd door Erkens op 09-01-2012 12:45 ]

[Spitie]

Erkens schreef op maandag 09 januari 2012 @ 12:33:
[...]

Maar in hoeverre is een review van >3 maanden nog relevant voor de huidige gang van zaken?

In hoeverre is een gemiddelde van 2 reviews over de afgelopen 3 maanden dat wel?

Het lijkt me in dit geval erg onwenselijk dat een shop die gemiddeld een 4,5 heeft door 1 slechte review zo in het overzicht afgestraft wordt terwijl het totaal niet representatief is voor het gemiddelde.

Is het niet op te lossen door een minimum aantal reviews in te stellen om te bepalen of er een overzicht van het totaal of van de afgelopen 3 (of meer of minder naar gelang het gemiddelde aantal reviews per maand) te geven?


_{/De aftersales en de verzending van de afgelopen 3 maanden is gebasseerd op 1 review...}

[ Voor 6% gewijzigd door Spitie op 09-01-2012 12:54 ]

[CaptJackSparrow]

Met andere woorden... het systeem zoals het nu is heeft het niveau van absolute perfectie bereikt en kan niet meer verbeterd worden?

Lijkt me dat we het er over eens zullen zijn dat de waarschijnlijkheid daarvan vrij laag is.

Ik vind zo'n formule helemaal geen slecht idee. Zodra de steekproefgrootte te klein wordt heeft die geen enkele waarde meer. Een minimum aantal reviews waarover die score berekend wordt lijkt me dan ook zeer zinvol.

[Erkens]

Spitie schreef op maandag 09 januari 2012 @ 12:53:
Het lijkt me in dit geval erg onwenselijk dat een shop die gemiddeld een 4,5 heeft door 1 slechte review zo in het overzicht afgestraft wordt terwijl het totaal niet representatief is voor het gemiddelde.

Waarom is die slechte review dan niet represntatief? (en dan niet alleen dit specifieke geval bekijken)

Oudere reviews vind ik juist niet representatief, en eigenlijk vind ik 3 maanden ook veel te lang.

[ Voor 10% gewijzigd door Erkens op 09-01-2012 12:56 ]

[CaptJackSparrow]

N=1

[Erkens]

En wat dan met shops die net beginnen op de pricewatch en nog maar 1 of 2 reviews hebben, die zijn dan ook niet representatief?

[CaptJackSparrow]

Dat zijn ze inderdaad maar beperkt maar daar heb je nog geen alternatief alhoewel je er een waarschuwing bij zou kunnen vermelden dat het hier maar om een zeer kleine samplegrootte gaat.

[Erkens]

CaptJackSparrow schreef op maandag 09 januari 2012 @ 13:01:
Dat zijn ze inderdaad maar beperkt maar daar heb je nog geen alternatief alhoewel je er een waarschuwing bij zou kunnen vermelden dat het hier maar om een zeer kleine samplegrootte gaat.

Erkens schreef op maandag 09 januari 2012 @ 12:44:

Wat wellicht nog wel handig kan zijn, is een weergave over hoeveel reviews die waarde is bepaald.

Als je dat als tooltip ofzo erbij zet (voor alle shops) dan heb je direct een duidelijker beeld. Je kan dan doorklikken om de oudere scores te zien.

[CaptJackSparrow]

Elke wijziging die een aanpassing of nuancering aanbrengt bij een score gebaseerd op 1 review zal een verbetering van het huidige systeem zijn.

Een score die gebaseerd is op één ervaring/opinie heeft nu eenmaal niets maar dan ook echt helemaal niets(!) met statistiek te maken.

[Luit]

Het geheel weglaten van de score in het geval van geen of te weinig shopreviews in de laatste drie maanden lijkt mij een prima oplossing.

[Erkens]

Luit schreef op maandag 09 januari 2012 @ 13:17:
Het geheel weglaten van de score in het geval van geen of te weinig shopreviews in de laatste drie maanden lijkt mij een prima oplossing.

Denk niet dat de shops met een positieve score daar blij mee zijn, terwijl de shops met een negatieve score dat wel graag zo zouden willen zien


Hoe dan ook, 1 beoordeling is ook een beoordeling, als ik die review heb geschreven dan zou ik het resultaat daarvan dan ook graag terug zien.

[ Voor 15% gewijzigd door Erkens op 09-01-2012 14:02 ]

[shotputty]

CaptJackSparrow schreef op maandag 09 januari 2012 @ 13:13:
Elke wijziging die een aanpassing of nuancering aanbrengt bij een score gebaseerd op 1 review zal een verbetering van het huidige systeem zijn.

Een score die gebaseerd is op één ervaring/opinie heeft nu eenmaal niets maar dan ook echt helemaal niets(!) met statistiek te maken.

[Verwijderd]

De gouden formule zal nooit bestaan. Wel is het zo dat het altijd beter werkt met meer reviews. Wij krijgen ook regelmatig de vraag van winkels, als die de indruk hebben dat er meer negatieve dan postieve reviews geplaatst worden. Ons advies is dan: wijs mensen er actief op, doe een papiertje bij de levering, etcetera.

Want, ook 3 reviews in 3 maanden daar kan je pech mee hebben. En andersom: geluk mee hebben. Meer is ter verbetering van de betrouwbaarheid van de score. Winkels worden daar redelijk automatisch in gestimuleerd, gezien het wel lijkt dat winkels die er überhaupt niet op wijzen relatief gezien meer negatieve reviews ontstaan.

Ter illustratie, bij het vragen om een review mag er gewezen worden op het belang van reviews, maar er mag op geen enkele wijze iets tegenover staan. Er zijn winkels die puur door klanten te wijzen op de mogelijkheid meer dan 400 reviews per 8 maanden krijgen. Goed voor de bezoeker, want een mooi gebalanceerd beeld.

We kunnen dan wel gaan zoeken naar een andere formule, maar het werkelijke bronprobleem is het gebrek aan data. En dat is iets waar de winkels zelf invloed op hebben.

Dat het dan vervelend is dat er maar 1 review staat... Statistische gezien levert 1 review meer informatie dan geen review Flauw misschien, maar zoals gezegd stimuleren wij liever méér informatie dan kunstgrepen en onduidelijkheid bij reviewers waarom het niet zichtbaar is.

Wat betreft de tooltip: als je mouseover doet, krijg je volledige inzage al.

[ Voor 12% gewijzigd door Verwijderd op 09-01-2012 14:47 ]

[shotputty]

Verwijderd schreef op maandag 09 januari 2012 @ 14:44:
Wat betreft de tooltip: als je mouseover doet, krijg je volledige inzage al.

Ik krijg alleen de inzage over 3 maanden, is dat een instelling?

[shotputty]

Verwijderd schreef op maandag 09 januari 2012 @ 14:44:
Dat het dan vervelend is dat er maar 1 review staat... Statistische gezien levert 1 review meer informatie dan geen review

Alléén is de mening van 1 persoon of zwart of wit. Dat betekent dat iedereen de score van een bedrijf met weinig reviews in de laatste 3 maanden behoorlijk kan beïnvloeden. Ik vind het een beetje krom om de bal bij de winkels te leggen, dat ze dan maar meer reviews moeten proberen te krijgen.
Er zijn bijvoorbeeld bij deze winkel genoeg reviews maar we gebruiken ze in dit geval niet omdat ze ouder zijn dan 3 maanden

[Verwijderd]

shotputty schreef op maandag 09 januari 2012 @ 15:44:
[...]


Ik krijg alleen de inzage over 3 maanden, is dat een instelling?

Hmmm, nee, blijkbaar op het moment alleen bij de totalen bij de ShR pagina zelf. Zou wel een fijne uitbreiding zijn. Ik refereerde meer naar de suggestie dat je het aantal reviews waarop het gebaseerd is op tooltip zou hebben: en dat kan je dus wel zien

Als er geen nieuwere reviews zijn, wordt de score over de gehele periode getoond, met de sterren in grijs.

Wellicht dat er iets met kleuren gedaan zou kunnen worden in de nieuwe opzet ooit. Maar we moeten er ook voor waken niet teveel informatie in één balkje te proppen.

Als winkels erover klagen dat mensen met een negatieve review eerder de weg vinden, dan kunnen wij daar weinig aan doen. Dan kan de winkel er wat aan doen door structureel om reviews te vragen. Hetzelfde geldt voor het risico dat er alleen een negatieve review in de laatste 3 maanden staat. Wij kunnen niet nagaan wie wel of niet waar bestelt, om vervolgens actief een review te vragen. Een winkel kan dat wel. Dus ja, om het aantal reviews te verhogen ligt de bal nu eenmaal daar - dat meer reviews ook een aantal andere dingen oplost en verbetert is mooi meegenomen.

[ Voor 48% gewijzigd door Verwijderd op 09-01-2012 16:18 ]