[User Reviews] Normering te hoog

[Makkelijk]

Meer dan de helft van de user reviews eindigd in een 10. Ik kan hier veel of weinig over gaan zeggen, maar het probleem is duidelijk. Je hebt niet zo bijster veel aan het review-overzicht als alle userreview op een 10 uitlopen, vaak vind ik ze ook niet diepgaand genoeg om op de tekst af te gaan. Voor mijn gevoel heb ik er dus niet zoveel aan. Wat dat betreft wou ik even mijn mening geven.
Mijn oplossing? Simpelweg wat meer controle op de gepostte user reviews voor ze worden toegelaten.

[Wouter Tinus]

Dat heet de "buyer bias" en daar is weinig aan te doen. Iemand die een product gekocht heeft zal dat bijna altijd van te voren al een (hele) goede keus hebben gevonden, want anders had hij immers wel iets anders met zijn geld gedaan. Alleen om die reden geven user reviews al een vertekend beeld, want van de mensen die het product overwogen hebben maar uiteindelijk voor iets anders zijn gegaan hoor je niets. Daar komt vervolgens nog eens bij dat mensen vaak (bewust of onbewust) hun aankoop verdedigen in plaats van echt kritisch te zijn.

Beide problemen zijn gewoon inherent aan het concept van user reviews, en er is volgens mij dus ook nauwelijks iets aan te doen. De extreme gevallen kunnen er wel uitgewist worden (en dat gebeurt ook echt wel) maar we kunnen nooit beoordelen of een product wel echt die 8/9/10 verdient zonder zelf een objectieve test uit te voren. Als we dezelfde strenge eisen aan user reviews gaan stellen als aan onze eigen tests dan schiet de hele product survey zijn doel (laagdrempelig ervaringen uitwisselen) voorbij.

[begintmeta]

Dit is inderdaad ook duidelijk te merken in de shopsurvey. Vaak wordt een gang van zaken die feitelijk vrij normaal is (b.v. juiste product wordt op tijd geleverd) met een maximale score beloond. Dit gaat helaas ten koste van de spreiding. Je moet dan ook de teksten gaan lezen om nog te kunnen differentieren.

Ik denk trouwens dat daar wel wat aan is te doen, door kort voor het posten van een review/survey een beoordelingsrichlijn (met enkele voorbeelden) te geven. Afschaffen van cijfers zou ook een optie zijn. Alternatief zou je eventueel zou je een dichotome schaal kunnen gebruiken(bv zou hier wel/niet nog eens kopen).

Dat van die cijfers was me natuurlijk ook al opgevallen, was inderdaad wel een verbetering.

[ Voor 10% gewijzigd door begintmeta op 27-06-2005 15:53 ]

[Wouter Tinus]

begintmeta schreef op maandag 27 juni 2005 @ 15:19:
Afschaffen van cijfers zou ook een optie zijn. Alternatief zou je eventueel zou je een dichotome schaal kunnen gebruiken(bv zou hier wel/niet nog eens kopen).

Er wordt in de Shop Survey en Product Survey al niet (meer) met cijfers gewerkt. Een goede uitleg van hoe een survey gemaakt moet worden staat ook al in de FAQ. We kunnen mensen alleen niet gaan voorschrijven welke producten welke beoordeling waard zijn, want het hele idee is nou juist dat bezoekers dat met elkaar moeten bepalen .

[ Voor 32% gewijzigd door Wouter Tinus op 27-06-2005 15:26 ]

[Femme]

Als je kijkt in dit overzicht dan zie je dat van de laatste 100 surveys er 43 de maximale algemene score hebben. Dat is dus minder dan
"meer dan de helft".

Eén van de redenen waarom de gemiddelde score van de surveys vrij hoog is, is waarschijnlijk dat mensen alleen surveys posten over producten waarn zij enthousiast over zijn. Het is logisch dat de scores dan bovengemiddeld zijn. Veel users hebben slechts enkele surveys op hun naam staan. Ze bespreken dus lang niet alle producten die zijn in gebruik hebben, dus ook niet de producten waar zij minder tevreden over zijn. Ook zal meespelen dat de meeste tweakers zich vooraf goed zullen inlichten over een aankoop. De kans dat je dan een gigantische miskoop begaat is klein.

Mijn valt overigens juist op dat veel surveys wél erg gedetailleerd zijn.