[ShS] Onderbouwing survey en cijfers

[stylezzz]

Naar aanleiding van de post van microkid in het algemene shopsurvey topic wilde ik hierover een discussie openen. Het gaat om deze post btw :

[rml]Microkid in "[ ShS] Meldingen - deel 3"[/rml]

Hierin word beweerd dat de cijfers die een user geeft los staan van de survey/beoordeling op zich. Dit als reactie van de melding van user 'jan' daar vlak boven, welke deze survey :

http://www.tweakers.net/shopsurvey/5429#39431

Toch wel degelijk discutabel vond, ik kan hem daar geen ongelijk in geven. User +conan+ schrijft hier een mooi verhaaltje hoe hij zijn dvd's heeft besteld en ook daadwerkelijk geleverd heeft gekregen. Toch krijgt de shop de spreekwoordelijke 'veeg uit de pan' met 3 5'en!

Algemene indruk : 5 (waarom heb je er dan uberhaupt iets besteld?)
Service : 5 (is volgens mij iets wat pas na aanschaf komt, is dus geen sprake van in dit geval)
Afhandeling bestellingen : 5 (allah, die is onderbouwd. het enige gerechtvaardigde cijfer feitelijk)

Hoe kan dit? Is de user daadwerkelijk zo verbolgen dat hij geen bevestiging heeft gekregen en daarom de shop zo probeerd te 'straffen'? Nu concentreer ik me wel heel erg op 1 voorbeeld, maar de shopsurvey geeft nog altijd een erg zwart/wit beeld naar mijn mening.

Wit : 'user besteld iets, krijgt geleverd en als er een defect is word dat binnen afzienbare tijd gerepareerd/geruild. Mep.... 4 tienen.... Terwijl er feitelijk niks speciaals aan de hand is. Dit lijkt mij de meest normale gang van zaken.... toch????

Zwart : 'user besteld iets, moet wegens drukte een extra dagje wachten en een defect duurt maar liefst 2 weken voordat deze gerepareerd of geruild is. Mep.... 4 vieren.... niks deugt aan die zaak, de website sux... de service is bagger en de technische kennis is om te huilen.....

2 compleet vergelijkbare verhalen. 2 compleet verschillende uitkomsten....

Wat ik hiermee probeer te zeggen. De cijfers zouden wel degelijk in proportie gebracht mogen worden met de 'zwaarte' van de survey. 10'en zijn net zo belachelijk als er geen speciale prestatie geleverd is als 4'en in het geval er een dag te laat geleverd word.......

[ACM]

En je punt is?

Er wordt al op die manier gemodereerd in de ShS, met name op 4-en en 10-en. Overigens is de ShS door mij onder handen genomen en kan je dus beter nadat die wijzigingen online zijn gekomen je verhaal opnieuw houden dan nu nog over het oude/huidige systeem praten

[Longbeard]

De Frontpage Admins kijken alleen of de Shop Survey voldoet aan de voorwaarden die Tweakers.net stelt aan het plaatsen van shopsurvey. Wanneer de shopsurvey niet voldoet aan de voorwaarden wordt deze verwijderd. Wanneer een bepaalde beoordeling niet voldoende is onderbouwd verwijderen wij deze niet onderbouwde beoordeling.

Echter kunnen en willen wij niet gaan raden hoe zwaar de plaatser van de shopsurvey zijn beoordelingen weegt en gaan wij dit ook niet doen. De beoordelingen zijn een integraal onderdeel van de shopsurvey, een onderdeel waar de lezer aan de hand van de onderbouwing, de tekst, zijn eigen conclusie kan vormen. Een conclusie die niet bij voorbaad gefilterd en daardoor beinvloed mag worden door de mening van de Frontpage Admins.

Voor het overige zie ACM hierboven

[ Voor 3% gewijzigd door Longbeard op 20-04-2005 20:53 ]

[stylezzz]

ACM schreef op woensdag 20 april 2005 @ 20:44:
En je punt is?

Dat microkid beweerd dat de cijfers los staan van de onderbouwing in de survey. Of lees ik iets verkeerd daar?

Er wordt al op die manier gemodereerd in de ShS, met name op 4-en en 10-en. Overigens is de ShS door mij onder handen genomen en kan je dus beter nadat die wijzigingen online zijn gekomen je verhaal opnieuw houden dan nu nog over het oude/huidige systeem praten

Heb inderdaad paar weken terug een mailing ontvangen over aanstaande veranderingen. Het zal me benieuwen....

[Longbeard]

dominator schreef op woensdag 20 april 2005 @ 20:59:
[...]
Dat microkid beweerd dat de cijfers los staan van de onderbouwing in de survey. Of lees ik iets verkeerd daar?

Microkid bedoeld daar hetzelfde wat ik hierboven zeg. De Frontpage Admins kijken alleen maar of de beoordeling voldoende is onderbouwd. De zwaarte van de beoordeling, de cijfers, kijken wij als Frontpage Admins in zijn geheel niet naar.

[stylezzz]

Dat bedoel ik, en in mijn ogen zou dat dus wel moeten....

Maar ACM beweerd dat er wel degelijk word gemodereerd op 4én en 10én. Spreken jullie mekaar nou tegen?

[Crash]

dominator schreef op woensdag 20 april 2005 @ 21:11:
Dat bedoel ik, en in mijn ogen zou dat dus wel moeten....

Maar ACM beweerd dat er wel degelijk word gemodereerd op 4én en 10én. Spreken jullie mekaar nou tegen?

Ja, ACM bedoelt of iets anders, of zit er langs
Wij kijken niet naar de inhoud van de cijfers, wij kijken naar de onderbouwing van de cijfers.
Het moddereren van cijfers is haast niet te doen. Als ik iets een 8 waard vind, kan iemand anders dit een 6 of 9 waard vinden. Iedereen heeft een andere manier van beoordelen en bepaalde waarden waar hij of zij aan hecht en sommigen zijn heel kritisch en geven niet snel hoge cijfers. Dit is te persoonlijk om op te moddereren.

[Longbeard]

Wat ACM vermoedelijk bedoeld is dat wij inderdaad aandachtiger een Shop Survey bekijken wanneer deze extreme beoordelingen vieren en tienen heeft, echter laten wij de shopsurvey staan, wanneer wij zien dat de gegeven shopsurvey aan de voorwaarden voldoet en de gegeven beoordelingen voldoende zijn onderbouwd.

Wij gaan dus niet vieren of tienen veranderen, omdat wij als Frontpage Admins zouden vinden, dat een shopsurvey te zwaar of te licht is beoordeeld. Dat zou namelijk inhouden dat wij actief de Shop Survey beinvloeden, iets wat wij niet wensen te doen en niet zullen doen.

[stylezzz]

Crash schreef op woensdag 20 april 2005 @ 21:20:
[...]

Ja, ACM bedoelt of iets anders, of zit er langs

Duidelijk...

Wij kijken niet naar de inhoud van de cijfers, wij kijken naar de onderbouwing van de cijfers.
Het moddereren van cijfers is haast niet te doen. Als ik iets een 8 waard vind, kan iemand anders dit een 6 of 9 waard vinden. Iedereen heeft een andere manier van beoordelen en bepaalde waarden waar hij of zij aan hecht en sommigen zijn heel kritisch en geven niet snel hoge cijfers. Dit is te persoonlijk om op te moddereren.

Maar als iemand een redelijk positief verhaal geeft en dan toch 4én en 5én gaat strooien is dat geen reden tot modereren?

[Longbeard]

dominator schreef op woensdag 20 april 2005 @ 21:29:
[...]

Maar als iemand een redelijk positief verhaal geeft en dan toch 4én en 5én gaat strooien is dat geen reden tot modereren?

Nee, aangezien dat zou inhouden dat wij de Shop Survey bewust en actief gaan beinvloeden. Iets wat wij absoluut niet willen of zullen doen.

[stylezzz]

Raar beleid, maar goed ik bepaal dat ook niet...

Naar mijn mening zou je dan beter dat soort survey's kunnen trashen. Evenals de surveys waarin niks speciaals gemeld word maar waar toch 10én uitgedeeld worden. Cijfers wijzigen is discutabel, maar een survey die niet overeenkomt met z'n beoordelingen is dat ook.

Anyway... laten we het hierbij houden. Eens zien wat de vernieuwde shopsurvey ons gaat brengen!

[Longbeard]

Het draait erom dat de Frontpage Admins kijken of een Shop Survey voldoende is onderbouwd of niet. Wanneer de survey voldoende is onderbouwt is, blijft deze staan, wanneer de shop survey niet voldoende is onderbouwt verwijderen wij of de niet onderbouwde beoordelingen en in het geval dat de survey in zijn geheel niet voldoende is onderbouwd, wordt de survey in zijn geheel verwijderd.

[ Voor 7% gewijzigd door Longbeard op 20-04-2005 21:56 ]

[Harm]

dominator schreef op woensdag 20 april 2005 @ 21:29:
[...]

Maar als iemand een redelijk positief verhaal geeft en dan toch 4én en 5én gaat strooien is dat geen reden tot modereren?

Dat kàn wel reden zijn tot moderatie, omdat in die zin te beargumenteren valt dat een survey onvoldoende onderbouwd is. Als een survey gewoon positief is en er toch vieren of vijfen zijn uitgedeeld, dan is er dus toch iets aan de hand. Als dat niet te vinden is in het verhaal, dan is de survey onvoldoende onderbouwd. Echter, wanneer hier sprake van is, dat is volledig aan ons.

dominator schreef op woensdag 20 april 2005 @ 21:41:
Naar mijn mening zou je dan beter dat soort survey's kunnen trashen. Evenals de surveys waarin niks speciaals gemeld word maar waar toch 10én uitgedeeld worden. Cijfers wijzigen is discutabel, maar een survey die niet overeenkomt met z'n beoordelingen is dat ook.

En dat is dus ook precies wat wij doen. Echter zal dat niet altijd gaan zoals jij of een willekeurige andere user dat zou willen zien, maar dat is niets persoonlijks . Dat is gewoonweg een andere manier van kijken naar surveys en dat kijken is sowieso toch al subjectief, zoals eerder al is aangegeven. Echter, zoals jij ook al noemt, biedt de vernieuwde Shop Survey betere controlemogelijkheden en zouden dit soort zaken ook goed ondervangen moeten worden. Dus ik verwacht dat dit soort problemen dan ook zullen afnemen .

[maxtrash]

Naar aanleiding van een verwijderde shop survey van mij omdat deze te summier zou zijn wil ik even reageren in dit topic.

Zoals ook uit de thread blijkt wordt erg de nadruk gelegd op de motivatie en omvang van de survey. Nu had ik persoonlijk een batterijtje gekocht (<20 euro). Alles was prima, een ervaring zoals je die bij een goede webshop verwacht: functionele site, lage prijs, bestellen, werd volgende dag verzonden (voordat betaling binnen was, maar niet onder rembours) en twee dagen later in huis.
Als je een negatieve ervaring hebt kun je makkelijker een heel epistel schrijven, je hebt immers een aantal keren (geprobeerd) contact op te nemen, je beschrijft je klacht etc.

Als geste aan de verkoper wilde ik dit best even melden. Allerlei vanzelfsprekendheden die goed waren noem ik dan niet. Het gaat uiteindelijk ook om de statistieken en het is goed om te weten dat tientallen/honderden een goede ervaring hebben gehad. Wat dat betreft vind ik het tonen van de laatste 20/8 maanden ook wat beperkt.

Kortom, mijn suggesties zijn:
- bij positieve reacties minder strenge eisen aan (omvang) van onderbouwing. Dat vind ik fairder richting winkel.
- oprekken 8 maanden waardoor je vaker meer dan 20 reacties ziet;

verder overigens niets dan waardering voor de vrije tijd die de moderators in dit soort dingen stoppen.

[ Voor 5% gewijzigd door maxtrash op 30-04-2005 11:02 ]

[Microkid]

maxtrash schreef op zaterdag 30 april 2005 @ 11:01:
... Allerlei vanzelfsprekendheden die goed waren noem ik dan niet. Het gaat uiteindelijk ook om de statistieken ...

Kijk, daar gaat het dus al fout. Wat jij vanzelfsprekend vind, hoeft voor andere tweakers niet vanzelfsprekend te zijn. Jij zou bijv. een bevestigingsmail vanzelfsprekend vinden, maar iemand anders zit hier juist specifiek op te zoeken zodat hij zeker weet dat een shop netjes reageert. Daarom zien we graag dat iedereen zo uitgebreid mogelijk zijn ervaring meldt. Het melden van "alles was prima" is dan veel te generiek, en andere tweakers kunnen hier onvoldoende relevante info uit halen.

Tevens gaat het in de Shop Survey niet om de statistieken, anders hadden we de onderbouwing wel weggelaten. Juist de onderbouwing kan andere tweakers uitnodigen wel of niet bij een shop te bestellen. Puur op cijfers kan je niet beoordelen of een shop doet wat jij van de shop verwacht.

[Longbeard]

maxtrash schreef op zaterdag 30 april 2005 @ 11:01:
Naar aanleiding van een verwijderde shop survey van mij omdat deze te summier zou zijn wil ik even reageren in dit topic.

Zoals ook uit de thread blijkt wordt erg de nadruk gelegd op de motivatie en omvang van de survey. Nu had ik persoonlijk een batterijtje gekocht (<20 euro). Alles was prima, een ervaring zoals je die bij een goede webshop verwacht: functionele site, lage prijs, bestellen, werd volgende dag verzonden (voordat betaling binnen was, maar niet onder rembours) en twee dagen later in huis.
Als je een negatieve ervaring hebt kun je makkelijker een heel epistel schrijven, je hebt immers een aantal keren (geprobeerd) contact op te nemen, je beschrijft je klacht etc.

Ook een positieve ervaring met een shop kan goed onderbouwd beschreven worden, vaak is deze, zoals je al zegt, minder uitgebreid dan een negatieve ervaring, echter is de lengte van het verhaal voor de beoordeling van de survey niet van belang. Wat echter wel belangrijk is dat de user de beoordelingen goed onderbouwd. Door aan te geven wat hij bestelt en de beoordelingen goed te onderbouwen. Eén regeltje is meestal niet voldoende om je beoordeling voor de lezer begrijpbaar te onderbouwen.

Als geste aan de verkoper wilde ik dit best even melden. Allerlei vanzelfsprekendheden die goed waren noem ik dan niet. Het gaat uiteindelijk ook om de statistieken en het is goed om te weten dat tientallen/honderden een goede ervaring hebben gehad. Wat dat betreft vind ik het tonen van de laatste 20/8 maanden ook wat beperkt.

Juist omdat de statistieken van belang zijn dienden de beoordelingen goed onderbouwd te zijn.

De surveys blijven langer dan 6 maanden staan indien er minder dan 21 surveys bij de shop staan. Bij shops die meer dan 20 surveys hebben staan worden de surveys ouder dan een half jaar verwijderd. Zodoende geeft de Shop Survey een overzicht van de ontwikkelingen die een shop de laatste maanden door maakt. Resultaten in het verleden geven vaak niet de huidige situatie weer, de user is geinteresseerd in de huidige situatie van de shop om tot zijn koop beslissing te komen.

Kortom, mijn suggesties zijn:
- bij positieve reacties minder strenge eisen aan (omvang) van onderbouwing. Dat vind ik fairder richting winkel.

Of het nu een negatieve of positieve ervaring betreft, de onderbouwing dient altijd goed te zijn. Het minder 'streng' zijn voor positieve beoordelingen zou een vertekend beeld gaan geven. Hetgeen niet fair tov de users is.

- oprekken 8 maanden waardoor je vaker meer dan 20 reacties ziet;

Enkel bij shops die meer dan 20 surveys hebben worden die surveys die ouder dan 6 maanden zijn verwijderd.

verder overigens niets dan waardering voor de vrije tijd die de moderators in dit soort dingen stoppen.

Thanks

[maxtrash]

Kijk, daar gaat het dus al fout. Wat jij vanzelfsprekend vind, hoeft voor andere tweakers niet vanzelfsprekend te zijn. Jij zou bijv. een bevestigingsmail vanzelfsprekend vinden, maar iemand anders zit hier juist specifiek op te zoeken zodat hij zeker weet dat een shop netjes reageert.

goed voorbeeld want een bevestigingsmail vind ik inderdaad vanzelfsprekend. Ik heb nog nooit een webshop gehad die er geen stuurde. Ik kan me moeilijk voorstellen dat je daar op gaat zoeken.

Daarom zien we graag dat iedereen zo uitgebreid mogelijk zijn ervaring meldt. Het melden van "alles was prima" is dan veel te generiek, en andere tweakers kunnen hier onvoldoende relevante info uit halen.

als ik zeg site goed, goede prijs, snelle verzending zonder vooraf te hoeven betalen dan heb ik toch de hoofdzaken wel genoemd die je wil weten bij aanschaf van een batterij van 20 euro. Van te voren of achteraf heb ik niet gemaild dus rest valt ook niet te beoordelen.

[Harm]

maxtrash schreef op zaterdag 30 april 2005 @ 20:58:
[...]

als ik zeg site goed, goede prijs, snelle verzending zonder vooraf te hoeven betalen dan heb ik toch de hoofdzaken wel genoemd die je wil weten bij aanschaf van een batterij van 20 euro. Van te voren of achteraf heb ik niet gemaild dus rest valt ook niet te beoordelen.

Het lijkt mij geen goed idee om in dit topic individuele surveys te gaan bespreken, daar schiet niemand iets mee op volgens mij. Dat kan je doen per mail met de FPA die de survey verwijderd heeft. In dit topic is ruimte om te discussiëren over meer algemene zaken die te maken hebben met het beoordeelbeleid .

[edit]
En een titeledit, de afkorting van de Shop Survey is ShS en niet SS. Als je wil weten waarom dan bedenk je mijn functiebenaming maar even als afkorting .

[ Voor 11% gewijzigd door Harm op 30-04-2005 21:11 ]

[maxtrash]

Of het nu een negatieve of positieve ervaring betreft, de onderbouwing dient altijd goed te zijn. Het minder 'streng' zijn voor positieve beoordelingen zou een vertekend beeld gaan geven. Hetgeen niet fair tov de users is.

ik denk dat het beeld al vertekend is doordat de negatieve reacties sneller geplaatst worden, zo zit de menselijke geest nu eenmaal in elkaar.
In een ideale wereld neemt iedereen ruim de tijd om alle kanten van de zaak te belichten, in de praktijk mis je een hoop reacties als de drempel te hoog ligt. Het punt wat ik wil maken is dat je ergens een evenwicht moet vinden tussen weinig reacties maar van een heel hoog niveau en veel reacties maar af en toe wat meer summier.
Mijn evenwicht ligt kennelijk ergens anders dan dat van jullie, en een beetje 'positieve discriminatie' voor positieve reacties lijkt mij nuttig.

[Longbeard]

maxtrash schreef op zaterdag 30 april 2005 @ 21:22:
[...]

ik denk dat het beeld al vertekend is doordat de negatieve reacties sneller geplaatst worden, zo zit de menselijke geest nu eenmaal in elkaar.
In een ideale wereld neemt iedereen ruim de tijd om alle kanten van de zaak te belichten, in de praktijk mis je een hoop reacties als de drempel te hoog ligt. Het punt wat ik wil maken is dat je ergens een evenwicht moet vinden tussen weinig reacties maar van een heel hoog niveau en veel reacties maar af en toe wat meer summier.
Mijn evenwicht ligt kennelijk ergens anders dan dat van jullie, en een beetje 'positieve discriminatie' voor positieve reacties lijkt mij nuttig.

Gezien de laatste vijftig Shop Surveys gaat je conclusie tav de menselijke geest niet op voor de Shop Survey.

Positieve beoordelingen: 35
Negatieve beoordelingen: 13
Geen beoordeling: 2

Een positieve discriminatie zal enkel een vertekend beeld geven.

[maxtrash]

Longbeard schreef op zondag 01 mei 2005 @ 01:00:
[...]

Gezien de laatste vijftig Shop Surveys gaat je conclusie tav de menselijke geest niet op voor de Shop Survey.

Positieve beoordelingen: 35
Negatieve beoordelingen: 13
Geen beoordeling: 2

Een positieve discriminatie zal enkel een vertekend beeld geven.

ik hoop voor webshoppend nederland dat meer dan 1 op 4 tevreden is Grappig dat je uit dezelfde feiten een andere conclusie kunt trekken. Ter vergelijking: Ebay heeft een beoordelingssysteem waar de drempel om te beoordelen zo laag mogelijk is gelegd. Een goede webshop heeft een score van 99%, als je 95% hebt (met veel beoordelingen) dan is dat al dubieus. 35/48=73% is dan wel heel veel lager