Scorekaart sterren bij reviews

[Danfoss]

Kunnen jullie aangeven hoe de sterren in de scorekaart bepaald worden bij reviews?

Directe aanleiding voor mijn vraag is de Eee Pad Transformer review.
Bij featureset bijvoorbeeld staan 3 sterren. Als ik dan even de Ipad2 review erbij pak staan daar 4 sterren.
Bij featureset denk ik aan de mogelijkheden die je met een apparaat hebt? Als je bijvoorbeeld een ipad en transformer naast elkaar zet zijn de mogelijkheden van de laatste toch groter?

Idem eigenlijk voor het aantal sterren bij de prijs. Als je sec naar de 2 tablets kijkt is de 16GB transformer (zonder dock dus) volgens laatste pricewatch 80 euro goedkoper. En toch hebben beide tablets 4 sterren voor prijs? Waar is dat op gebaseerd?

Idem weer voor beeldkwaliteit. Beide tablets hebben toch een ips scherm met glasplaat dat je in de zon gewoon niet kunt gebruiken? Of hebben jullie ervaren dat de ene meer spiegelt dan de andere in dezelfde licht condities en dat de extra ster verklaard? De ipad2 review stipt het scherm aan in 5 regeltjes en toch scoort die 5 sterren. Waar zit dan dat verschil in? Ik kan het in de reviews niet echt terugvinden?

[Anoniem: 303530]

Het scherm vind ik ook zo vreemd. Volgens Anandtech presteren de schermen vrijwel identiek:
http://www.anandtech.com/...-pad-transformer-review/5

Met uitzondering van de hogere resolutie van de transformer, waarom krijgt de ipad dan nog een hogere score? Naar mijn bescheiden mening zou dat andersom moeten zijn.

Dat is overigens bij meer reviews het geval, het systeem met sterren maakt direct vergelijken heel makkelijk, maar willen we dat wel?

[Voor 18% gewijzigd door Anoniem: 303530 op 10-05-2011 14:31]

[WoutF]

Het scherm op de Transformer is heel erg goed, maar niet perfect. In buitenlicht is het namelijk niet goed te lezen. Daarom heb ik het vier uit vijf sterren gegeven. De iPad2-review komt niet van mijn hand, maar was dat wel zo geweest dan had ik het scherm waarschijnlijk geen vijf sterren gegeven, maar vier. Het heeft namelijk hetzelfde probleem als het ips-paneel in de Transformer: slechte leesbaarheid in direct zonlicht.

Anoniem: 303530 schreef op dinsdag 10 mei 2011 @ 14:23:

Dat is overigens bij meer reviews het geval, het systeem met sterren maakt direct vergelijken heel makkelijk, maar willen we dat wel?

Dat vind ik een goed punt. Het ligt voor de hand om scores naast elkaar te leggen, maar meestal wordt een product op zichzelf beoordeeld.

De Transformer krijgt bijvoorbeeld voor 'Featureset' van mij drie sterren omdat naar mijn mening de softwarematige integratie van het toetsenbord nog een stuk beter kan. Er zijn op dat vlak features die missen. Een iPad 2 heeft helemaal geen keyboarddock, dus de categorie 'Featureset' wordt daar weer anders geïnterpreteerd.

[Danfoss]

Helder, maar dan zijn dus eigenlijk de sterren niet direct vergelijkbaar. Is dat inderdaad dan wel wenselijk?

Meer directe product vs product reviews mag ook

[Anoniem: 303530]

WoutF schreef op dinsdag 10 mei 2011 @ 14:45:
Het scherm op de Transformer is heel erg goed, maar niet perfect. In buitenlicht is het namelijk niet goed te lezen. Daarom heb ik het vier uit vijf sterren gegeven. De iPad2-review komt niet van mijn hand, maar was dat wel zo geweest dan had ik het scherm waarschijnlijk geen vijf sterren gegeven, maar vier. Het heeft namelijk hetzelfde probleem als het ips-paneel in de Transformer: slechte leesbaarheid in direct zonlicht.

Maar dan krijg je dus dat de beoordelingen in feite niets meer zijn dan meningen. Dingen als schermkwaliteit, bouwkwaliteit en features zijn geen exacte wetenschap. Ik neem aan dat iedereen het met mijn eens is dat een eenduidige schaal van 1 tot 5 onvoldoende toelichting geeft. Je kan nu eenmaal onmogelijk zeggen dat X beter is dan Y als de specificaties ver uiteenlopen.

Om diezelfde redenen vind ik het geven van cijfers aan films en games nogal onzinnig. Toch doet iedereen het. Waarmee ik overigens niet wil zeggen dat ik het beter kan.

[mjtdevries]

Het lijkt me wel van belang dat redacteuren onderling afspreken naar welke aspecten gekeken word bij de beoordeling.
Je zult bv moeten afspreken of leesbaarheid buiten in de zon wel of niet een aspect is wat meegenomen moet worden.

Je mag toch verwachten dat soortgelijke producten op een website ook op een soortgelijke manier beoordeeld worden.
Nu is dat blijkbaar niet het geval, en dan lijkt het me beter om de sterren maar gewoon weg te laten en mensen de tekst van de review te laten lezen. Want dan voegen de sterren niets toe en zorgen ze alleen maar voor verwarring en verkeerde conclusies bij de lezers.

[Wilbert de Vries]

mjtdevries schreef op dinsdag 10 mei 2011 @ 17:33:
Het lijkt me wel van belang dat redacteuren onderling afspreken naar welke aspecten gekeken word bij de beoordeling.
Je zult bv moeten afspreken of leesbaarheid buiten in de zon wel of niet een aspect is wat meegenomen moet worden.

Je mag toch verwachten dat soortgelijke producten op een website ook op een soortgelijke manier beoordeeld worden.
Nu is dat blijkbaar niet het geval, en dan lijkt het me beter om de sterren maar gewoon weg te laten en mensen de tekst van de review te laten lezen. Want dan voegen de sterren niets toe en zorgen ze alleen maar voor verwarring en verkeerde conclusies bij de lezers.

Dat is zeker van belang. Het gebeurt ook al wel op die manier (aan de hand van testprotocollen) maar blijkbaar niet consistent genoeg. We zullen hier op letten.

[mjtdevries]

Zou het een optie zijn die testprotocollen (in simpele vorm) ook ergens te publiceren?
Onder een review zou bv een link kunnen komen in de trand van "how we test"

Een onderdeel van een laptop/tablet test zou dan schermkwaliteit zijn, en daar zou dan bv bij kunnen staan dat word bekeken hoe goed het ding in de zon leesbaar is en hoeveel impact die score op de totaal score heeft.
Bv 5% van de totaalscore bij een laptop en 15% bij een tablet. (zomaar wat fictieve getallen)

Iets in de trand van de HQV benchmark is wellicht wat teveel van het goede, maar dat is wel een beetje wat ik bedoel.
Een duidelijke beschrijving van waar naar gekeken word, en hoe je daar scores aan toe kent. En vervolgens dan hoeveel dat op de totale score uitmaakt. Zie bv onderstaande pdf:
http://www.hqv.com/index....8A0B923820DCC509A6F75849B

Het zou meteen een mooie aanleiding voor de community kunnen zijn, om aan te geven welke tests eventueel nog toegevoegd zouden kunnen worden, of welke aspecten belangrijker of juist minder belangrijk zouden moeten zijn in de eindscore.

[TERW_DAN]

WoutF schreef op dinsdag 10 mei 2011 @ 14:45:
Dat vind ik een goed punt. Het ligt voor de hand om scores naast elkaar te leggen, maar meestal wordt een product op zichzelf beoordeeld.

Heeft zo'n scorekaart dan überhaupt zin? Als het niet met elkaar te vergelijken is, wat heeft een waardering dan nog voor zin?

[Anoniem: 303530]

Ik ben eerlijk gezegd niet echt een fan van het 'notebookcheck model':


Voor elk klein detail worden er vaste punten gegeven. Geen USB3? Too bad. Voldoende reden voor mij om deze rating straal te negeren.

Ik ben er nog altijd voor om geen cijfer te geven, zoals anandtech dat doet. Pas wanneer er iets word getest wat echt bijzonder is in zijn klaase, zoals de u30jc, de eerste echte thin&light, of de xps 15, de laptop die alles kan word daar een ranking aan gegeven:

Goud, zilver, of in sommige gevallen brons.

[WoutF]

Terw_Dan schreef op donderdag 12 mei 2011 @ 11:30:
[...]

Heeft zo'n scorekaart dan überhaupt zin? Als het niet met elkaar te vergelijken is, wat heeft een waardering dan nog voor zin?

De scorekaart is bedoeld om aan het einde van de review een korte samenvatting van de tekst te geven, in de vorm van sterren. We begrijpen dat mensen het soms gebruiken als vergelijkingstool, maar dat is niet de bedoeling.

Scores verouderen namelijk ook snel. Als je over driekwart jaar de score van de nieuwste Android-tablet naast die van de Transformer legt, is dat een scheve vergelijking geworden. Er is dan immers snellere, betere hardware beschikbaar.

De enige situatie waarin de sterren direct vergelijkbaar zijn, is bij een roundup. Dan plaatsen we de scorekaarten op de laatste pagina naast elkaar om duidelijk aan te geven op welke vlakken de geteste producten verschillen.

We begrijpen dat het op dit moment niet helemaal duidelijk is, en we zijn momenteel aan het kijken hoe we dit kunnen verbeteren.

[TERW_DAN]

Maar als ik een score niet met elkaar kan vergelijken, wat heeft die score dan uberhaupt voor een betekenis?
Het is hetzelfde als bij benchmarks, als ik zeg dat iets 1000 punten haalt, dan kan dat heel goed zijn, maar ook dramatisch slecht, maar dat weet je pas als je het vergelijkt met iets anders.
Als je iets een 8 geeft op een bepaald punt, dan mag je er toch vanuit gaan dat iets beter is dan iets dat op dat punt een 7 krijgt, en slechter is dan een 9. De schaal is vastgelegd (1 t/m 10), dus dan wil ik dat met elkaar vergelijken.

Maar ik begrijp van je dat dat eigenlijk niet de bedoeling is, dus wat je eigenlijk zegt is dat die scorekaarten een samenvatting geven, waarmee ze dus eigenlijk waardeloos zijn, want ik heb niets aan iets dat ik niet kan vergelijken, en je leest reviews juist omdat je ze wil vergelijken.

Dat ze over tijd degraderen snap ik, maar dat is met alles zo.

[Anoniem: 303530]

Ik ben het met Terw_Dan eens. Jullie geven een cijfer wat $user wil vergelijken.
Maar dan komt de aap uit de mouw: dat is volgens jullie niet de bedoeling.

Volgens mij is er iets grondig mis met de verwachten van de scorekaart op dit moment.

[Wilbert de Vries]

We gaan even nadenken over een manier waarmee wij meer invulling/betekenis aan de scorekaarten kunnen geven. We hadden ze inderdaad bedoeld als een soort samenvatting onder een review. Uiteraard beseffen we dat er dan vergeleken gaat worden, maar dat faciliteren we verder nergens (geen ratings in de PW bijvoorbeeld nu en we kennen bewust ook sterren toe ipv een cijfer). Daar waar we wel vergelijken (roundups) heeft het wel zin om scorekaarten tegen elkaar af te zetten en daar doen we dat dus ook.

Ik heb onderschat hoe groot de behoefte is om ook de scorekaarten te kunnen vergelijken. We gaan dus op zoek naar een manier die onze huidige werkwijze redelijk intact laat maar bezoekers toch de meerwaarde biedt dat áls ze een vergelijking maken deze wel inhoud heeft of iets toevoegt.

[TERW_DAN]

@Wilbert.
Wat mij handig lijkt is een hele berg criteria opstellen waaran je een product wil laten voldoen. Een cijfer geven is namelijk compleet loos als je dat nergens op baseert. Ik zeg niet dat dat nu gebeurt, echter ik denk dat de criteria nog niet helemaal vastliggen, waardoor iedere reviewer een beetje zijn eigen invulling daaraan kan geven.
Stel je hebt een notebook die je reviewt. Dan kun je bijv het scherm beoordelen op de volgende punten.
- Inkijkhoek
- Pixeldefecten
- Resolutie
- Grootte
- Schermcoating
- Responstime
- Ghosting
- etc etc.

Voor ieder ding kun je individueel een cijfer geven en daarmee een cijfer geven voor dat onderdeel van je review. Die tel je bij elkaar op en dan heb je een cijfer.
Je kunt dan ook nog wegingen meenemen bij factoren, als de consensus is dat jullie pixeldefecten belangrijker vinden dan de responstime bijvoorbeeld. Zolang je die allemaal maar hetzelfde houdt dan ben je er voor een groot deel.
Wat betreft jullie werkwijze hoeft daar weinig aan te veranderen, want iedereen zal z'n punt nu ook ergens op baseren, alleen nu hang je daar een paar extra guidelines aanvast, zodat de review van reviewer 1 te vergelijken is met die van reviewer 2.

Dat producten over tijd minder interessant worden, omdat er wat snellers uitkomt ga je natuurlijk niet tegen, maar dat hoeft ook niet, want daar heb je benchmarks voor. Ik heb hier moederborden liggen die destijds scores haalden tussen de 8,5 en 9,5, maar dat zijn nu toch echt dingen waar ik niemand meer een plezier meer mee doe, want niemand heeft nog echt zin om met een Pentium 2 te gaan werken. Maar dat maakt de borden op zich niet slechter, enkel verouderd.
Hiermee elimineer je voor 90% het probleem dat dingen niet te vergelijken zijn. De laatste 10% zit hem dan in persoonlijke voorkeur (van zowel reviewer als lezer), en daar moet je dan toch de review maar voor lezen, maar dat zie ik niet echt als een issue.

En als bovenstaande scorekaart goed uitgewerkt is, dan zou je er zelfs voor kunnen kiezen om die op langere termijn ook te koppelen aan de productreviews. Daar zitten meer dan genoeg juweeltjes tussen en de users die echt hun best doen voor reviews gaan het vast geen probleem vinden om ipv 10 items, 100 items een beoordeling te geven, maar dat is natuurlijk iets voor de langere termijn denk ik.