Kwaliteit van scorekaart bij reviews

[nXXt]

Voor mijn 'klacht' gebruik ik even deze review als voorbeeld: reviews: Asus' VE276Q-display: groot maar fijn

Er zijn nog wat andere reviews die ik ook als voorbeeld had kunnen gebruiken, maar dit voldoet voor het idee

Laat ik beginnen met te stellen dat reviews op Tweakers doorgaans zeer goed tot uitstekend te noemen zijn. Op vrijwel elk denkbaar relevant detail wordt ingegaan en er is ruimte voor suggesties vanuit de community. Mede vanwege de reputatie van de reviews en de ruimte voor suggesties heb ik tot het openen van een topic besloten.

Als we de conclusiepagina van de review van de ASUS VE276Q erbij pakken, zien we op de pagina een aantal minpunten opgenoemd:

1. zeer matige fabrieksinstellingen (teleurstellende kleurenweergave)
2. matige ergonomische mogelijkheden
3. instabiele constructie
4. lage resolutie

Qua pluspunten wordt vooral de lage prijs genoemd en de overige features lijken in orde te zijn. Natuurlijk weegt niet ieder punt even zwaar, maar kijkend naar het grote aantal manco's dat door de reviewer wordt opgemerkt en het geringe aantal voordelen van de monitor (vooral 'bang for the buck'), lijkt een oordeel van 'goed' me nogal optimistisch. Afgaand op de kwalificaties als 'geen hoogvlieger' en de al eerder genoemde nadelen, lijkt een oordeel van 'redelijk' of misschien zelfs 'matig' me meer van toepassing.

Natuurlijk is er altijd de discussie of dit soort reviews opgevat moeten worden als 'een goede en goedkope monitor, mits je kunt leven met de beperkingen' of 'een matige tot redelijke monitor, die wel een zeer scherpe prijs kent'. Gezien de toon van de conclusie ben ik geneigd om de mening van de reviewer wellicht iets te kort door de bocht samen te vatten als 'koop deze monitor vooral als je veel geld wilt besparen'.

Al met al ben ik van mening dat de toon van de conclusie niet echt overeenkomt met de scorekaart. Een bedrijf, in dit geval ASUS, zou in dit geval het predicaat 'Tweakers.net-score: **** GOED' kunnen voeren. Mensen die niet de moeite nemen om de volledige review te gaan lezen en vooral op de naam van Tweakers.net afgaan, zouden op deze manier een lagere dunk van de kwaliteit van de oordelen van Tweakers.net kunnen krijgen. Dat lijkt me, zeker gezien de tijd en moeite die ongetwijfeld in het schrijven van de reviews gaat zitten, geenszins een wenselijke situatie.

Daarnaast bestaat er al snel de verdenking dat Tweakers maar weinig lage scores uitdeelt om zo iedereen enigszins te vriend te houden, wat bij sommigen wellicht de vraag doet rijzen of Tweakers.net nog wel neutraal is. Dat de toon van de volledige review aanzienlijk kritischer is en dat er aan de scores nogal wat mitsen en maren hangen, doet weinig af aan de schijn van 'te soft'. Ik ben zelf nog geen echt negatieve scorekaartjes tegengekomen, maar ik heb niet alle reviews gelezen en kan me daarnaast ook vergissen.

Een oplossing zou kunnen zijn om de scorekaart iets meer af te stemmen op de toon van het artikel, maar dit blijft vrij lastig vanwege het verschil in detail tussen de scorekaart en wat er uitgedrukt kan worden in een uitgebreide review. Een andere oplossing zou kunnen zijn om een soort klassen in te voeren, waardoor er een oordeel is voor low-, mid- en high-end producten. Dit heeft weer echter als nadeel dat de categorie prijs wellicht ietwat overbodig wordt op de scorekaart. Daarnaast is er nog het grote probleem dat dergelijke klassen nogal arbritrair zijn en er vaak sprake is van een glijdende schaal van low- naar high-end.

Een derde oplossing die aanzienlijk radicaler is, is het afschaffen van de scorekaart. Ik begrijp dat het voor sommigen een handige leidraad kan zijn, omdat er met de sterretjes een visuele indicatie is van de score. Maar op het moment dat de scorekaart wellicht eerder afbreuk doen aan de review dan dat ze een toevoeging zijn, gaat er mijns inziens iets mis en zou een dergelijke drastische oplossing te prefereren zijn over een afnemende reputatie van de reviews van Tweakers.net.

[Wilbert de Vries]

Willem mag hier inhoudelijk even op reageren. Op voorhand wil ik alvast wel even melden dat onze redactionele capaciteit beperkt is en dat we dus keuzes maken in wat we kunnen testen. Hierbij maken we uiteraard al een voorselectie, waardoor producten die mogelijk niet goed scoren al niet worden weggefilterd.

[nXXt]

Wilbert de Vries schreef op dinsdag 26 april 2011 @ 14:51:
Op voorhand wil ik alvast wel even melden dat onze redactionele capaciteit beperkt is en dat we dus keuzes maken in wat we kunnen testen. Hierbij maken we uiteraard al een voorselectie, waardoor producten die mogelijk niet goed scoren al niet worden weggefilterd.

Ah, dat vermoedde ik al. Niets mis mee inderdaad, er komt nogal wat rotzooi uit zo af en toe. Alles testen is dan inderdaad niet nodig en ongewenst.

[MikeyMan]

Dit viel mij vanmorgen ook al op. Zag een aantal minpunten, waarop mijn gedachte was "wat een slecht apparaat". Echter; kijk ik bij de scores, zie ik staan "goed". Goed lijkt mij een kwalificatie voor een product wat meer dan voldoet aan de verwachtingen. Lijkt mij dat dat in dit specifieke geval niet opgaat.

Tenzij er een consumentenbond-score wordt uitgegeven, waarbij prijs alles goed kan maken. Iets waar ik zelf niet echt vrolijk van word.

[mjtdevries]

Ik dacht niet dat bij de consumentenbond prijs alles goed kan maken. Het is jaren geleden dat ik een test van ze heb gezien, maar volgens mij had je een apart label voor een kwaltieit goed product en een apart label voor een goedkoop product met redelijke prestaties.

Iets van "beste koop" en "voordelige keus" of zo iets.
Het voordeel van die labels is dat je daar geen verkeerde gedachte bij kunt krijgen dat een voordelige keus op alle punten goed scoort.

Op zich lijkt me zo'n predikaat ook bij veel IT hardware zinvol. Vaak heb je producten die nergens op uitblinken of bijzonder presteren, maar door hun lage prijs wel zeer aan te raden zijn.

[MikeyMan]

mjtdevries schreef op dinsdag 26 april 2011 @ 15:50:
Ik dacht niet dat bij de consumentenbond prijs alles goed kan maken. Het is jaren geleden dat ik een test van ze heb gezien, maar volgens mij had je een apart label voor een kwaltieit goed product en een apart label voor een goedkoop product met redelijke prestaties.

Iets van "beste koop" en "voordelige keus" of zo iets.
Het voordeel van die labels is dat je daar geen verkeerde gedachte bij kunt krijgen dat een voordelige keus op alle punten goed scoort.

Op zich lijkt me zo'n predikaat ook bij veel IT hardware zinvol. Vaak heb je producten die nergens op uitblinken of bijzonder presteren, maar door hun lage prijs wel zeer aan te raden zijn.

Nouja, goed, dat was overdreven natuurlijk. Maar het lijkt er wel vaak op dat een lage prijs een hoop kan compenseren.

[Verwijderd]

Ik ben het eens met de topicstarter, ik lees de review en ik zie een matig scherm:
Niet de goedkoopste. Slecht te verstellen. Brakke kleurechtheid uit de fabriek. Mocht ik een dergelijk scherm zien zou ik daar zeker geen scoren van 4 sterren aan verbinden. Maar ik ben zo iemand die een monitor het belangrijkste onderdeel van een PC vind, dus trek je niet teveel van mij een

Aan de andere kant, ik vraag me erg af hoe zinnig het is om cijfers uit te delen aan een product. Een cijfer is en exact iets, mensen krijgen gauw de neiging om cijfers direct te vergelijken. Hoet ik nu een laptop kiezen van €500 met 5 sterren, of €600 met 4 sterren? Los daarvan is een cijfer in zekere zin een subjectief iets.

Je kan een product aanraden vanwege de lage prijs, maar ook vanwege zijn kwaliteiten. Dat ontbreekt in de schaal die nu word gebruikt.

[Verwijderd]

Betrouwbaarheid: slecht.

Hoe kan 'ie dan ooit een score goed krijgen? Bij 'goed' predikaat verwacht ik een telefoon die goed werkt, simpel.

reviews: Sony Ericsson Xperia Arc: onderweg naar perfectie

Daarnaast: in minpunten: accuduur matig. In de scorekaart: slecht.

[ Voor 9% gewijzigd door Verwijderd op 29-04-2011 12:45 ]

[willemdemoor]

Ik denk dat in het geval van de VE276Q de 'goed'-eindwaardering toch wel begrijpelijk is. Er zijn drie 'goed'-waarderingen en subjectieve eigenschappen als vormgeving niet meegerekend, drie 'voldoende'-waarderingen. Contrast en helderheid & kleurweergave zijn, zoals in de review te lezen valt, zonder veel problemen naar een hoger niveau te tillen. Weliswaar levert dat geen out-of-the-box-'goed'-waardering op, maar na kalibratie zou je op 4-5 keer goed en 1 of 2 keer voldoende komen. Dat rechtvaardigt imho wel een 'goed'-predikaat.

[mjtdevries]

Dus "goed" mits je zelf een hardware calibratie kit hebt?

Dat is best wel een stevige mits....

[Cloud]

willemdemoor schreef op vrijdag 29 april 2011 @ 13:42:
Ik denk dat in het geval van de VE276Q de 'goed'-eindwaardering toch wel begrijpelijk is. Er zijn drie 'goed'-waarderingen en subjectieve eigenschappen als vormgeving niet meegerekend, drie 'voldoende'-waarderingen. Contrast en helderheid & kleurweergave zijn, zoals in de review te lezen valt, zonder veel problemen naar een hoger niveau te tillen. Weliswaar levert dat geen out-of-the-box-'goed'-waardering op, maar na kalibratie zou je op 4-5 keer goed en 1 of 2 keer voldoende komen. Dat rechtvaardigt imho wel een 'goed'-predikaat.

Op zich kan ik dat wel begrijpen, maar denk jij dat de doelgroep van deze monitor kalibratiemiddelen in huis heeft? Of heb je uitsluitend een softwarematige kalibratie gedaan? In dat geval heb ik niets gezegd en kan ik er nog wel een beetje inkomen.

Indien je wel hardwarematige kalibratie uitgevoerd hebt (en dat denk ik wel), dan vind ik niet dat de score nu te verantwoorden is. Een product dat out of the box 'zeer matig' presteert op het gebied van kleurweergave, zou ik in dat geval geen 'goed' durven geven.

/mijn twee centjes

[willemdemoor]

Naja, in dit geval kun je de gemelde instellingen overnemen, dan zou je in the right ballpark moeten uitkomen
Maar de discussie over scorekaarten heeft iig bij ons op de redactie voor het nodige overleg gezorgd, we zoeken verbeterpunten

[mjtdevries]

En waarop is die aanname gebaseerd dat je die instellingen zou kunnen overnemen?


Als het zo simpel was: "1x kalibreren en dan het je de juiste instellingen voor alle schermen van die productieband", dan had de fabrikant dat zelf al gedaan.

Als een scherm out-of-the-box zo slecht is dan moet je er eerder vanuit gaan dat alle schermen van die productielijn sterk afwijken van elkaar en dat je voor alle exemplaren een aparte kalibratie moet doen.

In de praktijk is het vrijwel nooit zinvol om de kalibratieinstelling van een ander over te nemen. (desondanks blijft het wel een populaire bezigheid in fora)

[Verwijderd]

Een andere vraag is hoe lang zo'n calibratie intact blijft...
Als je calibreert, en daarna gelijk meet, dan meet je eigenlijk alleen hoe nauwkeurig je de calibratie kan instellen. Want natuurlijk komt er dan uit dat de monitor goed gecalibreerd is. Maar hoe ziet het plaatje er na 1 dag uit? En na 1 week? Ik denk dat je dan nog wel eens kon schrikken.

Verder ben ik het er mee eens dat je moet kijken naar de fabrieks instellingen wat betreft de score kaart. Het aantal mensen dat zelf gaat calibreren is op één hand te tellen. Dit paar uitzonderingen mogen dan de tekst wat nadrukkelijker lezen.

[nXXt]

Verwijderd schreef op dinsdag 26 april 2011 @ 22:30:
Aan de andere kant, ik vraag me erg af hoe zinnig het is om cijfers uit te delen aan een product. Een cijfer is en exact iets, mensen krijgen gauw de neiging om cijfers direct te vergelijken. Hoet ik nu een laptop kiezen van €500 met 5 sterren, of €600 met 4 sterren? Los daarvan is een cijfer in zekere zin een subjectief iets.

Eens. Het eerder genoemd voorbeeld van de consumentenbond is hier ook weer nuttig. Er is een 'beste getest' en een 'beste prijs/kwaliteit'. Het nadeel van het opnemen van de prijs inde totaalscore is dat mensen onterecht de indruk krijgen dat een viersterrenscherm van 600 euro onderdoet voor een vijfsterrenscherm van 500 euro, terwijl de hogere score tot uiting komt door de prijs.

Voor wat betreft de kalibratie ben ik het eens met de eerder genoemde opmerkingen aangaande het vermoedelijk lage aantal mensen dat zelf hiermee aan de slag gaat.

Zelf ben ik dan nog altijd van mening dat de scorekaart bij lange na niet voldoet aan de hoge verwachtingen die mensen (terecht) van Tweakers.net hebben.

[alex3305]

willemdemoor schreef op vrijdag 29 april 2011 @ 13:42:
Ik denk dat in het geval van de VE276Q de 'goed'-eindwaardering toch wel begrijpelijk is. Er zijn drie 'goed'-waarderingen en subjectieve eigenschappen als vormgeving niet meegerekend, drie 'voldoende'-waarderingen. Contrast en helderheid & kleurweergave zijn, zoals in de review te lezen valt, zonder veel problemen naar een hoger niveau te tillen. Weliswaar levert dat geen out-of-the-box-'goed'-waardering op, maar na kalibratie zou je op 4-5 keer goed en 1 of 2 keer voldoende komen. Dat rechtvaardigt imho wel een 'goed'-predikaat.

Even specifiek over monitor-reviews. Nu zeg jij namelijk dat een kalibratie-kit vereist is om een goed-predikaat te mogen ontvangen. Echter praten we hier over een monitor van 300 euro, terwijl voor zover ik kan zien de goedkoopste kalibratie-kit rond de 70 euro te vinden is. Dat is bijna 25% van de prijs van de monitor, wat ik persoonlijk nogal hoog vind, al dan niet de kwaliteit van zo'n dergelijke kit meegerekend. Praten we echter over een monitor van pak 'em beet 700 euro of meer, dan lijkt mij zo'n kalibratie-kit wel weer verantwoord. Neemt niet weg dat ik voor die prijs wel een beetje een out-of-the-box gekalibreerde monitor verwacht.

Daarnaast geef jij aan dat de instellingen van Tweakers over te nemen zijn en dat er dan in de buurt gekomen moet worden van het goed-predikaat, maar wat als de fabrikant van de monitor verschillende panelen gebruikt in hun serie - zoals Samsung bijvoorbeeld met de 226BW destijds. Dan kom je ook met de instellingen van Tweakers zeer waarschijnlijk niet in de buurt van de juiste instellingen.

Persoonlijk vind ik het dus een non-argument om bij monitor reviews een kalibratie mee te nemen in het eindoordeel. Iets wat nog steviger geld voor goedkope(re) monitoren.

Verder ben ik overigens wel voor een scorekaart, maar vind ik wel dat de scorekaart de review moet bevestigen al dan niet verstevigen. Iets wat ik vaak niet zie gebeuren op Tweakers, waardoor ik vaak de scorekaart maar met een (flink) korreltje zout neem, maar eerder de plus- en minputen in beschouwing neem.

[mjtdevries]

Beste prijs/kwaliteit zou ik niet willen gebruiken. Het vertelt je namelijk erg weinig.
Je kunt een beste prijs/kwaliteit krijgen door waardeloze kwaliteit te leveren maar een nog lagere prijs. Of een zeer hoge prijs met een nog hogere kwaliteit. Dus "beste prijs kwaliteit verhouding" zegt je niets.

De beste keus is meestal al hoge kwaliteit met bijbehorende prijs.
Een nuttige toevoeging voor de meeste lezers is dan: voordelige keus. (acceptabele kwaliteit voor een goede prijs)