Alle telefoons zijn zeer goed

[Verwijderd]

Naar aanleiding van de shoot-out tussen de HTC One M8, Galaxy S5 en Xperia Z2: het valt me op dat de laatste tijd bijna alle telefoons het oordeel "zeer goed" krijgen. De enige telefoons die dat niet krijgen zijn een paar Nokia's en lager geprijsde varianten van high-end telefoons, zoals de HTC One (M7) Mini. Alle high-end telefoons met Android of iOs krijgen echter stuk voor stuk het oordeel "zeer goed".

Ik snap ergens wel dat het gebeurt. Eigenlijk zíjn alle high-end telefoons zeer goed: de accuduur is voldoende, de schermen goed, ze zijn snel en het ecosysteem is volwassen geworden. Maar als ik nu de keuze zou moeten maken tussen een S5, One M8 of Xperia Z2 heb ik daar helemaal niks aan. Het kan niet anders dan dat de een beter is dan de andere, maar dat zie je niet terug in de beoordelingen.

Is het niet een idee om de beoordelingen zolangzamerhand wat aan te passen? Het is tegenwoordig schijnbaar mogelijk om de bijna perfecte telefoon te produceren. Mooi, laat dan de minpunten extra zwaar wegen. Schuif de beoordelingen eens wat op en leg hogere eisen, want als elke telefoon dezelfde beoordeling krijgt is het nut van die beoordeling ook gelijk verdwenen natuurlijk.

[WoutF]

Verwijderd schreef op dinsdag 20 mei 2014 @ 20:54:

Ik snap ergens wel dat het gebeurt. Eigenlijk zíjn alle high-end telefoons zeer goed: de accuduur is voldoende, de schermen goed, ze zijn snel en het ecosysteem is volwassen geworden. Maar als ik nu de keuze zou moeten maken tussen een S5, One M8 of Xperia Z2 heb ik daar helemaal niks aan. Het kan niet anders dan dat de een beter is dan de andere, maar dat zie je niet terug in de beoordelingen.

Ik mag hopen dat als jij tussen die drie telefoons twijfelt je niet enkel af gaat op een eindscore maar daadwerkelijk de reviews leest Als je dat doet en ze vervolgens naast elkaar legt moeten de verschillen je zeker duidelijk zijn. Is dat niet zo, dan hebben we ook nog een mooie round-up, en als je die weer niet wil lezen kan je op het einde van die round-up in een vergelijkende tabel nog zien wat de sterke en zwakke punten van de toestellen zijn als je naast elkaar legt

Zo'n eindscore geeft een globale indruk van hoe goed een product is, maar met wat feitelijk een tienpuntsschaal is kunnen we natuurlijk nooit alle nuances en verschillen samenvatten. Als je de gehele review hebt gelezen is de scorekaart zelfs redelijk overbodig in mijn optiek.

[M2M]

WoutF schreef op woensdag 21 mei 2014 @ 08:10:
[...]

Ik mag hopen dat als jij tussen die drie telefoons twijfelt je niet enkel af gaat op een eindscore maar daadwerkelijk de reviews leest Als je dat doet en ze vervolgens naast elkaar legt moeten de verschillen je zeker duidelijk zijn. Is dat niet zo, dan hebben we ook nog een mooie round-up, en als je die weer niet wil lezen kan je op het einde van die round-up in een vergelijkende tabel nog zien wat de sterke en zwakke punten van de toestellen zijn als je naast elkaar legt

Zo'n eindscore geeft een globale indruk van hoe goed een product is, maar met wat feitelijk een tienpuntsschaal is kunnen we natuurlijk nooit alle nuances en verschillen samenvatten. Als je de gehele review hebt gelezen is de scorekaart zelfs redelijk overbodig in mijn optiek.

Ik snap het punt van de TS eigenlijk wel. Alles kan als zeer goed beoordeeld worden en zo lijkt het alsof T.net geen kleur bekent. Wellicht is het handiger om in vergelijkingsreviews simpelweg de telefoons op volgorde te zetten ipv wat sterretjes te geven?

[Verwijderd]

Wellicht is de prijs ook nog een factor die meegenomen moet worden. Want de "zeer goede" telefoons zijn ook zeer prijzig. Vaak zijn de prestaties redelijk evenredig met de kosten.
Een telefoon van €200 kan ook "zeer goed" zijn voor zijn geld. En een telefoon van €600 kan tegenvallen in de prestaties die verwacht voor zo'n bedrag. Misschien wel goed vergeleken met een telefoon van hetzelfde budget vorig jaar, maar de techniek gaat steeds verder en de productiekosten kunnen juist flink afgenomen zijn.

[ Voor 35% gewijzigd door Verwijderd op 21-05-2014 08:47 ]

[FabianNL]

Verwijderd schreef op woensdag 21 mei 2014 @ 08:44:
Wellicht is de prijs ook nog een factor die meegenomen moet worden. Want de "zeer goede" telefoons zijn ook zeer prijzig. Vaak zijn de prestaties redelijk evenredig met de kosten.
Een telefoon van €200 kan ook "zeer goed" zijn voor zijn geld. En een telefoon van €600 kan tegenvallen in de prestaties die verwacht voor zo'n bedrag. Misschien wel goed vergeleken met een telefoon van hetzelfde budget vorig jaar, maar de techniek gaat steeds verder en de productiekosten kunnen juist flink afgenomen zijn.

Er wordt toch ook al naar de prijs gekeken? Het beste voorbeeld hiervan is waarschijnlijk de Moto G die 'goed' krijgt, puur en alleen omdat het voor die scherpe prijs gewoon extreem veel telefoon levert.

Snap het punt van de TS opzich ook wel, als alles 'zeer goed' is, wat is dan de beste? In de tekst wordt dit wel duidelijk, maar in de score zelf niet. Echter, is dat volgens mij alleen op te lossen door met een nauwkeurige schaal te gaan werken (van 0,0 tot 10,0), maar dan zal je ook vast wel eens twee telefoons tegenkomen die ook alle twee toevallig een 8,3 score bijvoorbeeld.

[Kees]

FabianNL schreef op woensdag 21 mei 2014 @ 08:58:
[...]

Snap het punt van de TS opzich ook wel, als alles 'zeer goed' is, wat is dan de beste? In de tekst wordt dit wel duidelijk, maar in de score zelf niet. Echter, is dat volgens mij alleen op te lossen door met een nauwkeurige schaal te gaan werken (van 0,0 tot 10,0), maar dan zal je ook vast wel eens twee telefoons tegenkomen die ook alle twee toevallig een 8,3 score bijvoorbeeld.

Ook als je van 0-10 gaat rekenen heb je kans dat twee telefoons even goed scoren. Van de ene is de camera een 6je maar is de prijs erg goed, de andere heeft een hogere prijs en een goede camera. Wat is dan de beste? Iemand die heeeel veel foto's maakt zal mischien zeggen dat de camera de hogere prijs goed maakt, terwijl iemand anders dat niet uitmaakt. Iedereen is verschillend en heeft andere wensen, en dat is dus niet in 1 score te vangen. Om het verschil uit te leggen moet je dan veel woorden gebruiken, en dat word dan in de review gedaan.

[FabianNL]

Kees schreef op woensdag 21 mei 2014 @ 09:13:
[...]

Ook als je van 0-10 gaat rekenen heb je kans dat twee telefoons even goed scoren. Van de ene is de camera een 6je maar is de prijs erg goed, de andere heeft een hogere prijs en een goede camera. Wat is dan de beste? Iemand die heeeel veel foto's maakt zal mischien zeggen dat de camera de hogere prijs goed maakt, terwijl iemand anders dat niet uitmaakt. Iedereen is verschillend en heeft andere wensen, en dat is dus niet in 1 score te vangen. Om het verschil uit te leggen moet je dan veel woorden gebruiken, en dat word dan in de review gedaan.

Precies mijn punt en wat ik probeerde op te schrijven in één zin
Al met al kan je, in mijn ogen, dit "probleem" nooit oplossen en zal je, mocht je twijfelen, gewoon de review moeten lezen en anders ook andere bronnen aanspreken.

[Verwijderd]

Tweakers is in dezelfde val gelopen als die energie scores. Alle wasmachines zijn categorie A. En dus heb je nu A+, A++, A+++ ect.

Het probleem van Tweakers is dat ze niet snappen wat "gemiddeld" betekent. "Bovengemiddeld" is op Tweakers een negatieve score. Terwijl het eigenlijk zou moeten betekenen dat het beter is dan vergelijkbare producten op de markt! Als alle telefoons tegenwoordig "zeer goed" zijn, dan betekent dat dus dat dát de gemiddelde prestatie is die je van een telefoon verwacht. En zou bovengemiddeld iets moeten zijn dat méér is dan zeer goed. De serie "Matig-bovengemiddeld-goed-zeergoed-uitstekend" is een absurde opsomming.

De vraag is dus wat je eigenlijk bedoeld met de scores.

In de scores moet je hetzij aangeven hoe een product zich verhoudt in vergelijking met de rest, hetzij hoe goed een product scoort op het uitvoeren van bepaalde taken. Op dit moment schippert Tweakers tussen beide soorten beoordelingen, en dat werkt natuurlijk niet goed.

[ Voor 8% gewijzigd door Verwijderd op 21-05-2014 11:56 ]

[M2M]

Verwijderd schreef op woensdag 21 mei 2014 @ 11:54:
Tweakers is in dezelfde val gelopen als die energie scores. Alle wasmachines zijn categorie A. En dus heb je nu A+, A++, A+++ ect.

Het probleem van Tweakers is dat ze niet snappen wat "gemiddeld" betekent. "Bovengemiddeld" is op Tweakers een negatieve score. Terwijl het eigenlijk zou moeten betekenen dat het beter is dan vergelijkbare producten op de markt! Als alle telefoons tegenwoordig "zeer goed" zijn, dan betekent dat dus dat dát de gemiddelde prestatie is die je van een telefoon verwacht. En zou bovengemiddeld iets moeten zijn dat méér is dan zeer goed. De serie "Matig-bovengemiddeld-goed-zeergoed-uitstekend" is een absurde opsomming.

De vraag is dus wat je eigenlijk bedoeld met de scores.

In de scores moet je hetzij aangeven hoe een product zich verhoudt in vergelijking met de rest, hetzij hoe goed een product scoort op het uitvoeren van bepaalde taken. Op dit moment schippert Tweakers tussen beide soorten beoordelingen, en dat werkt natuurlijk niet goed.

Maar hoe bepaal je de "rest". Als de "rest" elke smartphone is die momenteel op de markt is klopt de "zeer goed / uitstekend" score voor alle exemplaren. Als je de prijs meeneemt wordt het wellicht anders en als je alleen in het high-end sectie kijkt beken je helemaal geen kleur.

[Verwijderd]

WoutF schreef op woensdag 21 mei 2014 @ 08:10:
[...]

Ik mag hopen dat als jij tussen die drie telefoons twijfelt je niet enkel af gaat op een eindscore maar daadwerkelijk de reviews leest Als je dat doet en ze vervolgens naast elkaar legt moeten de verschillen je zeker duidelijk zijn. Is dat niet zo, dan hebben we ook nog een mooie round-up, en als je die weer niet wil lezen kan je op het einde van die round-up in een vergelijkende tabel nog zien wat de sterke en zwakke punten van de toestellen zijn als je naast elkaar legt

Zo'n eindscore geeft een globale indruk van hoe goed een product is, maar met wat feitelijk een tienpuntsschaal is kunnen we natuurlijk nooit alle nuances en verschillen samenvatten. Als je de gehele review hebt gelezen is de scorekaart zelfs redelijk overbodig in mijn optiek.

Helemaal waar, en natuurlijk lees ik de review volledig door. Maar zoals het nu is, heeft de eindscore geen enkel nut. Immers, álle telefoons krijgen het oordeel "zeer goed". Is het dan niet nuttig om de beoordelingen te verschuiven? Verhoog de norm. Een snelle telefoon met een goed scherm en goede software krijgt dan drie sterren, niet meer viereneenhalf zoals nu. Een telefoon die dat alles doet, maar daarnaast ook op andere punten heel goed scoort krijgt vier, en een telefoon die overduidelijk beter is dan alles wat er verkrijgbaar is, krijgt vijf.

Vergelijk het eens met de beoordeling van videokaarten. Videokaarten worden sneller en sneller. Daarom worden de benchmarks aangepast en de beoordeling strenger. Wat mij betreft gebeurt dat ook met telefoons. Ze worden beter en beter, en dus moet de beoordeling strenger worden om de verschillen duidelijk te maken.

[Kees]

Verwijderd schreef op woensdag 21 mei 2014 @ 17:41:
[...]

Helemaal waar, en natuurlijk lees ik de review volledig door. Maar zoals het nu is, heeft de eindscore geen enkel nut. Immers, álle telefoons krijgen het oordeel "zeer goed". Is het dan niet nuttig om de beoordelingen te verschuiven? Verhoog de norm. Een snelle telefoon met een goed scherm en goede software krijgt dan drie sterren, niet meer viereneenhalf zoals nu. Een telefoon die dat alles doet, maar daarnaast ook op andere punten heel goed scoort krijgt vier, en een telefoon die overduidelijk beter is dan alles wat er verkrijgbaar is, krijgt vijf.

Vergelijk het eens met de beoordeling van videokaarten. Videokaarten worden sneller en sneller. Daarom worden de benchmarks aangepast en de beoordeling strenger. Wat mij betreft gebeurt dat ook met telefoons. Ze worden beter en beter, en dus moet de beoordeling strenger worden om de verschillen duidelijk te maken.

Videokaarten zijn redelijk eenvoudig. Die beoordeel je op prestaties, prijs en geluid. Bij mobiele telefoons heb je het scherm, de accu, prijs, grootte, gewicht, behuizing, interface, beschikbare software, specificaties, prestaties, functionaliteiten, beeld kwaliteit, hoe 'voelt' de telefoon aan etc etc.

Mischien zou het handig kunnen zijn dat een gebruiker een gewicht kan meegeven aan een de punten zodat je bijvoorbeeld kan zeggen 'de prijs maakt mij niet uit, de accuduur is het allerbelangrijkste en daarna de camera' en dat op die manier het resultaat dynamisch aangepast word.

[Verwijderd]

Kees schreef op woensdag 21 mei 2014 @ 17:50:
[...]

Videokaarten zijn redelijk eenvoudig. Die beoordeel je op prestaties, prijs en geluid. Bij mobiele telefoons heb je het scherm, de accu, prijs, grootte, gewicht, behuizing, interface, beschikbare software, specificaties, prestaties, functionaliteiten, beeld kwaliteit, hoe 'voelt' de telefoon aan etc etc.

Mischien zou het handig kunnen zijn dat een gebruiker een gewicht kan meegeven aan een de punten zodat je bijvoorbeeld kan zeggen 'de prijs maakt mij niet uit, de accuduur is het allerbelangrijkste en daarna de camera' en dat op die manier het resultaat dynamisch aangepast word.

Dat is toch niet nodig? Een simpel voorbeeld. Toen de HTC Desire uitkwam (2010), was het doodnormaal dat de accu van een smartphone nog maar net een dag meeging. Tegenwoordig halen eigenlijk alle smartphones wel een dag, zelfs met (redelijk) intensief gebruik. Als je dan de accu wilt beoordelen, kun je ervoor kiezen dezelfde maatstaf te gebruiken als ten tijde van de Desire. Dan geef je elke telefoon een zeer goed, want tja, ze presteren ruim boven de norm. Of je kiest ervoor om een nieuwe norm te bepalen. Geef de telefoons die een dag volmaken met (redelijk) intensief gebruik drie sterren, telefoons die twee dagen redden vier sterren en telefoons die het een week volhouden de maximale vijf sterren. Dan is het verschil in accuduur aan de hand van de beoordeling in een keer duidelijk.

[Wilbert de Vries]

Verwijderd schreef op woensdag 21 mei 2014 @ 18:13:
[...]

Dat is toch niet nodig? Een simpel voorbeeld. Toen de HTC Desire uitkwam (2010), was het doodnormaal dat de accu van een smartphone nog maar net een dag meeging. Tegenwoordig halen eigenlijk alle smartphones wel een dag, zelfs met (redelijk) intensief gebruik. Als je dan de accu wilt beoordelen, kun je ervoor kiezen dezelfde maatstaf te gebruiken als ten tijde van de Desire. Dan geef je elke telefoon een zeer goed, want tja, ze presteren ruim boven de norm. Of je kiest ervoor om een nieuwe norm te bepalen. Geef de telefoons die een dag volmaken met (redelijk) intensief gebruik drie sterren, telefoons die twee dagen redden vier sterren en telefoons die het een week volhouden de maximale vijf sterren. Dan is het verschil in accuduur aan de hand van de beoordeling in een keer duidelijk.

We geven 1 score voor de hele telefoon. Jij kunt de accuduur belangrijk vinden, maar iemand anders vindt de camera weer belangrijker. Linksom of rechtsom komt het er gewoon op neer dat mensen zich een beetje zullen moeten inlezen, onze scores kunnen daarbij handvatten zijn maar zullen nooit in 1x het antwoord op alle vragen van alle mogelijke potentiële kopers kunnen geven. Daar streven we dus ook niet naar. We beoordelen een telefoon op een heleboel zaken en op basis van een heleboel criteria. Die criteria groeien mee met de tijd; iedereen zal snappen dat de Desire van toen flink verschilt van de ONe (M8) van vandaag de dag. Kort samengevat: als we een flinke reeks high-end telefoons achter elkaar testen, is het niet te voorkomen dat we diverse keren achter elkaar een 'zeer goed' als score uitdelen.

[ACM]

Verwijderd schreef op woensdag 21 mei 2014 @ 11:54:
Het probleem van Tweakers is dat ze niet snappen wat "gemiddeld" betekent. "Bovengemiddeld" is op Tweakers een negatieve score.

Er zit alleen maar een 'bovengemiddeld' bij, toen ik de redactie erop wees dat enerzijds 'bovengemiddeld' (3.5 ster) de enige relatieve bewoording is en anderzijds onder hun eigen gemiddelde zat... wilden ze toch nog steeds per se dat we die optie bovengemiddeld zouden noemen. Dus die discussie heb ik toen uiteindelijk maar opgegeven

Maar je zou bovenstaande opmerking dus eigenlijk nog aan moeten passen naar "De redactie van Tweakers snapt niet wat 'gemiddeld' betekent"

Los daarvan zijn scores helaas erg lastig om te geven. Hoewel het mooi zou zijn als je de 'norm' eenvoudig kunt verleggen en dan dus '3 sterren = de norm' zou kunnen hanteren... zo ziet men het niet, een product dat 3 sterren krijgt heeft blijkbaar maar een '5' of een '6' gekregen en is dus niet erg goed.

Het zou ook raar zijn als wij als wij een erg goede telefoon de helft van de maximale waarde geven, alleen maar omdat we vinden dat de haalbaarheid van de maximaal score lastiger moet omdat er 'teveel' zeer goede telefoons worden getest.
Bekijk het ook andersom, blijkbaar zijn het niet alleen goede telefoons, maar ook de beste telefoons van dit moment. Het zou raar zijn als die niet de hoogst haalbare score bereiken.

Bovendien krijgen we dan alsnog ook vragen waarom bij ons de S5, Z2 en One (M8) 'maar' 3-4 sterren krijgen, terwijl ze 'overal' 4.5 - 5 sterren krijgen.

[Verwijderd]

Als de eindscore altijd hetzelfde is, dan is die score nutteloos voor de lezer. Je hebt een score die gaat van 1 tot 5, maar in de praktijk wordt er alleen tussen 3 en 5 gegeven. En je device moet wel heel slecht zijn voor je ooit een 'magere' 3 sterren behaald, dus in de praktijk is er alleen 4 en 5. Dat is niet erg informatief.

Er is ook onduidelijkheid over wat de score eigenlijk betekent. Is het een absolute score, of is het een relatieve score. Dat schijnen zelfs de reviewers niet te weten. Het is een beetje van beiden, en dus is de verwarring compleet. Je kunt redeneren dat alle high-end phones veel sterren krijgen omdat hun absolute scores heel hoog zijn. Maar als je die scores dan blijkbaar absoluut neemt, i.p.v. relatief, dan zou de prijs van die dingen dus een zeer lage score moeten krijgen. Maar dat is dus niet zo. De prijs wordt dan plotseling relatief. De interpretatie van de score is dus totaal willekeurig.


Als de scores dusdanig nietszeggend worden, dat alles dezelfde score krijgt, dan is het zinloos om überhaupt scores te vervelden. Laat dan gewoon de scores weg, en laat alleen de lijst met positieve en negatieve punten staan.

[WoutF]

Verwijderd schreef op donderdag 22 mei 2014 @ 10:17:
Als de eindscore altijd hetzelfde is, dan is die score nutteloos voor de lezer. Je hebt een score die gaat van 1 tot 5, maar in de praktijk wordt er alleen tussen 3 en 5 gegeven. En je device moet wel heel slecht zijn voor je ooit een 'magere' 3 sterren behaald, dus in de praktijk is er alleen 4 en 5. Dat is niet erg informatief.

Er zijn genoeg apparaten op de markt die van ons ergens tussen 1 tot 3 sterren zouden krijgen. Wij kunnen van tevoren echter al inschatten of dat zo gaat zijn, en eerlijk gezegd vinden we het zonde om de tijd van redacteuren te besteden aan het reviewen van crap. De reden dat je zoveel scores tussen 3 en 5 sterren ziet is dus omdat we simpelweg veel high-end-spul testen dat ook daadwerkelijk goed is

Er is ook onduidelijkheid over wat de score eigenlijk betekent. Is het een absolute score, of is het een relatieve score. Dat schijnen zelfs de reviewers niet te weten.

Scores zijn relatief, dat is altijd zo geweest. Anders zou elke low-power budget-cpu (denk AM1 of Bay Trail) kut zijn omdat er veel snelle processors te krijgen zijn. Hetzelfde geldt voor goedkope videokaarten, telefoons, tablets en laptops. Prijs, en vooral de prijs ten opzichte van vergelijkbare producten, speelt altijd een rol in de beoordeling.

Wat mij overigens vooral opvalt is dat mensen denken dat je een complete review van een paar duizend worden en tig pagina's kan samenvatten in een enkele score op een tienpuntsschaal. We geven zo'n score ter indicatie en ter verduidelijking geven we ook nog plus- en minpunten. Dat nemen we serieus en proberen we zo goed mogelijk en consistent mogelijk te doen. Maar als je écht wil weten of de Galaxy S5 beter is dan de HTC One (M8) dan loont het om de uitgebreide tekst te lezen.

[[Roland]]

Leuke discussie en ik ga me er niet verder mee bemoeien maar als voorbeeld vind ik de beoordeling zoals DPreview dat doet erg goed. Score in procenten en altijd vergeleken met apparatuur uit dezelfde generatie.

Bij uitgebreide reviews (zijn erg uitgebreid daar) kijk ik eerst naar de score en valt daar iets uit de toon dan ga ik de bijbehorende review pagina lezen. Ook handig om apparaten uit verschillende klassen te vergelijken. De Moto G kan dan nog steeds goed scoren maar in één oogopslag zie je wel waarom deze goedkoper is (zonder dus de review te hoeven lezen). En de compare mode is dan erg handig/ leuk.

[Fiber]

Altijd_Lastig schreef op zaterdag 24 mei 2014 @ 22:15:
Leuke discussie en ik ga me er niet verder mee bemoeien maar als voorbeeld vind ik de beoordeling zoals DPreview dat doet erg goed. Score in procenten en altijd vergeleken met apparatuur uit dezelfde generatie...

...en dezelfde categorie en een 100 punten schaal. 83 punten voor een 'Pro' dSLR is niet hetzelfde als 83 punten voor een instap dSLR en dat is ook weer niet vergelijkbaar met 83 punten voor een compact camera...