Objectievere testmethodes reviews

[MarcoC]

De kwaliteit van smartphone-reviews van Tweakers vind ik te laag en ongebalanceerd qua diepte. Ik zal dit hieronder toelichten.

Bij praktisch elke review wordt luchtig gedaan over bepaalde (mogelijk belangrijke) zaken van een telefoon. De punten die ik met name bedoel zijn batterijduur, geluidskwaliteit en camerakwaliteit. Deze puten worden altijd uit de losse pols beoordeeld, en dat vind ik slecht. Het is namelijk makkelijk om dit objectief te meten.

Kijk bijvoorbeeld hoe AnandTech de batterijduur test en weergeeft, of hoe GSMArena de camerakwaliteit weergeeft. Ook heeft GSMArena een database met daarin dezelfde foto's die met elke camera genomen zijn. Hier kan je makkelijk de kwaliteit van de telefooncamera's vergelijken (grappig om te zien hoe de iPhone 4 praktisch alle concurrentie totaal wegveegt, ondanks dat de Tweakers beweerde dat de camera niet zo heel bijzonder was). Over de iPhone 4 gesproken, deze review van de camera is natuurlijk dramatisch. Er wordt enkel gekeken naar de kwaliteit van de flitser en hoe kleuren gereproduceerd worden. Dat slaat echt nergens op, sorry. Geen woord over de uitstekende kwaliteit van de 720p-videocamera. De iPhone 4 is op de N8 na één van de de beste telefooncamera die er is, en dat blijkt niet hieruit.

Kijk bijvoorbeeld naar Desire S review van vandaag. Zonder enige gene wordt beweerd dat de Desire S wel twee tot drie keer zo lang meegaat als bijv. een Incredible S. En dit na een dag spelen met de Desire S. Totaal nergens op gebaseerd, en vooral op onderbuikgevoelens. Je kunt deze conclusie niet trekken omdat niet beide telefoons hetzelfde gebruikt zijn. Daarnaast betwijfel ik dit zeer omdat de Desire S en Incredible S een soortgelijke batterij hebben, soortgelijk scherm hebben, soortgelijke SoC hebben en soortgelijke software hebben en dus eigenlijk gewoon bijna dezelfde telefoons zijn. Dan zou het vrij onlogisch zijn dat de batterijduur enorm verschilt en dit zou dan zeker goed onderzocht moeten worden. Nu wordt er een sterke conclusie gedaan die eigenlijk nergens op gebaseerd is.

Ook de geluidskwaliteit valt prima objectief te meten, en dit doet GSMArena bijv. echt heel erg goed. Met behulp van hun testwaardes en de frequency response diagrams valt redelijk objectief te zeggen welke telefoons de beste geluidskwaliteit hebben.

En wat mij dan verder stoort is dat er bijv. wel vier algemene benchmarks in de review staan die totaal niets zeggen over het dagelijks gebruik van het apparaat, en zijn deze benchmarks vaak enorm Android-ge-oriënteerd. Cool man, dat Desire S 5685 punten haalt in CaffeineMark, ik ren meteen naar de winkels om hem te kopen. Begrijp me niet verkeerd, ik vind het prima dat zulke tests gedaan worden, alleen vind ik het niet prima dat veel belangrijkere zaken zoals de camerakwaliteit, accuduur en geluidskwaliteit niet of nauwelijks objectief getest worden. Als je zo in-depth wilt gaan dat je zeker vier benchmarks uitvoert, dan moet je dat op alle punten doen vind ik.

Ik vind dat een site als Tweakers reviews zo min mogelijk moet baseren op persoonlijke meningen van de reviewer, juist omdat Tweakers een hardware-site is waarbij men alles wilt weten. Ik vind het niet interessant dat het geheugen van mijn telefoon 3ms sneller is dan die van de concurrent als de batterijduur veel slechter is. Maar over dat laatste hoor je vrij weinig, één alinea meestal. Dat vind ik gewoon jammer. Er wordt voorbij gegaan aan zaken die voor de eindgebruiker belangrijk zijn. Hoe objectiever de testmethodes zijn, hoe minder vrij men de conclusies van de reviewers kan interpreteren. Nu vind ik het allemaal een beetje natte-vingerwerk, en dat hoort niet bij een site als Tweakers vind ik. Het kan beter.

[ Voor 5% gewijzigd door MarcoC op 12-04-2011 13:07 ]

[arnoudwokke]

Om te beginnen: dank voor je uitgebreide post.Blij dat je de moeite neemt om ons te wijzen op zaken die beter kunnen. En: dat je onze reviews vergelijkt met die van de beste telefoonreviewers ter wereld (imho althans ), vind ik vleiend - ook al kunnen we het in jouw optiek niet van hen winnen. Ik hoop dat onze reviews ooit zo goed vinden dat je dit soort berichten doet toekomen aan GSMArena en Anandtech

Ten tweede: ik ben het grotendeels met je eens, Ja, het kan beter en ja, het moet beter. Is het slecht? Nee, dat denk ik niet. Check vooral ook hoe reviews er begin 2009 uitzagen. We komen van ver. En we zitten niet op onze luie krent, we werken constant aan verbetering.

Accutests is een van de zaken die wij aan gaan pakken. Hoe Anandtech het doet is beter dan wij dat nu doen, maar lang niet goed genoeg. Ze meten enkele zaken, maar bijvoorbeeld niet uithoudingsvermogen in standby. En juist dat gebruik je het meeste én is essentieel voor de waarneming van de accuduur; je kan accuduur tijdens browsen op 3g en wifi en bellen óók testen, maar denkt imho de lading lang niet. Aan de andere kant: hoe kun je de accuduur grondig meten en binnen afzienbare tijd een review online hebben? Of zouden we reviews later aan moeten vullen met deze info? Review splitsen in meerdere delen? We zijn er op de redactie nog niet uit.

Trouwens, de passages over accuduur zijn niet gebaseerd op gebruik van een dag, maar gebruik in twee weken. De 'dag' geldt alleen als voorbeeld, met gebruik dat veel lezers ook zouden kunnen hebben met een smartphone (en dus herkenbaar zou zijn).

Voor het overige is het ook een afweging van tijd die we erin kunnen steken en wat we eruit halen. Sommige mensen vinden de performance van de camera of hoe hard het geluid kan uit de luidspreker heel belangrijk, anderen vinden dat juist niet boeiend. Dat jij het belangrijk vindt, betekent niet dat het belangrijk is.

De cameratesten gaan we wel uniform maken, maar dat kon nog niet: we zitten midden in een verbouwing waardoor we de beschikking krijgen over een eigen studio, waar we de belichting en andere omstandigheden optimaal kunnen manipuleren voor betere resultaten onder exact dezelfde omstandigheden.

De huidige benchmarks in reviews kosten relatief weinig tijd en zeggen veel over de hardware. Veel tweakers willen dat weten en verwachten dat in onze reviews. Niet iedereen vindt het interessant, maar we werken er constant aan om relevante benchmarks te gebruiken (onlangs hebben we de set benchmarks aangepast, zoals je ongetwijfeld gezien zult hebben)

Kortom: er komt verbetering aan, ik verwacht dat we rond de zomer de resultaten gaan zien. Er staan nog enkele verhalen klaar die gemaakt zijn volgens de huidige manier - en vanwege een aankomende vakantie en toestellen die niet meer ter redactie liggen kunnen we die niet meer aanpassen.

Mocht je goede ideeën hebben voor relevante testen die niet in reviews van Anandtech of GSM Arena staan, dan hoor ik die graag - in dit topic, via dm of e-mail (wat je het prettigste vindt )

[MarcoC]

arnoudwokke schreef op dinsdag 12 april 2011 @ 13:28:
Om te beginnen: dank voor je uitgebreide post.Blij dat je de moeite neemt om ons te wijzen op zaken die beter kunnen. En: dat je onze reviews vergelijkt met die van de beste telefoonreviewers ter wereld (imho althans ), vind ik vleiend - ook al kunnen we het in jouw optiek niet van hen winnen. Ik hoop dat onze reviews ooit zo goed vinden dat je dit soort berichten doet toekomen aan GSMArena en Anandtech

Ik denk dat jullie het iig makkelijk zouden moeten kunnen .

Ten tweede: ik ben het grotendeels met je eens, Ja, het kan beter en ja, het moet beter. Is het slecht? Nee, dat denk ik niet. Check vooral ook hoe reviews er begin 2009 uitzagen. We komen van ver. En we zitten niet op onze luie krent, we werken constant aan verbetering.

Dat is zeker waar. Ik heb alleen soms het idee dat Arnoud Wokke het allemaal in z'n eentje moet doen .

Accutests is een van de zaken die wij aan gaan pakken. Hoe Anandtech het doet is beter dan wij dat nu doen, maar lang niet goed genoeg. Ze meten enkele zaken, maar bijvoorbeeld niet uithoudingsvermogen in standby. En juist dat gebruik je het meeste én is essentieel voor de waarneming van de accuduur; je kan accuduur tijdens browsen op 3g en wifi en bellen óók testen, maar denkt imho de lading lang niet. Aan de andere kant: hoe kun je de accuduur grondig meten en binnen afzienbare tijd een review online hebben? Of zouden we reviews later aan moeten vullen met deze info? Review splitsen in meerdere delen? We zijn er op de redactie nog niet uit.

Dit ben ik met je eens, maar zij kwantificeren de bevindingen. Dat is erg fijn. Als er gemeten is dat de accu gemiddeld na 6 uur webbrowsen leeg is, dan valt daar geen speld tussen tekrijgen. Dat bedoel ik alleen maar.

Trouwens, de passages over accuduur zijn niet gebaseerd op gebruik van een dag, maar gebruik in twee weken. De 'dag' geldt alleen als voorbeeld, met gebruik dat veel lezers ook zouden kunnen hebben met een smartphone (en dus herkenbaar zou zijn).

Goed mogelijk, dit wordt echter niet vermeld.

Voor het overige is het ook een afweging van tijd die we erin kunnen steken en wat we eruit halen. Sommige mensen vinden de performance van de camera of hoe hard het geluid kan uit de luidspreker heel belangrijk, anderen vinden dat juist niet boeiend. Dat jij het belangrijk vindt, betekent niet dat het belangrijk is.

De kwaliteit van de camera hoeft niet veel meer aandacht besteed aan te worden, het enige wat er moet gebeuren is dat er vergelijkende foto's worden gemaakt in reproduceerbare omstandigheden. Nu wordt er letterlijk vanuit de bureaustoel een foto uit het raam gemaakt volgens mij, dat vind ik wel karig.

De cameratesten gaan we wel uniform maken, maar dat kon nog niet: we zitten midden in een verbouwing waardoor we de beschikking krijgen over een eigen studio, waar we de belichting en andere omstandigheden optimaal kunnen manipuleren voor betere resultaten onder exact dezelfde omstandigheden.

Cool. Zouden jullie dan ook foto's in full-size kunnen plaatsen? Nu worden ze geresized, dat is erg jammer.

De huidige benchmarks in reviews kosten relatief weinig tijd en zeggen veel over de hardware. Veel tweakers willen dat weten en verwachten dat in onze reviews. Niet iedereen vindt het interessant, maar we werken er constant aan om relevante benchmarks te gebruiken (onlangs hebben we de set benchmarks aangepast, zoals je ongetwijfeld gezien zult hebben)

Dat begrijp ik, alleen ik kreeg het idee dat er aan verkeerde zaken prioriteit wordt geven. Drie pagina's met benchmarks en dan 1 alinea over de batterijduur. Die verhouding vond ik scheef.

Kortom: er komt verbetering aan, ik verwacht dat we rond de zomer de resultaten gaan zien. Er staan nog enkele verhalen klaar die gemaakt zijn volgens de huidige manier - en vanwege een aankomende vakantie en toestellen die niet meer ter redactie liggen kunnen we die niet meer aanpassen.

Mocht je goede ideeën hebben voor relevante testen die niet in reviews van Anandtech of GSM Arena staan, dan hoor ik die graag - in dit topic, via dm of e-mail (wat je het prettigste vindt )

Mwoah, ik heb verder niet zoveel toe te voegen. Ik ben iig blij dat jullie er zelf ook al mee bezig waren. Maar ik erger me aan conclusies die open staan voor interpretatie. Een technische site zou alles wat relevant en meetbaar is moeten meten vind ik, maar dat gaan jullie ook doen zie ik . Wat ik vooral hoop is dat jullie geluidstesten op dezelfde manier als GSMArena kunnen doen. Het is in fijn om in discussies over telefoons met feiten te kunnen komen. Praktisch iedereen gebruikt tegenwoordig zijn telefoon als MP3-speler, grote verschillen in geluidskwaliteit kunnen dan doorslaggevend zijn. Nu is daar bijna geen informatie over (behalve bij GSMArena). In Nederland zouden jullie daar pioniier mee kunnen zijn. Te vaak zie je nu welles/nietes-discussies in de comments van reviews wat betreft batterijduur, camerakwaliteit en geluidskwaliteit. Een welles/nietes-discussie ontstaat alleen maar omdat er niets valt hard te maken. Dat kunnen jullie rechtzetten.

Ik wacht iig af wat de toekomst gaat brengen.

[mjtdevries]

Zou het een optie zijn om reviews te splitsen?

Ik kan me voorstellen dat de makkelijke/snel te testen objectieve items in de eerste review komen, zodat je ze lekker snel na de release kunt plaatsen.

Vervolgens zou je een opvolger kunnen maken in de trand van: "telefoon X in de praktijk"
Dat zou een relatief subjectieve review kunnen zijn waarin de redacteur vertelt hoe de telefoon na een aantal weken normaal gebruik bevalt.
Na een aantal weken is de nieuwigheid er af, en begin je vaak beter te zien welke nieuwigheden echte verbeteringen zijn en welke nieuwigheden niets toevoegen of zelfs een verslechtering zijn.

Daar zou je ook kunnen aangeven hoe het batterij gebruik in de praktijk bevalt. Moet je bv elke avond je telefoon aan de lader hangen bij normaal gebruik, of doe je dat 1x per week.

Dat geeft mij als eindgebruiker veel meer nuttige info dan een synthetische batterij test die (meestal) niet overeen komt met de praktijk.

[Muthas]

mjtdevries schreef op dinsdag 12 april 2011 @ 14:08:
Daar zou je ook kunnen aangeven hoe het batterij gebruik in de praktijk bevalt. Moet je bv elke avond je telefoon aan de lader hangen bij normaal gebruik, of doe je dat 1x per week.

Dat geeft mij als eindgebruiker veel meer nuttige info dan een synthetische batterij test die (meestal) niet overeen komt met de praktijk.

Maar dat maakt zo enorm moeilijk om te vergelijken. Elke gebruiker vat dagelijks gebruik anders op, en ook onder dagelijks gebruik van één persoon zitten enorme fluctuaties.

Een tussen toestellen vergelijkbare test zegt ook veel over wat je over dagelijks gebruik kan verwachten. Op basis van 3G-talktime en 3G- of WiFi-browsen kan je een vrij goede inschatting maken over hoe goed een accu en telefoon presteert.

Ik denk dat Tweakers al een heel eind gekomen is en vind het positief dat ze open staan voor verandering. Want er mag inderdaad nog wel wat gebeuren. Subjectiviteit voor zaken die ook objectief gemeten kunnen worden is voor een dergelijke techsite denk ik niet op zijn plaats.

arnoudwokke schreef op dinsdag 12 april 2011 @ 13:28:
Aan de andere kant: hoe kun je de accuduur grondig meten en binnen afzienbare tijd een review online hebben?
[...]
Trouwens, de passages over accuduur zijn niet gebaseerd op gebruik van een dag, maar gebruik in twee weken.

Spreek je jezelf hier niet iets tegen? In twee weken tijd moet het toch mogelijk zijn op z'n minst één objectieve accutest uit te voeren.

[ Voor 17% gewijzigd door Muthas op 12-04-2011 14:56 ]

[MarcoC]

mjtdevries schreef op dinsdag 12 april 2011 @ 14:08:
Zou het een optie zijn om reviews te splitsen?

Ik kan me voorstellen dat de makkelijke/snel te testen objectieve items in de eerste review komen, zodat je ze lekker snel na de release kunt plaatsen.

Vervolgens zou je een opvolger kunnen maken in de trand van: "telefoon X in de praktijk"
Dat zou een relatief subjectieve review kunnen zijn waarin de redacteur vertelt hoe de telefoon na een aantal weken normaal gebruik bevalt.
Na een aantal weken is de nieuwigheid er af, en begin je vaak beter te zien welke nieuwigheden echte verbeteringen zijn en welke nieuwigheden niets toevoegen of zelfs een verslechtering zijn.

Daar zou je ook kunnen aangeven hoe het batterij gebruik in de praktijk bevalt. Moet je bv elke avond je telefoon aan de lader hangen bij normaal gebruik, of doe je dat 1x per week.

Dat geeft mij als eindgebruiker veel meer nuttige info dan een synthetische batterij test die (meestal) niet overeen komt met de praktijk.

Hier ben ik geen voorstander van. De praktijk is voor iedereen anders, ik vind het vrij nutteloos of Arnoud Wokke de dag doorkomt met een bepaalde telefoon, want dat kan voor mij wel heel anders zijn. Het lijkt me nuttiger om objectieve vergelijkende tests te doen zodat elke lezer voor zichzelf kan beoordelen of de batterij geschikt voldoet ja of nee. Als jij tevreden bent met de huidige batterijduur van je telefoon, en een mogelijke opvolger presteert op alle punten beter, dan kan je er van uitgaan dat je een telefoon koopt met een betere batterijduur.

[Danfoss]

Om te beginnen sluit ik me aan bij de woorden van MarcoC.

Het valt of staat natuurlijk met waar tweakers.net wil staan met de reviews. De meer oppervlakkige manier van reviewen (breder publiek) of diepere reviews, meer techniek, goed kwantificeerbare metingen alla bijvoorbeeld Anandtech. Ik verwacht eigenlijk dat tweakers.net kwa inhoudelijkheid in reviews meer richting het laatste zou willen zijn maar ik heb geen idee of jullie dat zelf ook zo zien of zo aangestuurd worden?

arnoudwokke schreef op dinsdag 12 april 2011 @ 13:28:
Accutests is een van de zaken die wij aan gaan pakken. Hoe Anandtech het doet is beter dan wij dat nu doen, maar lang niet goed genoeg.

Als Anandtech een browsing drain test kan doen en een bel drain test kan doen zou ik me kunnen voorstellen dat je dit ook kan combineren. Laat een toestel 10 minuten lang sites bezoeken, 30 minuten standby, 10 minuten bellen, 30 minuten standby en kijk hoelang hij dit vol houdt.

[...] Ze meten enkele zaken, maar bijvoorbeeld niet uithoudingsvermogen in standby. En juist dat gebruik je het meeste én is essentieel voor de waarneming van de accuduur; je kan accuduur tijdens browsen op 3g en wifi en bellen óók testen, maar denkt imho de lading lang niet.

Mijn mening als telefoongebruiker is dat uithoudingsvermogen in standby echt totaal oninteressant is. De laatste 2 smartphones die ik in bezit heb gehad hadden echt een super standby tijd. Bij niet gebruiken houden ze het dagen vol. Maar juist als ik ze gebruik (vooral bellen!) haal ik vaak het einde van de dag niet op 1 batterij lading.

Aan de andere kant: hoe kun je de accuduur grondig meten en binnen afzienbare tijd een review online hebben? Of zouden we reviews later aan moeten vullen met deze info? Review splitsen in meerdere delen? We zijn er op de redactie nog niet uit.

In hoeverre is een review 'op tijd' af hebben relevant voor jullie? Loop je daardoor bezoekers mis? Wordt de review minder gelezen als je een week later bent dan de 'grote' launchday review sites? (die waarschijnlijk vaak items pre-launch al in bezit hebben en kunnen testen).

Het is toch geen roddelblad waar je als eerste je scoop moet hebben? Als review lezer denk ik niet "ik lees alleen reviews die binnen 1 week van uitkomen product gemaakt zijn". Nee, ik heb een rondje sites waarvan ik weet uit ervaring dat die goede reviews hebben en dan lees ik diegene die ik interessant vind.

Als je een half jaar na product winkel launch pas met een review komt ben je te laat maar tot aan zeg een maand na eerst verkoopbare datum is toch mooi op tijd?

Uitzondering is natuurlijk producten die je voor een launch als site al in je bezit hebt of meer high profile zijn, maar dat zijn speciale gevallen waar je goed moet plannen om toch zover mogelijk je complete test-script los te kunnen laten.

Als afsluiter een pluim, want ik zie dat zowel in aantallen als in de kwaliteit van reviews op tweakers.net wel een stijgende lijn

[arnoudwokke]

Dank voor alle reacties

Cool. Zouden jullie dan ook foto's in full-size kunnen plaatsen? Nu worden ze geresized, dat is erg jammer.

Ik upload altijd full-size. Zie bijvoorbeeld http://ic.tweakimg.net/ext/i/1301665208.jpeg In de review zelf maak ik hem passend, met een muisklik krijg je hem groot op het scherm.

Praktisch iedereen gebruikt tegenwoordig zijn telefoon als MP3-speler, grote verschillen in geluidskwaliteit kunnen dan doorslaggevend zijn.

Misschien een idee voor een polletje, want ik ken maar weinig mensen die dat doen.

Zou het een optie zijn om reviews te splitsen?

Ik kan me voorstellen dat de makkelijke/snel te testen objectieve items in de eerste review komen, zodat je ze lekker snel na de release kunt plaatsen.

Vervolgens zou je een opvolger kunnen maken in de trand van: "telefoon X in de praktijk"
Dat zou een relatief subjectieve review kunnen zijn waarin de redacteur vertelt hoe de telefoon na een aantal weken normaal gebruik bevalt.

Ik dacht juist omgekeerd. Eerst een oppervlakkigere review en daarna een volledige met alle cijfers, feiten en tabellen,

Spreek je jezelf hier niet iets tegen? In twee weken tijd moet het toch mogelijk zijn op z'n minst één objectieve accutest uit te voeren.

Nee, we hebben nog geen wijze van testen. Moeten we nog uitdokteren

Het valt of staat natuurlijk met waar tweakers.net wil staan met de reviews. De meer oppervlakkige manier van reviewen (breder publiek) of diepere reviews, meer techniek, goed kwantificeerbare metingen alla bijvoorbeeld Anandtech.

Ik kies absoluut voor dieper!

Laat een toestel 10 minuten lang sites bezoeken, 30 minuten standby, 10 minuten bellen, 30 minuten standby en kijk hoelang hij dit vol houdt.

Aan iets dergelijks dacht ik ook idd.

In hoeverre is een review 'op tijd' af hebben relevant voor jullie? Loop je daardoor bezoekers mis? Wordt de review minder gelezen als je een week later bent dan de 'grote' launchday review sites? (die waarschijnlijk vaak items pre-launch al in bezit hebben en kunnen testen).

Ja, late reviews worden minder gelezen. De interesse lijkt dan voorbij. Een paar weken binnen release is echt wel belangrijk. Liefst ontvang ik daarom toestellen voor de release, maar dat is niet altijd mogelijk.

Zoals gezegd: we zijn hard aan het werk om te verbeteren en ik hoop dat het tot meer tevredenheid stemt