De laatste twee reviews

[SomerenV]

16 februari verscheen de review van de Surface Studio 2. Vet! Ware het niet dat er bijna niet ingegaan wordt op het hele creatieve gedeelte. Nee, in plaats daarvan wordt er gekeken naar de prestaties van wat games, wat synthetische benchmarks en maar liefst 2(!!) benchmarks van creatieve toepassingen. En dat bij een apparaat dat juist gericht is op de creatieve markt.

De review leest als een soort opsomming van wat specificaties met als eindresultaat een cijfer dat behoorlijk laag is. Nou boeit dat cijfer me niet eens zo, maar de manier waarop de review in elkaar steekt is echt slecht. Er wordt gewoon 0 rekening gehouden met de doelgroep of met toepassingen die door die doelgroep gebruikt worden. Hoe kun je dan ooit tot een objectief eindoordeel komen? En dan heb je nog dit schrijnende stukje:

Microsoft heeft gekozen voor een laptopprocessor, die door zijn lagere tdp al langzamer is dan een desktopprocessor. Dit exemplaar is bovendien nog van de twee jaar oude Kaby Lake-generatie en heeft daarom slechts vier cores.

Een CPU is niet langzamer door een lager TDP. Het TDP is lager omdat de CPU zuiniger is. Daarbij is de CPU misschien wat verouderd maar dat maakt hem niet direct slecht. De meeste relevante toepassingen zullen echt prima draaien op de Surface Studio 2. Dat hadden jullie kunnen weten áls de juiste usecase getest was.

Vandaag was er de gamesmartphone roundup. Bij de specificaties:

Daarbij hebben we de belangrijkste en opvallendste voordelen dikgedrukt. Zie het als aandachtspuntjes die het overdenken waard zijn.

Dat is wel héél erg karig Maar goed, de Razer Phone heeft over het algemeen de beste specs en de Xiaomi biedt de meeste bang for buck. Vervolgens de benchmarks throttling. Xiaomi kan zich prima meten met de ASUS ondanks dat ie 2x zo goedkoop is. Maar waar zijn de games die getest zijn? Dan heb je een roundup van gamingsmartphones, wordt er totaal niet gekeken naar games? Kom op zeg Maar we gaan door. Bij geluid wint Razer het. Bij accuduur en het scherm Xiaomi. Bij fotografie de ASUS, maar het gaat om gaming dus in mijn ogen niet zo belangrijk.

Overall lijkt de Xiaomi de beste keuze te zijn. Stuk goedkoper maar kan zich meten met de ASUS. In de eindconclusie staat echter "Hoewel de prijskwaliteitverhouding dus goed is, wint de Black Shark hier natuurlijk niet de titel beste gamesmartphone mee." Waarom kan hij daarmee niet winnen? Als je er goed op kan gamen (en dat kan volgens de review) én hij is 2x zo goedkoop als de ASUS, waarom is de ASUS dan beter? Duidelijke winnaar? Niet echt.

Maar wat me nog het meeste stoort is dat er niet echt gekeken wordt naar daadwerkelijke games. Waar zijn de foto's van de gameaccessoires? En hebben gamingsmartphones nou wel of niet een bestaansrecht? In de inleiding staat namelijk: "daarnaast richten we ons natuurlijk op specifieke gamefeatures. Die geven deze telefoons namelijk hun bestaansrecht. Want dat hebben ze… Toch?" Waar is die vergelijking met reguliere smartphones om die vraag te beantwoorden?

Nu wordt er wel vaker geklaagd over reviews hier op Tweakers maar met deze twee laatste reviews slaan jullie de plank wat mij betreft wel heel erg mis. Bij de laatste review heb ik daarnaast héél erg het gevoel dat de ASUS als beste uit de test moest komen en da's ook geen goed teken. Leuk dat Tweakers producten reviewt maar als het op deze manier gaat dan kun je het beter weg laten wat mij betreft.

[WoutF]

SomerenV schreef op maandag 18 februari 2019 @ 15:49:
Bij de laatste review heb ik daarnaast héél erg het gevoel dat de ASUS als beste uit de test moest komen en da's ook geen goed teken. Leuk dat Tweakers producten reviewt maar als het op deze manier gaat dan kun je het beter weg laten wat mij betreft.

Je inhoudelijke feedback zal ik doorspelen naar de schrijvers van de artikelen, die kunnen daar beter antwoord op geven. Wat betreft je opmerking aan het eind: als je hiermee hint naar mogelijke beïnvloeding van de redactie om wat voor reden dan ook, dat is nu niet en nooit niet het geval.

[PiweD]

SomerenV schreef op maandag 18 februari 2019 @ 15:49:


[...]

Een CPU is niet langzamer door een lager TDP. Het TDP is lager omdat de CPU zuiniger is. Daarbij is de CPU misschien wat verouderd maar dat maakt hem niet direct slecht. De meeste relevante toepassingen zullen echt prima draaien op de Surface Studio 2. Dat hadden jullie kunnen weten áls de juiste usecase getest was.

Tsja..en de cpu wordt zuiniger door hem op een lager tdp af te stellen...en dan wordt 'ie langzamer dan een cpu met een hoger tdp toch? Dat vind ik een wat nutteloze discussie. Er staat ook nergens in de review dat toepassingen niet draaien, maar wel dat als je een hoop geld voor zo'n Studio 2 betaalt, dat een cpu van twee jaar oud een tegenvaller is.

Belangrijkste kritiek is dat er te weinig aandacht is besteed aan de tekenmogelijkheden, want tekenaars zijn de doelgroep. Ik heb iets aan de review aangevuld, maar het is duidelijk uit jouw reactie, de reacties onder de reviews en DM dat ik dit op een andere manier moet aanpakken, dus dat zullen we volgende keer anders doen.

[WEBGAMING]

PiweD schreef op dinsdag 19 februari 2019 @ 10:21:
[...]


Tsja..en de cpu wordt zuiniger door hem op een lager tdp af te stellen...en dan wordt 'ie langzamer dan een cpu met een hoger tdp toch? Dat vind ik een wat nutteloze discussie. Er staat ook nergens in de review dat toepassingen niet draaien, maar wel dat als je een hoop geld voor zo'n Studio 2 betaalt, dat een cpu van twee jaar oud een tegenvaller is.

Een nieuwe generatie cpu heeft ook vaak een lager tdp, is die cpu dan ineens langzamer?
Tdp heeft echt helemaal niets met prestaties te maken.

[MAX3400]

Tsja..en de cpu wordt zuiniger door hem op een lager tdp af te stellen...en dan wordt 'ie langzamer dan een cpu met een hoger tdp toch?

Een Pentium (Willamette) op 2GHz staat in de boeken voor 75W TDP. Dat ding is geen steek sneller dan mijn i3-8109U terwijl laatsgenoemde maximaal 28W TDP heeft volgens Intel.

[Andrasman]

Voor zover ik kan zien ben ik op elk punt in dit commentaar ingegaan in de reacties. Gisteren ben ik een groot deel van de dag met die reacties bezig geweest en heb ik o.a. nog een stukje bij de conclusie gezet over het bestaansrecht van gamingsmartphones. Voor de rest is het een round-up en worden ze vooral met elkaar vergeleken. @SomerenV Ik zou je willen vragen om de comments nog eens door te nemen, want dit is een herhaling van gisteren.

[TommyboyNL]

@Andrasman Er zijn echter ook een hele hoop kritische vragen die je tactisch niet beantwoordt, en rammelt de conclusie van je vergelijking aan alle kanten. Je laat de Asus winnen op basis van een aantal USPs zonder te toetsen of die daadwerkelijk een voordeel bieden (meegeleverde koelfan, 120Hz scherm, 6% hoge clock speed).
Vervolgens beweer je in de reacties dat de prestaties van de Xiaomi en de Asus elkaar nauwelijks ontlopen, maar is de meer dan dubbele prijs van de Asus gerechtvaardigd omdat je nóg meer geld uit kan geven aan accessoires die specifiek voor dit ene toestel gemaakt zijn.
Ook reken je de Xiaomi aan dat die weinig tunables heeft voor game-modi, zonder dat je bij de Asus en de Razer test of die ook enig praktisch nut hebben.
Dat klopt gewoon niet, en dat je zo stug achter je review blijft staan zonder weerwoord te accepteren terwijl niemand, NIEMAND anders zich kan vinden in jouw conclusie, roept gewoon heel veel twijfels op bij de onafhankelijkheid van deze review.

[WEBGAMING]

Dan wil ik toch ook nog even opmerken, over de telefoon review. Ik heb het niet helemaal gelezen, geef ik gelijk toe.

Maar een benchmark hoeft toch niet per se in een benchmark programma gemaakt te worden? Ik zie meerdere keren het punt aangehaald worden dat (mobiele) benchmarks niet heel betrouwbaar zijn, en dat klopt ook, daar niet van.
Maar voor een echte game benchmark is dat natuurlijk totaal irrelevant.
Jullie kunnen toch ook in game fps testen? En die benchmarks gebruiken? Is misschien wat lastiger, en kost meer tijd, maar een "game" telefoon review zonder enige game resultaten is gewoon ontzettend vreemd.
Er word ook gepraat over de software, maar dat word ook niet echt getest. Die software kan zo veel beweren, of het werkt is de vraag.

De throtlling benchmarks houd ik buiten beschouwing, omdat die eigenlijk helemaal niets vertellen.
Zoals ook al gezegd, als 1 telefoon de eerste run ontzettend goed doet, en dan terug valt, komt hij slecht uit de resultaten. Terwijl de prestaties misschien wel gewoon gelijk zijn aan de andere telefoons.

Zo zie ik nog wel meer rare punten, maar ik ben niet zo diep in to de telefoons, dus ik ben niet heel gekwalificeerd om daar over te praten. Maar het feit dat een telefoon die 2x zo duur is, maar een paar extra features heeft, zo'n hoog cijfer krijgt vind ik op zijn minst opvallend.

[ Voor 11% gewijzigd door WEBGAMING op 19-02-2019 14:42 ]

[Andrasman]

Dit is voor vandaag de laatste reactie die ik hierover geef, aangezien ik een nieuwe deadline heb. Maar voor nu: ik ben ingegaan op de koelfan, op de 120Hz en de hogere kloksnelheid. Alles ís meegewogen en dit kwam eruit. Ik blijf mezelf herhalen naar mijn idee, want ook op je punt van de prestaties die elkaar nauwelijks ontlopen ben ik ingegaan in de comments. Namelijk dat dat niet het enige is waarop beoordeeld is uiteraard. Ook gaat het daarnaast niet alleen om het kunnen kopen van meer accessoires, maar het is wel een van de dingen die het meer een gametelefoon maken.

Verder hadden we inderdaad nog twintig andere dingen kunnen testen, maar we moeten altijd een afweging maken waar we tijd in stoppen. Een round-up als deze kost al behoorlijk veel tijd. Tel de accutests maar eens op (in dit geval 7 nachten/dagen per toestel.

Als iemand nog vragen heeft: lees eerst alles goed door alsjeblieft, zodat ik gericht antwoord kan geven en niet hoef te herhalen. Zeker met opmerkingen als 'ik heb eigenlijk niet alles gelezen, maar..' kan ik niet zoveel.

[WEBGAMING]

Omdat ik niet alles gelezen hebt zijn mijn punten ineens irrelevant? Terwijl die punten ook door andere mensen gemaakt worden?

Natuurlijk moet er gekozen worden waar tijd in gestoken word. Maar als je een "game" telefoon test zonder gaming benchmarks heb je duidelijk de tijd verkeerd ingedeeld.

[TommyboyNL]

Andrasman schreef op dinsdag 19 februari 2019 @ 14:48:
Dit is voor vandaag de laatste reactie die ik hierover geef, aangezien ik een nieuwe deadline heb. Maar voor nu: ik ben ingegaan op de koelfan, op de 120Hz en de hogere kloksnelheid. Alles ís meegewogen en dit kwam eruit. Ik blijf mezelf herhalen naar mijn idee, want ook op je punt van de prestaties die elkaar nauwelijks ontlopen ben ik ingegaan in de comments. Namelijk dat dat niet het enige is waarop beoordeeld is uiteraard. Ook gaat het daarnaast niet alleen om het kunnen kopen van meer accessoires, maar het is wel een van de dingen die het meer een gametelefoon maken.

Je blijft jezelf herhalen, omdat dezelfde vragen gesteld blijven worden, omdat je de betreffende vragen ontwijkend blijft beantwoorden.
Als je nou gewoon een gekwalificeerd antwoord geeft op de meest voorkomende vragen, ben je van die herhalende vragen af.

[Erdinger]

TommyboyNL schreef op dinsdag 19 februari 2019 @ 14:52:
[...]

Je blijft jezelf herhalen, omdat dezelfde vragen gesteld blijven worden, omdat je de betreffende vragen ontwijkend blijft beantwoorden.
Als je nou gewoon een gekwalificeerd antwoord geeft op de meest voorkomende vragen, ben je van die herhalende vragen af.

Ditto.

[SomerenV]

Andrasman schreef op dinsdag 19 februari 2019 @ 14:48:
Dit is voor vandaag de laatste reactie die ik hierover geef, aangezien ik een nieuwe deadline heb. Maar voor nu: ik ben ingegaan op de koelfan, op de 120Hz en de hogere kloksnelheid. Alles ís meegewogen en dit kwam eruit. Ik blijf mezelf herhalen naar mijn idee, want ook op je punt van de prestaties die elkaar nauwelijks ontlopen ben ik ingegaan in de comments. Namelijk dat dat niet het enige is waarop beoordeeld is uiteraard. Ook gaat het daarnaast niet alleen om het kunnen kopen van meer accessoires, maar het is wel een van de dingen die het meer een gametelefoon maken.

Verder hadden we inderdaad nog twintig andere dingen kunnen testen, maar we moeten altijd een afweging maken waar we tijd in stoppen. Een round-up als deze kost al behoorlijk veel tijd. Tel de accutests maar eens op (in dit geval 7 nachten/dagen per toestel.

Als iemand nog vragen heeft: lees eerst alles goed door alsjeblieft, zodat ik gericht antwoord kan geven en niet hoef te herhalen. Zeker met opmerkingen als 'ik heb eigenlijk niet alles gelezen, maar..' kan ik niet zoveel.

Als zoveel mensen vragen hebben dan moet je je wat mij betreft afvragen of je je werk wel goed gedaan hebt. Niet lullig bedoeld, maar als mensen met zoveel vragen blijven zitten dan zit er ergens iets gewoon fout en dat is in dit geval de review.

Wat ik vooral zie in je reacties zijn ontwijkende antwoorden, antwoorden die niet stroken met de uitslag of antwoorden die doelen op een deadline of niet genoeg tijd hebben. Ook zeg je dat benchmarks niet meegenomen worden omdat de cijfers niet betrouwbaar zijn en het mogelijk misleiding is maar die benchmarkresultaten staan wel bij de kenmerken van telefoons. Ook nogal krom.

De meeste reacties op het artikel gaan over de inhoud van het artikel en hoe krom sommige dingen zijn. Wees dan een vent en neem je verlies. Het artikel is qua idee goed maar de uitvoering is gewoon belabberd. Als je vanwege tijdsgebrek een aantal essentiële zaken niet kunt testen (daadwerkelijke games, andere non-gaming smartphones ter vergelijk) én de eindconclusie rammelt, maak dan de keuze het artikel in z'n geheel weg te laten. Kwaliteit over kwantiteit.

PiweD schreef op dinsdag 19 februari 2019 @ 10:21:
[...]


Tsja..en de cpu wordt zuiniger door hem op een lager tdp af te stellen...en dan wordt 'ie langzamer dan een cpu met een hoger tdp toch? Dat vind ik een wat nutteloze discussie. Er staat ook nergens in de review dat toepassingen niet draaien, maar wel dat als je een hoop geld voor zo'n Studio 2 betaalt, dat een cpu van twee jaar oud een tegenvaller is.

Belangrijkste kritiek is dat er te weinig aandacht is besteed aan de tekenmogelijkheden, want tekenaars zijn de doelgroep. Ik heb iets aan de review aangevuld, maar het is duidelijk uit jouw reactie, de reacties onder de reviews en DM dat ik dit op een andere manier moet aanpakken, dus dat zullen we volgende keer anders doen.

Ja, dat van de CPU is een beetje muggenziften maar zo houden we elkaar scherp Dat je een hoop geld betaalt klopt, en dat de CPU wat ouder is ook, maar er is meer dan de CPU. Je betaalt voornamelijk voor het enorme scherm (dat overigens echt top notch is), het design en de manier waarop je het scherm kunt kantelen. Voor creatieve toepassingen heb je ook niet perse een allernieuwste CPU nodig. Dus ja, oude(re) CPU maar in creatieve toepassingen in 99% van de gevallen geen issue.

Wel goed te horen dat er de volgende keer voor een andere aanpak gekozen wordt. Producten komen voor een bepaalde doelgroep op de markt dus het zou tof zijn als er in een review of in vergelijken rekening gehouden wordt met die doelgroep. Soms heb je dan misschien wat externe expertise nodig maar ik denk dat het dit soort artikelen wel naar een hoger niveau kan tillen. In het geval van de Surface Studio 2 had je bijvoorbeeld een tekenaar, architect en fotograaf met het apparaat kunnen laten werken, al was het maar voor 2 uur ofzo. Je hebt dan echter wel input vanuit de doelgroep waar het apparaat voor bedoeld is. Hetzelfde geldt voor andere artikelen al zal het dan eenvoudiger zijn om in house mensen te regelen (gaming, muziek, videobewerking, netwerken, dat soort dingen). Je spreekt dan misschien een minder grote doelgroep aan omdat het artikel minder generiek is, maar de mensen die het lezen zullen het wel veel meer waarderen en dat is denk ik meer waard qua lange termijn.

Edit: kleine toevoeging, maar stel ik ga producten reviewen. Zelf ben ik cameraman en in mindere mate fotograaf en ik heb affiniteit met gaming en een beetje met audio. Nu besluit ik om netwerkapparatuur te gaan reviewen, maar omdat ik daar niet genoeg kennis van heb zal de review op z'n best oppervlakkig zijn en waarschijnlijk zitten er wat zaken in die simpelweg niet helemaal kloppen met de werkelijkheid. Hoe snel denk je dat mensen mijn reviews links laten liggen? Dat moet je niet willen, zeker niet als gerenommeerde website als Tweakers. Jullie hebben genoeg kennis en middelen in huis om prima artikelen uit te werken, maar dan moet kwaliteit wel een prioriteit krijgen over kwantiteit, anders wordt het een slippery slope. Views zijn leuk, maar viewer retention is nog véél leuker.

[ Voor 8% gewijzigd door SomerenV op 19-02-2019 18:17 ]

[pino85]

Andrasman schreef op dinsdag 19 februari 2019 @ 14:48:
Dit is voor vandaag de laatste reactie die ik hierover geef, aangezien ik een nieuwe deadline heb.

Kan dit ook niet een onderdeel zijn van het probleem mbt bepaalde keuzes? Het aspect tijd?
Buiten dat zijn er hoe we er ook tegen aan kijken af en toe duidelijk slordige reviews gemaakt waarin te zien is dat er of kennis mist of vanwege te halen deadlines verkeerde/snellere keuzes gemaakt worden.
Ik denk dat hier wel eens erg goed naar mag worden gekeken of de balans er nog steeds is.
Deadlines zijn volkomen logisch maar dat mag niet leiden tot mindere reviews of verkeerde inhoud.
En de kennis wel of niet in huis hebben, met zo’n groot netwerk als Tweakers heeft moet dat geen enkel probleem zijn.

[ Voor 45% gewijzigd door pino85 op 20-02-2019 13:39 ]

[CyberMania]

Ik vind het ook raar dat een apparaat dat specifiek voor de doelgroep van grafische ontwerpers is ontworpen, wordt getest en beoordeeld door iemand die dat helemaal niet is. Ik neem aan dat er binnen de Persgroep toch vast grafische ontwerpers zijn te vinden? En anders pak je de telefoon bel je een beetje rond om iemand een paar uur uit te nodigen om te testen. Er zijn echt wel mensen voor te vinden. Waarom heeft de redactie die moeite niet genomen bij zo'n specialistisch apparaat? Wout kan wel wijzen naar de redacteur, maar hij had als eindverantwoordelijke deze review zo nooit door de vingers mogen laten glippen.

Zelfs TheVerge deed het zo:

I’m not an artist, so I had Verge reporter and published cartoonist Dami Lee try out the Studio 2 for creating digital artwork. Here’s what she had to say (...)

[ Voor 76% gewijzigd door CyberMania op 20-02-2019 12:10 ]

[Andrasman]

@pino85 Ik denk dat we die discussie voortdurend moeten voeren. Het is natuurlijk nooit de bedoeling dat een review of round-up online gaat als de conclusie niet gebaseerd is op goede informatie.

In het geval van deze gametelefoonround-up vind ik nog steeds niet dat de conclusie te kort door de bocht is. Ik snap dat een aantal van jullie het daar niet mee eens zijn, maar ik heb naar aanleiding van de opbouwende kritiek wat dingen aangepast. Daar kan ik inderdaad door tijdsoverwegingen niet mee bezig blijven, maar volgens mij kun je in bijna geen enkel beroep iets maar blijven verbeteren.

Het ontwijkende antwoorden geven vind ik een hele vreemde opmerking. Sowieso ben ik degene die het meeste ingaat op kritiek onder reviews van alle redacteuren en heb ik de meeste opmerkingen gemaakt in 2018 van alle tweakers. Daarmee probeer ik juist goed te antwoorden op dit soort vragen, ondanks dat ik misschien niet alles kan verhelderen en dat niet iedereen het ermee eens is.

Wat dit artikel betreft had ik er graag meer benchmarks bijgehaald, maar om inmiddels duidelijke redenen niet gedaan, en ik had graag nog meer games getest. Dat betekent niet dat ik te weinig games getest heb om er een oordeel over te geven, om maar iets te noemen. Mocht dat niet uit de tekst blijken, sorry daarvoor, maar ik zet niet iets online waar ik niet achter sta.

[Verwijderd]

Allereerst, ik heb met reviewers te doen. Het publiek is kritisch en er is veel concurrentie in de vorm van diepgaande reviews op andere sites. Er is druk om het kwalitatief uit te voeren maar ongetwijfeld ook tijdsdruk omdat het volgende artikel al weer wacht.

Dat gezegd hebbende, ik sluit me aan bij de klacht van TS. Bottom line vind ik het cijfer voor de Surface Pro 2 best terecht, gezien de absurde prijs, slechte repareerbaarheid en matige specs.

Toch wordt wel de plank misgeslagen omdat de niche doelgroep die dit zou kopen minder belang hecht aan prijs. Men hecht waarde aan het teken aspect en het is ook een publiek gevoelig voor het design van het apparaat. Ik zou zo een waslijst aan vragen kunnen bedenken welke deze doelgroep heeft of kan hebben, welke niet beantwoord worden in de review. Ik vind de insteek dus verkeerd door het apparaat bijna uitsluitend op prijs/prestatie te beoordelen.

Een soortgelijke conclusie had ik bij de iPad Pro review: verkeerd gereviewed, niet rekening houdend met de echte doelgroep en het beoogde gebruik van het apparaat.

Dus ja, er zijn apparaten die niet bedoeld zijn voor de algemene consument die uitsluitend kijkt naar prijs/kwaliteit. Er zijn apparaten waar andere, professionele, vragen relevant zijn. Die dienen naar mijn mening anders gereviewed worden dan nu het geval is. Dat betekent niet het checken op prijs/performance achterwege laten, eerder aanvullende checks doen.

Dat is tijdrovend, want je kunt het niet door standaard benchmarks duwen, maar het is wel nodig voor dit soort apparaten om een review serieus te nemen.

[pino85]

@Andrasman Ik stel het ook zeer op prijs dat je er zo op in gaat. Dat mag ook gezegd worden.

[SomerenV]

Eens met @pino85. We zijn misschien niet allemaal even happy met de antwoorden, en dat blijf je toch wel houden, maar het feit dat er wel actief gereageerd wordt op kritiek is een goed iets.

Ik snap best dat je niet voor iedere (p)review oneindig veel tijd is om er keer op keer een pareltje van te maken, maar ik hoop dat er wel wat gedaan wordt met de kritiek. Dus reviews meer gericht op specifieke doelgroepen. Dat wil niet zeggen dat je alles voor 'de massa' weg moet laten maar de focus moet imo op de doelgroep van een product liggen. Dan kun je waarschijnlijk ook een veel beter eindoordeel geven.