CPU, GPU en PSU reviews

[Dirk]

Soms is een gesprek gewoon privé en kan men niet meer delen. Ga er dan niet om zeuren, zeker niet in herhaling.

[PcDealer]

Dirk schreef op donderdag 13 februari 2020 @ 10:48:
Soms is een gesprek gewoon privé en kan men niets meer delen.

In dat geval houd je het dan gewoon voor je. Nu voegt het niets toe.

[_Dune_]

@PcDealer @CH4OS Afgelopen zaterdag zijn een aantal moderators op HQ geweest. Daar is door Tweakers visie gedeeld wat er het komende jaar gaat gebeuren en in de komende drie jaar etc. Hier ga ik nog geen details over geven. Ook hebben wij kennis gemaakt met de nieuwe community manager Moonsugar.

Wat Moonsugar betreft, zij komt over als een leuke meid met een luisterend oor voor iedereen en goede ideeen, nu is het aan Tweakers en de community haar de ruimte te geven deze ideeen uit te werken.

Een deel van ons is later Amsterdam in gegaan om wat te eten en te drinken. sommige van ons, waaronder ik kwamen bij toeval dichtbij Moonsugar en Ch3ker aan tafel te zitten, hier werden leuke gesprekken gevoerd.

Met Ch3ker ook een poos over dit topic gesproken en de materie waaruit dit topic is ontstaan. Ik moet zeggen dat was een heel leuk gesprek. Vooral ook om te horen waar het testlab tegen aanloopt, maar ook de erkenning dat vanuit Tweakers niet aduquaat is gereageerd op de input van de community. Waardoor input uitgesmeerd en versplinterd is geraakt.

@Ch3cker was heel duidelijk zeker open te staan voor input en de resultaten vanuit dit topic en de samenvatting van @Redneckerz ook met open armen zou ontvangen. Het feit dat hij de communicatie nu zelf op zich heeft genomen (niet ten nadele van Wout) met de community zegt ook genoeg.

Persoonlijk heb ik er een goed gevoel bij, maar blijf critisch, voor nu eerst... heb nog even geduld...

[ Voor 31% gewijzigd door _Dune_ op 13-02-2020 12:14 ]

[Redneckerz]

_Dune_ schreef op donderdag 13 februari 2020 @ 11:48:

Een deel van ons is later Amdsterdam in gegaan om wat te eten en te drinken. sommige van ons, waaronder ik kwamen bij toeval dichtbij Moonsugar en Ch3ker aan tafel te zitten, hier werden leuke gesprekken gevoerd.

Altijd leuk als een Tweakers staf lid kleur bekent. Begrijp het heel goed dat Team Rood je favoriete team is, immers is de huisstijl van Tweakers ook nogal... rood.

[_Dune_]

Redneckerz schreef op donderdag 13 februari 2020 @ 12:13:
[...]
Altijd leuk als een Tweakers staf lid kleur bekent. Begrijp het heel goed dat Team Rood je favoriete team is, immers is de huisstijl van Tweakers ook nogal... rood.

Haha, gecorrigeerd... maar je hebt gelijk, mijn voorkeur ligt inderdaad bij groen/paars en euh rood.

Maar @Redneckerz heel veel dank voor het werk wat jij hebt verzet.

[ Voor 8% gewijzigd door _Dune_ op 13-02-2020 12:16 ]

[PcDealer]

_Dune_ schreef op donderdag 13 februari 2020 @ 11:48:
@PcDealer @CH4OS Afgelopen zaterdag zijn een aantal moderators op HQ geweest.

Is pino85 in "CPU, GPU en PSU reviews" ook een moderator? Anders snap ik de link niet.

Daar is door Tweakers visie gedeeld wat er het komende jaar gaat gebeuren en in de komende drie jaar etc. Hier ga ik nog geen details over geven. Ook hebben wij kennis gemaakt met de nieuwe community manager Moonsugar.

Terug naar de basis? Tweakers voor users met een hart voor techniek en niet Jan en alleman en hun moeder als gebruiker willen?

Wat Moonsugar betreft, zij komt over als een leuke meid met een luisterend oor voor iedereen en goede ideeen, nu is het aan Tweakers en de community haar de ruimte te geven deze ideeen uit te werken.

@Moonsugar stond nog niet ter discussie.

Met Ch3ker ook een poos over dit topic gesproken en de materie waaruit dit topic is ontstaan. Ik moet zeggen dat was een heel leuk gesprek. Vooral ook om te horen waar het testlab tegen aanloopt, maar ook de erkenning dat vanuit Tweakers niet aduquaat is gereageerd op de input van de community. Waardoor input uitgesmeerd en versplinterd is geraakt.

Het is fijn dat dat in elk geval helder is.
* PcDealer geeft @-The_Mask- een hand

@Ch3cker was heel duidelijk zeker open te staan voor input en de resultaten vanuit dit topic en de samenvatting van @Redneckerz ook met open armen zou ontvangen. Het feit dat hij de communicatie nu zelf op zich heeft genomen (niet ten nadele van Wout) met de community zegt ook genoeg.

Ik heb alle vertrouwen in @Ch3cker. Van wat ik heb gezien, is hij betrokken bij de community o.a. getuige de vele bitterballen die hij heeft gefrituurd

[MueR]

PcDealer schreef op vrijdag 14 februari 2020 @ 00:58:
Ik heb alle vertrouwen in @Ch3cker. Van wat ik heb gezien, is hij betrokken bij de community o.a. getuige de vele bitterballen die hij heeft gefrituurd

@Ch3cker is gewoon een absolute baas. Eenieder die geen vertrouwen heeft in Ch3cker heeft geen vertrouwen in het beste wat de mensheid te bieden heeft. Los van de bitterballen overigens, want daarin is hij een superheld.

Voor de gemiddelde Tweaker zegt dat misschien niet veel, maar voor de mensen die mij beter/persoonlijk kennen zegt het meer dan genoeg als ik zeg dat Ch3cker daadwerkelijk een absolute eindbaas is. #muerapproved

[ Voor 17% gewijzigd door MueR op 14-02-2020 01:15 ]

[PcDealer]

MueR schreef op vrijdag 14 februari 2020 @ 01:11:
[...]
Voor de gemiddelde Tweaker zegt dat misschien niet veel, maar voor de mensen die mij beter/persoonlijk kennen zegt het meer dan genoeg als ik zeg dat Ch3cker daadwerkelijk een absolute eindbaas is. #muerapproved

Dat wil wat zeggen!

[-The_Mask-]

Ch3cker schreef op woensdag 12 februari 2020 @ 20:19:

Aankomende vrijdag ga ik even met de betreffende redactieleden van Hardware Info en Tweakers en de betreffende coördinatoren in het testlab zitten om de feedback met betrekking tot de testprocedures en alles er omheen puntsgewijs door te lopen. Vooraf zal ik ook alvast even een verkennend rondje doen om te kijken of sommige punten haalbaar zijn.

Zo te zien staat er niks in in wat niet prima haalbaar is. Dit werd overigens wel regelmatig de vorige keren als één van de excuses gebruikt. Gemakkelijk haalbare dingen afschrijven als onhaalbaar, terwijl de voorstellen regelmatig zelfs zorgende voor een efficiëntere test. Dus minder tijd kwijt en een betere test, zonder dat het het serieuze investering zou kosten. Ik denk zeg het maar vast, voordat iemand dit weer als voorstel aangeeft, om niks hoeven te veranderen.

[Ch3cker]

Het heeft wat voeten in de aarde gehad, maar ik heb op alle onderwerpen die over testprocedures gaan een antwoord geformuleerd. Ik heb intensief met beide redacties gecommuniceerd over alle punten, dus jullie mogen er vanuit gaan dat de gegeven antwoorden een goede reflectie zijn hoe wij er als organisatie over denken.

Ik heb de punten voor onszelf even verdeeld in punten die voornamelijk gaan over testprocedures en punten die voornamelijk gaan over de review zelf. Deze laatste punten zal de redactie zelf ergens deze week nog beantwoorden.

Hieronder puntsgewijs onze antwoorden, waarbij ik alle individuele users getagged heb :

---

@pino85 :

• [GPU] Oudere drivers/updates - Men geeft aan dat het teveel tijd kost om per systeem voor alle games de update voor de driver uit te testen, met als gevolg dat resultaten afwijken van de rest van de sites. Dit (resultaten) moet op voorhand kloppen en up-to-date zijn. Oplossing: Of meerdere systemen uitbreiden via een OEM configuratie, of minder games testen zodat het protocol kleiner wordt maar wel beheersbaarder. Is de eerste oplossing financieel niet haalbaar, dan dit expliciet aangeven ter transparantie en voor optie 2 gaan.

We zijn het erover eens dat de ideale situatie zou zijn dat we alle relevante kaarten met de nieuwste driver testen. Vaak is het echter zo dat de driver voor de kaart die geïntroduceerd wordt of pas een dag van tevoren beschikbaar is, of een speciale driver is die alleen voor die specifieke kaart werkt. Dit maakt het testen van alle referentiekaarten op dezelfde driver voor de NDA-deadline vaak onmogelijk.

Onze testsuite is zorgvuldig samengesteld zodat er een goede mix van games in zit: bias naar AMD of Nvidia, maar ook genre, gebruikte API (DX11/DX12/Vulkan), engine en uitgever. Een of meerdere games hier uit halen zou kunnen, maar dan moeten we even goed kijken dat deze balans wel behouden blijft. Het voordeel van meer games testen is natuurlijk wel dat je een beter algemeen beeld krijgt van een kaart en eventuele uitschieters in 1 game iets genuanceerd worden.

Op dit moment duurt het ongeveer een dag om op 1 systeem 1 videokaart door ons complete testprotocol te halen. We hebben 2 systemen om op te testen, dus dat betekent dat we 2 kaarten per dag kunnen testen. Zelfs al zouden we een extra systeem neerzetten en/of enkele games uit ons protocol schrappen, komt de driver voor de nieuwe kaart vaak dusdanig laat binnen dat dit alsnog niet genoeg zal zijn.

Nogmaals, we snappen echt dat de drivers het liefst volledig gelijk moeten zijn om een eerlijke vergelijking te kunnen maken. Om een middenweg hierin te vinden stellen we het volgende voor : 1 à 2 weken voor een release alle relevante kaarten testen met de op dat moment nieuwste driver. In het geval dat er voor de nieuwe kaart een speciale driver wordt meegeleverd, zullen we die kaart met deze driver testen. Ter transparantie zouden we een lijst kunnen maken met de drivers welke gebruikt zijn voor de verschillende videokaarten, en dit in het artikel vermelden.

---

@Helgie :

• [GPU] Vermelding van 0.1% lows - 1% lows (99th percentile) wordt op dit moment al meegenomen, maar 0.1% lows zijn even zo nuttig, zo niet nuttiger. Zie de video hier.

Dit lijkt ons een zinnige toevoeging. Er moeten wat scripts en teksten aangepast worden, maar dit gaan we implementeren.

---

@Helgie :

• [GPU] Coil whine - GPU's, net als transitors op het moederbord, kunnen last krijgen van coil whine, storende geluiden afkomstig van de video kaart. Deze voortaan opnoemen, of desnoods meten hoeveel DB deze is op het totaal van de computerkast.gaan.

Coil whine kan erg irritant zijn. Helaas is het niet erg nuttig om dit te meten, gezien het per exemplaar kan verschillen.

---

@Helgie :

• [GPU] Temperatuur VRM en relevante onderdelen vermelden - Deze modules leveren de stroom voor de GPU en zijn essentieel bij overklokken. Mede hierom is het vrij relevant de temperatuur van deze te vermelden met het oog op overklokken. Meer info over de noodzaak van het meten van VRM vind je hier en hier. Dit kan afgevangen worden in een parameter op de grafiek, maar dient wel gemeten worden met een monitor tool.

VRM-temperatuur is inderdaad een interessant onderdeel. Er zijn een aantal manieren waarop je dit zou kunnen meten, maar voor zover wij op dit moment kunnen zien is geen van deze opties echt betrouwbaar. Helaas ontbreekt op veel kaarten überhaupt een sensor voor de VRM, en als deze er wel opzit, hoeft hij niet altijd betrouwbaar te zijn. Je kan daaardoor kaarten onderling niet goed met elkaar vergelijken.

We zouden zelf een sensor op de VRM kunnen zetten, maar het probleem daarmee is weer dat je de koeler moet verwijderen waardoor deze niet meer 100% zeker presteert zoals de fabrikant dit heeft bedoeld, en de sensor zit dan sowieso niet altijd op dezelfde, juiste, plek.

Blijft over het meten met een warmtecamera, zoals bijvoorbeeld guru3d doet. We zouden dit kunnen doen, maar ook dit zegt niet veel. Op veel kaarten zit een backplate, waardoor je niet de exacte temperatuur van de onderdelen op de kaart kunt zien aan de achterkant. Aan de voorkant zit de koeler, waar de camera niet doorheen kan kijken. Als ik zo even snel de laatste videokaart reviews van guru3d bekijk, en dan specifiek de pagina met de FLIR afbeeldingen zijn dit vrij nietszeggende afbeeldingen.

We staan natuurlijk open voor suggesties, maar op dit moment zien we niet echt een goede mogelijkheid om dit te meten.

---

@Helgie :

• [GPU] Als een kaart op lagere kwaliteit silicon is geproduceerd of minder goed kan overklokken, wellicht handig dit te vermelden.

We hebben hier de opmerking over het vermelden van de stevigheid even losgekoppeld van de andere feedback, gezien dat meer een redactionele keuze is.

Of een GPU op lagere kwaliteit silicon is gebakken is helaas niet echt makkelijk na te gaan. Met GPU-Z kun je een 'silicon quality' getal uitlezen bij Nvidia-kaarten, er bestaan echter veel twijfels over hoe dat getal te interpreteren en of het überhaupt wel wat zegt. Zijn er nog andere methoden om dit objectief te meten? In het verleden hebben we wel geregeld videokaarten overgeklokt, maar we merken dat door de variabele kloksnelheden van tegenwoordig dit nog nauwelijks effect heeft.

---

@Helgie :

• [CPU] Temperatuur vermelden - Testen hoe een CPU onder load consistent presteert en op welke temperatuur. Oplossing: Pak de meest populaire koeler in een prijsklasse die bij de CPU past, draai het ding 24 uur op vol vermogen met Prime95 en noteer dan de temperatuur (ook de ambient temperatuur, uiteraard), kloksnelheid, benchmarkscores en het opgenomen vermogen. Het is misschien geen realistisch scenario, maar zo weet je absoluut zeker welke performance je minimaal uit de CPU kan halen.

Dit klinkt als een nuttige test! We zitten zelf te denken aan een loop van Cinebench R20 van 20 minuten, om vervolgens de laagste, gemiddelde en max all core turbo op te schrijven. Het voordel van Cinebench is dat er ook een score uit komt rollen, waar we dan weer het gemiddelde en de standaarddeviatie van kunnen uitrekenen.

Bij onze tests werd de maximale temperatuur bereikt na ongeveer 15 minuten, dit is waarom wij voor 20 minuten hebben gekozen. Wel is het even de vraag welke koelers we daar dan voor zouden moeten gebruiken. Als je processors onderling wilt vergelijken heb je op zijn minst dezelfde koeler nodig, maar het is een beetje gek om een hele dikke koeler op een celeron te zetten, bijvoorbeeld. Op moment dat we verschillende koelers gaan gebruiken voor verschillende processors moet ergens een grens gesteld worden. Daar zouden we dan even naar moeten kijken. Wellicht per socket?

---

@Helgie :

• [PSU] Temperatuur relevante componenten - Middels een IR camera kan de temperatuur worden gemeten van bepaalde onderdelen in de PSU. Een dergelijke camera is een vrij lage kostenpost, maar levert wel een extra stuk detail die zeker bij PSU's essentieel is.

Op dit moment schrijft Tweakers niet over voedingen, maar gezien er wel nog een testprocedure is voor HWI toch een inhoudelijk antwoord. Met een IR camera is helaas niet goed door een ventilator en/of ander materiaal heen te meten. Ook zou je zo'n test op een vast vermogen willen doen om te kunnen vergelijken tussen voedingen, alleen is 200W voor een 1000W voeding een totaal anders workload dan voor een 500W voeding. Hierdoor zou je dus voedingen van verschillende vermogens alsnog niet echt met elkaar kunnen vergelijken, en zou de test alleen nuttig zijn bij een vergelijking van meerdere voedingen van hetzelfde vermogen.

---

@_Dune_ :

• [OS] Verscheidenheid in Windows 10. - Er wordt wel eens met verschillende Windows 10 versies getest. Het is hierbij zaak om zo uniform mogelijk van dezelfde versie gebruik te maken. Dit is vergelijkbaar met de algemene feedback dat er zoveel mogelijk met dezelfde GPU driver getest worden. Ook beveiligings patches dienen up to date zijn, zie hier.

Er zijn hierbij twee problemen die de kop op steken. Het eerste probleem is dat wij helaas niet alle processors langere tijd kunnen houden, en we deze dus simpelweg niet na een x periode opnieuw kunnen testen.

Het tweede 'probleem' is dat je voor vergelijkingstests zo lang mogelijk dezelfde windows versie wilt gebruiken. Op die manier kan je zo veel mogelijk processors testen die met elkaar te vergelijken zijn.

Ik heb hier de afgelopen paar dagen intensief over gesproken met beide redacties, en we zijn tot het volgende voorstel gekomen : 2x per jaar worden alle testsystemen volledig geupdate met de laatste windows versies. Dit is in lijn met de 2 jaarlijkse updates van Microsoft. In de praktijk denk ik dat het handig is om aan te houden dat dit pakweg een maand na de initiële release van een grote update zal zijn. Na deze installatie zullen we dan windows update uitschakelen, waardoor een platform ontstaat wat tot de volgende update volledig gelijk blijft aan deze versie.

De processors in reviews zullen dan dus alleen nog worden vergeleken met de processors die met dezelfde windows versie zijn getest. Het nadeel van deze opzet is wel dat als er in de tussentijd weer een lek in bijv de microcode van AMD of intel processors verschijnt, deze niet verwerkt is in de resultaten tot de volgende update. Voordeel is dat dit voor álle processors geldt in de vergelijking.

---

@_Dune_ :

• [GPU] Relevantie in het onderwerp - In dezelfde link is er een kopje gamebenchmarks. Je kan je afvragen hoe relevant gaming is als je met processors aan de gang gaat die voor een andere markt zijn dan de gemiddelde gebruiker. Kortom, er dient beter nagedacht te worden over de relevantie van bepaalde onderwerpen. Zie hier.

We testen in principe elke processor volgens een vast protocol, dat is zo voor een celeron, maar ook voor een threadripper. Het voordeel daarvan is dat je deze dan onderling kunt vergelijken, het nadeel is dat niet elke test even relevant is voor een processor. Ik denk wel dat het goed is om elke processor volgens dit standaardprotocol te blijven testen. Wel hebben we in dit protocol enkele uitzondering opgenomen. Zo testen we bijvoorbeeld op processors met een IGP ook 3DMark Nightraid en twee games op lage settings, te weten Dota 2 (vulkan) en F1 2019. Dit naast onze gebruikelijke gametests met een RTX 2080 Ti. Voor processors met meer dan 10 cores hebben we ook een uitzondering gemaakt, op deze processors draaien we als extra de Firefox compile test.

Waar ik het wel met de redacties over hebben gehad is dat we in specifieke gevallen, zoals het iGPU voorbeeld van Redneckerz en het HEDT voorbeeld van jou, een specifieke test zouden kunnen draaien voor een bepaalde review. Dat zou dan los staan van het standaardtestprotocol en de eventuele uitzonderingen.

---

@Redneckerz :

• [GPU] Context specifiek testen. - In de Athlon 3000G review wordt de iGPU (Vega 3) in games getest op 1080p. Hoewel dat een gangbare resolutie is, is dit geen logische performance resolutie. Bij een budget processor dient hier beter naar gekeken te worden om zo ''realistische'' 3D performance te testen. Als men 1080p wilt behouden, test dan ook op 720p, hence ''context specifiek'' testen: Beoordeel performance op basis van de hardware. Een Vega 8 of 11 zal minder moeite hebben met 1080p gaming dan een Vega 3, en dat zal ook gelden voor low budget discrete GPU's. Dit is vergelijkbaar met het punt Testen naar relevant nut.

Zie tekst hierboven.

---

Het algemene deel :

Algemeen :

• [GPU] Opwarming van een GPU middels bench en uitleg VRM. - Kloksnelheden van een GPU kunnen fluctueren omdat een kaart opgewarmt dient te worden. Daarnaast dient men het begrip VRM uit te kunnen leggen. Voor het opwarmen wordt nu 3DMark gebruikt, maar om GPU's absoluut te testen op warmte is FurMark een veel betere optie. Tevens is deze ook een OpenGL benchmark. Je zou deze ook als additionele test kunnen opnemen in het testprotocol en dan vanaf een bepaalde maximum temperatuur de overige game tests doen. Zo schep je een additionele data laag die zich over alle kaarten hetzelfde laat meten.

Inmiddels warmen we de kaarten niet meer op met 3DMark maar met de Aida stress test.

Afgelopen najaar hebben we een uitgebreide test gedaan wat de invloed van een opgewarmde GPU is op de benchmarkresultaten. We hebben de kaarten hiervoor 30 min opgewarmd, en vervolgens zo snel als mogelijk is 5 runs achtereenvolgens in een game gedaan. Bij de volgende game hebben we dit proces weer herhaald, weer 30 min opwarmen, weer 5 runs. Bij de 'koude' test hebben we de kaart niet opgewarmd, 1 run laten doen, laten afkoelen, de volgende run gedaan enz.

De resultaten die hier uit kwamen staan in de link waar ook naar verwezen wordt in de post hier. Dit komt niet boven de 2% uit.

Op basis van deze resultaten hebben wij geconcludeerd dat het opwarmen van kaarten voor elke benchmark niet noodzakelijk is. Wel warmen we de kaarten op als ze voor de eerste keer koud in een systeem komen, of als ze een tijd idle hebben gedraaid. Als jullie ideeën hebben voor extra tests om te kijken of dit op een andere manier toch invloed heeft, hoor ik het graag.

---

Algemeen :

• [CPU] / [GPU] Een strenge focus op beveiligings patches en driver updates. - Uit een review van April 2018 over de Ryzen is een addendum toegevoegd - hier. Voor CPU's worden getest zou eigenlijk als standaard gehanteerd moeten worden dat deze altijd met de laatste beveiligingspatches is uitgerust. Desnoods duurt het testen + reviewen dan langer, maar dit komt domweg te vaak voor, zie namelijk de sectie Dune waar een ander voorbeeld staat. Ook driver updates vallen hier onder. Het kan niet zo zijn dat 1 driver update een dag moet kosten. En dan niet naast zo snel mogelijk updaten dan een driemaandelijkse update houden als alternatief, maar wekelijks of tweewekelijks.

Zie antwoord hierboven. Wij denken dat dit een goed compromis is, we horen graag jullie feedback!

---

Algemeen :

• [CPU] Testen naar relevant nut. - Uit deze review worden workstation klasse processors getest met tests die niet de volle aantal cores benutten. Daarnaast worden ook games getest, welke minder relevant zijn in deze klasse processors. Dat niet alleen, maar de game tests worden ook gedaan op medium en ultra instellingen en alleen op 1080p resolutie. Bij deze klasse processors levert deze combinatie weinig nuttige resultaten op voor de performance van de processor. Kortom, de relevante nut van dergelijke tests dient per CPU klasse (en ook GPU klasse) bekeken te worden, en niet dat domweg wordt gesteld dat Core i3's via de metingen beter presteren dan Ryzen 7's. Oftewel: Let op de IPC (Instructions per core) en neem de volledige specificatie van de CPU in kwestie over bij testen. Dan is een artikel zoals deze namelijk niet nodig om dingen te verduidelijken, terwijl deze zelf ook de nodige problemen heeft (Waarin alleen FPS wordt gemeten, en er geen CPU-heavy titels worden meegenomen). Tevens zou je bij workstation processoren een apart testprotocol kunnen runnen die zich meer richt op wetenschappelijke software of software welke de CPU cores belast. Te denken valt aan 3D rendering, of priemgetallen. Zie dan ook deze reactie.

Zie stuk hierboven bij Dune. Wel wil ik hierbij nog benadrukken dat geschikte tests vinden voor HEDT processors lastig is gebleken. We hebben inmiddels wel verschillende tests toegevoegd voor high threaded CPU's, o.a. de 'MozillaBuild - Firefox compile' test, de DaVinci Resolve test en de streaming test (gaming en video encode tegelijkertijd). Voor specifieke tests van HEDT processors zijn we echter nog opzoek naar andere benchmarks. We zullen de komende tijd wat research gaan doen naar geschikte benchmarks voor deze specifieke doelgroep processors. De wetenschappelijke berekeningen waar de user 'threadripper' het over had klinken als een goede benchmark in ieder geval.

---

Algemeen :

• [GPU] Uitleg minimum FPS, 1% lows en 0.1% lows. - De minimum FPS en 1% lows worden nu meegenomen (de 0.1% lows niet, zie sectie Helgie) maar er wordt niet uitgelegd wat deze betekenen. Tevens dient minimum FPS aangepast te worden naar minimum en gemiddelde frametimes, daar deze de lading beter dekt. Ook zou de gemiddelde framerate in milliseconden kunnen worden gegeven. Dit wordt nu al gedaan middels het testprotocol van september 2019, maar een korte uitleg van deze begrippen + uitleggen hoeveel ms je nodig hebt voor een 30 fps, 60 fps en 120 fps update zou bij elke GPU review verplicht moeten zijn. Dit zou in italic boven de grafiek kunnen worden geplaatst.

0.1% lows gaan we implementeren, de rest is een redactie ding. Hier gaan we later nog op terugkomen.

---

Ik hoop dat ik middels deze post een hoop feedback heb kunnen beantwoorden. Ik denk dat we met de veranderingen in testprocedure zoals hierboven vermeld weer kunnen voldoen aan de verwachtingen die jullie, terecht, hebben. Wel wil ik nog benadrukken dat de antwoorden hier boven niet betekenen dat dit is wat wij hebben besloten, en dat daarmee de kous af is. We willen graag met jullie in gesprek gaan. Als jullie nog vragen of opmerkingen hebben, andere ideeën, zullen we daar ook naar gaan kijken.

Mocht ik een punt zijn vergeten, of je vindt dat ik niet voldoende antwoord heb gegeven op een punt, laat dit dan aub ook vooral weten.

[CH4OS]

@Ch3cker Ik blijf deze een beetje apart vinden:

We testen in principe elke processor volgens een vast protocol, dat is zo voor een celeron, maar ook voor een threadripper. Het voordeel daarvan is dat je deze dan onderling kunt vergelijken,

Een boodschappenauto wordt ook niet vergeleken met een SUV, bestelbus, vrachtwagen of sportauto. Waarom dan wel een dergelijk stramien aanhouden voor processoren? Een Voodoo2 videokaart wordt toch ook niet vergeleken met een hedendaagse?

Ik zie dus werkelijk het voordeel niet; de Celeron en de Threadripper zijn met een bepaalde markt voor ogen gemaakt, de Celeron voor budget en Threadripper voor high-end workstation loads, zoals diverse andere reviews duidelijk hebben laten zien. Dat alleen al maakt dat je met twee verschillende takken van sport te maken hebt, de een speelt in de top, de andere in de middenmoot, at best, wanneer de sterren, de aarde en de zon in een rechte lijn staan als de CPU gemaakt is door engelen in maanlicht of in Mordor gesmeed is. Hoe kun je dat in hemelsnaam vergelijken?

Het gaat er niet om hoe een Threadripper zich verhoudt tot een Celeron processor. Het gaat erom hoe de CPU zich verhoudt ten op zichte van andere processors met dezelfde workload of doelgroep en budget. Ik vind het echt heel spijtig om te zien dat Tweakers daar vooralsnog niet aan wilt en kiest voor kwantiteit boven kwaliteit, volgens mij is dat nooit de Tweakers gedachte geweest.

EDIT:
Begrijp mij niet verkeerd, ik snap best dat je een vast stramien wilt om CPU's onderling te kunnen vergelijken, maar een low budget CPU vergelijken met een hypermoderne krachtpatser is natuurlijk wel erg uit verband en vraagt dus ook om een andere aanpak. Dus ja, ik snap wat je zegt, maar ik ben het er gewoon pertinent niet mee eens. Dit doet afbreuk aan de review van de high end CPU zoals een Threadripper en dat is gewoon ontzettend jammer.

Volgens mij is dit een van de grootste speerpunten uit het topic en dat wordt nu, zoals het er naar uit ziet, compleet genegeerd. Jammer, echt ontzettend jammer.

[ Voor 67% gewijzigd door CH4OS op 19-02-2020 10:09 ]

[-The_Mask-]

Tja dit is idd niet de antwoorden waarop men zat te wachten volgens mij. Ik denk dat de enige oplossing is dat men het jullie gewoon laat zien hoe het kan, want zo komen we niet echt verder en blijven we jaren achter de feiten aanlopen.

[Ch3cker]

CH4OS schreef op woensdag 19 februari 2020 @ 09:31:
@Ch3cker Ik blijf deze een beetje apart vinden:
[...]
Een boodschappenauto wordt ook niet vergeleken met een SUV, bestelbus, vrachtwagen of sportauto. Waarom dan wel een dergelijk stramien aanhouden voor processoren? Een Voodoo2 videokaart wordt toch ook niet vergeleken met een hedendaagse?

Ik zie dus werkelijk het voordeel niet; de Celeron en de Threadripper zijn met een bepaalde markt voor ogen gemaakt, de Celeron voor budget en Threadripper voor high-end workstation loads, zoals diverse andere reviews duidelijk hebben laten zien. Dat alleen al maakt dat je met twee verschillende takken van sport te maken hebt, de een speelt in de top, de andere in de middenmoot, at best, wanneer de sterren, de aarde en de zon in een rechte lijn staan als de CPU gemaakt is door engelen in maanlicht of in Mordor gesmeed is. Hoe kun je dat in hemelsnaam vergelijken?

Voordeel is wellicht een groot woord. Er zitten een aantal tests in de testsuite die wel degelijk ook enige relevantie hebben voor een threadripper processor. Wij vinden het tof als iedereen elke processor die we testen met elkaar kán vergelijken. In de praktijk is het natuurlijk niet zo dat je gaat kijken 'wat zal ik vandaag eens kopen, een celeron of een threadripper?'. Ik kan me echter wel voorstellen dat het voor sommige mensen tot de verbeelding spreekt om te zien dat een threadripper 50x sneller is dan een celeron.

Ook zitten er in onze standaard testprocedure de dingen als een stroommeting, en er zitten ook een aantal tests in die wel relevant zijn voor threadrippers, en misschien zelfs wel iets minder voor celerons.

Het gaat er niet om hoe een Threadripper zich verhoudt tot een Celeron processor. Het gaat erom hoe de CPU zich verhoudt ten op zichte van andere processors met dezelfde workload of doelgroep en budget. Ik vind het echt heel spijtig om te zien dat Tweakers daar vooralsnog niet aan wilt en kiest voor kwantiteit boven kwaliteit, volgens mij is dat nooit de Tweakers gedachte geweest.

Volgens mij heb ik in mijn post vrij duidelijk gemaakt dat het juist de bedoeling is dat dit wel kan. We hebben met beide redacties afgesproken dat als er voor een vergelijking of review specifieke tests gedaan moeten worden op producten dit gewoon kan. Ook hebben we dus al voor specifiek high core count processors een uitzondering gemaakt en draaien we daar een benchmark op die we op andere processors niet draaien. Zoals ik ook al in mijn post aangaf, als er ideeën zijn om dit uit te breiden is dat meer dan welkom!

EDIT:
Begrijp mij niet verkeerd, ik snap best dat je een vast stramien wilt om CPU's onderling te kunnen vergelijken, maar een low budget CPU vergelijken met een hypermoderne krachtpatser is natuurlijk wel erg uit verband en vraagt dus ook om een andere aanpak. Dus ja, ik snap wat je zegt, maar ik ben het er gewoon pertinent niet mee eens. Dit doet afbreuk aan de review van de high end CPU zoals een Threadripper en dat is gewoon ontzettend jammer.

Volgens mij is dit een van de grootste speerpunten uit het topic en dat wordt nu, zoals het er naar uit ziet, compleet genegeerd. Jammer, echt ontzettend jammer.

Ik heb het idee dat je de testprocedure ook een beetje verward met de review. We testen een processor op al die dingen, maar dat wil niet zeggen dat een redacteur al die tests hoeft te gebruiken in zijn review. Als ik dus zeg dat we een threadripper ook door onze standaard procedure halen, kan het zomaar zijn dat een redacteur er voor kiest om daar maar 1 test van te gebruiken, en de rest aan te vullen met tests die hij heeft bedacht voor die review.

[Redneckerz]

Ch3cker schreef op dinsdag 18 februari 2020 @ 21:31:
Het heeft wat voeten in de aarde gehad, maar ik heb op alle onderwerpen die over testprocedures gaan een antwoord geformuleerd. Ik heb intensief met beide redacties gecommuniceerd over alle punten, dus jullie mogen er vanuit gaan dat de gegeven antwoorden een goede reflectie zijn hoe wij er als organisatie over denken.

Dat neem ik dat in acht en reageer ik vooral op de dingen die mij opvielen

Daarbij overigens hulde dat 0.1% lows meegenomen gaan worden in videokaart reviews. Alleen dat al geeft een verbeterd beeld wat betreft performance.

Ch3cker schreef op dinsdag 18 februari 2020 @ 21:31:
We zijn het erover eens dat de ideale situatie zou zijn dat we alle relevante kaarten met de nieuwste driver testen. Vaak is het echter zo dat de driver voor de kaart die geïntroduceerd wordt of pas een dag van tevoren beschikbaar is, of een speciale driver is die alleen voor die specifieke kaart werkt. Dit maakt het testen van alle referentiekaarten op dezelfde driver voor de NDA-deadline vaak onmogelijk.

Dat vind ik van niet. Je zou ook domweg die zero-day driver kunnen gebruiken in je test. Het verschil is echter dat je review dan niet op launch day beschikbaar zal zijn, wat volgens mij het onderliggende punt is voor niet alleen deze situatie, maar ook het punt Testen naar relevant nut. Ik sprak over een ''haast'' bij het kopje Verduidelijking van de terminologie. Die ''haast'' is evenwel aanwezig bij reviews. Hoe vaak vind je daar niet een +3 post van iemand die haarfijn wijst op de onderliggende verschillen, die daarna in een correctie worden bijgesteld?

Ik zie dus daarom veel liever dat Tweakers het idee van bij launch day de review publiceren laat varen en het 1 of 2 dagen later laat verschijnen. Zo kan er met de laatste drivers worden getest en kan er ook meer tijd worden besteed aan de details.

De cynicus in mij vertelt mij dat zoiets niet zal gebeuren omdat Tweakers voor zijn SEO resultaten en reach afhankelijk is van een launchday review. Die verschijnt immers het hoogst op de zoekresultaten en levert dus meer bezoekers op. Een review uitstellen om correcties te vermijden cq met de laatste drivers te testen is dan een no-go gebied.

Ch3cker schreef op dinsdag 18 februari 2020 @ 21:31:
Op dit moment duurt het ongeveer een dag om op 1 systeem 1 videokaart door ons complete testprotocol te halen. We hebben 2 systemen om op te testen, dus dat betekent dat we 2 kaarten per dag kunnen testen. Zelfs al zouden we een extra systeem neerzetten en/of enkele games uit ons protocol schrappen, komt de driver voor de nieuwe kaart vaak dusdanig laat binnen dat dit alsnog niet genoeg zal zijn.

Het zou geen dag moeten duren om 1 kaart door een heel testprotocol te moeten loodsen, dat impliceert dat het protocol dusdanig complex is dat het niet zomaar gereduceerd kan worden.

Wat ik eerder voorstelde, is om dan omhoog te schalen. Als je 2 systemen hebt en het duurt een dag, dan is de snelste manier om zoiets te reduceren domweg om je testlab uit te breiden. Echter, dat kost geld en ik geloof dat daarin het probleem zit. Een deel van de voorstellen kost nu eenmaal geld zoals gesuggereerd. Het is dan ook aan Tweakers of men daartoe bereid is.

Persoonlijk vind ik een testlab van slechts 2 systemen om GPU's te testen eigenlijk niet afdoende gezien de grootte van Tweakers. Zelfs Digital Foundry, wat een kleinere instantie is, kent meer systemen (al is niet bekend of zij er nog een werkrig naast hebben.) Kortom, Ik begrijp heus wel dat je er weinig heil in ziet om te investeren maar je kan naar mijn optiek echt niet meer afhankelijk zijn van 2 systemen als de updaterefresh dusdanig lang is zoals hier wordt geschetst.

Dan maar 1 Tweakers community uitje minder, als dat betekent dat het een algehele verbreding van het Testlab kan betekenen.

Ch3cker schreef op dinsdag 18 februari 2020 @ 21:31:
In het geval dat er voor de nieuwe kaart een speciale driver wordt meegeleverd, zullen we die kaart met deze driver testen. Ter transparantie zouden we een lijst kunnen maken met de drivers welke gebruikt zijn voor de verschillende videokaarten, en dit in het artikel vermelden.

Dat eerste zou niet nodig moeten zijn omdat je dan een variabele introduceert: Die speciale driver zal beter presteren, en wat als het andere kamp niet een dergelijke driver heeft? Dan worden de verschillen onnodig groot en dien je nuanceren. Dat lijkt mij juist niet handig.

Het tweede lijkt mij wel nuttig ter transparantie. Zoals gezegd lijkt het mij sowieso wijs om zoveel mogelijk van de handleiding/specsheets gebruik te maken die er zijn door daar direct naar te linken bij een kopje Bronvermelding oid. Dat zijn immers aanpassingen die betrekkelijk weinig moeite kostten maar die veel opleveren op het vlak transparantie.

Ch3cker schreef op dinsdag 18 februari 2020 @ 21:31:
VRM-temperatuur is inderdaad een interessant onderdeel. Er zijn een aantal manieren waarop je dit zou kunnen meten, maar voor zover wij op dit moment kunnen zien is geen van deze opties echt betrouwbaar. Helaas ontbreekt op veel kaarten überhaupt een sensor voor de VRM, en als deze er wel opzit, hoeft hij niet altijd betrouwbaar te zijn. Je kan daaardoor kaarten onderling niet goed met elkaar vergelijken.

Ik vind het wat krom dat je hier variabelen aanmerkt waardoor dit niet betrouwbaar te meten valt, maar dat je eerder wat betreft drivers voorstelt om speciale drivers te gebruiken als deze beschikbaar zijn van een fabrikant, wat ironisch genoeg juist een variabele oplevert die niet consistent te meten zal zijn.

O.a Digital Foundry maakt sporadisch gebruik van een temperatuurmeter om de totaal temperatuur te meten (Gewoon een apparaatje die je richt op het warmste gedeelte). Dit is geen exacte data zoals je dat zelf zegt, toch lijkt het mij nuttig om in het achterhoofd te houden.

Lagere kwaliteit silicon kan op die manier ook gemeten worden: Iedere kaart heeft namelijk een bepaalde standaard threshold waar iedere kaart aan moet voldoen. Again, geen exact science, maar kan wel nuttig zijn

Ch3cker schreef op dinsdag 18 februari 2020 @ 21:31:
Op moment dat we verschillende koelers gaan gebruiken voor verschillende processors moet ergens een grens gesteld worden. Daar zouden we dan even naar moeten kijken. Wellicht per socket?

Prima idee om erbij te testen. O.a AMD levert zijn eigen koelers standaard mee, dus ik zou voor AMD dus die aanhouden. Voor Intel is dit echter een lastiger verhaal.

Ch3cker schreef op dinsdag 18 februari 2020 @ 21:31:
Er zijn hierbij twee problemen die de kop op steken. Het eerste probleem is dat wij helaas niet alle processors langere tijd kunnen houden, en we deze dus simpelweg niet na een x periode opnieuw kunnen testen.

I.t.t tot GPU drivers begrijp ik wel dat zero-day updates voor kritische beveiligingsfouten lastig te ondervangen zijn in een review, ofschoon je dat graag zou willen. Aangezien je hier m.i nooit een juist antwoord voor kan krijgen lijkt het mij wel een goed idee om te vermelden dat, als nieuwe zero-day updates zijn opgenomen, dat dit in de review wordt gemeld. Men kan dan ook oude processor data behouden, maar dan dient wel genuanceerd te worden dat de nieuwe processordata dus met zero-day updates is getest en dat dit een gevolg kan hebben voor de prestaties.

Ch3cker schreef op dinsdag 18 februari 2020 @ 21:31:
We testen in principe elke processor volgens een vast protocol, dat is zo voor een celeron, maar ook voor een threadripper. Het voordeel daarvan is dat je deze dan onderling kunt vergelijken, het nadeel is dat niet elke test even relevant is voor een processor. Ik denk wel dat het goed is om elke processor volgens dit standaardprotocol te blijven testen. Wel hebben we in dit protocol enkele uitzondering opgenomen. Zo testen we bijvoorbeeld op processors met een IGP ook 3DMark Nightraid en twee games op lage settings, te weten Dota 2 (vulkan) en F1 2019. Dit naast onze gebruikelijke gametests met een RTX 2080 Ti. Voor processors met meer dan 10 cores hebben we ook een uitzondering gemaakt, op deze processors draaien we als extra de Firefox compile test.

Het standaardprotocol dient een soort template te hebben betreft specifieke groepen processors en of GPU's. Het is immers niet zinnig om workstation processors iets te laten testen waar ze in de praktijk niet voor gekocht worden - Daarvoor kan je specifieke tests toevoegen aan dat template.

Hetzelfde geld voor iGPU's in dit geval of low end GPU's. Het is volstrekt onzinnig om deze met ultra settings te testen, eens te meer omdat dan wordt geconcludeerd dat dergelijke hardware voor gaming ongeschikt zou zijn - Wat nergens op slaat. High end APU's zoals de Ryzen 3400G kunnen goed mee op 1080p, mits de settings ook redelijk zijn. Hetzelfde geldt voor budget GPU's voor GT1030 - Niemand verwacht dat zon kaart 1080p ultra settings op speelbare framerates produceert, laat staan voor 1440p of 2160p, zelfs op medium. Daar dient dus naar gekeken te worden. Daar kan geen sprake zijn van een specifiek geval, dat is domweg een variant van je standaard protocol (een submodule, wellicht?) die daar rekening mee houdt.

Ik begrijp dat het implementeren van dergelijke templates/varianten op dat protocol tijd kost, maar zeker op het punt Testen naar relevant nut graaf ik wel mij hoeven in het zand. Het is nergens voor nodig hardware aan tests te onderwerpen waar ze of niet voor zijn bedoeld, of data opleveren die niet relevant is aan het product zelf.

Ch3cker schreef op dinsdag 18 februari 2020 @ 21:31:
Inmiddels warmen we de kaarten niet meer op met 3DMark maar met de Aida stress test.

Is het toevoegen van Furmark als een extra dataset een optie?

Ch3cker schreef op dinsdag 18 februari 2020 @ 21:31:
0.1% lows gaan we implementeren, de rest is een redactie ding. Hier gaan we later nog op terugkomen.

Oftewel, dat is meer een @willemdemoor ding (die ondanks de tag zich na de resultatenlijst nog niet heeft laten zien in dit topic) Een korte uitleg in italic van deze begrippen + uitleggen hoeveel ms je nodig hebt lijkt mij nu niet iets wat dusdanig veel extra werk op moet leveren.

Ch3cker schreef op dinsdag 18 februari 2020 @ 21:31:
Mocht ik een punt zijn vergeten, of je vindt dat ik niet voldoende antwoord heb gegeven op een punt, laat dit dan aub ook vooral weten.

Op het eerste gezicht is het punt betreft BBG ([Algemeen] - Verscherping op de BBG) niet meegenomen. Ook het punt [PSU] correcte weergave van specificaties is niet meegenomen: Deze gaat dan over PSU's, maar de suggesties die hierin worden vermeld zijn van algemene aard.

Als laatste is [RAM] Uitleg van terminologie afwezig.

Ch3cker schreef op woensdag 19 februari 2020 @ 10:40:
Ik heb het idee dat je de testprocedure ook een beetje verward met de review. We testen een processor op al die dingen, maar dat wil niet zeggen dat een redacteur al die tests hoeft te gebruiken in zijn review. Als ik dus zeg dat we een threadripper ook door onze standaard procedure halen, kan het zomaar zijn dat een redacteur er voor kiest om daar maar 1 test van te gebruiken, en de rest aan te vullen met tests die hij heeft bedacht voor die review.

Hoe groot is de waarschijnlijkheid dat een redacteur gebruik maakt van die mogelijkheid (Extra tests bedenken voor de review)? Want er is immers ''haast'' geboden.

[Ch3cker]

Redneckerz schreef op woensdag 19 februari 2020 @ 11:36:
[...]

Dat neem ik dat in acht en reageer ik vooral op de dingen die mij opvielen

Daarbij overigens hulde dat 0.1% lows meegenomen gaan worden in videokaart reviews. Alleen dat al geeft een verbeterd beeld wat betreft performance.


[...]

Dat vind ik van niet. Je zou ook domweg die zero-day driver kunnen gebruiken in je test. Het verschil is echter dat je review dan niet op launch day beschikbaar zal zijn, wat volgens mij het onderliggende punt is voor niet alleen deze situatie, maar ook het punt Testen naar relevant nut. Ik sprak over een ''haast'' bij het kopje Verduidelijking van de terminologie. Die ''haast'' is evenwel aanwezig bij reviews. Hoe vaak vind je daar niet een +3 post van iemand die haarfijn wijst op de onderliggende verschillen, die daarna in een correctie worden bijgesteld?

Ik zie dus daarom veel liever dat Tweakers het idee van bij launch day de review publiceren laat varen en het 1 of 2 dagen later laat verschijnen. Zo kan er met de laatste drivers worden getest en kan er ook meer tijd worden besteed aan de details.

De cynicus in mij vertelt mij dat zoiets niet zal gebeuren omdat Tweakers voor zijn SEO resultaten en reach afhankelijk is van een launchday review. Die verschijnt immers het hoogst op de zoekresultaten en levert dus meer bezoekers op. Een review uitstellen om correcties te vermijden cq met de laatste drivers te testen is dan een no-go gebied.

toon volledige bericht

Je hebt natuurlijk een punt dat we het liefst wel op de launch day publiceren, onder meer omdat zo'n review niet meer heel relevant is als iedereen ergens anders al heeft kunnen lezen hoe een kaart presteert. Uiteraard zou ik ook zo uitgebreid mogelijk alles willen testen, maar feit blijft dat we altijd in een spagaat verkeren tussen "zo snel mogelijk publiceren" vs "zo goed mogelijk een product reviewen". Ik denk persoonlijk dat het ook mogelijk moet zijn om dit tweede te doen, én op de launch date te publiceren.

[...]

Het zou geen dag moeten duren om 1 kaart door een heel testprotocol te moeten loodsen, dat impliceert dat het protocol dusdanig complex is dat het niet zomaar gereduceerd kan worden.

Het protocol is niet per se complex, maar we testen gewoonweg behoorlijk wat games, op verschillende resoluties / settings. Ik heb in mijn vorige post ook aangegeven dat we proberen te zorgen voor een goede mix tussen AMD / nvidia biased games, DX11/DX12/Vulkan en engine/uitgever. We kunnen het prima hebben over wat er in deze mix verbeterd zou kunnen worden wat mij betreft. Shoot!

Wat ik eerder voorstelde, is om dan omhoog te schalen. Als je 2 systemen hebt en het duurt een dag, dan is de snelste manier om zoiets te reduceren domweg om je testlab uit te breiden. Echter, dat kost geld en ik geloof dat daarin het probleem zit. Een deel van de voorstellen kost nu eenmaal geld zoals gesuggereerd. Het is dan ook aan Tweakers of men daartoe bereid is.

Persoonlijk vind ik een testlab van slechts 2 systemen om GPU's te testen eigenlijk niet afdoende gezien de grootte van Tweakers. Zelfs Digital Foundry, wat een kleinere instantie is, kent meer systemen (al is niet bekend of zij er nog een werkrig naast hebben.) Kortom, Ik begrijp heus wel dat je er weinig heil in ziet om te investeren maar je kan naar mijn optiek echt niet meer afhankelijk zijn van 2 systemen als de updaterefresh dusdanig lang is zoals hier wordt geschetst.

Dan maar 1 Tweakers community uitje minder, als dat betekent dat het een algehele verbreding van het Testlab kan betekenen.

Laat ik vooropstellen dat het echt niet uitgesloten is te investeren in een extra systeem, als dat echt nodig is. Het is niet zo dat we even een blik hardware kunnen opentrekken en nog 4 extra systemen kunnen opstellen, maar als het nodig is zouden we kunnen kijken naar een extra systeem.

[...]

Dat eerste zou niet nodig moeten zijn omdat je dan een variabele introduceert: Die speciale driver zal beter presteren, en wat als het andere kamp niet een dergelijke driver heeft? Dan worden de verschillen onnodig groot en dien je nuanceren. Dat lijkt mij juist niet handig.

Het tweede lijkt mij wel nuttig ter transparantie. Zoals gezegd lijkt het mij sowieso wijs om zoveel mogelijk van de handleiding/specsheets gebruik te maken die er zijn door daar direct naar te linken bij een kopje Bronvermelding oid. Dat zijn immers aanpassingen die betrekkelijk weinig moeite kostten maar die veel opleveren op het vlak transparantie.

De driver die beschikbaar is voor de nieuwe kaart is meestal noodzakelijk omdat de laatste publieke driver de kaart simpelweg niet herkend. Deze driver is dan ook niet per se een driver die betere prestaties geeft, alhoewel dat natuurlijk wel zou kunnen. Wat vind je van het idee om drivers met elkaar te vergelijken qua prestaties? Als we één kaart met die twee verschillende drivers zouden testen, zou dat genoeg zijn om daar een conclusie 'deze driver presteert hetzelfde als de nieuwe' aan te hangen?

[...]

Ik vind het wat krom dat je hier variabelen aanmerkt waardoor dit niet betrouwbaar te meten valt, maar dat je eerder wat betreft drivers voorstelt om speciale drivers te gebruiken als deze beschikbaar zijn van een fabrikant, wat ironisch genoeg juist een variabele oplevert die niet consistent te meten zal zijn.

De enige reden dat we überhaupt overwegen om met verschillende drivers te testen is omdat het vaak voorkomt dat de publieke driver voor de release nog niet beschikbaar is. Het uitgangspunt is om de kaarten met een gelijke driver te testen. Op moment dat we dit niet zouden doen kunnen we dus of geen review publiceren, of zoals je zelf al aangeeft dit pas veel later doen.

O.a Digital Foundry maakt sporadisch gebruik van een temperatuurmeter om de totaal temperatuur te meten (Gewoon een apparaatje die je richt op het warmste gedeelte). Dit is geen exacte data zoals je dat zelf zegt, toch lijkt het mij nuttig om in het achterhoofd te houden.

Lagere kwaliteit silicon kan op die manier ook gemeten worden: Iedere kaart heeft namelijk een bepaalde standaard threshold waar iedere kaart aan moet voldoen. Again, geen exact science, maar kan wel nuttig zijn

Ik neem aan dat een afbeelding met een warmtecamera dan nog wenselijker is, toch? We hebben die hier in huis, dus dat zouden we dan kunnen doen lijkt me. We doen al een duurtest van 30 minuten, dus wellicht dat dit daarmee te combineren is.

[...]

Prima idee om erbij te testen. O.a AMD levert zijn eigen koelers standaard mee, dus ik zou voor AMD dus die aanhouden. Voor Intel is dit echter een lastiger verhaal.

Maar dat zijn ook weer steeds andere koelers voor andere processors, waardoor het niet meer vergelijkbaar is. We zouden ook wél dezelfde koeler kunnen gebruiken voor alle processors? Of dus gewoon per socket bekijken wat de meest logische keuze is.

[...]

I.t.t tot GPU drivers begrijp ik wel dat zero-day updates voor kritische beveiligingsfouten lastig te ondervangen zijn in een review, ofschoon je dat graag zou willen. Aangezien je hier m.i nooit een juist antwoord voor kan krijgen lijkt het mij wel een goed idee om te vermelden dat, als nieuwe zero-day updates zijn opgenomen, dat dit in de review wordt gemeld. Men kan dan ook oude processor data behouden, maar dan dient wel genuanceerd te worden dat de nieuwe processordata dus met zero-day updates is getest en dat dit een gevolg kan hebben voor de prestaties.

Je bedoelt dan dus de systemen wél continu updaten, zelfs als dat invloed kan hebben op de prestaties?

[...]

Het standaardprotocol dient een soort template te hebben betreft specifieke groepen processors en of GPU's. Het is immers niet zinnig om workstation processors iets te laten testen waar ze in de praktijk niet voor gekocht worden - Daarvoor kan je specifieke tests toevoegen aan dat template.

Hetzelfde geld voor iGPU's in dit geval of low end GPU's. Het is volstrekt onzinnig om deze met ultra settings te testen, eens te meer omdat dan wordt geconcludeerd dat dergelijke hardware voor gaming ongeschikt zou zijn - Wat nergens op slaat. High end APU's zoals de Ryzen 3400G kunnen goed mee op 1080p, mits de settings ook redelijk zijn. Hetzelfde geldt voor budget GPU's voor GT1030 - Niemand verwacht dat zon kaart 1080p ultra settings op speelbare framerates produceert, laat staan voor 1440p of 2160p, zelfs op medium. Daar dient dus naar gekeken te worden. Daar kan geen sprake zijn van een specifiek geval, dat is domweg een variant van je standaard protocol (een submodule, wellicht?) die daar rekening mee houdt.

Ik begrijp dat het implementeren van dergelijke templates/varianten op dat protocol tijd kost, maar zeker op het punt Testen naar relevant nut graaf ik wel mij hoeven in het zand. Het is nergens voor nodig hardware aan tests te onderwerpen waar ze of niet voor zijn bedoeld, of data opleveren die niet relevant is aan het product zelf.

toon volledige bericht

Zoals gezegd, in principe is dit 'template' er dus al gewoon. We testen een IGP niet op ultra settings, we testen deze met speciale benchmarks voor IGP. Deze zijn dus minder zwaar dan de benchmarks die we draaien op bijvoorbeeld videokaarten. Ook hebben we een uitzondering (template, zo je wilt) voor processors boven de 10 cores opgenomen. Daar draaien we de Firefox compile test op.

We zouden kunnen overwegen dit iets uit te breiden. Dat wil zeggen, het aantal tests dat op álle processors wordt gedraaid iets terug brengen, en sommige benchmarks scharen onder een van de uitzonderingen.

[...]

Is het toevoegen van Furmark als een extra dataset een optie?

Hoe bedoel je dit precies? Het draaien van Furmark en Aida stress test tegelijkertijd? De kaarten worden al boven bedrijfstemperatuur opgewarmd door Aida, dus wat zou het toevoegen om ook nog furmark te draaien?

[...]

Oftewel, dat is meer een @willemdemoor ding (die ondanks de tag zich na de resultatenlijst nog niet heeft laten zien in dit topic) Een korte uitleg in italic van deze begrippen + uitleggen hoeveel ms je nodig hebt lijkt mij nu niet iets wat dusdanig veel extra werk op moet leveren.


[...]

Zoals gezegd komt er later deze week nog een reactie vanuit de redactie!

Op het eerste gezicht is het punt betreft BBG ([Algemeen] - Verscherping op de BBG) niet meegenomen.

Ook het punt [PSU] correcte weergave van specificaties is niet meegenomen: Deze gaat dan over PSU's, maar de suggesties die hierin worden vermeld zijn van algemene aard.

Als laatste is [RAM] Uitleg van terminologie afwezig.


[...]

Ik heb deze punten als 'Redactie' bestempeld, ik zou niet zo goed weten wat ik er vanuit een testlab oogpunt op zou moeten zeggen.

Hoe groot is de waarschijnlijkheid dat een redacteur gebruik maakt van die mogelijkheid (Extra tests bedenken voor de review)? Want er is immers ''haast'' geboden.

Dit is altijd de afweging natuurlijk. Het behoort in ieder geval tot de mogelijkheden, ik denk dat het goed is om dat te vermelden. Het zou ook kunnen dat er een keer een vergelijkingstest gemaakt gaat worden die niet bij een launch hoort, dan is er wat meer tijd beschikbaar.

[-The_Mask-]

Ch3cker schreef op dinsdag 18 februari 2020 @ 21:31:


Dit lijkt ons een zinnige toevoeging. Er moeten wat scripts en teksten aangepast worden, maar dit gaan we implementeren.

Begin nu gewoon met een volledig schone lei van 0 en schrijf een goed reviewprotocol. We zijn nu jaren verder en we komen geen streep verder. Uiteindelijk is naar alles wat is opgeschreven dit letterlijk dus de uitkomst. Jullie gaan aan de testprocedure 0.1 lows toevoegen aan de test. Maar alle rest wordt gewoon genegeerd. Terwijl alles broodnodig aan verandering toe is.

-The_Mask- schreef op donderdag 28 november 2019 @ 00:23:
Tests moeten bijvoorbeeld representatief zijn met de praktijk. Dat zijn ze nu bijvoorbeeld regelmatig totaal niet.

Het moet duidelijk zijn hoe er getest is, zodat tests reproduceerbaar zijn, zijn ze nu niet.

Er moet bestaan waarom er op deze manier getest wordt, mist nu ook. Nu zou de onderbouwing meestal neerkomen op "het was het gemakkelijkst". Maar de onderbouwing moet iets zijn met, "dit is het meest representatief, omdat:...."

Testen moet altijd gedaan worden in dezelfde omstandigheden. Dus wat nu gedaan wordt van allemaal verschillende omstandigheden bij elkaar gooien in één grafiek en net doen als de omstandigheden hetzelfde zijn geweest kan dus niet.

Ook moeten ze gemakkelijk te begrijpen zijn. Ik zie nu zelf regelmatig dat de auteur zijn eigen metingen niet goed begrijpt, hoe moet de gemiddelde lezers het dan begrijpen?

Door gewoon logisch na te denken kun je alle problemen oplossen.

Ch3cker schreef op woensdag 19 februari 2020 @ 19:51:
[...]

Ik heb deze punten als 'Redactie' bestempeld, ik zou niet zo goed weten wat ik er vanuit een testlab oogpunt op zou moeten zeggen.

Is dit dan het probleem? Dat eigenlijk niemand echt de touwtjes in handen heeft, niemand er echt verstand van heeft en dat iedereen maar wat langs elkaar heen werkt? Aangezien nog steeds niemand heeft aangegeven wat het probleem is en we zijn ook nog niet bepaald een stap verder gekomen aan een oplossing. Want we kunnen zo doorgaan maar het lijkt mij ondertussen toch echt wel duidelijk dat dit niet werkt.

[Dirk]

Nu verwar je onkunde met (on)wil. De Tweakers redactie wil gewoon iets anders dan wat jij wil, namelijk snel publiceren met enkele concessies op de kwaliteit. Jouw argumenten zijn compleet zinloos, want die zijn niet van toepassing op de situatie die de redactie voor ogen heeft.

Er zijn andere media die gaan voor eindeloze perfectie ongeacht wat voor een effect dat heeft op de publicatiedatum, daar zul jij je beter thuis voelen.

[-The_Mask-]

Dirk schreef op woensdag 19 februari 2020 @ 23:13:
Nu verwar je onkunde met (on)wil. De Tweakers redactie wil gewoon iets anders dan wat jij wil, namelijk snel publiceren met enkele concessies op de kwaliteit. Jouw argumenten zijn compleet zinloos, want die zijn niet van toepassing op de situatie die de redactie voor ogen heeft.

Er zijn andere media die gaan voor eindeloze perfectie ongeacht wat voor een effect dat heeft op de publicatiedatum, daar zul jij je beter thuis voelen.

Heb je gewoon helemaal niks gelezen of zo? En doe je nu gewoon wat wilde aannames om gewoon maar iets te zeggen? Ik heb namelijk meermaals uitgelegd hoe het veel efficiënter kan, zodat men juist veel minder tijd kwijt is aan reviews en waarbij de kwaliteit ook nog eens op een fatsoenlijk niveau komt te liggen. Noem maar eens één voorbeeld waarbij ik juist het omgekeerde zeg. Weet nu al dat je geen voorbeeld weet omdat ik daar nooit opzoek naar geweest ben.

[Dirk]

Welke punten zijn dan nog niet benoemd in Ch3cker in "CPU, GPU en PSU reviews" en zijn daar op volgende reacties?

[ANdrode]

Dirk schreef op woensdag 19 februari 2020 @ 23:13:
Nu verwar je onkunde met (on)wil. De Tweakers redactie wil gewoon iets anders dan wat jij wil, namelijk snel publiceren met enkele concessies op de kwaliteit. Jouw argumenten zijn compleet zinloos, want die zijn niet van toepassing op de situatie die de redactie voor ogen heeft.

Er zijn andere media die gaan voor eindeloze perfectie ongeacht wat voor een effect dat heeft op de publicatiedatum, daar zul jij je beter thuis voelen.

Het is gewoon mogelijk om met een efficiënt testprotocol op tijd, voldoende valide metingen te doen en daarover te publiceren. Neem bijvoorbeeld Gamers Nexus als voorbeeld.

Dat niveau verwacht ik niet van Tweakers maar ik verwacht wel valide tests. En korte artikelen die "gekke hypotheses" (zoals "de temperatuur stijgt heel ver in 24 uur ipv 20 minuten") evalueren en daar een conclusie over schrijven op basis van data.

[CH4OS]

Eigenlijk zou een redactielid de tests ook moeten maken, puur om meer feeling met de data te krijgen en hoe die te interpreteren. Of andersom; de tester laten meeschrijven aan de review, zodat er logischere dingen geschreven worden.

Wellicht niet de heilige graal, maar zeker wel iets dat nodig is intussen, lijkt me.

[Shunt]

ANdrode schreef op donderdag 20 februari 2020 @ 08:19:
[...]


Het is gewoon mogelijk om met een efficiënt testprotocol op tijd, voldoende valide metingen te doen en daarover te publiceren. Neem bijvoorbeeld Gamers Nexus als voorbeeld.

Dat niveau verwacht ik niet van Tweakers maar ik verwacht wel valide tests. En korte artikelen die "gekke hypotheses" (zoals "de temperatuur stijgt heel ver in 24 uur ipv 20 minuten") evalueren en daar een conclusie over schrijven op basis van data.

Heb jij ooit gehoord wat voor uren hij draait om al die tests op dat niveau te krijgen bij iedere release?
Dat zijn 12 uur per dag + weekenden rond de release met volgens mij 2 man. Nu is dat leuk voor je eigen zaak maar ik ga er zo maar even vanuit dat ze bij tweakers op het kantoor gewoon 5x8 werken.

Een Youtube channel als Gamers Nexus die al zijn tijd steekt in dit soort shit vergelijken met tweakers is nogal een euh kromme vergelijking.

[-The_Mask-]

Dirk schreef op woensdag 19 februari 2020 @ 23:36:
Welke punten zijn dan nog niet benoemd in Ch3cker in "CPU, GPU en PSU reviews" en zijn daar op volgende reacties?

Het komt neer op we gaan 0.1 lows toevoegen en de rest is meer van dezelfde antwoorden die al geweest zijn en het andere is aan de redactie.

Neem nu het koud testen van videokaarten. Hoe lang geleden is dit al aangekaart? Iets van 4 of 5 jaar geleden gok ik? In de tussentijd zijn van gaan maakt niet uit, tot minder dan 1%, naar minder dan 2% verschil gegaan. Als we nog zo'n 5 jaar verder zijn gaan we dus naar iets van max 5% afwijking in specifieke scenarios. Tenminste er was een tijd dat een enkele benchmark zo kort was dat je zo'n afwijking kon verwachten. Maar omdat men nu niet duidelijk wil maken hoe er precies getest wordt kan nu de afwijking ook niet achterhaald worden.

Terugkomend op het stukje is aan de redactie. Ja dat is in principe alles. Zij moeten immers het volledige reviewprotocol opstellen. En de eerste keer ook uitvoeren. Je moet immers testen als al je tests wel kloppen en representatief zijn.

Eén van de problemen die nu wel eens opvalt is immers dat de redacteur zijn eigen cijfers niet begrijpt of niet door heeft dat zijn cijfers eigenlijk nergens op slaan. Dat is typisch een probleem waar je anders mee te maken krijgt.

[CH4OS]

-The_Mask- schreef op donderdag 20 februari 2020 @ 10:48:
Eén van de problemen die nu wel eens opvalt is immers dat de redacteur zijn eigen cijfers niet begrijpt of niet door heeft dat zijn cijfers eigenlijk nergens op slaan. Dat is typisch een probleem waar je anders mee te maken krijgt.

Vandaar dat ik net al opperde (indirect althans) om bij een review een redacteur en een tester links- of rechtsom te laten samenwerken.

[Redneckerz]

Ik negeer even de laatste paar berichten hierboven mij en geef alleen hier blijk van hun bestaan. Die discussie is nu precies wat vermeden dient te worden.

Ch3cker schreef op woensdag 19 februari 2020 @ 19:51:
[...]

Je hebt natuurlijk een punt dat we het liefst wel op de launch day publiceren, onder meer omdat zo'n review niet meer heel relevant is als iedereen ergens anders al heeft kunnen lezen hoe een kaart presteert. Uiteraard zou ik ook zo uitgebreid mogelijk alles willen testen, maar feit blijft dat we altijd in een spagaat verkeren tussen "zo snel mogelijk publiceren" vs "zo goed mogelijk een product reviewen". Ik denk persoonlijk dat het ook mogelijk moet zijn om dit tweede te doen, én op de launch date te publiceren.

Het zou niet ten koste moeten gaan van de kwaliteit - Het komt immers te vaak voor dat een redactielid naderhand een correctie dient door te voeren omdat er toch maar aan Punt 1 (Zo snel mogelijk publiceren) voldaan moest worden. *

Het zou inderdaad mogelijk moeten zijn om Punt 2 (Zo goed mogelijk een product reviewen) samen te laten vallen met Punt 1, maar dit is een zaak waar de community zelf weinig aan kan bijdragen. Ik waardeer het dat jij nu, ondanks dat je in PM destijds niet over sprak, nu de belangen vertegenwoordigt vanuit het Test perspectief, maar laten we wel wezen: De redactie heeft daar steken laten vallen. In ieder geval, dat is al in de resultaten genoemd, ik hoop dan ook van harte dat Wout of Willem die post als basis nemen en niet het gekonkel wat er nu aan de hand is.

*Dit geldt ook voor nieuwsitems in het algemeen.

Ch3cker schreef op woensdag 19 februari 2020 @ 19:51:
Het protocol is niet per se complex, maar we testen gewoonweg behoorlijk wat games, op verschillende resoluties / settings. Ik heb in mijn vorige post ook aangegeven dat we proberen te zorgen voor een goede mix tussen AMD / nvidia biased games, DX11/DX12/Vulkan en engine/uitgever. We kunnen het prima hebben over wat er in deze mix verbeterd zou kunnen worden wat mij betreft. Shoot!

Dan dient bekeken te worden hoe lang iets wordt getest en dat evt de variatie in games omlaag gaat. Als dat voor een gedetaileerde test zorgt, lijkt mij dat aan te raden.

Wellicht een script dat het testen automatiseert op basis van resolutie? Dus een sample size van 6 games (3 AMD, 3 Nvidia bias) die op een bepaalde resolutie worden getest? Dan zou je drie scripts in de basis hebben (1080p/1440p/2160p). Deze kan je dan vervolgens aanpassen voor Low/Med/High instellingen. Of beter - 1 script per resolutie die als een soort cronjob de testen afgaat.

• Dus Game 1 op 1080p Low/Med/High -> Wegschrijven naar resultaten.
• Vervolgens start het script Game 2 op en test wederom Low/Med/High, enzovoorts.

Je blijft er echter wel mee zitten dat je maar 2 systemen tot je beschikking hebt - Dus het zou dweilen zijn met de kraan open.

Ch3cker schreef op woensdag 19 februari 2020 @ 19:51:
Laat ik vooropstellen dat het echt niet uitgesloten is te investeren in een extra systeem, als dat echt nodig is. Het is niet zo dat we even een blik hardware kunnen opentrekken en nog 4 extra systemen kunnen opstellen, maar als het nodig is zouden we kunnen kijken naar een extra systeem.

Het lijkt mij evident dat die investering een goede zou zijn. Nu weet ik uit eerdere posts dat een blik nieuwe hardware aanschaffen lastig zou zijn omdat de systemen identiek moeten wezen, maar ook dat vond (en vind!) ik geen sterk argument: Je kan van een custom systeem makkelijk 4x hetzelfde bestellen. We praten immers niet over een bulkorder van 300 systemen, maar een uitbreiding van 2 naar 6 of 8. Dat moet echt geen logische rompslomp zijn, lijkt mij.

Ch3cker schreef op woensdag 19 februari 2020 @ 19:51:
De driver die beschikbaar is voor de nieuwe kaart is meestal noodzakelijk omdat de laatste publieke driver de kaart simpelweg niet herkend. Deze driver is dan ook niet per se een driver die betere prestaties geeft, alhoewel dat natuurlijk wel zou kunnen. Wat vind je van het idee om drivers met elkaar te vergelijken qua prestaties? Als we één kaart met die twee verschillende drivers zouden testen, zou dat genoeg zijn om daar een conclusie 'deze driver presteert hetzelfde als de nieuwe' aan te hangen?

Graag! Je zou er zelfs een terugkerend artikel van kunnen maken om zo de delta van de kwaliteit van de drivers over tijd te vergelijken - Dan kan de discussie welke vendor nu sinds jaar en dag lagere preseterende drivers heeft ook aangepakt worden.

In uitbreiding op dat zou je ook kunnen meenemen hoe oudere kaarten zich verhouden tot oudere games om het kwaliteitsverschil ook te kunnen meten. Al is dat wellicht minder boeiend voor Tweakers.

Ch3cker schreef op woensdag 19 februari 2020 @ 19:51:
De enige reden dat we überhaupt overwegen om met verschillende drivers te testen is omdat het vaak voorkomt dat de publieke driver voor de release nog niet beschikbaar is. Het uitgangspunt is om de kaarten met een gelijke driver te testen. Op moment dat we dit niet zouden doen kunnen we dus of geen review publiceren, of zoals je zelf al aangeeft dit pas veel later doen.

Dat is een afweging voor Tweakers. De veelgehoorde klacht is immers dat er onnodige variatie optreed door verschillend driver gebruik.

Ch3cker schreef op woensdag 19 februari 2020 @ 19:51:
Ik neem aan dat een afbeelding met een warmtecamera dan nog wenselijker is, toch? We hebben die hier in huis, dus dat zouden we dan kunnen doen lijkt me. We doen al een duurtest van 30 minuten, dus wellicht dat dit daarmee te combineren is.

Als dat te combineren valt is dat iig een goede stap voor de transparantie. Zoals gezegd moet iets wel een haalbare kaart zijn - Iets wat in de discussie naderhand (alweer) lijkt te zijn weggeëbd.

Ch3cker schreef op woensdag 19 februari 2020 @ 19:51:
Maar dat zijn ook weer steeds andere koelers voor andere processors, waardoor het niet meer vergelijkbaar is. We zouden ook wél dezelfde koeler kunnen gebruiken voor alle processors? Of dus gewoon per socket bekijken wat de meest logische keuze is.

Ik weet niet of AMD's stock koelers ook op Intel's processoren passen, laat staan dat ze daardoor hetzelfde presteren. Als het kan: Zeker, anders inderdaad dan per socket. Een Referentie koeler zou dan wenselijk zijn.

Ch3cker schreef op woensdag 19 februari 2020 @ 19:51:
Je bedoelt dan dus de systemen wél continu updaten, zelfs als dat invloed kan hebben op de prestaties?

Als er vanuit wordt gegaan van een 2 jaarlijkse update die samenvalt met Windows's eigen grote updates, dan zal je de zero day updates pas krijgen bij de volgende update. Als een bedrijfskritische update al langer bekend is voor een nieuwe processorreview, dan lijkt het mij wijs (Of dat wordt nu al toegepast) om die laatste te installeren en dat vermelden, inderdaad.

Ch3cker schreef op woensdag 19 februari 2020 @ 19:51:
Zoals gezegd, in principe is dit 'template' er dus al gewoon. We testen een IGP niet op ultra settings, we testen deze met speciale benchmarks voor IGP.

Dit is niet geheel waar, zie de Athlon 3000G review. Waar wordt de iGPU op getest? Op 1080p low. Dat is inderdaad rekening houden met het feit dat het een IGP betreft, maar je houdt geen rekening met relevant nut.. Bekijk de specificaties van de 3000G iGPU nu: Een Vega 3 met 192 cores. Als je betekent dat een Ryzen 3200G of 3400G logischer zijn voor het testen op 1080p low omdat ze daar de oomph voor hebben (Idealiter 900p), waarom test je dan de Vega 3 op dezelfde resolutie Daar is de iGPU helemaal niet geschikt voor.

Derhalve is de conclusie die dan wordt getrokken bij de game die is getest(''Maar zoals je aan de oudere F1 2017 met lage settings ziet, hoef je met iets meer dan twintig fps geen gamemonster te verwachten.'') niet logisch te noemen. Een Vega 3 is immers geen gamemonster voor Full HD. Wel is het een GPU die casual gaming mogelijk maakt op 720p. Maar dat komt niet in de review terug, omdat daar niet op getest wordt. Kortom, Test naar relevant nut. Per product bekijken en bedenken, Wat is nu logischerwijs een goede test?.

Ch3cker schreef op woensdag 19 februari 2020 @ 19:51:
Hoe bedoel je dit precies? Het draaien van Furmark en Aida stress test tegelijkertijd? De kaarten worden al boven bedrijfstemperatuur opgewarmd door Aida, dus wat zou het toevoegen om ook nog furmark te draaien?

Niet tegelijkertijd, maar ter variatie. Wat zijn de verschillen dus de 2 programma's en leveren ze een eenduidige meting op.

Ch3cker schreef op woensdag 19 februari 2020 @ 19:51:
Zoals gezegd komt er later deze week nog een reactie vanuit de redactie!

Ik heb deze punten als 'Redactie' bestempeld, ik zou niet zo goed weten wat ik er vanuit een testlab oogpunt op zou moeten zeggen.

Dat is prima, al begeef ik mij voor zoiets op het vlak dat de suggesties nu wel/niet doorgevoerd worden en dat er na afloop een concept wordt gepresenteerd. Het nieuwste testprotocol is namelijk zonder mededeling in dit topic (laat staan de mogelijkheid tot suggesties erover!) doorgevoerd, dus dat zie ik graag anders, met transparantie als argument.

Ch3cker schreef op woensdag 19 februari 2020 @ 19:51:
Dit is altijd de afweging natuurlijk. Het behoort in ieder geval tot de mogelijkheden, ik denk dat het goed is om dat te vermelden. Het zou ook kunnen dat er een keer een vergelijkingstest gemaakt gaat worden die niet bij een launch hoort, dan is er wat meer tijd beschikbaar.

Het behoort tot de mogelijkheden, absoluut, maar ik stel de vraag omdat ik er weinig vertrouwen in heb dat men die optie ook aangrijpt. Heb jij een voorbeeld van een eerdere review waaruit dat specifiek blijkt?

[-The_Mask-]

Waarom zo moeilijk doen en zoveel geld uitgeven?

Zes of acht high-end systemen om een videokaart te testen lijkt mij extreem overdreven. Vooral als je nagaat dat juist de tests nu al heel veel nutteloze data bevatten. Dan is het toch veel logischer om de tests veel efficiënter en nuttiger te maken?

Je kunt het geld veel beter besteden het up-to-date brengen van de geluidsmetingen en verbruiksmetingen. Kost waarschijnlijk nog veel minder ook.

De systemen up-to-date testen doe je gewoon door alles (behalve natuurlijk het nieuwe product wat je nog niet hebt) een week eerder te testen op een up-to-date systeem. Dan hoef je alleen het reviewexemplaar te testen op het moment dat je die krijgt. Nu krijgt een videokaart vaak een speciale driver mee, maar dat is toch een driver voor die videokaart en niet voor andere videokaarten. Dus heb je gewoon een volledig test die up-to-date is, zonder een extreem tijd te kort.

Je zou hooguit een heel klein verschil kunnen krijgen doordat de andere videokaarten ook een driver update krijgen. Maar zoals gezegd is dat hooguit een heel klein verschil. Totaal niet te vergelijken met nu waarbij het systeem soms heel ver achterloopt en waarbij alles bij elkaar wordt gegooid. Soms zag je hierdoor zelfs een langzamere videokaart boven een snellere komen, doordat de langzamere getest was met een veel nieuwere driver.

Duurtest heeft trouwens geen toegevoegde waarde. Dat is dus ooit ontstaan omdat de normale tests het probleem hadden dat ze te kort duurder. De duurtest is ook nooit een oplossing van een probleem geweest, maar alleen een bewijs dat er een probleem met de huidige tests was.

Je kon precies zien dat als de kaart te kort werd getest de klokfrequentie hoger lag dan als de test enkele minuten duurt. Wat je wil is de huidige tests goed uitvoeren zodat een duurtest niks toevoegt omdat alle metingen een realistische weergave van de praktijk zijn.

[ Voor 35% gewijzigd door -The_Mask- op 20-02-2020 13:53 ]

[_Dune_]

Dirk schreef op woensdag 19 februari 2020 @ 23:13:
Nu verwar je onkunde met (on)wil. De Tweakers redactie wil gewoon iets anders dan wat jij wil, namelijk snel publiceren met enkele concessies op de kwaliteit. Jouw argumenten zijn compleet zinloos, want die zijn niet van toepassing op de situatie die de redactie voor ogen heeft.

Er zijn andere media die gaan voor eindeloze perfectie ongeacht wat voor een effect dat heeft op de publicatiedatum, daar zul jij je beter thuis voelen.

@Dirk Dit is nu niet echt opbouwend, wij konden vooraf al weten dat er na de inventarisatie van @Redneckerz er nog wel enige discussie zou volgen. @Ch3cker heeft dit naar mijn idee goed opgepakt een reactie te geven op het geheel. Vervolgens moeten zaken gaan uitkristalliseren.

Volgens mij was jij laatst ook op HQ, één van de zaken die duidelijk werd gemaakt (en ik ga niet in details treden) is dat Tweakers toch echt een techsite wil zijn. Reviews dienen dan gewoon technisch en informatief juist te zijn.

Gebeurd dit niet dan zal je de technisch achterban kwijtraken en wordt een zoveelste verzamelsite van gadgets en electrische auto's (ik stel het nu een beetje zwart-wit).

Om een voorbeeld te noemen, de Threadripper, leuk een review met allemaal games. Dat heeft dus geen zin, want deze processor is daar niet voor bedoeld en zal daar ook niet voornamelijk voor ingezet gaan worden. Als je een dergelijke processor test, dan kun je natuurlijk een paar algemene testst meenemen om ze tegenover een Celeron, i5, i7, Athlon of Ryzen1/2 te kunnen zetten, maar de focus zal dan toch meer moeten liggen op waar het product voor bedoeld is. Dat doe je dan ook als je een nieuwe i7 of Ryzen test. Dat betekend inderdaad dat er met andere applicaties (testst) gewerkt moet worden.

Wat ik mij afvraag overigens... waar is het nodig om op dag één met de review te komen. Als een review van Tweakers echt goed in elkaar zit, met de juiste informatie waaruit de juiste conclusies getrokken kunnen worden, dan maakt die eene dag ook niet uit. Men wacht dan gewoon op de review van Tweakers, want deze geeft wel het juiste en volledige beeld.

Verder wil ik iedereen vragen alleen opbouwend mee te werken, laten we verder gewoon nog even weer de reactie van @Ch3cker afwachten.

[ Voor 3% gewijzigd door _Dune_ op 20-02-2020 20:28 ]

[-The_Mask-]

Reviews enkele dagen na de launch zijn weinig interessant. Dan ben je zo maar 75% van de lezers kwijt lijkt mij. Lijkt mij ook nergens voor nodig trouwens. Kwestie van dingen die je van te voren kan doen al allemaal klaar hebben.

[_Dune_]

-The_Mask- schreef op donderdag 20 februari 2020 @ 20:13:
Reviews enkele dagen na de launch zijn weinig interessant. Dan ben je zo maar 75% van de lezers kwijt lijkt mij. Lijkt mij ook nergens voor nodig trouwens. Kwestie van dingen die je van te voren kan doen al allemaal klaar hebben.

Zoals ik al aan gaf vroeg ik het mij af, als het wel gewoon op release dag kan, helemaal mooi. Persoonljk boeit mij het niet namelijk. Ik wil gewoon goed en correct geïnformeerd worden als dat dan een dag later is, het zijzo. Ik kan mij ook iets uit het verleden herinneren, een review hier op Tweakers was zoveel vraag naar dat deze in het engels is vertaald voor andere sites... zou leuk zijn als Tweakers zo bekend zou staan om de reviews.

@Ch3cker Als ik het goed begrijp testen jullie veel meer dan in reviews wordt meegenomen. ik kan niet zogauw terug vinden of ergens bekeken kan worden wat jullie allemaal gebruiken voor het testen. Ik lees ergens in een reactie van jou dat er veel verschillende games gebruikt worden. Hoeveel en welke games zijn dit bijvoorbeeld? Is het nodig om er zoveel mee te nemen?

Of is het ergens inzichtlijk wal jullie hele test protocol behelst? Je hebt wel zaken in jouw reactie benoemd, maar is er een 'lijstje' van zeg maar. Aangezien blijkbaar maar een subset van de resultaten meegenomen wordt door de redactie in een review, als ik het goed heb begrepen.

[ Voor 55% gewijzigd door _Dune_ op 20-02-2020 20:25 ]

[CH4OS]

Dirk schreef op woensdag 19 februari 2020 @ 23:13:
Nu verwar je onkunde met (on)wil. De Tweakers redactie wil gewoon iets anders dan wat jij wil, namelijk snel publiceren met enkele concessies op de kwaliteit. Jouw argumenten zijn compleet zinloos, want die zijn niet van toepassing op de situatie die de redactie voor ogen heeft.

Er zijn andere media die gaan voor eindeloze perfectie ongeacht wat voor een effect dat heeft op de publicatiedatum, daar zul jij je beter thuis voelen.

Volgens mij werkt dat wel twee kanten op; wat de redactie schrijft moet wel van goede kwaliteit zijn om het interessant te houden voor de bezoeker en geen bezoekers, geen inkomsten. Wellicht dat de onwetende Tweaker dat niet zo door heeft, maar er is ook een grote groep Tweakers die wél kwalitatief goede reviews wilt zien, juist van Tweakers, een klein deel daarvan laat zich hier zien. Ik denk dat kwalitatief goede reviews meer views opleveren dan nu het geval is. Vaak sla ik het nu over of lees ik uiterst selectief, omdat het verder voor mij dan niet interessant is.

[ Voor 4% gewijzigd door CH4OS op 20-02-2020 21:04 ]

[Dirk]

Als ik zeg dat er enkele concessies op de kwaliteit worden gedaan, zeg ik niet dat het eindresultaat slecht is, het is alleen niet helemaal perfect.Een perfectionist zal het misschien waardeloos vinden, maar wat mij betreft is het prima bruikbaar, en netjes op tijd.

[Ch3cker]

Sorry voor de wat latere reply, het is nogal een gekkenhuis bij ons op kantoor op het moment vanwege de aanstaande verhuizing.

Redneckerz schreef op donderdag 20 februari 2020 @ 11:20:
Ik negeer even de laatste paar berichten hierboven mij en geef alleen hier blijk van hun bestaan. Die discussie is nu precies wat vermeden dient te worden.


[...]

Het zou niet ten koste moeten gaan van de kwaliteit - Het komt immers te vaak voor dat een redactielid naderhand een correctie dient door te voeren omdat er toch maar aan Punt 1 (Zo snel mogelijk publiceren) voldaan moest worden. *

Het zou inderdaad mogelijk moeten zijn om Punt 2 (Zo goed mogelijk een product reviewen) samen te laten vallen met Punt 1, maar dit is een zaak waar de community zelf weinig aan kan bijdragen. Ik waardeer het dat jij nu, ondanks dat je in PM destijds niet over sprak, nu de belangen vertegenwoordigt vanuit het Test perspectief, maar laten we wel wezen: De redactie heeft daar steken laten vallen. In ieder geval, dat is al in de resultaten genoemd, ik hoop dan ook van harte dat Wout of Willem die post als basis nemen en niet het gekonkel wat er nu aan de hand is.

*Dit geldt ook voor nieuwsitems in het algemeen.

toon volledige bericht

Ik denk echt dat we door deze toevoegingen / wijzigingen op de goede weg zijn. Het is nu ook aan ons om dit verder uit te werken, en weer bij jullie terug te komen met het resultaat. Ik besef me maar al te goed dat het voor nu alleen nog woorden zijn. Wout en Willem zijn ook druk bezig met de redactie kant van het verhaal, ik hoop dat daar dan ook stappen in gezet kunnen worden.

[...]

Dan dient bekeken te worden hoe lang iets wordt getest en dat evt de variatie in games omlaag gaat. Als dat voor een gedetaileerde test zorgt, lijkt mij dat aan te raden.

Wellicht een script dat het testen automatiseert op basis van resolutie? Dus een sample size van 6 games (3 AMD, 3 Nvidia bias) die op een bepaalde resolutie worden getest? Dan zou je drie scripts in de basis hebben (1080p/1440p/2160p). Deze kan je dan vervolgens aanpassen voor Low/Med/High instellingen. Of beter - 1 script per resolutie die als een soort cronjob de testen afgaat.

• Dus Game 1 op 1080p Low/Med/High -> Wegschrijven naar resultaten.
• Vervolgens start het script Game 2 op en test wederom Low/Med/High, enzovoorts.

Je blijft er echter wel mee zitten dat je maar 2 systemen tot je beschikking hebt - Dus het zou dweilen zijn met de kraan open.

We doen al heel veel benchmarks middels scripts, dus dat gaat al zo snel als mogelijk is. Alleen testen we dus een vrij breed scala aan games, om de genoemde mix dus zo gebalanceerd mogelijk te houden.

We benchmarken sowieso de referentiekaarten van de 'andere kant', dus bijv de Nvidia kaarten wanneer er een AMD-launch is, al ~ 1 week van tevoren, met de op dat moment nieuwste driver. Dan blijft over de kaarten van de vendor die een launch heeft. Zoals gezegd gaan we gewoon proberen om die allemaal met de driver te testen waar we de nieuwe kaart ook op testen. Mocht dat niet lukken doen we de rest van de kaarten met de op dat moment nieuwste driver voor die kaarten, en maken we een vergelijking met 1 kaart tussen de driver voor de nieuwe kaart, en de andere driver, om te zien of er verschillen inzitten.


Ik stel voor om het de eerstvolgende launch op deze manier te proberen. We zullen dan ook goed in de gaten houden of een eventueel 4e systeem ons zou helpen.

[...]

Het lijkt mij evident dat die investering een goede zou zijn. Nu weet ik uit eerdere posts dat een blik nieuwe hardware aanschaffen lastig zou zijn omdat de systemen identiek moeten wezen, maar ook dat vond (en vind!) ik geen sterk argument: Je kan van een custom systeem makkelijk 4x hetzelfde bestellen. We praten immers niet over een bulkorder van 300 systemen, maar een uitbreiding van 2 naar 6 of 8. Dat moet echt geen logische rompslomp zijn, lijkt mij.

Dat maakt het inderdaad iets lastiger, maar niet onmogelijk. Ik denk dat 6 of 8 systemen wel echt overkill is. Laten we het, mochten we inderdaad concluderen dat het nuttig is, eerst met 4 proberen. Je hebt mijn woord dat als het nuttig is, we dit gewoon gaan doen.

[...]

Graag! Je zou er zelfs een terugkerend artikel van kunnen maken om zo de delta van de kwaliteit van de drivers over tijd te vergelijken - Dan kan de discussie welke vendor nu sinds jaar en dag lagere preseterende drivers heeft ook aangepakt worden.

In uitbreiding op dat zou je ook kunnen meenemen hoe oudere kaarten zich verhouden tot oudere games om het kwaliteitsverschil ook te kunnen meten. Al is dat wellicht minder boeiend voor Tweakers.

Ik denk dat we dit na onze verhuizing wel kunnen oppakken, lijkt me een interessant artikel inderdaad.

[...]

Dat is een afweging voor Tweakers. De veelgehoorde klacht is immers dat er onnodige variatie optreed door verschillend driver gebruik.

Eens, het is een lastige afweging. Ik denk dat we door de aanpassingen nu in ieder geval al een heel stuk in de goede richting komen.

[...]

Als dat te combineren valt is dat iig een goede stap voor de transparantie. Zoals gezegd moet iets wel een haalbare kaart zijn - Iets wat in de discussie naderhand (alweer) lijkt te zijn weggeëbd.

Ik denk dat dit goed te doen is, ik ga het even overleggen!

[...]

Ik weet niet of AMD's stock koelers ook op Intel's processoren passen, laat staan dat ze daardoor hetzelfde presteren. Als het kan: Zeker, anders inderdaad dan per socket. Een Referentie koeler zou dan wenselijk zijn.

Die passen er helaas niet op.. Wat bedoel je met een referentie koeler?

[...]

Als er vanuit wordt gegaan van een 2 jaarlijkse update die samenvalt met Windows's eigen grote updates, dan zal je de zero day updates pas krijgen bij de volgende update. Als een bedrijfskritische update al langer bekend is voor een nieuwe processorreview, dan lijkt het mij wijs (Of dat wordt nu al toegepast) om die laatste te installeren en dat vermelden, inderdaad.

Ik denk dat de afweging per keer gemaakt moet worden. Kan me voorstellen dat als we net over zijn naar een nieuwe windows versie het nuttig is om toch nog een keer alles te updaten zodat we de kritische update er op hebben staan, terwijl als we net voor een nieuwe windows versie zitten het handiger is om toch nog even te wachten met updaten.

[...]

Dit is niet geheel waar, zie de Athlon 3000G review. Waar wordt de iGPU op getest? Op 1080p low. Dat is inderdaad rekening houden met het feit dat het een IGP betreft, maar je houdt geen rekening met relevant nut.. Bekijk de specificaties van de 3000G iGPU nu: Een Vega 3 met 192 cores. Als je betekent dat een Ryzen 3200G of 3400G logischer zijn voor het testen op 1080p low omdat ze daar de oomph voor hebben (Idealiter 900p), waarom test je dan de Vega 3 op dezelfde resolutie Daar is de iGPU helemaal niet geschikt voor.

In ons oude testprotocol maakten we gebruik van drie games, te weten Minecraft (fast/fancy), Dota 2 op de vulkan API (low / med) en F1 2017 (low / med). Ook draaien we nog 3DMark Skydiver. Wegens het ontbreken van een benchmark vergelijkingsmogelijkheid op tweakers hierbij een link naar een vergelijking op HWI tussen de 9700k en de Athlon 3000G. Inmiddels zijn we overgestapt op een nieuw protocol, waarin we F1 2019 (low / med) en Dota 2 (vulkan, low/med) testen qua games, en 3DMark Nightraid. Minecraft hebben we geschrapt uit de nieuwe procedure, omdat we moeilijkheden ondervonden met de benchmark. We hebben helaas nog geen benchmark resultaten van de nieuwe games, gezien we nog geen processor met IGP hebben getest in ons nieuwe protocol. Uiteraard hebben we wel al tests gedaan om de benchmark te integreren in het protocol, ik zal hier morgen even navraag naar doen. Misschien is het wel handig om Minecraft met een andere benchmark te vervangen, hier zal ik nog even achteraan gaan.

Derhalve is de conclusie die dan wordt getrokken bij de game die is getest(''Maar zoals je aan de oudere F1 2017 met lage settings ziet, hoef je met iets meer dan twintig fps geen gamemonster te verwachten.'') niet logisch te noemen. Een Vega 3 is immers geen gamemonster voor Full HD. Wel is het een GPU die casual gaming mogelijk maakt op 720p. Maar dat komt niet in de review terug, omdat daar niet op getest wordt. Kortom, Test naar relevant nut. Per product bekijken en bedenken, Wat is nu logischerwijs een goede test?.

Ik ben het met je eens dat de getoonde benchmark niet per se een volledig beeld geeft van de prestatie van de IGP, die voor een IGP toch best wel prima zijn. De conclusie dat het 'geen gamemonster' is, is natuurlijk niet onjuist, maar misschien hadden we ook bijv de Dota 2 benchmark kunnen laten zien, waar de IGP in ieder geval qua fps toch betere resultaten neerzet.

[...]

Niet tegelijkertijd, maar ter variatie. Wat zijn de verschillen dus de 2 programma's en leveren ze een eenduidige meting op.

Ik kan vragen of we een vergelijking kunnen doen tussen furmark en aida stress test na 10 min, qua temperatuur van de kaart etc. Een videokaart koelt echter zo snel af dat of je nu aida, furmark of een ander programma draait, na de laadtijd van een benchmark komt je dan ongeveer op dezelfde temperatuur uit. Maar om het uit te sluiten kunnen we het natuurlijk prima even vergelijken, kleine moeite. Dit gaat wel minimaal een week duren, gezien al onze spullen nu in verhuiskarren zitten..

[...]

Dat is prima, al begeef ik mij voor zoiets op het vlak dat de suggesties nu wel/niet doorgevoerd worden en dat er na afloop een concept wordt gepresenteerd. Het nieuwste testprotocol is namelijk zonder mededeling in dit topic (laat staan de mogelijkheid tot suggesties erover!) doorgevoerd, dus dat zie ik graag anders, met transparantie als argument.

Zoals gezegd, we hadden inderdaad even kunnen aangeven dat we wel alvast bezig waren om wat aanpassingen te doen. Ik denk dat het sowieso nuttig is om meer duidelijkheid te geven over wat we precies voor procedure volgen voor het testen van producten. Er zijn een aantal punten hier aangehaald die we gaan uitwerken, en ik denk dat het inderdaad handig is als we dit in een soort concept 'presenteren'. Dan kunnen we ook iets gerichter een discussie voeren over een procedure.

[...]

Het behoort tot de mogelijkheden, absoluut, maar ik stel de vraag omdat ik er weinig vertrouwen in heb dat men die optie ook aangrijpt. Heb jij een voorbeeld van een eerdere review waaruit dat specifiek blijkt?

Dit is iets wat we nu hebben aangegeven aan de redacties, dus hier zijn geen voorbeelden van in het verleden. Ik snap het 'wantrouwen', nogmaals, tot nu toe zijn het alleen maar woorden. Het is aan ons om dit nu om te zetten in daden. Ik kan er niks anders van maken dan te vragen vertrouwen te putten uit onze toenadering de afgelopen dagen.

-The_Mask- schreef op donderdag 20 februari 2020 @ 11:36:
Waarom zo moeilijk doen en zoveel geld uitgeven?

Zes of acht high-end systemen om een videokaart te testen lijkt mij extreem overdreven. Vooral als je nagaat dat juist de tests nu al heel veel nutteloze data bevatten. Dan is het toch veel logischer om de tests veel efficiënter en nuttiger te maken?

Je kunt het geld veel beter besteden het up-to-date brengen van de geluidsmetingen en verbruiksmetingen. Kost waarschijnlijk nog veel minder ook.

Ik denk dat zoveel systemen ook niet per se noodzakelijk zal zijn, maar een uitbreiding naar 3 of 4 lijkt me niet ondenkbaar. Ik heb de feedback met betrekking tot geluidsmetingen en verbruiksmetingen niet terug zien komen in de inventarisatie van @Redneckerz . Zou je uit kunnen leggen wat je hier aan verbeterd zou willen zien?

De systemen up-to-date testen doe je gewoon door alles (behalve natuurlijk het nieuwe product wat je nog niet hebt) een week eerder te testen op een up-to-date systeem. Dan hoef je alleen het reviewexemplaar te testen op het moment dat je die krijgt. Nu krijgt een videokaart vaak een speciale driver mee, maar dat is toch een driver voor die videokaart en niet voor andere videokaarten. Dus heb je gewoon een volledig test die up-to-date is, zonder een extreem tijd te kort.

Je zou hooguit een heel klein verschil kunnen krijgen doordat de andere videokaarten ook een driver update krijgen. Maar zoals gezegd is dat hooguit een heel klein verschil. Totaal niet te vergelijken met nu waarbij het systeem soms heel ver achterloopt en waarbij alles bij elkaar wordt gegooid. Soms zag je hierdoor zelfs een langzamere videokaart boven een snellere komen, doordat de langzamere getest was met een veel nieuwere driver.

Het plan is om als uitgangspunt te hebben om alle kaarten van dezelfde vendor te testen met dezelfde driver. Mocht dit niet lukken, dan draaien we op zijn minst een vergelijking op 1 kaart tussen de gebruikte driver op de nieuwe kaart en de andere driver.

Duurtest heeft trouwens geen toegevoegde waarde. Dat is dus ooit ontstaan omdat de normale tests het probleem hadden dat ze te kort duurder. De duurtest is ook nooit een oplossing van een probleem geweest, maar alleen een bewijs dat er een probleem met de huidige tests was.

Je kon precies zien dat als de kaart te kort werd getest de klokfrequentie hoger lag dan als de test enkele minuten duurt. Wat je wil is de huidige tests goed uitvoeren zodat een duurtest niks toevoegt omdat alle metingen een realistische weergave van de praktijk zijn.

Zoals gezegd koelen videokaarten tussen runs door, bij geen belasting, enorm snel weer af. Dit is ook de reden dat kaarten vlak voor een benchmark opwarmen weinig nut heeft, de kaart is alweer afgekoeld tot bedrijfstemperatuur voordat de benchmark is gestart. Om het scenario van langere tijd achter elkaar gamen af te vangen hebben we de duurtest bedacht. Hierbij draait Project Cars een oneindige loop (zonder pauzes tussen de runs), waardoor je daadwerkelijk een benchmark hebt die een half uur duurt.

_Dune_ schreef op donderdag 20 februari 2020 @ 20:03:
[...]

Om een voorbeeld te noemen, de Threadripper, leuk een review met allemaal games. Dat heeft dus geen zin, want deze processor is daar niet voor bedoeld en zal daar ook niet voornamelijk voor ingezet gaan worden. Als je een dergelijke processor test, dan kun je natuurlijk een paar algemene testst meenemen om ze tegenover een Celeron, i5, i7, Athlon of Ryzen1/2 te kunnen zetten, maar de focus zal dan toch meer moeten liggen op waar het product voor bedoeld is. Dat doe je dan ook als je een nieuwe i7 of Ryzen test. Dat betekend inderdaad dat er met andere applicaties (testst) gewerkt moet worden.

Zoals gezegd is het wat mij betreft prima om 'uitzonderingen' te maken, of zoals @Redneckerz zegt een 'template'. Ik denk dat het zeker zinnig is om iets te kunnen zeggen over de prestaties van deze processor in games, maar de hoeveelheid die nu getest is is wellicht wat overdreven.

Wat ik mij afvraag overigens... waar is het nodig om op dag één met de review te komen. Als een review van Tweakers echt goed in elkaar zit, met de juiste informatie waaruit de juiste conclusies getrokken kunnen worden, dan maakt die eene dag ook niet uit. Men wacht dan gewoon op de review van Tweakers, want deze geeft wel het juiste en volledige beeld.

Verder wil ik iedereen vragen alleen opbouwend mee te werken, laten we verder gewoon nog even weer de reactie van @Ch3cker afwachten.

De spagaat tussen "zo snel mogelijk publiceren" vs "zo goed mogelijk een product reviewen" is reeds aangehaald, en is ook hier van toepassing. Ik denk dat we met de aanpassingen omtrent testen naar relevant nut en het updatebeleid we een prima review kunnen publiceren, ook op launch day.

Het punt omtrent windows updates kwam van jou als ik het me goed herinner, hoe denk jij over de aangehaalde oplossing?

_Dune_ schreef op donderdag 20 februari 2020 @ 20:15:
[...]
@Ch3cker Als ik het goed begrijp testen jullie veel meer dan in reviews wordt meegenomen. ik kan niet zogauw terug vinden of ergens bekeken kan worden wat jullie allemaal gebruiken voor het testen. Ik lees ergens in een reactie van jou dat er veel verschillende games gebruikt worden. Hoeveel en welke games zijn dit bijvoorbeeld? Is het nodig om er zoveel mee te nemen?

Hoe bedoel je 'wat jullie allemaal gebruiken voor het testen'? Bedoel je daarmee de testsystemen? Die staan volgens mij in elke review benoemd.. Ik zou evt een overzicht kunnen posten indien gewenst. De games voor IGP van het oude en het nieuwe protocol staan hierboven beschreven. Helaas heeft Tweakers niet echt een manier om na te gaan welke benchmarks wij op dit moment allemaal gebruiken. Buiten de IGP games testen we ook processors ook in games met een RTX 2080 Ti (in het nieuwe protocol, oude protocol gebeurde dit met een 1080 Ti). De games die getest worden :

• Battlefield V (DX12) - 1920x1080 (med/ultra)
• Dirt Rally 2.0 - 1920x1080 (med/ultra)
• GTA V - 1920x10800 (med/ultra)
• The Division 2 (DX12) - 1920x1080 (med/ultra)
• Total War: Three Kingdoms - 1920x1080 (med/ultra)

Of dit nodig is verschilt denk ik per processor/review. Voor een processor die je wilt gaan gebruiken in een gaming-rig is het denk ik zeer relevant, voor een threadripper minder.

Of is het ergens inzichtlijk wal jullie hele test protocol behelst? Je hebt wel zaken in jouw reactie benoemd, maar is er een 'lijstje' van zeg maar. Aangezien blijkbaar maar een subset van de resultaten meegenomen wordt door de redactie in een review, als ik het goed heb begrepen.

Soms worden alle resultaten van een getest product in een review opgenomen, soms slechts een paar. Op dit moment wordt in reviews vaak bij de test een kleine omschrijving gegeven, maar een opzet van een testprocedure is er op dit moment niet. Ik denk dat het inderdaad nuttig is om dit soort zaken inzichtelijk te maken.

[WoutF]

In de lijst met feedback stond een aantal zaken die niet per se over testmethodes gingen, maar over redactionele zaken. Daar ben ik met @willemdemoor doorheen gelopen. Aangezien Willem vrij is en in het buitenland zit, post ik dit overzicht. Eventuele vragen hierop zullen dus waarschijnlijk pas na het weekend opgepakt kunnen worden.

Percentages in grafieken uitbreiden - Als je over de balken in de grafieken hovert zie je de relatieve prestatiewinst/-verlies, maar percentages zeggen niet altijd alles. Het zou mooi zijn als je naast +5% of -23,2% ook zou zien dat die +5% ook +15fps betekent, of dat die -23,2% slechts -8 frames per seconde betekent. Dit kan afgevangen worden met het toevoegen van een extra parameter in de bestaande grafiek.

Klinkt als een mooie toevoeging. Dit is wel iets dat tijd van onze developmentafdeling vereist. Gezien de andere wensen die er vanuit de community liggen (plan: Community Pick XXL: maak jouw keuze!) denk ik dat het niet realistisch is dat hier (op korte termijn) iets mee gedaan wordt. Misschien niet wat je wilt horen, maar ik wil geen valse verwachtingen scheppen.

Kleurstelling grafieken - AMD worden vaak Team Red of Team Blue genoemd. IPV random kleuren voor de grafieken te gebruiken, beperk het tot rood of blauw. Is een processor of meerdere processors belangrijker, maak deze dan fel blauw of rood. Voorbeeld zoals WCCFTech kleuren gebruikt hier.

Kleine moeite

Stevigheid van de kaart vermelden - Kaarten willen nog weleens per fabrikant verschillen in stevigheid.

Aan/afwezigheid van een backplate wordt al gemeld bij reviews. Zie bijv hier. Bedoel je dat?

Blinde tests. - Dit kan natuurlijk ook voor GPU's en CPU's/PSU's gelden, maar sommige fabrikanten willen nog wel eens een testmodel levern die beter presteert, maar dit komt dan niet terug in de review.

Als je zeker wilt zijn dat je geen golden samples ontvangt, is het enige alternatief aanschaffen van de producten in de winkel. Hoewel we dat af en toe doen als we een product niet via een fabrikant kunnen krijgen, is het budget-technisch niet te doen om alle reviewsamples zelf te kopen. Daarnaast is het in het geval van producten die je onder embargo krijgt ook niet mogelijk op dat moment al een retailsample te bemachtigen. Waar baseer je overigens je uitspraak 'sommige fabrikanten willen nog wel eens een testmodel levern die beter presteert' op? Ik snap dat het vermoeden kan bestaan, maar het is uiteindelijk extreem moeilijk te controleren.

Verduidelijking van de terminologie. - In samen hang met het bovenstaande punt. In dit nieuwsitem diende een correctie ingevoerd te worden dat de turbo maar kortstondig gebruikt kon te worden. Er wordt echter niet uitgelegd wat ervoor die turbo nodig is - dit wordt in een tweede correctie benadrukt. Dit is niet zozeer een foutief als wel dat dergelijke correcties noodzakelijk worden door een onzichtbare ''haast'' om een nieuwtje te corrigeren. Deze structureel aanwezige ''haast'' dient ingeperkt te worden. Deze ''haast'' komt namelijk terug in een ander nieuwsitem waar ook een correctie noodzakelijk was. Nu is dit vandaag de dag iets beter, gezien een recent nieuwsitem, maar het dient alsnog benadrukt te worden.

Ik ben het met je eens dat de inhoudelijke juistheid van berichten altijd voorop moet staan en 'haast' geen reden is om dingen niet goed op te schrijven. Er zijn legio redenen waardoor het kan dat een bericht na publicatie nog bijgewerkt moet worden. We proberen hier echter goed op te letten en het doel is dan ook dat het bericht bij publicatie helemaal compleet is. Dat geldt dan ook voor veruit het gros van de berichten. Toevoegingen zijn de uitzondering, niet de regel. Ik ben blij dat je aangeeft dat dit voor je gevoel recentelijk beter gaat.

Correcte weergave van specificaties. - PSU's hebben op dit moment een verminderd punt van aandacht op Tweakers en worden niet tot nauwelijks meer getest. De laatste review dateert alweer van 2015, terwijl een search mij duidelijk maakt dat er alleen 1 keer eerder in 2015 en in 2009 en in 2006 reviews op de pijnbank zijn getest. Kortom, PSU's hebben weinig tot geen aandacht. Toch zou dat wel moeten. Tussen de verschillende voedingen kan immers een wereld van verschil zitten. Het is dus essentieel dat, als er een item of review aangaande PSU's wordt gemaakt, deze aan dezelfde regelgeving wordt onderworpen als bij alle andere componenten. Leg dus uit wat iets betekent, zoals bijvoorbeeld een 12 pins processor voeding. Net als bij de andere apparatuur dient men aan te leren om de volledige specificatie van de apparatuur over te nemen of op zijn minst daarnaar te linken als een externe bron. Zodat in ieder geval vanuit Tweakers de mogelijkheid wordt aangeboden aan zijn gebruikers om de gemaakte opmerkingen te verifieren. The Mask maakt in zijn eigen reviews vaak gebruik van rechtstreekse specificaties van de fabrikant, ik zie dus dan ook niet in waarom Tweakers als een optie dat niet zou kunnen aanbieden.

Dit gaat heel precies in op een review uit 2015 en het wel of niet testen van voedingen op Tweakers. Ik probeer hieruit een overkoepelend stuk feedback te destilleren, dat in brede zin toegepast kan worden op reviews. Waar draait het hier precies om? De wens om een volledige spectabel in elke review te zien? Een linkje naar de specs bij de fabrikant? Uiteindelijk staat bij elke review een productkoppeling naar de Pricewatch, waar ook alle specs te vinden zijn. Van daaruit kun je vaak ook doorklikken naar de site van de fabrikant.

Uitleg minimum FPS, 1% lows en 0.1% lows. - De minimum FPS en 1% lows worden nu meegenomen (de 0.1% lows niet, zie sectie Helgie) maar er wordt niet uitgelegd wat deze betekenen. Tevens dient minimum FPS aangepast te worden naar minimum en gemiddelde frametimes, daar deze de lading beter dekt. Ook zou de gemiddelde framerate in milliseconden kunnen worden gegeven. Dit wordt nu al gedaan middels het testprotocol van september 2019, maar een korte uitleg van deze begrippen + uitleggen hoeveel ms je nodig hebt voor een 30 fps, 60 fps en 120 fps update zou bij elke GPU review verplicht moeten zijn. Dit zou in italic boven de grafiek kunnen worden geplaatst.

Willem:
We gaan de testprocedures van componenten in een apart artikel op een rij zetten en verwijzen voortaan bij de testprocedures naar de betreffende pagina. Daar zullen we meer toelichting geven, onder meer over het belang/betekenis van frametimes en 99th percentiles (of 1% en 0,1% lows, zo je wil).

Min fps deden we nooit, we hebben wel enige tijd de 99th percentile frametimes omgerekend naar min-fps, voornamelijk omdat minimale framerates (en gemiddelde framerates) eenvoudiger interpreteerbaar zijn voor de minder geïnformeerde lezer. Daar zijn we al geruime tijd weer vanaf gestapt en melden nu de 99th percentile frametimes naast de gemiddelde framerates.

Ik zie geen heil in het omrekenen van gemiddelde framerates (fps) naar frametimes. Natuurlijk, we kunnen meer data toevoegen, maar het moet nog wel nut hebben. En bij elke grafiek uitleggen dat 16ms een fps van 60fps oplevert, kan misschien beter in de testmethode-pagina. Ik bedenk net dat het misschien wel aardig zou zijn om een dummy-videokaart toe te voegen met vaste average fps'en als 30fps, 60fps, 120fps. Kun je makkelijk zien welke kaart boven/onder die grens zit"

Uitleg van terminologie. - In dit nieuwsitem wordt MT/s consequent weergegeven zonder uitleg evenals CAS latencies. Er lijkt dus sprake van een terugkerend probleem wat bij nieuwsitems en reviews over verschillende componenten terugkomt. Niet voor niets is de +3 reactie aldaar een uitleg van de terminologie. Tweakers dient deze terminologie zelf uit te leggen, en niet domweg ervanuitgaan dat alle gebruikers deze minder bekende termen ook kennen.

Aannames doen over kennis is altijd lastig. Aan de ene kant zeggen sommige mensen dat Tweakers teveel voor 'mainstream'-volk schrijft en zich te weinig richt op techliefhebbers en aan de andere kant nu dus dat dingen meer uitgelegd moeten worden, dingen die sommige van die techliefhebbers al lang snappen. Het is moeilijk in te schatten wanneer iets wel of geen uitleg behoeft. We kunnen ook prima in geval van twijfel altijd wat meer uitleggen, als mensen dat op prijs stellen. Is dit echter een structureel probleem? Je verwijst naar een nieuwsbericht uit 2018 en zegt vervolgens dat er een 'terugkerend probleem' is. Als je meer voorbeelden hebt, dan hoor ik die graag.

Verscherping op de BBG. - Het Best Buy Guide tabel is aan verandering toe. Dezelfde systemen worden te vaak aangeraden. Hier zou meer variatie in gemaakt kunnen worden, bijvoorbeeld een lowpower systeem, een studie systeem, enzovoorts. Afkomstig van TheMask's post, een vergelijking tussen de BBG van Januari 2010 en Januari 2020. Wat valt op?

Willem:
Een discussie over BBG-systemen is eigenlijk een discussie die losstaat van componententests en testprocedures.
Dat gezegd hebbende, de prijspunten en systemen die in de Desktop-BBG behandeld worden, zijn bedoeld om een zo groot mogelijke doelgroep te helpen. Systemen in deze segmenten kunnen enerzijds regelmatig veranderen bij introducties van nieuwe producten, met name videokaarten en processors, en anderzijds geven ze een beeld van veranderingen in de markt.

We hebben ze geselecteerd omdat veel mensen op deze prijspunten een systeem willen kopen: een 1080p-gamesysteem vormt het gros van de aankopen, gevolgd door ultrawide- of 1440p-systemen. De markt voor 4k-gaming is al een stuk kleiner, simpelweg wegens de benodigde investeringen.

Daar komt bij dat de 'specials' die we regelmatig publiceren, zoals htpc's, mitx-systemen, een fileserver of workstation voor een veel kleinere doelgroep interessant zijn. Bovendien zijn voor dergelijke systemen veel minder 'generieke' adviezen te geven, deels door persoonlijke voorkeuren (htpc's bv) en deels door de bijzonder gebruiksspecifieke scenario's: een workstation betekent bijvoorbeeld voor de ene gebruiker een systeem met vooral gpgpu-mogelijkheden, een ander draait alleen memory-intensieve workloads en een derde wil juist veel cpu-rekenkracht, raw power. Dit is niet te vatten in een 'catch-all workstation, en soortgelijke argumenten zijn voor andere specials te maken.

[CH4OS]

Dirk schreef op donderdag 20 februari 2020 @ 21:07:
Als ik zeg dat er enkele concessies op de kwaliteit worden gedaan, zeg ik niet dat het eindresultaat slecht is, het is alleen niet helemaal perfect.Een perfectionist zal het misschien waardeloos vinden, maar wat mij betreft is het prima bruikbaar, en netjes op tijd.

Om een Tweaker dat modernere/betere resultaten verwacht gelijk een perfectionist te noemen vind ik dan ook wel weer wat overdreven. Jammer dat je het wel zo ziet.

[-The_Mask-]

Ch3cker schreef op donderdag 20 februari 2020 @ 22:24:

Ik heb de feedback met betrekking tot geluidsmetingen en verbruiksmetingen niet terug zien komen in de inventarisatie van @Redneckerz . Zou je uit kunnen leggen wat je hier aan verbeterd zou willen zien?

We weten niet wat er allemaal aan mankeert omdat het allemaal zeer geheimzinnig is. Er is vaak genoeg gevraagd naar hoe het precies wordt gedaan, maar er wordt nooit antwoord gegeven. Dus wat de precieze problemen allemaal zijn, dat kunnen jullie veel beter beantwoorden. Wij zullen sowieso heel veel missen zolang de testmethode niet openbaar is. Daarom is het zo belangrijk dat de volledige testmethode openbaar is zodat het certificeerbaar is door iedereen.

Enige problemen die nu bekent zijn, is dat er gebruik wordt gemaakt van een goedkoop niet betrouwbaar metertje van Aliexpress voor het meten van de stroom en dat geluidsmetingen worden gedaan op een veel te korte afstand.

Een betrouwbare geluidsmeting krijg je op een langere afstand. Het meten van het verbruik kun je het beste digitaal doen en gewoon meenemen in elke test die je doet. Veel interessanter, betrouwbaarder en kost je ook geen extra tijd.

[Redneckerz]

Ch3cker schreef op donderdag 20 februari 2020 @ 22:24:
Sorry voor de wat latere reply, het is nogal een gekkenhuis bij ons op kantoor op het moment vanwege de aanstaande verhuizing.

No worries, ik zal er wat korter op in gaan, dus op niet alles zal een reactie volgen (want dat heeft geen nut), ook door Wout's respons. Bovendien vind ik meer dat de resultaten van Tweakers zelf dienen te worden afgewacht.

EDIT: Wout, ook bij jouw reactie heb ik doelbewust niet alles meegenomen.

Echt vrolijk word ik trouwens niet van de reactie van Wout want deze lijkt zich niet helemaal in de resultaten te hebben ingelezen. Van de in je reactie benoemde stappen lees ik vooralsnog weinig van terug.

Ch3cker schreef op donderdag 20 februari 2020 @ 22:24:
We doen al heel veel benchmarks middels scripts, dus dat gaat al zo snel als mogelijk is. Alleen testen we dus een vrij breed scala aan games, om de genoemde mix dus zo gebalanceerd mogelijk te houden.

Kan dat gereduceerd worden om de iteratiesnelheid te verhogen?

Sinds wanneer is er een 3de testsysteem voor kaarten trouwens?

Ch3cker schreef op donderdag 20 februari 2020 @ 22:24:
Ik denk dat we dit na onze verhuizing wel kunnen oppakken, lijkt me een interessant artikel inderdaad.

DOEN!

Ch3cker schreef op donderdag 20 februari 2020 @ 22:24:
Die passen er helaas niet op.. Wat bedoel je met een referentie koeler?

Een standaardkoeler die op zowel AMD als Intel CPU's te gebruiken is.

Ch3cker schreef op donderdag 20 februari 2020 @ 22:24:
In ons oude testprotocol maakten we gebruik van drie games, te weten Minecraft (fast/fancy), Dota 2 op de vulkan API (low / med) en F1 2017 (low / med). Ook draaien we nog 3DMark Skydiver. Wegens het ontbreken van een benchmark vergelijkingsmogelijkheid op tweakers hierbij een link naar een vergelijking op HWI tussen de 9700k en de Athlon 3000G. Inmiddels zijn we overgestapt op een nieuw protocol, waarin we F1 2019 (low / med) en Dota 2 (vulkan, low/med) testen qua games, en 3DMark Nightraid. Minecraft hebben we geschrapt uit de nieuwe procedure, omdat we moeilijkheden ondervonden met de benchmark. We hebben helaas nog geen benchmark resultaten van de nieuwe games, gezien we nog geen processor met IGP hebben getest in ons nieuwe protocol. Uiteraard hebben we wel al tests gedaan om de benchmark te integreren in het protocol, ik zal hier morgen even navraag naar doen. Misschien is het wel handig om Minecraft met een andere benchmark te vervangen, hier zal ik nog even achteraan gaan.

Het gaat niet om de visuele settings van de game (Nou ja, een klein beetje dan) maar om de resoluties die gehanteerd worden. 1080p gaming voor current-gen titels op een Vega 3, daarvan kan je zelf ook wel bedenken dat deze geen 30 fps gaat halen in het algemeen. Dan is het heel mooi dat er nu nieuwere games worden getest, maar als ze nog steeds op een resolutie worden getest waarvan jezelf kan bedenken dat een dergelijke iGPU daar geen speelbare framerates in gaat halen, dan hoef je dat ook niet te testen.

Ik weet eerlijk gezegd niet beter hoe ik duidelijker kan verwoorden hoe je dergelijke dingen test naar relevant nut, hetzelfde met processoren. Het is daar weinig logisch om gamebenchmarks te draaien als het om workstationklasse CPU's gaat die eerder voor een ander nut worden aangeschaft gezien de prijs premium die je ervoor betaalt.

Ch3cker schreef op donderdag 20 februari 2020 @ 22:24:
Ik ben het met je eens dat de getoonde benchmark niet per se een volledig beeld geeft van de prestatie van de IGP, die voor een IGP toch best wel prima zijn. De conclusie dat het 'geen gamemonster' is, is natuurlijk niet onjuist,

Het is geen gamemonster voor Full HD. En dat lijkt mij logisch gezien de specificaties. Dus waarom je dan test op Full HD en niet op een resolutie die relevanter is en realistischer valt, daar gaat het mij om. En dat is 1 voorbeeld.

Ch3cker schreef op donderdag 20 februari 2020 @ 22:24:
Dit gaat wel minimaal een week duren, gezien al onze spullen nu in verhuiskarren zitten..

DOEN!

Ch3cker schreef op donderdag 20 februari 2020 @ 22:24:
ik denk dat het inderdaad handig is als we dit in een soort concept 'presenteren'. Dan kunnen we ook iets gerichter een discussie voeren over een procedure.

DOEN!

Ch3cker schreef op donderdag 20 februari 2020 @ 22:24:
Ik denk dat zoveel systemen ook niet per se noodzakelijk zal zijn, maar een uitbreiding naar 3 of 4 lijkt me niet ondenkbaar. Ik heb de feedback met betrekking tot geluidsmetingen en verbruiksmetingen niet terug zien komen in de inventarisatie van @Redneckerz.

Ik heb dit doelbewust niet terug laten komen omdat PSU reviews een ondergeschoven kind zijn en waar al herhaaldelijk van is aangegeven door Tweakers dat hier weinig prioriteit aan wordt gegeven. Wel heb ik een wat generalere suggestie uit laten gaan.

Omdat Mask van de PSU's is zal dit punt sowieso nooit bevredigd kunnen worden want wat hij wilt wordt niet uitgevoerd. Het waarom is echter reeds bekend. Het valt daarom dus niet onder de realistische suggesties zoals genoteerd in de resultaten.

WoutF schreef op donderdag 20 februari 2020 @ 22:24:
Eventuele vragen hierop zullen dus waarschijnlijk pas na het weekend opgepakt kunnen worden.

Ik stel voor dat de discussie wordt stilgelegd en dat men met de resultaten in de arm en de discussie tussen mij en @Ch3cker meeneemt in de implementatie. Doe er gerust een week of 2 over (dit ivm verhuizing) om dat concept te maken. Dat levert veel meer op dan nu nog de discussie blijven aangaan. Dat is wellicht wat ironisch gezien opmerkingen uit het verleden, maar het lijkt mij redelijk duidelijk wat er nu ligt.

WoutF schreef op donderdag 20 februari 2020 @ 22:24:
Klinkt als een mooie toevoeging. Dit is wel iets dat tijd van onze developmentafdeling vereist. Gezien de andere wensen die er vanuit de community liggen (plan: Community Pick XXL: maak jouw keuze!) denk ik dat het niet realistisch is dat hier (op korte termijn) iets mee gedaan wordt. Misschien niet wat je wilt horen, maar ik wil geen valse verwachtingen scheppen.

Nofi maar dat noem ik onzin. De suggesties zoals gegeven gaan uit van een haalbare kaart. Een parameter aanpassen zou niet een dusdanige verandering van de codebase moeten betekenen dat zoiets niet op korte termijn gedaan kan worden.

Dit gaat over iets wat vrij essentieel is - De kwaliteit van de reviews van Tweakers zelf. Het fundament waarop deze site draait. Sorry, maar dat vind ik iets belangrijker dan ervoor stemmen dat je graag wilt posten met afbeeldingen - Dat is niet een fundamenteel probleem, maar domweg iets wat handig is om te hebben omdat het nu omslachtig is.

WoutF schreef op donderdag 20 februari 2020 @ 22:24:
Aan/afwezigheid van een backplate wordt al gemeld bij reviews. Zie bijv hier. Bedoel je dat?

Komt van @Helgie af dus die mag antwoorden.

WoutF schreef op donderdag 20 februari 2020 @ 22:24:
Waar baseer je overigens je uitspraak 'sommige fabrikanten willen nog wel eens een testmodel levern die beter presteert' op? Ik snap dat het vermoeden kan bestaan, maar het is uiteindelijk extreem moeilijk te controleren.

@magician2000

WoutF schreef op donderdag 20 februari 2020 @ 22:24:
Dit gaat heel precies in op een review uit 2015 en het wel of niet testen van voedingen op Tweakers. Ik probeer hieruit een overkoepelend stuk feedback te destilleren, dat in brede zin toegepast kan worden op reviews. Waar draait het hier precies om? De wens om een volledige spectabel in elke review te zien? Een linkje naar de specs bij de fabrikant? Uiteindelijk staat bij elke review een productkoppeling naar de Pricewatch, waar ook alle specs te vinden zijn. Van daaruit kun je vaak ook doorklikken naar de site van de fabrikant.

Gezien dat 1 van de recentste reviews betreft zou ik niet alleen naar PSU's kijken voor de vraag waar het om draait. Je stelt zelf voor:

• Een volledige spectabel in de review zelf
• Een linkje naar de specs van de fabrikant (Meestal een PDF)

Persoonlijk opper ik voor Optie 2. Een volledige spectabel geeft weliswaar complete duidelijkheid, maar kan ook meer tijd kosten om in te voegen (Zeker als je zoiets via code dient te doen). Een verwijzing naar de volledige spec off-site is domweg een linkje. Dit zou je onder de kop Bronvermelding kunnen voeren, wat het immers ook is.

WoutF schreef op donderdag 20 februari 2020 @ 22:24:
Ik zie geen heil in het omrekenen van gemiddelde framerates (fps) naar frametimes. Natuurlijk, we kunnen meer data toevoegen, maar het moet nog wel nut hebben.

Je hoeft het niet om te rekenen, je voegt domweg een extra datavariabele toe. Dat heeft zeker nut.

WoutF schreef op donderdag 20 februari 2020 @ 22:24:
En bij elke grafiek uitleggen dat 16ms een fps van 60fps oplevert, kan misschien beter in de testmethode-pagina. Ik bedenk net dat het misschien wel aardig zou zijn om een dummy-videokaart toe te voegen met vaste average fps'en als 30fps, 60fps, 120fps. Kun je makkelijk zien welke kaart boven/onder die grens zit"

• Dat hoeft natuurlijk niet bij iedere grafiek verteld te worden, domweg in een kleine tekst voor de grafieken.
• Betreft je dummy-videokaart: Goed idee! TechpowerUp doet dit middels een grafiek en vergelijkt daarbij de specificaties zoals deze door de fabrikanten wordt opgegeven. Dat is echter niet heel accuraat, maar het idee om visueel een vergelijking te maken is wel een goede. Goed idee dus, DOEN!

WoutF schreef op donderdag 20 februari 2020 @ 22:24:
Aannames doen over kennis is altijd lastig. Aan de ene kant zeggen sommige mensen dat Tweakers teveel voor 'mainstream'-volk schrijft en zich te weinig richt op techliefhebbers en aan de andere kant nu dus dat dingen meer uitgelegd moeten worden, dingen die sommige van die techliefhebbers al lang snappen. Het is moeilijk in te schatten wanneer iets wel of geen uitleg behoeft.

Het genoemde voorbeeld lijkt mij toch evident dat je dit dient uit te leggen. Dat hoef je niet aan te nemen - Dit zijn termen waar de meeste mensen geen kennis van hebben. Waar je over RAM kan aannemen dat dit redelijk ingeburgerd is, is dat over CAS latencies niet het geval. Ook hier geld: Bekijk per onderwerp het nut. Hier is dat namelijk zeker het geval.

WoutF schreef op donderdag 20 februari 2020 @ 22:24:
Is dit echter een structureel probleem? Je verwijst naar een nieuwsbericht uit 2018 en zegt vervolgens dat er een 'terugkerend probleem' is. Als je meer voorbeelden hebt, dan hoor ik die graag.

Dat is niet de strekking van de resultaten zoals ze zijn gegeven. Deze dienen namelijk zo compact mogelijk te zijn en zijn daarom voorzien van slechts enkele voorbeelden. Je vraagt je af of dit een structureel probleem is - Ik geef je er een voorbeeld van. Ik zou derhalve daarom aannemen dat dit het geval is en dat ik doelbewust niet 50 voorbeelden hebt meegegeven.

Bovendien leek mij dit voorbeeld specifiek duidelijk genoeg om aan te kaarten.

[Jos_V]

Ch3cker schreef op woensdag 19 februari 2020 @ 10:40:
[...]

Voordeel is wellicht een groot woord. Er zitten een aantal tests in de testsuite die wel degelijk ook enige relevantie hebben voor een threadripper processor. Wij vinden het tof als iedereen elke processor die we testen met elkaar kán vergelijken. In de praktijk is het natuurlijk niet zo dat je gaat kijken 'wat zal ik vandaag eens kopen, een celeron of een threadripper?'. Ik kan me echter wel voorstellen dat het voor sommige mensen tot de verbeelding spreekt om te zien dat een threadripper 50x sneller is dan een celeron.

Ook zitten er in onze standaard testprocedure de dingen als een stroommeting, en er zitten ook een aantal tests in die wel relevant zijn voor threadrippers, en misschien zelfs wel iets minder voor celerons.

Wat ik wel lees hier is

- Standard test procedure duurt een dag.
- Er is niet genoeg tijd om alles up to date hebben voor de test procedure, en alles onder de zelfde specs te testen.
- Soms heb je maar één dag om het te reviewen product te testen door drivers etc.
- We vinden het wel gaaf om het verschil te laten zien tussen twee complete verschillende takken van sport.


Hoeveel ruimte heb je dan om extra tests toe te voegen bij de high-end-workstation producten?

Ja het spreekt misschien tot de verbeelding dat verschil, maar de mensen die een review will lezen willen zien of het product het waard is om voor hun toepassing, in hun segment aan te schaffen.

En dan is het zuur als er een dag word besteed aan de vergelijking tussen een threadripper en een celeron.

Door een aantal tests toe te voegen aan de hoop "Niets zeggende benchmarks" voor de wow-factor ben je jezelf alleen meer druk en werk op de hals aan het halen. zonder dat het de vraag beantwoord: Hoe goed is dit product voor zijn beoogde doeleind?

verschillende test-protocollen die specifiek gericht zijn op het doel en segment van het product scheelt bakken vol tijd, zeker als je tegen release date deadlines zit te werken.

de celeron vs threadripper hoeft niet in de review, maak daar later een leuk artikeltje van.

[Helgie]

Redneckerz schreef op vrijdag 21 februari 2020 @ 12:51:


[...]

Komt van @Helgie af dus die mag antwoorden.

@WoutF , om even op dit punt terug te komen: ik vind GPU's vaak erg fragiel. De koeler zit er met miniscule schroefjes op, de fans ook, en vaak zit er erg dun ( en scherp!) plastic op de koeler. Mij leek het handig om dat te vermelden in reviews wanneer dat het geval is. Ten slotte betaal je makkelijk honderden euro's voor een kaart die qua bill of materials niets voorstelt, dus dan vind ik persoonlijk dat je als consument wel een stevige kaart mag verwachten, zeker met de enorme koelers van tegenwoordig. Dat was waar dit punt over ging

[Ch3cker]

-The_Mask- schreef op vrijdag 21 februari 2020 @ 12:49:
[...]

We weten niet wat er allemaal aan mankeert omdat het allemaal zeer geheimzinnig is. Er is vaak genoeg gevraagd naar hoe het precies wordt gedaan, maar er wordt nooit antwoord gegeven. Dus wat de precieze problemen allemaal zijn, dat kunnen jullie veel beter beantwoorden. Wij zullen sowieso heel veel missen zolang de testmethode niet openbaar is. Daarom is het zo belangrijk dat de volledige testmethode openbaar is zodat het certificeerbaar is door iedereen.

De roep om transparantie en duidelijkheid is gehoord, daar gaan we ook echt iets mee doen. Ik zal je sowieso hier even antwoord geven op moment dat we weer op onze nieuwe plek zitten (reken op volgende week). Ik kan je bij andere vragen ook hier antwoord geven, maar we zijn er ook naar aan het kijken om dit in de review te verduidelijken.

Enige problemen die nu bekent zijn, is dat er gebruik wordt gemaakt van een goedkoop niet betrouwbaar metertje van Aliexpress voor het meten van de stroom en dat geluidsmetingen worden gedaan op een veel te korte afstand.

Een betrouwbare geluidsmeting krijg je op een langere afstand. Het meten van het verbruik kun je het beste digitaal doen en gewoon meenemen in elke test die je doet. Veel interessanter, betrouwbaarder en kost je ook geen extra tijd.

Wat is volgens jou een redelijke afstand? We testen nu sowieso in een 'geluidsdichte' box, waar beperkt ruimte is. Het voordeel is dat we het omgevingsgeluid tot 17 dB(a) kunnen verlagen, waardoor de meting een stuk realistischer is. Wat betreft de stroommetingen : ik kan je verzekeren dat we geen aliexpress meters gebruiken, hoe we dit precies op dit moment doen moet ik even nagaan.

Redneckerz schreef op vrijdag 21 februari 2020 @ 12:51:
[...]

Kan dat gereduceerd worden om de iteratiesnelheid te verhogen?

Sinds wanneer is er een 3de testsysteem voor kaarten trouwens?

Ik stel voor dat we eerst middels de hierboven genoemde wijzigingen proberen om het gestelde doel, alle kaarten met dezelfde driver testen, te halen. Mocht dit in de praktijk toch niet haalbaar zijn denk ik dat het inderdaad goed is om ook naar andere opties te kijken, waaronder het testen van minder games.

Er is een 3e systeem wat voor een deel gelijk is aan onze testsystemen. We gaan kijken of we deze 100% identiek kunnen maken met wat kleine aanpassingen, dan hebben we in ieder geval dat 3e systeem al te pakken.

[...]

Een standaardkoeler die op zowel AMD als Intel CPU's te gebruiken is.

Ja, dat zal dus een aftermarket koeler zijn helaas. We gaan hier naar kijken en een voorstel doen.

[...]


Het gaat niet om de visuele settings van de game (Nou ja, een klein beetje dan) maar om de resoluties die gehanteerd worden. 1080p gaming voor current-gen titels op een Vega 3, daarvan kan je zelf ook wel bedenken dat deze geen 30 fps gaat halen in het algemeen. Dan is het heel mooi dat er nu nieuwere games worden getest, maar als ze nog steeds op een resolutie worden getest waarvan jezelf kan bedenken dat een dergelijke iGPU daar geen speelbare framerates in gaat halen, dan hoef je dat ook niet te testen.

Ik weet eerlijk gezegd niet beter hoe ik duidelijker kan verwoorden hoe je dergelijke dingen test naar relevant nut, hetzelfde met processoren. Het is daar weinig logisch om gamebenchmarks te draaien als het om workstationklasse CPU's gaat die eerder voor een ander nut worden aangeschaft gezien de prijs premium die je ervoor betaalt.

In Dota 2 haalde de IGP van de Athlon 3000G op 1080p met low settings 107 fps, met medium settings 33.4 fps. Ik zou zeggen dat zeker de low settings prima speelbaar zijn? Van F1 2019 heb ik geen resultaten, maar van F1 2017 stonden natuurlijk in de review. Deze game is eigenlijk iets te zwaar voor een IGP op 1080p, behalve voor de RX Vega 8. Misschien dat we deze game beter in 720p kunnen testen, ik zal eens wat tests laten draaien om te kijken wat voor resultaten daar uit komen.

[...]

Het is geen gamemonster voor Full HD. En dat lijkt mij logisch gezien de specificaties. Dus waarom je dan test op Full HD en niet op een resolutie die relevanter is en realistischer valt, daar gaat het mij om. En dat is 1 voorbeeld.

Ik snap wat je bedoelde hoor, het is ook een beetje waar je het mee vergelijkt. Ik denk dat de zin 'het is geen gamemonster' misschien meer bedoelt is als een vergelijking met een de 2200G in die review, die presteert gewoon een stuk beter, met in F1 2017 op low 46fps.

[...]

Ik stel voor dat de discussie wordt stilgelegd en dat men met de resultaten in de arm en de discussie tussen mij en @Ch3cker meeneemt in de implementatie. Doe er gerust een week of 2 over (dit ivm verhuizing) om dat concept te maken. Dat levert veel meer op dan nu nog de discussie blijven aangaan. Dat is wellicht wat ironisch gezien opmerkingen uit het verleden, maar het lijkt mij redelijk duidelijk wat er nu ligt.

Deze week zitten onze testsystemen allemaal in verhuisdozen, en gezien de vloer nog gelegd en de wanden nog gezet moeten worden zie ik daar tot het einde van de week ook geen verandering in komen. Volgende week zal ik, ook samen met de redacties, proberen wat dingen verder uit te werken. Laten we afspreken dat ik sowieso volgende week hier weer bij jullie terug kom met een update.

[-The_Mask-]

Ch3cker schreef op maandag 24 februari 2020 @ 18:35:
[...]

De roep om transparantie en duidelijkheid is gehoord, daar gaan we ook echt iets mee doen. Ik zal je sowieso hier even antwoord geven op moment dat we weer op onze nieuwe plek zitten (reken op volgende week). Ik kan je bij andere vragen ook hier antwoord geven, maar we zijn er ook naar aan het kijken om dit in de review te verduidelijken.

We zullen zien. Je bent zeker niet de eerste die dat zegt namelijk.

Wat is volgens jou een redelijke afstand? We testen nu sowieso in een 'geluidsdichte' box, waar beperkt ruimte is. Het voordeel is dat we het omgevingsgeluid tot 17 dB(a) kunnen verlagen, waardoor de meting een stuk realistischer is.

Meten in een box is prima, maar dan moet er wel een geschikte gebruikt worden. Er zijn wel standaarden voor hoe je een goede meting kunt doen.

Maar de 10cm die nu gebruikt werkt niet en als dat gemeld wordt is de oplossing niet om het probleem te verbergen. Want dat is wat jullie nu gedaan hebben.

Zie reviews: AMD RX Vega: de Vega 64 en Vega 56 getest waar nog stond dat de afstand 10 cm was en een willekeurige nieuwe review was dat weggehaald omdat er was aangegeven dat je zo geen betrouwbare meting kon doen.

Wat betreft de stroommetingen : ik kan je verzekeren dat we geen aliexpress meters gebruiken, hoe we dit precies op dit moment doen moet ik even nagaan.

Dat is het enige wat ik er van weet en het enige wat @willemdemoor wilde delen. Een AliExpress metertje van ik dacht 20 euro. Iets als dit zei hij dat het was. https://www.thanksbuyer.com/product/product?product_id=56924 Maar dan dus van AliExpress.

[Yariva]

Ch3cker schreef op maandag 24 februari 2020 @ 18:35:
[...]

De roep om transparantie en duidelijkheid is gehoord, daar gaan we ook echt iets mee doen. Ik zal je sowieso hier even antwoord geven op moment dat we weer op onze nieuwe plek zitten (reken op volgende week). Ik kan je bij andere vragen ook hier antwoord geven, maar we zijn er ook naar aan het kijken om dit in de review te verduidelijken.


[...]

Wat is volgens jou een redelijke afstand? We testen nu sowieso in een 'geluidsdichte' box, waar beperkt ruimte is. Het voordeel is dat we het omgevingsgeluid tot 17 dB(a) kunnen verlagen, waardoor de meting een stuk realistischer is. Wat betreft de stroommetingen : ik kan je verzekeren dat we geen aliexpress meters gebruiken, hoe we dit precies op dit moment doen moet ik even nagaan.


[...]

Ik stel voor dat we eerst middels de hierboven genoemde wijzigingen proberen om het gestelde doel, alle kaarten met dezelfde driver testen, te halen. Mocht dit in de praktijk toch niet haalbaar zijn denk ik dat het inderdaad goed is om ook naar andere opties te kijken, waaronder het testen van minder games.

Er is een 3e systeem wat voor een deel gelijk is aan onze testsystemen. We gaan kijken of we deze 100% identiek kunnen maken met wat kleine aanpassingen, dan hebben we in ieder geval dat 3e systeem al te pakken.


[...]

Ja, dat zal dus een aftermarket koeler zijn helaas. We gaan hier naar kijken en een voorstel doen.


[...]

In Dota 2 haalde de IGP van de Athlon 3000G op 1080p met low settings 107 fps, met medium settings 33.4 fps. Ik zou zeggen dat zeker de low settings prima speelbaar zijn? Van F1 2019 heb ik geen resultaten, maar van F1 2017 stonden natuurlijk in de review. Deze game is eigenlijk iets te zwaar voor een IGP op 1080p, behalve voor de RX Vega 8. Misschien dat we deze game beter in 720p kunnen testen, ik zal eens wat tests laten draaien om te kijken wat voor resultaten daar uit komen.


[...]

Ik snap wat je bedoelde hoor, het is ook een beetje waar je het mee vergelijkt. Ik denk dat de zin 'het is geen gamemonster' misschien meer bedoelt is als een vergelijking met een de 2200G in die review, die presteert gewoon een stuk beter, met in F1 2017 op low 46fps.

[...]


Deze week zitten onze testsystemen allemaal in verhuisdozen, en gezien de vloer nog gelegd en de wanden nog gezet moeten worden zie ik daar tot het einde van de week ook geen verandering in komen. Volgende week zal ik, ook samen met de redacties, proberen wat dingen verder uit te werken. Laten we afspreken dat ik sowieso volgende week hier weer bij jullie terug kom met een update.

toon volledige bericht

Al meer communicatie dan ik had gehoopt afgelopen weken. Respect en dit is echt de goede manier om het vertrouwen terug te winnen. Misschien komt er een resultaat uit waar ik (en andere gebruikers die hier posten) niet genoegen / blij mee zullen zijn. Maar statusupdates en ons op de hoogte houden van vorderingen werkt al een groot deel van de frustratie weg

[Redneckerz]

Ch3cker schreef op maandag 24 februari 2020 @ 18:35:

Ik stel voor dat we eerst middels de hierboven genoemde wijzigingen proberen om het gestelde doel, alle kaarten met dezelfde driver testen, te halen. Mocht dit in de praktijk toch niet haalbaar zijn denk ik dat het inderdaad goed is om ook naar andere opties te kijken, waaronder het testen van minder games.

Er is een 3e systeem wat voor een deel gelijk is aan onze testsystemen. We gaan kijken of we deze 100% identiek kunnen maken met wat kleine aanpassingen, dan hebben we in ieder geval dat 3e systeem al te pakken.

Zoals jullie willen.

Ch3cker schreef op maandag 24 februari 2020 @ 18:35:
Ja, dat zal dus een aftermarket koeler zijn helaas. We gaan hier naar kijken en een voorstel doen.

Het is niet anders dan. Al verwacht ik dat het verschil in performance zeer miniem zal wezen.

Ch3cker schreef op maandag 24 februari 2020 @ 18:35:
In Dota 2 haalde de IGP van de Athlon 3000G op 1080p met low settings 107 fps, met medium settings 33.4 fps. Ik zou zeggen dat zeker de low settings prima speelbaar zijn?

Nee, want dat is 1 enkele game, en dan ook nog eens een titel die een klassevoorbeeld van een casual gaming titel vertegenwoordigt. Zoiets als Overwatch, ook redelijk gemeengoed, zal geen 60 fps op 1080p low produceren met een Vega 3, zie deze video getest met een 3000G. (Sowieso is dat kanaal + TechEpiphany ideaal daar zij allerlei setups testen zonder poespas.) Men moet de renderscale op 75% van 1080p zetten en dan nog is er geen consistente 60 fps te bespeuren. 1080p30 zou wellicht wel kunnen, maar is gezien de natuur van Overwatch minder aan te raden. Voor een 60 fps update zonder renderscaling dient de resolutie dus omlaag te gaan.

Ch3cker schreef op maandag 24 februari 2020 @ 18:35:
Van F1 2019 heb ik geen resultaten, maar van F1 2017 stonden natuurlijk in de review. Deze game is eigenlijk iets te zwaar voor een IGP op 1080p, behalve voor de RX Vega 8. Misschien dat we deze game beter in 720p kunnen testen, ik zal eens wat tests laten draaien om te kijken wat voor resultaten daar uit komen.

Een Vega 8 en Vega 11 presteren nagenoeg hetzelfde als een Xbox One, dus 900p. Van de 11 is dat opvallend gezien zijn extra CU's.

Er dient aangemerkt te worden bij dergelijke iGPU's het RAM geheugen een significante rol speelt. Dergelijke GPU's gedijen het best bij het snelste dual-channel DDR4 geheugen. Heeft je setup bijv alleen singlechannel DDR3, dan ga je dat verschil duidelijk merken.

Ch3cker schreef op maandag 24 februari 2020 @ 18:35:
Ik snap wat je bedoelde hoor, het is ook een beetje waar je het mee vergelijkt. Ik denk dat de zin 'het is geen gamemonster' misschien meer bedoelt is als een vergelijking met een de 2200G in die review, die presteert gewoon een stuk beter, met in F1 2017 op low 46fps.

In de praktijk is dat nog steeds geen soepele ervaring, 46 fps zorgt immers voor veel framespikes en onevenredige frames die afgeleverd worden. e.e.a kan je afvangen middels vsync, maar laten we wel wezen: 1080p low en 46 fps? Dat vertelt mij eerder dat je voor een 60 fps update naar 900 of zelfs 720p dient te kijken.

Ch3cker schreef op maandag 24 februari 2020 @ 18:35:
Deze week zitten onze testsystemen allemaal in verhuisdozen, en gezien de vloer nog gelegd en de wanden nog gezet moeten worden zie ik daar tot het einde van de week ook geen verandering in komen. Volgende week zal ik, ook samen met de redacties, proberen wat dingen verder uit te werken. Laten we afspreken dat ik sowieso volgende week hier weer bij jullie terug kom met een update.

We horen van de klap.

[WoutF]

Redneckerz schreef op vrijdag 21 februari 2020 @ 12:51:
Nofi maar dat noem ik onzin. De suggesties zoals gegeven gaan uit van een haalbare kaart. Een parameter aanpassen zou niet een dusdanige verandering van de codebase moeten betekenen dat zoiets niet op korte termijn gedaan kan worden.

Dit gaat over iets wat vrij essentieel is - De kwaliteit van de reviews van Tweakers zelf. Het fundament waarop deze site draait. Sorry, maar dat vind ik iets belangrijker dan ervoor stemmen dat je graag wilt posten met afbeeldingen - Dat is niet een fundamenteel probleem, maar domweg iets wat handig is om te hebben omdat het nu omslachtig is.

Hebben we het nu over hetzelfde verzoek? Daarin stond dat hoewel de framerates nu al achter de grafieken staan en je bij hoveren het procentuele verschil ziet, het fijn zou zijn als je dan ook nog het absolute verschil ziet. Feitelijk dus een derde manier om in dezelfde grafiek de onderlinge verschillen aan te geven. Dat noem ik geen 'fundamenteel' probleem, maar een 'nice to have'. Als ons devteam niet een backlog van hier tot gunter had, was ik er meteen voor bij ze langs gelopen, maar dat is helaas niet zo.

Gezien dat 1 van de recentste reviews betreft zou ik niet alleen naar PSU's kijken voor de vraag waar het om draait. Je stelt zelf voor:

• Een volledige spectabel in de review zelf
• Een linkje naar de specs van de fabrikant (Meestal een PDF)

Persoonlijk opper ik voor Optie 2. Een volledige spectabel geeft weliswaar complete duidelijkheid, maar kan ook meer tijd kosten om in te voegen (Zeker als je zoiets via code dient te doen). Een verwijzing naar de volledige spec off-site is domweg een linkje. Dit zou je onder de kop Bronvermelding kunnen voeren, wat het immers ook is.

Die specs van de fabrikant nemen we over voor de specs in de Pricewatch. En elke review heeft een link naar het product ernaast staan in de PW. Kun je daar ook mee uit de voeten?

Dat is niet de strekking van de resultaten zoals ze zijn gegeven. Deze dienen namelijk zo compact mogelijk te zijn en zijn daarom voorzien van slechts enkele voorbeelden. Je vraagt je af of dit een structureel probleem is - Ik geef je er een voorbeeld van. Ik zou derhalve daarom aannemen dat dit het geval is en dat ik doelbewust niet 50 voorbeelden hebt meegegeven.

Bovendien leek mij dit voorbeeld specifiek duidelijk genoeg om aan te kaarten.

De reden dat ik het vraag is omdat als we het beter kunnen herkennen, we er beter op kunnen handelen Maar zoals ik al schreef, bij twijfel wat meer uitleggen is een prima insteek

[-The_Mask-]

Het is toch helemaal niet nuttig om het precieze aantal frames te weten in één oog opslag? Het vertelt je immers niet het verschil, dat vertelt alleen het verschil in procenten. Dat is voor een gemiddelde persoon niet zo even gemakkelijk te zien. Dus het is handig dat dat berekend wordt. Terwijl je het absolute verschil zo prima kunt zien in één oogopslag.

Een veel nuttigere toevoeging zou zijn om de interactieve grafiek te kunnen linken naar het forum. Vooralsnog is hier volgens mij weinig behoefte aan geweest omdat men als bron toch veel liever een goede review pakte. Maar als de reviews in de toekomst dus wel goed zijn zal dat veranderen en zal daar wel vraag naar komen. Eventueel zou je bijvoorbeeld kunnen beginnen door exporteer naar afbeelding knop te gebruiken. Zoiets is namelijk ook te gebruiken op andere fora. Nu zie je de meeste mensen TPU daar voor gebruiken en die is daar blij mee, is immers gratis reclame.

[Redneckerz]

WoutF schreef op dinsdag 25 februari 2020 @ 19:44:
[...]

Hebben we het nu over hetzelfde verzoek? Daarin stond dat hoewel de framerates nu al achter de grafieken staan en je bij hoveren het procentuele verschil ziet, het fijn zou zijn als je dan ook nog het absolute verschil ziet. Feitelijk dus een derde manier om in dezelfde grafiek de onderlinge verschillen aan te geven. Dat noem ik geen 'fundamenteel' probleem, maar een 'nice to have'. Als ons devteam niet een backlog van hier tot gunter had, was ik er meteen voor bij ze langs gelopen, maar dat is helaas niet zo.

Ja, we hebben het over hetzelfde verzoek:

Als je over de balken in de grafieken hovert zie je de relatieve prestatiewinst/-verlies, maar percentages zeggen niet altijd alles. Het zou mooi zijn als je naast +5% of -23,2% ook zou zien dat die +5% ook +15fps betekent, of dat die -23,2% slechts -8 frames per seconde betekent. Dit kan afgevangen worden met het toevoegen van een extra parameter in de bestaande grafiek.

Dergelijke data lijkt mij waardevol en een haalbare kaart, maar als dat alleen via de communitypick XXL kan, dan kan daar nog gerust jaren overheen gaan.

WoutF schreef op dinsdag 25 februari 2020 @ 19:44:
Die specs van de fabrikant nemen we over voor de specs in de Pricewatch. En elke review heeft een link naar het product ernaast staan in de PW. Kun je daar ook mee uit de voeten?

Nee. Want de PW kan zich vergissen en neemt niet alle variabelen over uit de officiele documentatie. Vandaar de suggestie. Zodat er een optie bestaat voor ervaren gebruikers om te verifiëren en voor casual users zal het weinig meer dan een extra linkje zijn.

WoutF schreef op dinsdag 25 februari 2020 @ 19:44:
De reden dat ik het vraag is omdat als we het beter kunnen herkennen, we er beter op kunnen handelen

Gezien de natuur van de resultaten moet ik ervanuit kunnen gaan dat een enkel voorbeeld afdoende is. Ik had er gerust 10 kunnen opvogelen bij wijze van spreken, met als gevolg dat de lijst nog veel langer zou worden dan hij nu is en ik pas in April klaar zou zijn.

[Ch3cker]

Even een update van mijn kant.. We zijn nog druk bezig met onze ruimtes indelen en testopstellingen neerzetten helaas. Volgende week ben ik een week op vakantie, dus ik hoop dat ik deze week nog wat dingen verder uit kan werken. Ik hou jullie in ieder geval op de hoogte en zal voor mijn vakantie de laatste updates even posten!

Onze werkplek is op dit moment in ieder geval nog niet echt geschikt om überhaupt iets te testen....

[Ch3cker]

Helaas moet ik melden dat het niet gelukt is om de afgelopen week tijd te maken om hier mee aan de slag te gaan. Sterker nog, we zijn nog steeds niet helemaal up and running met het testlab. We hebben een enorme bak met tegenslagen gehad, met als klapper de eerder aangehaalde muren die pas gisteren helemaal zijn afgerond.

Zoals gezegd ben ik volgende week op vakantie, ik zal dan dus bij eventuele mentions ook niet altijd kunnen reageren. 17 maart ben ik weer op kantoor, in die week zal dit topic mijn hoogste prioriteit hebben. Ik zal dan met beide redacties weer om tafel gaan en een concreter concept met daarin de punten die hier besproken zijn uitwerken.

Excuses voor de vertraging, weet in ieder geval dat ik het niet vergeten ben en jullie zo snel mogelijk weer update!

[-The_Mask-]

-The_Mask- schreef op dinsdag 25 februari 2020 @ 21:40:
Het is toch helemaal niet nuttig om het precieze aantal frames te weten in één oog opslag? Het vertelt je immers niet het verschil, dat vertelt alleen het verschil in procenten. Dat is voor een gemiddelde persoon niet zo even gemakkelijk te zien. Dus het is handig dat dat berekend wordt. Terwijl je het absolute verschil zo prima kunt zien in één oogopslag.

Een veel nuttigere toevoeging zou zijn om de interactieve grafiek te kunnen linken naar het forum. Vooralsnog is hier volgens mij weinig behoefte aan geweest omdat men als bron toch veel liever een goede review pakte. Maar als de reviews in de toekomst dus wel goed zijn zal dat veranderen en zal daar wel vraag naar komen. Eventueel zou je bijvoorbeeld kunnen beginnen door exporteer naar afbeelding knop te gebruiken. Zoiets is namelijk ook te gebruiken op andere fora. Nu zie je de meeste mensen TPU daar voor gebruiken en die is daar blij mee, is immers gratis reclame.

Ik zie net dat Expreview ook zoiets heeft. Een interactieve lijngrafiek met de mogelijkheid tot het downloaden van de grafiek zoals die op dat moment wordt weergegeven.

[Ch3cker]

Daar ben ik weer.. En helaas weer met een niet al te positief bericht. Afgelopen week ben ik zoals jullie weten een week op vakantie geweest, naar Oostenrijk. Helaas heeft dit op dit moment als gevolg dat ik vanwege alle ontwikkelingen met betrekking tot het covid-19 virus twee weken vanuit huis moet werken.

Sowieso heeft DPG Media besloten dat iedereen die thuis kán werken, dit ook tot aan 6 april moet doen. De mensen in het testlab mogen wel naar kantoor komen voor tests die niet thuis te doen zijn, of om bijvoorbeeld foto's te maken. Dat brengt natuurlijk de nodige problemen met zich mee. We zijn de afgelopen dagen bezig geweest om zo goed en zo kwaad als het kan de thuiswerkplekken in te richten.

Helaas is er bij mij in de familie afgelopen weekend ook iemand overleden. Ook daar komt het nodige regelwerk bij kijken, nog los van de verwerking die tijd nodig heeft.

Laat duidelijk zijn dat ik hier dus nog steeds mee bezig ben. Ik snap dat het inmiddels een beetje frustrerend begint te worden dat er steeds weer iets anders tussenkomt; ik ervaar dat precies hetzelfde. Helaas zijn de dingen nu eenmaal zoals ze zijn, en zitten er maar 24 uur in een dag.

Inmiddels heb ik een mooie werkplek ingericht bij mij thuis, en ga ik me morgen in ieder geval zoveel mogelijk hiermee bezig houden. Vrijdag zal ik helaas vanwege de crematie niet aanwezig zijn. Ik denk dat het daarom lastig gaat worden om deze week nog met een update te komen. Ik ga proberen om in ieder geval begin volgende week met iets concreets te komen, mocht daar verandering in komen laat ik dat natuurlijk ook weten.

[PcDealer]

Ch3cker schreef op woensdag 18 maart 2020 @ 21:29:
Daar ben ik weer.. En helaas weer met een niet al te positief bericht. Afgelopen week ben ik zoals jullie weten een week op vakantie geweest, naar Oostenrijk. Helaas heeft dit op dit moment als gevolg dat ik vanwege alle ontwikkelingen met betrekking tot het covid-19 virus twee weken vanuit huis moet werken.

[...]

Helaas is er bij mij in de familie afgelopen weekend ook iemand overleden. Ook daar komt het nodige regelwerk bij kijken, nog los van de verwerking die tijd nodig heeft.

Fijn dat je een update geeft. Ik begrijp volkomen dat in deze situatie het roeien is met de mindere riemen die je hebt. Sterkte aan jou en je familie. Tot de volgende keer.

[Frozen]

Ch3cker schreef op woensdag 18 maart 2020 @ 21:29:
Daar ben ik weer.. En helaas weer met een niet al te positief bericht. Afgelopen week ben ik zoals jullie weten een week op vakantie geweest, naar Oostenrijk. Helaas heeft dit op dit moment als gevolg dat ik vanwege alle ontwikkelingen met betrekking tot het covid-19 virus twee weken vanuit huis moet werken.

Sowieso heeft DPG Media besloten dat iedereen die thuis kán werken, dit ook tot aan 6 april moet doen. De mensen in het testlab mogen wel naar kantoor komen voor tests die niet thuis te doen zijn, of om bijvoorbeeld foto's te maken. Dat brengt natuurlijk de nodige problemen met zich mee. We zijn de afgelopen dagen bezig geweest om zo goed en zo kwaad als het kan de thuiswerkplekken in te richten.

Helaas is er bij mij in de familie afgelopen weekend ook iemand overleden. Ook daar komt het nodige regelwerk bij kijken, nog los van de verwerking die tijd nodig heeft.

Laat duidelijk zijn dat ik hier dus nog steeds mee bezig ben. Ik snap dat het inmiddels een beetje frustrerend begint te worden dat er steeds weer iets anders tussenkomt; ik ervaar dat precies hetzelfde. Helaas zijn de dingen nu eenmaal zoals ze zijn, en zitten er maar 24 uur in een dag.

Inmiddels heb ik een mooie werkplek ingericht bij mij thuis, en ga ik me morgen in ieder geval zoveel mogelijk hiermee bezig houden. Vrijdag zal ik helaas vanwege de crematie niet aanwezig zijn. Ik denk dat het daarom lastig gaat worden om deze week nog met een update te komen. Ik ga proberen om in ieder geval begin volgende week met iets concreets te komen, mocht daar verandering in komen laat ik dat natuurlijk ook weten.

toon volledige bericht

Sterkte!

[Redneckerz]

Sterkte, Checker.

[Ch3cker]

Het is iets later geworden dan het begin van de week, maar we hebben voor zover ik het kan zien alle besproken punten even onder elkaar gezet. Ik heb daarbij even onderscheid gemaakt tussen GPU en processors, om het overzichtelijk te houden. Onderaan staan ook nog wat redactiepunten. Alles is zoals jullie gewend zijn weer in samenspraak gegaan met beide redacties.

In onderstaande punten staan ook zaken die we nog niet eerder hebben gecommuniceerd. Het is nog geen complete testprocedure, maar wel weer een post waaruit we verder kunnen werken. Ook hierbij geldt : we staan open voor aanpassingen.

Videokaartreviews :

• AMD-kaarten testen we bij een Nvidia-launch twee weken van tevoren met de op dat moment laatste driver, en vice-versa bij een AMD-launch. Bij een Nvidia-launch testen we de Nvidia kaarten een week van tevoren met de op dat moment recentste driver. Uitgangspunt is daarbij dat het liefst de driver gebruikt wordt waarmee de te lanceren kaart(en) ook word(en) getest. Mocht dat niet lukken, bijvoorbeeld omdat die driver pas een dag van tevoren beschikbaar is, dan testen we 1 van de kaarten opnieuw met deze driver om te kijken of er een verschil zit tussen deze drivers.
• We zullen de 0.1% lows gaan integreren in onze testprocedure.
• We maken aan het einde van onze duurtest een opname van de videokaart met onze FLIR-camera. Alhoewel daar naar onze mening niet heel veel nuttige informatie op te zien zal zijn geven jullie aan dat jullie dat graag toegevoegd willen hebben. Voor zogenaamde 3d-chip reviews, dan hebben we het dus over de introductie van een nieuwe chip (reviews: RTX 2080 Super - Niet zo super als de rest) , en dus niet over meerdere videokaarten van verschillende fabrikanten (reviews: AMD RX 5700 (XT)-videokaarten - Welke Navi is de beste? lijkt ons dat minder nuttig. Bij de introductie van een nieuwe chip zijn we namelijk vooral geïnteresseerd in de prestaties daarvan, en niet in hoe de referentiekoeler presteert.
• We hebben inmiddels een test gedaan met zowel aida als furmark. Bij beide benchmarks bereikt de RTX 2080 Ti de 75 graden, dat is bij deze kaart de temperatuur waarop hij ofwel de ventilator harder zet om af te koelen ofwel terugclockt om niet warmer te worden. Wel zien we bij de AMD kaart dat bij het draaien van furmark de kaart niet voldoende opwarmt, vermoedelijk doordat de kaart herkent dat furmark wordt gedraaid. Het lijkt ons daarom beter om Aida te blijven gebruiken.
• We hebben inmiddels wat tests gedaan met betrekking tot de afstand van de geluidsmetingen voor videokaarten. We zijn qua afstand daarbij helaas gebonden aan de afmetingen van onze geluidsdichte box. Alhoewel we graag op bijvoorbeeld een meter zouden willen meten, past dat fysiek niet. Wel kunnen we in plaats van de 10cm die we tot op heden gebruiken, overschakelen naar 30 cm. Eventuele variatie in resultaten wordt daarmee zoveel mogelijk voorkomen.
• Alhoewel het niet in de oorspronkelijke uiteenzetting van Redneckerz naar voren kwam, is het naderhand wel ter sprake gekomen : de lengte van onze benchmarks. Des te langer een benchmark is, des te meer je de koeling van een videokaart aan het testen bent. Dit zie je ook terug in onze duurtest: een videokaart met dezelfde chip kan met de ene koeler na 30 minuten nog hogere clocks halen dan de videokaart met een andere koeler. Des te korter je test, des te meer je een best-case scenario aan het testen bent. Wel is het zo dat dit best-case scenario goed te reproduceren is: draai dezelfde benchmark nog een keer en er komt hetzelfde resultaat uit. Bij een nieuwe 3d-chip launch testen wij altijd een set referentie-videokaarten van beide kampen op een behoorlijk groot aantal games. Omdat we voor deze releases puur bezig zijn met de chip testen, en niet zozeer met de videokaart (deze kan door de fabrikanten immers met andere koelers weer anders presteren), willen we vooral dat de resultaten onderling, dus tussen de verschillende chips, goed vergelijkbaar zijn. Met onze huidige werkwijze denk ik dat we dat op dit moment kunnen stellen. Bij het testen van meerdere videokaarten met dezelfde chip willen we uiteraard het complete product testen. Dat betekent dat we op een of andere manier de koeler ook mee willen nemen in de benchmarks. Op dit moment doen we dat door een selectie van de normale gamebenchmarks te draaien, en een duurtest. De reviewer en onze gebruikers kunnen dan zelf conclusies trekken door deze twee datasets naast elkaar te leggen. Wat we nu voorstellen om te gaan doen: voor de vergelijking tussen verschillende videokaarten met dezelfde chip enkele benchmarks ontwikkelen die langer duren dan 5 minuten per stuk. Het aantal games wat we dan kunnen testen zal omlaag gaan, maar in elke benchmark zal dan een afgeleide van de koelprestaties zitten.
• We gaan op een AMD en een Nvidia kaart een x aantal games draaien met een verscheidenheid aan drivers van het afgelopen jaar. Hierdoor kunnen we mooi in een artikel uiteenzetten wat nou daadwerkelijk de verschillen zijn tussen de driverversies, en hoeveel nut het heeft om regelmatig je driver te upgraden.

Processorreviews :

• We gaan een loop doen van cinebench R20, met een vaste processorkoeler. De loop laten we 15 minuten draaien, terwijl er gelogd wordt. De laagste, gemiddelde en max all core turbo zal worden genoteerd inclusief de temperatuur. Logfile kan evt worden opgeslagen op icarus for future reference. We stellen daarbij voor de volgende koelers te gebruiken :
  
  Socket 2066 / sTR4X: NZXT Kraken X63
  Socket 1151 / AM4: Be quiet! Dark Rock Pro 4
• We updaten onze testsystemen voor processors twee keer per jaar. Dit is in lijn met de twee jaarlijkse updates van Microsoft. In de tussenliggende periode zorgen we er voor dat de systemen niet van updates worden voorzien. Een eventuele beveiligingsupdate die impact heeft op de prestaties zal dus niet doorgevoerd worden, maar in de testresultaten geldt dat dan dus voor álle processors. Op die manier is er altijd een vergelijkbaar speelveld.
• We gaan kijken naar welke tests we wel en niet draaien op welk type processor. We maken nu al enkele uitzonderingen, maar dit kunnen we wellicht wat uitbreiden. Focus hierbij ligt vooral op de relevantie van de test voor de processor. Daarbij gaan we ook extra tests proberen te vinden voor HEDT processors.
• We gaan kijken of 720p bij sommige games nuttigere resultaten oplevert voor iGPU’s

Redactie :

• Op moment dat we meerdere kleuren in een grafiek gebruiken zullen we voor AMD kaarten voor rood kiezen, en Nvidia kaarten groen. In geval van processor : Intel blauw, AMD rood. Wel is het zo dat we een beperkt aantal kleuren beschikbaar hebben, dit om de grafieken ook voor kleurenblinde mensen goed leesbaar te laten zijn. Wat we op dit moment vaak doen is alle kaarten een grijze kleur geven, behalve de kaart waar het over gaat. Deze maken we dan bijv rood in het geval van een AMD-kaart. Dit zijn keuzes die we maken om de leesbaarheid van grafieken te verbeteren. Als we bij een processorreview alle Intel-processors blauw zouden maken en alle AMD-processors rood, zou je de nieuwe producten waar het in de review om draait niet makkelijk kunnen onderscheiden van bestaande producten. Dit is niet altijd consequent doorgevoerd, maar we zullen de primaire kleuren rood, blauw en groen voor respectievelijk AMD, Intel en Nvdia aanhouden.
• Testprocedures komen in een apart artikel, waar we voortaan in elke core-review naar linken. Daarin zullen we de testsystemen, de benchmarks met toelichting en werkwijze uiteenzetten. We zijn daar op dit moment nog mee bezig, zodra deze pagina’s helemaal af zijn zullen we die natuurlijk met jullie delen.
• Wat betreft de verduidelijking van terminologie is het denk ik goed om uit te leggen wat ons beleid op dit moment is. In principe hebben we op dit moment de volgende richtlijnen : nieuwe termen schrijven we de eerste paar keer uit en lichten we toe. Naarmate de termen bekender worden gebruiken we abbr-tags, en ingeburgerde termen worden als bekend verondersteld. Wanneer een term ‘bekend’ is, is natuurlijk arbitrair. Op moment dat mijn moeder op tweakers een bericht leest en ‘MHz’ ziet staan, heeft ze geen idee waar het over gaat. Iemand die af en toe eens op tweakers komt om wat nieuws te lezen zal geen enkele moeite hebben met de term. Ik probeer hiermee aan te geven dat het voor een deel van onze bezoekers altijd te weinig uitleg is, en voor een deel van onze bezoekers eigenlijk altijd al duidelijk is. We proberen daar, door middel van bovenstaande richtlijn een middenweg in te vinden.
  Wat wellicht zou kunnen helpen is om over dit soort onderwerpen met enige regelmaat een achtergrond artikel te schrijven. Ook staat het iedereen natuurlijk altijd vrij om op het forum te vragen naar de betekenis. Als we zien dat er veel vraag is naar een bepaalde betekenis, is de tijd misschien nog niet rijp om de uitleg voor deze term weg te laten. Veel meer beleid dan dit is er denk ik niet te maken voor dit soort zaken.

Dan nog het antwoord op de vraag met betrekking tot onze stroommetingen voor processors. We doen dit door de 8 pins kabel(s) naar de cpu te onderbreken middels een digitale stroommeter. Dit is een device wat, en daar moet ik dus op terugkomen, inderdaad onder andere op de bekende chinese websites te vinden is. We hebben uiteraard goed gekeken naar de betrouwbaarheid en nauwkeurigheid van deze meter, en hebben geconcludeerd dat voor onze metingen de nauwkeurigheid voldoende is. We doen een drietal tests, waarvan we stuk voor stuk een gemiddeld stroomverbruik berekenen aan de hand van het totaal aantal Wh verbruikt tijdens de test en de tijdsduur van de test. De eerste test is de idle test. Hiervoor laten we het systeem 5 minuten idlen, waarna we het totaal aantal Wh opschrijven. De tweede test is een CB20 run, en de derde test is een run van onze Premiere benchmark. Ook noteren we nog het maximale verbruik van het complete systeem tijdens een CB20 run. Deze waarde halen we van onze EMU 1.x4 energy meter.

Ook hiervoor geldt, net als met alles in dit topic, we staan zeker open voor verbeteringen. Als er alternatieve methodes zijn om dit beter te kunnen meten, met wellicht betere apparatuur, horen we het graag. We kunnen helaas geen duizenden euro’s uit gaan geven aan een energiemeter, maar als we de meting significant kunnen verbeteren met uitgaven die binnen de perken blijven gaan we daar natuurlijk serieus naar kijken.

Het downloadbaar maken van grafieken heb ik ook voorbij zijn komen. Dat lijkt me een mooie toevoeging, ik ga eens laten uitzoeken hoeveel tijd het zou kosten om zoiets te maken.

[-The_Mask-]

Ch3cker schreef op donderdag 26 maart 2020 @ 13:51:

We maken aan het einde van onze duurtest een opname van de videokaart met onze FLIR-camera.

De duurtest kun je wel schrappen. Die is ooit bedacht omdat alle normale metingen geen representatief beeld gaven. Wat je wil is dat de normale tests dat juist wel doen, zodat de duurtest geen toegevoegde waarde heeft en de normale tests een representatief beeld geven.

Warmtebeelden maken waarbij je niet de hittespots kunt meten moet je niet doen overigens. Dat zal een extreem vertekend beeld geven. Als je bij de ene videokaart namelijk wel het heetste deel van de videokaart ziet, wat bijvoorbeeld 70 graden is en het gaat hier om een VRM welke een maximale rating heeft van 125 graden dan is 70 graden dus een prima temp.

Echter als je bij een andere videokaart echt niks warms kunt meten omdat de backplate en de koeler er volledig voorzitten, terwijl het VRM wel 120 graden wordt en de warmtecamera maximaal 60 graden aangeeft dan lijkt het dus veel beter, terwijl dat het dus absoluut niet is.

Alhoewel daar naar onze mening niet heel veel nuttige informatie op te zien zal zijn geven jullie aan dat jullie dat graag toegevoegd willen hebben.

Wat men wil is een goede review. Hoe die eruit ziet dat is aan jouw. Het toevoegen van een slechte test omdat men er om vroeg is niet meer dan het toevoegen van weer een slechte test.

We hebben inmiddels een test gedaan met zowel aida als furmark. Bij beide benchmarks bereikt de RTX 2080 Ti de 75 graden, dat is bij deze kaart de temperatuur waarop hij ofwel de ventilator harder zet om af te koelen ofwel terugclockt om niet warmer te worden. Wel zien we bij de AMD kaart dat bij het draaien van furmark de kaart niet voldoende opwarmt, vermoedelijk doordat de kaart herkent dat furmark wordt gedraaid. Het lijkt ons daarom beter om Aida te blijven gebruiken.

Ik heb vaak gezien dat Aida64 helemaal niet zwaar was voor de videokaart, des te meer voor de CPU bij de stress tests. Maar misschien is tegegnwoordig het algoritme veranderd, dat zou kunnen. Hoe dan ook het lijkt mij weinig nuttig tenzij er mensen zijn die dagelijks Furmark of Aida64 draaien. Maar volgens mij zijn weinig mensen geïnteresseerd in hoe de videokaart het in deze twee benchmarks doen.

We hebben inmiddels wat tests gedaan met betrekking tot de afstand van de geluidsmetingen voor videokaarten.

En wat kwam eruit?

We zijn qua afstand daarbij helaas gebonden aan de afmetingen van onze geluidsdichte box. Alhoewel we graag op bijvoorbeeld een meter zouden willen meten, past dat fysiek niet. Wel kunnen we in plaats van de 10cm die we tot op heden gebruiken, overschakelen naar 30 cm. Eventuele variatie in resultaten wordt daarmee zoveel mogelijk voorkomen.

Een nieuwe geluidsdichte box maken is echt niet het moeilijkste wat er is. En ook de kosten vallen in het niet in vergelijking met de overweging van het kopen van veel dezelfde testsystemen.

Wel is het zo dat dit best-case scenario goed te reproduceren is: draai dezelfde benchmark nog een keer en er komt hetzelfde resultaat uit.

Dat klopt als de omstandigheden hetzelfde zijn en je doet elke keer hetzelfde zul je elke keer dezelfde foute data krijgen.

Bij een nieuwe 3d-chip launch testen wij altijd een set referentie-videokaarten van beide kampen op een behoorlijk groot aantal games. Omdat we voor deze releases puur bezig zijn met de chip testen, en niet zozeer met de videokaart (deze kan door de fabrikanten immers met andere koelers weer anders presteren), willen we vooral dat de resultaten onderling, dus tussen de verschillende chips, goed vergelijkbaar zijn. Met onze huidige werkwijze denk ik dat we dat op dit moment kunnen stellen.

En dat gaat dus niet omdat de ene videokaart (lees 3d chip) veel meer terug klokt over lange tijd dan de andere. En dit verschil is de laatste jaren alleen maar groter geworden. Juist bij veel custom versies is het kleiner omdat die regelmatig niet beperkt worden door koeling en verbruik. Al zal dit in de toekomst ook steeds meer het geval worden. Het is namelijk een goede manier om de performance/watt te verbeteren en daarmee kunnen de totale prestatie dus ook omhoog omdat je met een videokaart aan een maximaal verbruik vast zit.

Het aantal games wat we dan kunnen testen zal omlaag gaan, maar in elke benchmark zal dan een afgeleide van de koelprestaties zitten.

En worden het aantal nutteloze tests dan ook verminderd of alleen nuttige tests geschrapt? Het lijkt mij namelijk nuttiger om 10 games één keer te testen dan 1 game 10 keer met verschillende settings. Bij dat laatste ben je namelijk bezig met het testen van de prestaties van een game bij verschillende settings. En het eerste bij hoe de videokaart presteert in games tegenover andere videokaarten.

We gaan op een AMD en een Nvidia kaart een x aantal games draaien met een verscheidenheid aan drivers van het afgelopen jaar. Hierdoor kunnen we mooi in een artikel uiteenzetten wat nou daadwerkelijk de verschillen zijn tussen de driverversies, en hoeveel nut het heeft om regelmatig je driver te upgraden.

De grootste reden neem je dan niet mee, het oplossen van bugs.

Ik zie trouwens niks terug van het meten van het verbruik van de videokaart tijdens games. Voor o.a. het berekenen van de performance/watt.

We gaan een loop doen van cinebench R20, met een vaste processorkoeler. De loop laten we 15 minuten draaien, terwijl er gelogd wordt. De laagste, gemiddelde en max all core turbo zal worden genoteerd inclusief de temperatuur. Logfile kan evt worden opgeslagen op icarus for future reference.
We stellen daarbij voor de volgende koelers te gebruiken :

Socket 2066 / sTR4X: NZXT Kraken X63

Ik weet niet of je die koeler wel eens hebt bekeken, maar die is flink kleiner dan waar de die's zitten van een 8 chiplet Threadripper. Daarmee laat je de buitenste vier die's dus ongekoeld. Dit is overigens ook al eens bij een review gemeld, dus dit is gewoon bekend bij jullie.

We updaten onze testsystemen voor processors twee keer per jaar. Dit is in lijn met de twee jaarlijkse updates van Microsoft. In de tussenliggende periode zorgen we er voor dat de systemen niet van updates worden voorzien. Een eventuele beveiligingsupdate die impact heeft op de prestaties zal dus niet doorgevoerd worden, maar in de testresultaten geldt dat dan dus voor álle processors. Op die manier is er altijd een vergelijkbaar speelveld.

Wat is er mis met hetzelfde doen als bij de videokaarten? Dus een paar weken van te voren alles updaten en alle testen uitvoeren. En de CPU waar het omgaat testen op het moment dat je hem krijgt. Dan krijg je niet van de metingen van een maximaal een half jaar terug.

Ook hiervoor geldt, net als met alles in dit topic, we staan zeker open voor verbeteringen. Als er alternatieve methodes zijn om dit beter te kunnen meten, met wellicht betere apparatuur, horen we het graag. We kunnen helaas geen duizenden euro’s uit gaan geven aan een energiemeter, maar als we de meting significant kunnen verbeteren met uitgaven die binnen de perken blijven gaan we daar natuurlijk serieus naar kijken.

Dat is er zeker en dat is toentertijd ook aangegeven dat er veel betere opties zijn dan zo'n Aliexpress meter. Ik weet zo even niet meer waar ik dat had gevonden, zal even zoeken.

[PcDealer]

Jullie hadden toch een Conrad energiemeter @Ch3cker ?

[-The_Mask-]

PcDealer schreef op donderdag 26 maart 2020 @ 15:48:
Jullie hadden toch een Conrad energiemeter @Ch3cker ?

Die is dan voor AC metingen, de Aliexpress meter is voor DC metingen. Met een ~20 euro Conrad metertje kun je trouwens ook flinke afwijkingen verwachten in sommige omstandigheden.

[ Voor 18% gewijzigd door -The_Mask- op 26-03-2020 15:57 ]

[PcDealer]

-The_Mask- schreef op donderdag 26 maart 2020 @ 15:50:
[...]

Die is dan voor AC metingen, de Aliexpress meter is voor DC metingen. Met een ~20 euro Conrad metertje kun je trouwens ook flinke afwijkingen verwachten in sommige omstandigheden.

Aaaaaaaah zo! Ik heb het trouwens over de Energy Logger.

[-The_Mask-]

PcDealer schreef op donderdag 26 maart 2020 @ 16:03:
[...]

Aaaaaaaah zo! Ik heb het trouwens over de Energy Logger.

Ja precies, zo'n ding is leuk voor thuisgebruik, maar het is niet een meter voor een professionele review.

[Redneckerz]

Ch3cker schreef op donderdag 26 maart 2020 @ 13:51:
Het is iets later geworden dan het begin van de week, maar we hebben voor zover ik het kan zien alle besproken punten even onder elkaar gezet. Ik heb daarbij even onderscheid gemaakt tussen GPU en processors, om het overzichtelijk te houden. Onderaan staan ook nog wat redactiepunten. Alles is zoals jullie gewend zijn weer in samenspraak gegaan met beide redacties.

In onderstaande punten staan ook zaken die we nog niet eerder hebben gecommuniceerd. Het is nog geen complete testprocedure, maar wel weer een post waaruit we verder kunnen werken. Ook hierbij geldt : we staan open voor aanpassingen.

Ik ga hier wat sporadisch op in. Dank voor het reageren.

Ch3cker schreef op donderdag 26 maart 2020 @ 13:51:
Videokaartreviews :
AMD-kaarten testen we bij een Nvidia-launch twee weken van tevoren met de op dat moment laatste driver, en vice-versa bij een AMD-launch. Bij een Nvidia-launch testen we de Nvidia kaarten een week van tevoren met de op dat moment recentste driver. Uitgangspunt is daarbij dat het liefst de driver gebruikt wordt waarmee de te lanceren kaart(en) ook word(en) getest. Mocht dat niet lukken, bijvoorbeeld omdat die driver pas een dag van tevoren beschikbaar is, dan testen we 1 van de kaarten opnieuw met deze driver om te kijken of er een verschil zit tussen deze drivers.

Welke gevolgen heeft dat voor de review zelf? Hier lijken twee kritiek punten (Meer testen) en (Laatste driver) door elkaar te lopen.

Ch3cker schreef op donderdag 26 maart 2020 @ 13:51:
We zullen de 0.1% lows gaan integreren in onze testprocedure.[

Ch3cker schreef op donderdag 26 maart 2020 @ 13:51:
We hebben inmiddels een test gedaan met zowel aida als furmark. Bij beide benchmarks bereikt de RTX 2080 Ti de 75 graden, dat is bij deze kaart de temperatuur waarop hij ofwel de ventilator harder zet om af te koelen ofwel terugclockt om niet warmer te worden. Wel zien we bij de AMD kaart dat bij het draaien van furmark de kaart niet voldoende opwarmt, vermoedelijk doordat de kaart herkent dat furmark wordt gedraaid. Het lijkt ons daarom beter om Aida te blijven gebruiken.

• Welke AMD kaart was hier gebruikt? (De 5700XT?)
• Geld dit ook voor andere AMD kaarten?

Ch3cker schreef op donderdag 26 maart 2020 @ 13:51:
Wat we nu voorstellen om te gaan doen: voor de vergelijking tussen verschillende videokaarten met dezelfde chip enkele benchmarks ontwikkelen die langer duren dan 5 minuten per stuk. Het aantal games wat we dan kunnen testen zal omlaag gaan, maar in elke benchmark zal dan een afgeleide van de koelprestaties zitten

Goed. Lijkt mij prima om uit te testen.

Ch3cker schreef op donderdag 26 maart 2020 @ 13:51:
We gaan op een AMD en een Nvidia kaart een x aantal games draaien met een verscheidenheid aan drivers van het afgelopen jaar. Hierdoor kunnen we mooi in een artikel uiteenzetten wat nou daadwerkelijk de verschillen zijn tussen de driverversies, en hoeveel nut het heeft om regelmatig je driver te upgraden

Dat kan significant zijn, je dient wel rekening te houden met de leefijd van drivers. Users kunnen best oude drivers draaien. Een paar ijkpunten (Drivers uit 2016, 2018, 2020 bijv) zou dan gewenst zijn. Zo kan je per 2 jaar checken wat de performance verbetering is, gebruik makend van de laatste driver van dat jaar.

Ch3cker schreef op donderdag 26 maart 2020 @ 13:51:
We gaan kijken of 720p bij sommige games nuttigere resultaten oplevert voor iGPU’s

Dat kan ik je zo ook wel vertellen Hoewel 1080p gangbaar is, valt er op de resolutie van de vorige generatie consoles (720p) nog veel te halen voor met name iGPU's zoals Vega 3. Intel Ice Lake zal meer richting Vega 8 gaan, maar de low power processoren van Intel zullen weer meer richting Vega 3 zijn. In dergelijke gevallen is 720p minimum, 900p max als resolutie zeker aan te bevelen.

Ch3cker schreef op donderdag 26 maart 2020 @ 13:51:
Op moment dat we meerdere kleuren in een grafiek gebruiken zullen we voor AMD kaarten voor rood kiezen, en Nvidia kaarten groen. In geval van processor : Intel blauw, AMD rood.

Prima.

Ch3cker schreef op donderdag 26 maart 2020 @ 13:51:
Testprocedures komen in een apart artikel, waar we voortaan in elke core-review naar linken. Daarin zullen we de testsystemen, de benchmarks met toelichting en werkwijze uiteenzetten. We zijn daar op dit moment nog mee bezig, zodra deze pagina’s helemaal af zijn zullen we die natuurlijk met jullie delen.

Prima.

Ch3cker schreef op donderdag 26 maart 2020 @ 13:51:
Wat betreft de verduidelijking van terminologie is het denk ik goed om uit te leggen wat ons beleid op dit moment is. In principe hebben we op dit moment de volgende richtlijnen : nieuwe termen schrijven we de eerste paar keer uit en lichten we toe. Naarmate de termen bekender worden gebruiken we abbr-tags, en ingeburgerde termen worden als bekend verondersteld.

Dat kan je echter met de eerder genoemde termen niet verwachten en dat bepaalt Tweakers eigenlijk ook niet, maar de media in het algemeen. Mhz is bekend omdat ook de Mediamarkt er mee adverteert, en Expert. MT/s is dat niet omdat ook de anderen dat niet doen.

Hiermee maak ik wel een onderscheid tussen je moeder en Tweakersvolk - Je moeder, no offence, zal sowieso beide termen niet snappen, maar ze zal Mhz wel herkennen, dat heeft ze immers gelezen bij de Mediamarkt.

Daarom dienen de niet-gangbare termen elke keer uitgelegd te worden.

Ch3cker schreef op donderdag 26 maart 2020 @ 13:51:
Wat wellicht zou kunnen helpen is om over dit soort onderwerpen met enige regelmaat een achtergrond artikel te schrijven. Ook staat het iedereen natuurlijk altijd vrij om op het forum te vragen naar de betekenis. Als we zien dat er veel vraag is naar een bepaalde betekenis, is de tijd misschien nog niet rijp om de uitleg voor deze term weg te laten. Veel meer beleid dan dit is er denk ik niet te maken voor dit soort zaken.

Dat is een goede suggestie om te mee te nemen.

Ik vind het voor een groot gedeelte prima om in de praktijk uitgevoerd te zien.

-The_Mask- schreef op donderdag 26 maart 2020 @ 15:03:

Wat men wil is een goede review. Hoe die eruit ziet dat is aan jouw. Het toevoegen van een slechte test omdat men er om vroeg is niet meer dan het toevoegen van weer een slechte test.

en

-The_Mask- schreef op donderdag 26 maart 2020 @ 15:03:
Dat klopt als de omstandigheden hetzelfde zijn en je doet elke keer hetzelfde zul je elke keer dezelfde foute data krijgen.

Checker doet echt wel zijn best hier voor de verandering. Maar je lijkt daar bijzonder weinig boodschap aan te hebben, want het komt niet precies overeen met wat jij zelf wilt. Compromissen sluiten betekent een gulden middenweg kiezen.

Die eindeloos klagerige toon bestaat omdat je de mogelijkheid tot compromis niet overweegt.

-The_Mask- schreef op donderdag 26 maart 2020 @ 15:03:
Maar volgens mij zijn weinig mensen geïnteresseerd in hoe de videokaart het in deze twee benchmarks doen.

Net zoals dat mensen weinig interesse hebben in alle ins en outs van de PSU en elk detail getest moet worden. Het zwaard snijdt aan twee kanten.

[-The_Mask-]

Redneckerz schreef op zaterdag 28 maart 2020 @ 14:16:

Die eindeloos klagerige toon bestaat omdat je de mogelijkheid tot compromis niet overweegt.

Ik vind het jammer dat je mijn berichten niet of maar half leest of de helft al weer vergeten bent. Want ik heb altijd van af het begin af aan al gezegd dat men niet meer tijd en geld kwijt hoeft te raken om tot een goede review te komen. Alleen moet je natuurlijk wel de juiste verbeteringen doen en dat is nog niet te zien.

De bedoeling van het topic is altijd geweest om de fundamentele problemen waar de basis van de review aan opgebouwd is op te lossen. Het wordt nu echter verschoven naar kleine dingen die opgelost gaan worden, waarbij de basis problemen gewoon blijven bestaan.

Als het probleem is dat de metingen niet goed worden uitgevoerd doordat ze te kort worden gedaan. Dan ga je dat probleem niet oplossen door de data duidelijker weer te geven bijvoorbeeld door de Intel blauw te maken en AMD rood. Ook door het toevoegen van 0.1% lows ga je het probleem van een onjuiste meting niet oplossen. Je geeft alleen de data duidelijker weer, maar als die data niet klopt dan maakt het niet uit hoe duidelijk je het weergeeft.

Het zou heel wat meer helpen als je Tweakers helpt met deze fouten eruit te halen. In plaats van Tweakers gaan overtuigen dat de fouten erin moeten blijven. Anders hebben de veranderingen die jij hebt voorgesteld ook weinig voordeel straks. Het enige voordeel wat je dan hebt is dat je de fouten er gemakkelijker uit zal pikken, maar je kunt het wat mij betreft beter gelijk goed doen. Anders is het totale geldverspilling en dat heeft men nu al veel te veel gedaan.

Net zoals dat mensen weinig interesse hebben in alle ins en outs van de PSU en elk detail getest moet worden. Het zwaard snijdt aan twee kanten.

Nee, maar niemand zit ook te wachten op een gare voeding in je PC, omdat één of andere flut review zei dat het wel een goede voeding is. Daarnaast heeft niemand het ooit over elk detail gehad. Als je zelfs maar één procent van alles wat je kunt testen zou gaan testen aan een voeding, kun je al de meest uitgebreide review over voedingen schrijven. Er is zo extreem veel te testen, bij elk onderdeel overigens, dat je altijd maar een minuscuul deel zal testen. Daarom is het ook zo belangrijk om wel zoveel mogelijk nuttigs erin te drukken en zo uitgebreid mogelijk in zo weinig mogelijk tijd. Alleen moet je wel heel scherp zijn om kwantiteit nooit boven kwaliteit te verkiezen.

[Redneckerz]

-The_Mask- schreef op maandag 30 maart 2020 @ 18:12:
Ik vind het jammer dat je mijn berichten niet of maar half leest of de helft al weer vergeten bent.

Ik lees al je berichten, ik citeer echter niet alles. Ik vind het ook jammer dat je telkens in herhaling moet vallen, misschien komt dat wel omdat wat jij wilt niet altijd haalbaar is. De enige oplossing is een realistische. Dus geld investeren waar het nodig is (en kan!), en verbeteringen die binnen het bereik van de crew vallen.

Dat kan jij ook niet vergeten zijn, lijkt mij.

Juist om die herhaling te voorkomen is die lijst samengesteld. Zodat het visueel voor Tweakers herkenbaar is. Zij dienen dat te interpreteren.

-The_Mask- schreef op maandag 30 maart 2020 @ 18:12:
Alleen moet je natuurlijk wel de juiste verbeteringen doen en dat is nog niet te zien.

Hoe zou dat komen, denk je? Want Checker is m.i redelijk transparant geweest betreft het waarom. Deels is dat door de verhuizing, deels door dingen buiten zijn invloedssfeer, en deels door andere, significante randzaken (Zoals een overlijden).

Stel dat jij op die stoel zat en dit jou overkwam. Moet ik jou dan ook maar lastig vallen met een dergelijk relaas dat de juiste verbeteringen niet te zien zijn wegens bovenstaande redenen? Moet ik dat maar negeren omdat ik liever de ideale verbeteringen volgens mezelf ASAP verwerkt wil zien?

De lijst drijft op duidelijkheid en compromis. Wat jij wilt bereiken, is geen haalbare kaart.

-The_Mask- schreef op maandag 30 maart 2020 @ 18:12:
Het wordt nu echter verschoven naar kleine dingen die opgelost gaan worden, waarbij de basis problemen gewoon blijven bestaan.

Het wordt verschoven naar haalbare opties - Dat is niets anders dan waar de lijst op gebaseerd is. Haalbare doelen. Niet doelen die The Mask zelf bewerkstelligd wilt zien - en waar ettelijke pagina's al bewezen hebben (door de crew reacties en de toon van jouw reacties daarop) dat dit niet haalbaar is gebleken. Oftewel, ik doe en reageer niet anders volgens het stramien wat ik zelf tot op heden heb gehanteerd. Je vind het jammer dat ik je posts maar half zou lezen, maar lees jij wel volledig wat @Ch3cker tot op heden heeft gesuggereerd?

Kan het sneller? Tuurlijk, maar dat hou je altijd. Ik vind het veel belangrijker (voor nu) dat Ch3cker het merendeel van wat is gesuggereerd goed weet te vertalen. Ga voor de grap eens terug naar het begin van je eigen draad en je zal zien dat de vertaalslag alleen al een probleem op zich destijds was.

Dat is nogal hard gezegd, maar ook tijdens het onderzoek zelf koos je ervoor telkens de rol van tegenligger te spelen. En dan niet op een manier dat een verschil van opinie constructief was opgebouwd, maar op de manier en toon zoals ik het in de vorige post ook omschreef: Klagerig. Het moet voor jou te controleren zijn, anders is het niet goed. Tussen wat voor jou gelijk goed doen is en wat haalbaar is zit een heel verschil. Dat de vertaling nu voor het grootste gedeelte wel werkt is een overwinning op zich. En waarom? Omdat het onderbouwd is met links, zodat men kan zien wat het probleem is.

Vergelijk dat met 1 voorbeeld uit je eigen post hier:

''Ook door het toevoegen van 0.1% lows ga je het probleem van een onjuiste meting niet oplossen. Je geeft alleen de data duidelijker weer, maar als die data niet klopt dan maakt het niet uit hoe duidelijk je het weergeeft.'' - Je geeft een kritiek punt weer, namelijk dat er onjuiste metingen zouden zijn. Maar daar blijft het bij. Die keren dat je een link geeft worden die gegeven met de insinuatie dat zij (Tweakers) het zelf maar moeten achterhalen, terwijl het voor hen destijds niet duidelijk was. Waarom was die lijst ook alweer nodig? Precies daarom.

-The_Mask- schreef op maandag 30 maart 2020 @ 18:12:
Het zou heel wat meer helpen als je Tweakers helpt met deze fouten eruit te halen. In plaats van Tweakers gaan overtuigen dat de fouten erin moeten blijven.

Wat denk je dat ik hier aan het doen ben? Telkens maar op Tweakers afgeven en hopen dat dat effect heeft? Dit is een schertsende opmerking.

-The_Mask- schreef op maandag 30 maart 2020 @ 18:12:
Het enige voordeel wat je dan hebt is dat je de fouten er gemakkelijker uit zal pikken, maar je kunt het wat mij betreft beter gelijk goed doen. Anders is het totale geldverspilling en dat heeft men nu al veel te veel gedaan.

Dit is dus precies dat soort persoonlijke insinuatie/geklaag waar ik dus helemaal niets aan heb. Het moet gelijk goed gaan op jouw manier, terwijl de lijst bedoeld is als compromis.

Wat jij wilt bereiken bereik je niet omdat je nalaat constructief te communiceren. Zie deze post.

-The_Mask- schreef op maandag 30 maart 2020 @ 18:12:
Nee, maar niemand zit ook te wachten op een gare voeding in je PC, omdat één of andere flut review zei dat het wel een goede voeding is. Daarnaast heeft niemand het ooit over elk detail gehad. Als je zelfs maar één procent van alles wat je kunt testen zou gaan testen aan een voeding, kun je al de meest uitgebreide review over voedingen schrijven. Er is zo extreem veel te testen, bij elk onderdeel overigens, dat je altijd maar een minuscuul deel zal testen. Daarom is het ook zo belangrijk om wel zoveel mogelijk nuttigs erin te drukken en zo uitgebreid mogelijk in zo weinig mogelijk tijd. Alleen moet je wel heel scherp zijn om kwantiteit nooit boven kwaliteit te verkiezen.

Zoals gezegd:
''En dan zou ik willen voorstellen dat je dan je eigen site begint zoals dat eerder is gesuggereerd. Want dan kan je het helemaal op je eigen manier doen en hoef je aan niemand verantwoording af te leggen behalve jezelf.''

[-The_Mask-]

Redneckerz schreef op maandag 30 maart 2020 @ 19:59:
[...]

Ik lees al je berichten, ik citeer echter niet alles. Ik vind het ook jammer dat je telkens in herhaling moet vallen, misschien komt dat wel omdat wat jij wilt niet altijd haalbaar is. De enige oplossing is een realistische. Dus geld investeren waar het nodig is (en kan!), en verbeteringen die binnen het bereik van de crew vallen.

Waar heb ik precies onrealistische dingen genoemd? Zou je alle voorbeelden kunnen geven? Je kunt dat wel roepen, maar kom dan met onderbouwing.

Wat jij wilt bereiken, is geen haalbare kaart.

Totale onzin. Je roept hier allemaal dingen, zonder enige onderbouwing. Die overigens ook niet kloppen, dus ik snap wel waarom je er geen onderbouwing bij zet.

Leg daarnaast ook even uit waarom de dingen die ik allemaal heb aangegeven niet mogelijk zijn. En waarom het een goed idee is om veel problemen erin te blijven houden.

[ Voor 8% gewijzigd door -The_Mask- op 30-03-2020 21:33 ]

[Redneckerz]

-The_Mask- schreef op maandag 30 maart 2020 @ 21:27:
[...]

Waar heb ik precies onrealistische dingen genoemd? Zou je alle voorbeelden kunnen geven? Je kunt dat wel roepen, maar kom dan met onderbouwing.

Er is naar verscheidende posts gelinkt met precies die reden.

Daarnaast verwijs ik naar mijn eerdere post waarin ik min of meer stel geen heil te zien in eindeloos herhalen en door blijven verwijten aangezien merenmaals is gebleken dat dat geen zin heeft.*

*En ja, ik ben zelf schuldig tot het aanzetten van deze metadiscussie door het maken van het oorspronkelijke verwijt en dat had dus geen enkele zin, zo nu blijkt. Schoenmaker, blijf bij je leest.

[-The_Mask-]

Daar staat geen onderbouwing. Zou je dus ook inhoudelijk willen reageren. Wat precies onmogelijk is aan mijn alles wat ik noem. Dan kan ik uitleggen waarom het perfect haalbaar is.

Ik zie trouwens ook dat het jouw idee was om 6 tot 8 zeer dure testsystemen te bouwen. Terwijl ik het gewoon met de huidige twee zou willen uitvoeren. Dus als iemand kiest voor de dure oplossing dan ben jij dat heel wat eerder dan ik.

[ Voor 39% gewijzigd door -The_Mask- op 31-03-2020 01:09 ]

[CH4OS]

@-The_Mask- Ik heb sterk de indruk dat je maar een resultaat wilt en dat is dat men reviewed op de manier zoals jij dat wilt.

Door diverse omstandigheden gaat dat simpelweg niet (en als de verhuizing achter de rug is blijft dat sowieso de vraag, lijkt me), maar ondertussen bestaat er bij jou 0 speling (die indruk heb ik althans) om in elk geval iets aan verbeteringen in de reviews aan te brengen.

Rome is ook niet in 1 dag gebouwd en nogmaals, als je niet accepteren kan dat kleine stappen ook veel verbetering kan zijn, raad ik nogmaals aan om gewoon jouw eigen review site te beginnen, want dan zal Tweakers het nooit goed kunnen gaan doen in jouw optiek.

[ Voor 11% gewijzigd door CH4OS op 31-03-2020 09:51 ]

[-The_Mask-]

CH4OS schreef op dinsdag 31 maart 2020 @ 09:48:
@-The_Mask- Ik heb sterk de indruk dat je maar een resultaat wilt en dat is dat men reviewed op de manier zoals jij dat wilt.

Nee en als je even terug leest zie je zelfs dat ik zeg dat hij zijn eigen test moet maken. Dus waar haal je dat weg? Waar blijkt dat uit?

Door diverse omstandigheden gaat dat simpelweg niet (en als de verhuizing achter de rug is blijft dat sowieso de vraag, lijkt me), maar ondertussen bestaat er bij jou 0 speling (die indruk heb ik althans) om in elk geval iets aan verbeteringen in de reviews aan te brengen.

Het gaat juist perfect. Waarom zou het niet gaan. Geef eens een voorbeeld. Enige wat ik hoor is kan niet. Wil niet. Doen we niet. Maar nergens blijkt het uit dat het niet kan of het niet mogelijk is.

Rome is ook niet in 1 dag gebouwd en nogmaals, als je niet accepteren kan dat kleine stappen ook veel verbetering kan zijn, raad ik nogmaals aan om gewoon jouw eigen review site te beginnen, want dan zal Tweakers het nooit goed kunnen gaan doen in jouw optiek.

Dat is juist precies wat ik aangeef. Dat je beginnen moet met de basis goed te doen. En van daaruit kun je dus kleine verbeteringen eraan toevoegen. Wat men nu doet is precies het omgekeerde. De basis problemen erin laten en de kleine problemen erom heen oplossen. Zoals hierboven ook uitgelegd.

Dit is echter juist het moment om de basis van de reviews goed te krijgen.

Om nog een voorbeeld te geven: CPU's kunnen tegenwoordig soms wel twee tot drie maal kortstondig meer verbruiken dan wat ze mogen verbruiken over lange tijd. Dit zorgt er voor dat een systeem veel vlotter aan zal voelen, doordat er meer CPU kracht beschikbaar is. Heel handig dus bij veel toepassingen. En daarnaast ook zuiniger omdat core's dan sneller in idle stand kunnen (run to idle). Er zijn echter ook heel veel toepassingen die een constante load op de CPU plaatsen en dan zullen de prestaties over lange tijd dus heel veel lager liggen. Dit is iets waar je rekening mee moet houden in je tests en dat wordt niet gedaan. Vergelijkbare probleem heb je ook met videokaarten en SSD's, zij het in mindere mate. Maar het is dus iets waar je de benchmark wel op moet aanpassen, anders kun je extreem grote afwijkingen krijgen. Dit is o.a. wat ik bedoel met de basis moet goed zijn.

[CH4OS]

-The_Mask- schreef op dinsdag 31 maart 2020 @ 10:19:
Nee en als je even terug leest zie je zelfs dat ik zeg dat hij zijn eigen test moet maken. Dus waar haal je dat weg? Waar blijkt dat uit?

Jouw voorgaande posts? Redneckerz in "CPU, GPU en PSU reviews" geeft daarvan an sich ook al een mooie samenvatting.

Het gaat juist perfect. Waarom zou het niet gaan. Geef eens een voorbeeld. Enige wat ik hoor is kan niet. Wil niet. Doen we niet. Maar nergens blijkt het uit dat het niet kan of het niet mogelijk is.

Er wordt dus niet gezegd dat het niet kan, dat men niet wil, dat maak jij ervan. Men heeft alleen door omstandigheden de tijd niet gehad. Door de verhuizing kan men nu ook niet alles oppakken. Dat is wat er gezegd wordt en waar jij met een soort van botte kop tegenin gaat omdat je per se iets wilt. Normaal zouden ze hier op Tweakers zeggen dat diegene dan aan het drammen is.

Dat is juist precies wat ik aangeef. Dat je beginnen moet met de basis goed te doen. En van daaruit kun je dus kleine verbeteringen eraan toevoegen. Wat men nu doet is precies het omgekeerde. De basis problemen erin laten en de kleine problemen erom heen oplossen. Zoals hierboven ook uitgelegd.

Laten we houden op een verschil in mening. Hier gaan we niet uit komen en heb geen zin om in een metadiscussie te stappen over wat er nu wel en niet gezegd wordt of bedoeld. Er wordt door diverse omstandigheden gekozen voor een andere, op korte termijn, haalbaardere aanpassing. grondigere aanpassingen (de basis, zoals jij dat steeds noemt) kan niet zomaar aangepast worden op het moment.

Dit is echter juist het moment om de basis van de reviews goed te krijgen.

Nee, dit is niet dat moment, o.a. vanwege de verhuizing en andere omstandigheden, waardoor dit (voor het moment) niet de juiste tijd is om goed naar de basis te kijken. Hopelijk dringt het nu beter tot je door? Ja, in de basis moet ook een hoop veranderen. Dat zal @Ch3cker vast ook willen, maar er kan niet rigoureus het roer omgegooid worden, maar blijkbaar wil dat er niet in bij je, of zo.

Om nog een voorbeeld te geven: CPU's kunnen tegenwoordig soms wel twee tot drie maal kortstondig meer verbruiken dan wat ze mogen verbruiken over lange tijd. Dit zorgt er voor dat een systeem veel vlotter aan zal voelen, doordat er meer CPU kracht beschikbaar is. Heel handig dus bij veel toepassingen. En daarnaast ook zuiniger omdat core's dan sneller in idle stand kunnen (run to idle). Er zijn echter ook heel veel toepassingen die een constante load op de CPU plaatsen en dan zullen de prestaties over lange tijd dus heel veel lager liggen. Dit is iets waar je rekening mee moet houden in je tests en dat wordt niet gedaan. Vergelijkbare probleem heb je ook met videokaarten en SSD's, zij het in mindere mate. Maar het is dus iets waar je de benchmark wel op moet aanpassen, anders kun je extreem grote afwijkingen krijgen. Dit is o.a. wat ik bedoel met de basis moet goed zijn.

Dit kan een handige zijn om mee te nemen inderdaad, maar moet het wel van toepassing zijn op de applicaties die gebruikt worden voor de benchmarken. Maar om er een lijstje van te gaan bijhouden van applicaties die dit soort dingen wel doen, maar niet gebruikt worden in reviews, hebben natuurlijk ook geen toegevoegde waarde. Ik kan dus niet roepen of dit handig is om mee te nemen, simpelweg omdat ik niet weet welke tools dit gebruiken, die ook nog eens in de benchmark suite zitten.

[ Voor 4% gewijzigd door CH4OS op 31-03-2020 11:10 ]

[-The_Mask-]

CH4OS schreef op dinsdag 31 maart 2020 @ 10:42:


Nee, dit is niet dat moment, o.a. vanwege de verhuizing en andere omstandigheden, waardoor dit (voor het moment) niet de juiste tijd is om goed naar de basis te kijken. Hopelijk dringt het nu beter tot je door? Ja, in de basis moet ook een hoop veranderen. Dat zal @Ch3cker vast ook willen, maar er kan niet rigoureus het roer omgegooid worden, maar blijkbaar wil dat er niet in bij je, of zo.

Tweakers heeft juist aangegeven dat dit dus wel het moment is. Dus waarom geef je nu aan dat het niet het moment is? Of bedoel je dat het niet binnen een maand klaar is? Volgens mij weet iedereen dat wel. Ik ging er sowieso al vanuit dat het wel een jaar kost om alles wat goed te krijgen en dat was voor de coronacrisis en voordat men ging verhuizen. Dus al zal het een paar maanden meer duren, dat maakt dan ook weinig verschil.

Echter ga je nu natuurlijk niet een volledig nieuw reviewprotocol opzetten en dus allemaal tijd en geld investeren om het vervolgens weer niet goed te doen. Zodat je volgend jaar weer helemaal opnieuw moet beginnen. Dan blijf je bezig en gooi je gewoon geld weg.

[CH4OS]

Echter ga je nu natuurlijk niet een volledig nieuw reviewprotocol opzetten en dus allemaal tijd en geld investeren om het vervolgens weer niet goed te doen. Zodat je volgend jaar weer helemaal opnieuw moet beginnen. Dan blijf je bezig en gooi je gewoon geld weg.

Tja, dat is dan een keuze van Tweakers toch, dan moeten ze ook op de blaren zitten.
Ik zou daar echt totaal niet om wakker liggen.

[ Voor 73% gewijzigd door CH4OS op 31-03-2020 13:02 ]

[-The_Mask-]

Maar waar staat dat dan? Want ik heb niemand van Tweakers deze bewering zien doen.

[CH4OS]

Ik mag hopen dat je zelf weet wat je schrijft?
Kijk even naar jouw laatste zin/alinea van jouw post erboven.

[ Voor 11% gewijzigd door CH4OS op 31-03-2020 11:30 ]

[-The_Mask-]

Ik volg je niet. Jij geeft aan dat Tweakers door omstandigheden niet de basis van de reviews gaat aanpassen. Terwijl ik die bewering nergens terug kan vinden. Ze zeggen juist het omgekeerde en alleen dat het allemaal wat langer duurt dan de bedoeling was.

[CH4OS]

Je springt van hot naar her. We hadden het over kosten en nu kom je opeens aanzetten met iets anders?
Het is mij nu geheel niet duidelijk wat je nu precies wil of van mij verwacht.

EDIT:
Om wel op dat stuk te reageren, het lijkt mij redelijk voor zichzelf sprekend dat men in de afgelopen tijd minder heeft kunnen doen dan men aanvankelijk wilde. Dat is waar ik het over heb.

[ Voor 35% gewijzigd door CH4OS op 31-03-2020 12:35 ]

[-The_Mask-]

CH4OS schreef op dinsdag 31 maart 2020 @ 12:24:
Je springt van hot naar her. We hadden het over kosten en nu kom je opeens aanzetten met iets anders?

Nee het gaat steeds over hetzelfde. Zie -The_Mask- in "CPU, GPU en PSU reviews"

Het is mij nu geheel niet duidelijk wat je nu precies wil of van mij verwacht.

Zou je dat kunnen uitleggen waar dat weg komt. Want ik zie nergens dat Tweakers dat heeft gezegd en alleen jij geeft dat nu aan.

[CH4OS]

Ik heb in de betreffende reactie even snel een quote gezet waar ik met mijn reactie nu precies op reageer. Hopelijk is het duidelijk zo?

[ Voor 23% gewijzigd door CH4OS op 31-03-2020 13:02 ]

[Ch3cker]

Even een status update van onze kant..

Terwijl we nog bezig waren met het inrichten van onze nieuwe ruimtes is er door het coronavirus een nieuwe uitdaging bij gekomen. Na mijn verblijf in Oostenrijk moest ik zoals jullie weten noodgedwongen twee weken thuis blijven. Ook hebben we het aantal mensen in ons testlab drastisch moeten verminderen, wat tot resultaat had dat de testcapaciteit, gezien we nog steeds bezig waren met het volledig up and running krijgen van het testlab, zo goed als verdampte.

Inmiddels zijn we een aantal weken verder en beginnen we nu langzaam weer terug te keren naar een semi-normaal patroon. Er zijn wat aanpassingen gedaan, testsystemen mee naar huis genomen, een aangepast rooster gemaakt voor de mensen die wel op kantoor zijn, maar het gaat. Ook zijn we ondertussen met de zaken die hier besproken zijn verder gegaan.

Ik zie dat er behoorlijk wat is gepost sinds mijn laatste reactie, ik beloof dat ik morgen een inhoudelijke reactie op dit alles zal geven. Voor nu zijn jullie in ieder geval op de hoogte van de uitdagingen die we gehad hebben de afgelopen weken

[Ch3cker]

Hierbij mijn inhoudelijke reactie :

-The_Mask- schreef op donderdag 26 maart 2020 @ 15:03:
[...]

De duurtest kun je wel schrappen. Die is ooit bedacht omdat alle normale metingen geen representatief beeld gaven. Wat je wil is dat de normale tests dat juist wel doen, zodat de duurtest geen toegevoegde waarde heeft en de normale tests een representatief beeld geven.

Ik kan me voorstellen dat we dat inderdaad uiteindelijk kunnen doen, als we zien dat de resultaten van de duurtest en de tests op videokaarten nauwelijks meer verschillen. Aannames zijn dodelijk, dus laten we eerst even kijken of dat daadwerkelijk zo is.

Warmtebeelden maken waarbij je niet de hittespots kunt meten moet je niet doen overigens. Dat zal een extreem vertekend beeld geven. Als je bij de ene videokaart namelijk wel het heetste deel van de videokaart ziet, wat bijvoorbeeld 70 graden is en het gaat hier om een VRM welke een maximale rating heeft van 125 graden dan is 70 graden dus een prima temp.

Echter als je bij een andere videokaart echt niks warms kunt meten omdat de backplate en de koeler er volledig voorzitten, terwijl het VRM wel 120 graden wordt en de warmtecamera maximaal 60 graden aangeeft dan lijkt het dus veel beter, terwijl dat het dus absoluut niet is.

Eens, maar aan de andere kant kost het toevoegen nauwelijks tijd, en is dus een kleine moeite. Er is hier door meerdere mensen aangegeven dat ze, ondanks de uitleg dat dit niet veel toevoegt, dit toch een waardevolle toevoeging vinden. Misschien dat iets van een poll hier uitsluitsel over kan geven..?

[...]

Wat men wil is een goede review. Hoe die eruit ziet dat is aan jouw. Het toevoegen van een slechte test omdat men er om vroeg is niet meer dan het toevoegen van weer een slechte test.

Nee. Dat is luisteren naar je gebruikers. Net zo goed als jij graag wilt dat er bepaalde tests toegevoegd worden waar andere mensen wellicht weinig nut in zien, kan dat andersom natuurlijk ook zo zijn.

We proberen juist te luisteren naar jullie, iets waarvan je zelf vaak genoeg gezegd hebt dat we het juist niet doen. Daarbij kan het natuurlijk ook voorkomen dat de mening van de groep anders is dan die van jou.

[...]

Ik heb vaak gezien dat Aida64 helemaal niet zwaar was voor de videokaart, des te meer voor de CPU bij de stress tests. Maar misschien is tegegnwoordig het algoritme veranderd, dat zou kunnen. Hoe dan ook het lijkt mij weinig nuttig tenzij er mensen zijn die dagelijks Furmark of Aida64 draaien. Maar volgens mij zijn weinig mensen geïnteresseerd in hoe de videokaart het in deze twee benchmarks doen.

We gebruiken deze tests dan ook puur voor het opwarmen van de videokaarten, niet voor het produceren van een score. Wat dat betreft maakt het ook weinig uit welke benchmark we hier voor gebruiken, want de kaarten koelen binnen een paar minuten alweer af naar 'gebruikstemperatuur'. Gezien er tussen benchmarkruns vaak al een aantal minuten zit is het opwarmen van kaarten, zoals eerder ook al gemeld, eigenlijk alleen nuttig na een koude start.

[...]

En wat kwam eruit?

Daar kwam uit dat de resultaten van de '10 cm'-test reproduceerbaar en vergelijkbaar waren, en dat de resultaten in verhouding stonden tot de resultaten gemeten op 30cm. Het nadeel van een test op 10cm uitvoeren is alleen dat als de meter per ongeluk een keer op 9.5cm neer wordt gezet, dit meteen significante invloed heeft op de meting. Vandaar dat we nu voor videokaarten hebben besloten om deze test op 30cm te doen, zodat de resultaten betrouwbaarder worden.

[...]

Een nieuwe geluidsdichte box maken is echt niet het moeilijkste wat er is. En ook de kosten vallen in het niet in vergelijking met de overweging van het kopen van veel dezelfde testsystemen.

De ruimte waar onze geluidsdichte box instaat heeft een achtergrondgeluid van gemiddeld ~30db. Binnenin onze box is het gemiddeld 17db. Dit is echt een extreem laag geluidsniveau, wat zelfs met kant en klare oplossingen van verschillende bedrijven niet te bewerkstelligen is. Het probleem is hierbij ook dat eigenlijk alle kant en klaar oplossingen gericht zijn op geluid weren van binnen naar buiten, en niet van buiten naar binnen. Ik sluit niet uit de we in de toekomst nog eens gaan kijken naar de mogelijkheden tot een grotere geluidsdichte ruimte, maar op dit moment zullen we het met deze ruimte, en dus de max 30cm afstand voor een meting, moeten doen.

[...]

Dat klopt als de omstandigheden hetzelfde zijn en je doet elke keer hetzelfde zul je elke keer dezelfde foute data krijgen.

Dit is natuurlijk geen foute data, maar andere data dan jij graag wilt zien. Dat doet niks af aan de juistheid van de meting. Zou je ook in kunnen gaan op mijn opmerking? Wij stellen dat je bij een 3d-chip juist niet de koeling mee zou moeten nemen in de data, omdat dit voor elke vendor anders is. Jij vindt dit 'fout', maar ik vraag me af waarom je het daar niet mee eens bent.

[...]

En dat gaat dus niet omdat de ene videokaart (lees 3d chip) veel meer terug klokt over lange tijd dan de andere. En dit verschil is de laatste jaren alleen maar groter geworden. Juist bij veel custom versies is het kleiner omdat die regelmatig niet beperkt worden door koeling en verbruik. Al zal dit in de toekomst ook steeds meer het geval worden. Het is namelijk een goede manier om de performance/watt te verbeteren en daarmee kunnen de totale prestatie dus ook omhoog omdat je met een videokaart aan een maximaal verbruik vast zit.

Ik heb het idee dat je vindt dat we 3d-chips niet met elkaar zouden kunnen vergelijken op moment dat we een bestcase scenario testen. Klopt dat? Ik denk juist dat dat precies is wat je wilt weten van een 3d-chip. Op moment dat je de koeling van een referentiemodel meeneemt, geeft dit een vertekend beeld, juist omdat fabrikanten deze koeling juist prima op orde kunnen hebben. We geven met de review dus eigenlijk een beeld hoe de chip zou kúnnen presteren, oftewel een bestcase-scenario.

[...]

En worden het aantal nutteloze tests dan ook verminderd of alleen nuttige tests geschrapt? Het lijkt mij namelijk nuttiger om 10 games één keer te testen dan 1 game 10 keer met verschillende settings. Bij dat laatste ben je namelijk bezig met het testen van de prestaties van een game bij verschillende settings. En het eerste bij hoe de videokaart presteert in games tegenover andere videokaarten.

Dit ligt er helemaal aan wat jij als 'nutteloze test' hebt bestempeld natuurlijk. Ik meen me te herinneren dat jij vond dat we bijvoorbeeld minder resoluties en/of settings van 1 bepaalde game zouden moeten testen. Dat is ook 1 van de dingen waar we naar kijken bij het verminderen van het aantal tests. We zijn op dit moment echter nog in de fase van kijken welke games überhaupt geschikt zijn voor langere benchmark runs.

[...]

De grootste reden neem je dan niet mee, het oplossen van bugs.

Ik zie trouwens niks terug van het meten van het verbruik van de videokaart tijdens games. Voor o.a. het berekenen van de performance/watt.

Dat is uiteraard ook een goede reden om je driver te updaten, maar deze test komt voor uit het feit dat gesteld werd dat het vergelijken van testdata die verkregen is met verschillende drivers niet eerlijk zou zijn. Dat is dan ook wat we hebben / gaan testen, wat niet wegneemt dat een eventuele performance winst niet de enige reden zou zijn om je driver te updaten.

Ik heb het stukje over performance/watt niet in het overzicht voorbij zien komen, wat bedoel je er precies in deze context mee?

[...]

Ik weet niet of je die koeler wel eens hebt bekeken, maar die is flink kleiner dan waar de die's zitten van een 8 chiplet Threadripper. Daarmee laat je de buitenste vier die's dus ongekoeld. Dit is overigens ook al eens bij een review gemeld, dus dit is gewoon bekend bij jullie.

Ja, dat hadden we van tevoren ook al gezien. Laat ik voorop stellen dat dit een voorstel was, dus mijn eerste vraag is : wat is jouw alternatief?

We willen in ieder geval iets wat iedereen makkelijk zelf moet kunnen kopen, en dus goed verkrijgbaar is. De enige AIO-watercooler met een blok wat wél de hele chip koelt, is voor zover ik weet de Enermax Liqtech. Gezien de vele issues met deze koeler die online te vinden zijn lijkt me dit geen goede kandidaat. Wel zouden we kunnen kijken naar deze koeler, in combinatie met dit blok.

[...]

Wat is er mis met hetzelfde doen als bij de videokaarten? Dus een paar weken van te voren alles updaten en alle testen uitvoeren. En de CPU waar het omgaat testen op het moment dat je hem krijgt. Dan krijg je niet van de metingen van een maximaal een half jaar terug.

Het nadeel daarvan is dat we vaak CPU's kunnen lenen van retailers of (andere dan intel/amd) fabrikanten, en deze dan niet lang kunnen houden. Op moment dat we een half jaar hetzelfde testsysteem gebruiken kunnen we deze cpu's gebruiken om te vergelijken met cpu's die we op een later moment toegestuurd krijgen.

[...]

Dat is er zeker en dat is toentertijd ook aangegeven dat er veel betere opties zijn dan zo'n Aliexpress meter. Ik weet zo even niet meer waar ik dat had gevonden, zal even zoeken.

Ik geloof je op je woord, maar ik kan het helaas niet terug vinden. Zou je de suggestie nogmaals kunnen sturen? De energylogger kost overigens iets meer dan twee tientjes (ruim drie keer zo veel), maar dat terzijde. Het gaat bij een energiemeter natuurlijk ook niet om de prijs, maar om zijn precisie en betrouwbaarheid.

Redneckerz schreef op zaterdag 28 maart 2020 @ 14:16:
[...]

Welke gevolgen heeft dat voor de review zelf? Hier lijken twee kritiek punten (Meer testen) en (Laatste driver) door elkaar te lopen.

Op moment dat er geen verschillen waarneembaar zijn, niks, op moment dat dit wel zo is zullen we dat per keer moeten bekijken. In het geval van een verbetering / verslechtering van performance bij 1 van beide drivers zal dit de totale conclusie van de review natuurlijk beïnvloeden. Dan is de keuze aan de redactie of we alle kaarten opnieuw testen (en dus de review uitstellen), de review aanpassen met de gemeten verschillen en op basis daarvan een aangepaste conclusie maken, of een andere tussenoplossing bedenken.

[...]

• Welke AMD kaart was hier gebruikt? (De 5700XT?)
• Geld dit ook voor andere AMD kaarten?

We hebben dit op 1 AMD kaart, de 5700XT, en 1 nvidia kaart getest, de 2080 Ti. Zoals gezegd maakt het opwarmen tot hoger dan de bedrijfstemperatuur sowieso nauwelijks uit, gezien de tijd die tussen benchmarks in zit.

[...]

Dat kan significant zijn, je dient wel rekening te houden met de leefijd van drivers. Users kunnen best oude drivers draaien. Een paar ijkpunten (Drivers uit 2016, 2018, 2020 bijv) zou dan gewenst zijn. Zo kan je per 2 jaar checken wat de performance verbetering is, gebruik makend van de laatste driver van dat jaar.

Dat zou interessant zijn, ware het niet dat de drivers die toen uitkwamen geen ondersteuning bieden voor de recente kaarten van nu.. Sowieso verschuift de aandacht met betrekking tot het optimaliseren van drivers voor een videokaart naar de nieuwere generatie naarmate de kaarten ouder worden natuurlijk.

[...]

Dat kan je echter met de eerder genoemde termen niet verwachten en dat bepaalt Tweakers eigenlijk ook niet, maar de media in het algemeen. Mhz is bekend omdat ook de Mediamarkt er mee adverteert, en Expert. MT/s is dat niet omdat ook de anderen dat niet doen.

Hiermee maak ik wel een onderscheid tussen je moeder en Tweakersvolk - Je moeder, no offence, zal sowieso beide termen niet snappen, maar ze zal Mhz wel herkennen, dat heeft ze immers gelezen bij de Mediamarkt.

Daarom dienen de niet-gangbare termen elke keer uitgelegd te worden.

None taken . Ik volg je redenering, maar we moeten natuurlijk niet vergeten dat Tweakers voornamelijk voor een bepaalde doelgroep schrijft. Ik denk dat vrijwel niemand bijvoorbeeld weet wat een sata-kabel is, toch gaan we die term echt niet iedere keer uitschrijven als dit in een nieuws bericht gebruikt wordt, omdat onze doelgroep dit wel weet. Ik snap de roep om meer uitleg van termen, maar waar de grens gelegd moet worden is en blijft een beetje vaag. Ik denk dat het goed is dat er over dit soort zaken feedback wordt geleverd, daaruit kan de redactie opmaken dat iets (zoals dus in het MT/s voorbeeld) blijkbaar nog steeds uitgelegd moet worden. Om een duidelijke regel te maken wanneer wel en wanneer niet is helaas niet zo makkelijk als het lijkt.


Over de discussie die volgde : laat duidelijk zijn, we staan open voor alle veranderingen. Ook als dat een verandering aan de basis van onze reviews zou zijn. Neem bijvoorbeeld de langere benchmarks bij de videokaartreviews, dit is écht een grote verandering. Het kan dan ook voorkomen dat we binnenkort een launch hebben van een processor of videokaart en we nog niet klaar zijn met alle aanpassingen die hier naar voren zijn gekomen. Hier gaat serieus veel tijd in zitten, tijd die op dit moment zoals jullie weten schaars is. We proberen jullie in dit topic in ieder geval op de hoogte te houden van vorderingen, zodat het niet opeens rauw op jullie dak komt vallen als er een review online komt en niet alles is nog verwerkt.

Dat neemt niet weg dat we graag álle punten bespreken. Ook als er een review online komt waarin wijzigingen staan die misschien volgens jullie niet goed uitgewerkt zijn (of juist wel!), dan horen we dat ook graag. Het zal een proces gaan zijn, maar ik hoop dat we dit, zoals Mark Rutte zou zeggen, samen kunnen doen.

[-The_Mask-]

Ch3cker schreef op dinsdag 21 april 2020 @ 23:07:
Hierbij mijn inhoudelijke reactie :


[...]


Ik kan me voorstellen dat we dat inderdaad uiteindelijk kunnen doen, als we zien dat de resultaten van de duurtest en de tests op videokaarten nauwelijks meer verschillen. Aannames zijn dodelijk, dus laten we eerst even kijken of dat daadwerkelijk zo is.

Maar dat moet zo zijn. De tests moeten een realistisch beeld geven van de de praktijk. Als dat niet het geval is dan zijn je tests niet goed. Dat heeft niks met aannames nodig, het heeft te maken met het goed uitvoeren van de tests.

Zoals ik eerder heb aangegeven mogen sommige CPU's nu korte tijd twee tot drie keer zoveel verbruiken dan dat ze continu mogen verbruiken. Als je dan een test doet die in de praktijk lang duurt dan moet de test ook lang duren. Het moet dan niet zo zijn dat de test die je doet dan kort is, waardoor je een foutmarge krijgt van ergens tussen de 100% en 200%. Je wil namelijk naar een foutmarge van 1% of maximaal 2%.

Eens, maar aan de andere kant kost het toevoegen nauwelijks tijd, en is dus een kleine moeite. Er is hier door meerdere mensen aangegeven dat ze, ondanks de uitleg dat dit niet veel toevoegt, dit toch een waardevolle toevoeging vinden. Misschien dat iets van een poll hier uitsluitsel over kan geven..?

Nee. Dat is luisteren naar je gebruikers. Net zo goed als jij graag wilt dat er bepaalde tests toegevoegd worden waar andere mensen wellicht weinig nut in zien, kan dat andersom natuurlijk ook zo zijn.

We proberen juist te luisteren naar jullie, iets waarvan je zelf vaak genoeg gezegd hebt dat we het juist niet doen. Daarbij kan het natuurlijk ook voorkomen dat de mening van de groep anders is dan die van jou.

Verreweg meeste mensen hebben geen idee wat ze willen, dus een pol zal een extreem vertekend beeld geven. Er zijn oneindig veel voorbeelden hier van. Eén van de bekendste voorbeelden van de laatste jaren is bijvoorbeeld de iPhone of gewoon de smartphone in het algemeen. Hoeveel mensen vroegen om een telefoon met een groot scherm, waarmee je alles kan en simpel apps kan installeren vanuit een app store? Volgens mij was hier geen enkele serieuze vraag na, maar wie wil er nu zonder? Of kan er überhaupt een dag zonder?

Had Apple in die tijd dus een simpele poll gemaakt met willen jullie een kleinere mobiel of juist een veel grotere dan was de consensus waarschijnlijk kleiner geweest. Had je de pol echter extreem uitgebreid gedaan waarbij je ging uitleggen wat er allemaal mogelijk zou zijn met een smartphone en had je mensen verplicht het hele verhaal te lezen en na te denken waar ze op stemmen. Dan zou de uitslag ongetwijfeld heel anders zijn.

Zelfde geld voor reviews. Als je nu gaat vragen wat ze vinden van de reviews zal ongetwijfeld het grootste deel zeggen dat ze goed zijn. Maar ga je echter uitleggen wat er allemaal verkeerd is en waarom de reviews eigenlijk niet goed zijn dan ga je toch echt een hele andere mening krijgen.

Dus dan kun je nu wel heel democratisch alles erin drukken. Maar uiteindelijk is dat toch niet wat men wil als blijkt dat het een heel vertekend beeld geeft. Je hebt daarnaast ook te maken met mensen die heel vluchtig eroverheen lezen en de plaatjes bekijken. Die zullen dan een begeleidende tekst missen waarin staat dat het geen realistische beeld weergave is. Ook moet je rekening houden met dat het allemaal niet te lang wordt. Want ik kan nog wel 10 andere tests verzinnen die er ook in kunnen, maar het kan niet oneindig lang worden. Je wil juist het meest nuttige, zo goed als mogelijk, zo uitgebreid mogelijk, maar toch ook weer bondig en niet te lang.

Samengevat wil je de mening van anderen dan moet je er wel voor zorgen dat die persoon ook alle informatie heeft en ook begrijpt. Anders ga je nooit een goede mening krijgen van die persoon.

We gebruiken deze tests dan ook puur voor het opwarmen van de videokaarten, niet voor het produceren van een score. Wat dat betreft maakt het ook weinig uit welke benchmark we hier voor gebruiken, want de kaarten koelen binnen een paar minuten alweer af naar 'gebruikstemperatuur'. Gezien er tussen benchmarkruns vaak al een aantal minuten zit is het opwarmen van kaarten, zoals eerder ook al gemeld, eigenlijk alleen nuttig na een koude start.

Juist, maar dat geeft dus aan de meting dus te kort wordt uitgevoerd.

Daar kwam uit dat de resultaten van de '10 cm'-test reproduceerbaar en vergelijkbaar waren, en dat de resultaten in verhouding stonden tot de resultaten gemeten op 30cm. Het nadeel van een test op 10cm uitvoeren is alleen dat als de meter per ongeluk een keer op 9.5cm neer wordt gezet, dit meteen significante invloed heeft op de meting. Vandaar dat we nu voor videokaarten hebben besloten om deze test op 30cm te doen, zodat de resultaten betrouwbaarder worden.

Dus het was niet betrouwbaar, want zoals je zelf al aangaf geeft een halve centimeter dus een groot verschil. Dat betekent ook dat een centimeter naar links of rechts ook een groot verschil maakt. En een videokaart met drie fans is dus waarschijnlijk ook in het nadeel in vergelijking met één met één of twee fans omdat de afstand tussen de fan kleiner is. Dit geeft dus duidelijk aan dat jullie wel een betere geluidsbox nodig hebben en dat zoals ik al aangaf de huidige metingen onbetrouwbaar zijn.

De ruimte waar onze geluidsdichte box instaat heeft een achtergrondgeluid van gemiddeld ~30db. Binnenin onze box is het gemiddeld 17db. Dit is echt een extreem laag geluidsniveau, wat zelfs met kant en klare oplossingen van verschillende bedrijven niet te bewerkstelligen is. Het probleem is hierbij ook dat eigenlijk alle kant en klaar oplossingen gericht zijn op geluid weren van binnen naar buiten, en niet van buiten naar binnen. Ik sluit niet uit de we in de toekomst nog eens gaan kijken naar de mogelijkheden tot een grotere geluidsdichte ruimte, maar op dit moment zullen we het met deze ruimte, en dus de max 30cm afstand voor een meting, moeten doen.

Ik heb over de jaren genoeg mensen gezien die zelf een geluidsdichte box hebben gemaakt die ook op 17dB uitkwam of zelfs lager, dus dat is echt niet zo bijzonder. De voedingsreviewer van TechPowerUp/Tomshardware heeft een speciale kamer gebouwd om tot 6dB te gaan, dat is pas stil. Daarmee zeg ik niet dat je dat moet doen. Maar een grotere geluidsdichte box maken is in deze tijd waar iedereen thuis zit natuurlijk perfect te doen.

Dit is natuurlijk geen foute data, maar andere data dan jij graag wilt zien. Dat doet niks af aan de juistheid van de meting. Zou je ook in kunnen gaan op mijn opmerking? Wij stellen dat je bij een 3d-chip juist niet de koeling mee zou moeten nemen in de data, omdat dit voor elke vendor anders is. Jij vindt dit 'fout', maar ik vraag me af waarom je het daar niet mee eens bent.

Videokaarten met stock koeler zijn gewoon te koop, sterker nog in de eerste weken na launch zijn het regelmatig de enige versie die je kunt krijgen. Dan is het toch interessant om te weten wat de geluidsproductie is? Dat het niks zegt over andere videokaarten met dezelfde chip lijkt mij logisch, dat is immers een andere videokaart. Geluidsmetingen ga je pas overslaan op het moment dat je die versie niet kan kopen. Maar dan moet je je afvragen hoeveel nut het nog heeft om een review te maken van een product wat niet te koop is en wat nooit te koop komt.

Ik heb het idee dat je vindt dat we 3d-chips niet met elkaar zouden kunnen vergelijken op moment dat we een bestcase scenario testen. Klopt dat? Ik denk juist dat dat precies is wat je wilt weten van een 3d-chip. Op moment dat je de koeling van een referentiemodel meeneemt, geeft dit een vertekend beeld, juist omdat fabrikanten deze koeling juist prima op orde kunnen hebben. We geven met de review dus eigenlijk een beeld hoe de chip zou kúnnen presteren, oftewel een bestcase-scenario.

Als je met bestcase ssenario bedoeld, onrealistisch in vergelijking met de praktijk. Dan vind ik inderdaad dat je dat niet met elkaar kan vergelijken. Zie het stukje van wat ik eerder schreef over de CPU. Als een CPU of videokaart veel meer mag verbruiken over korte tijd, terwijl als je die toepassing in praktijk gebruikt je zo maar een uur bezig bent dan krijg je extreem grote afwijkingen in je meting. Als je dat vergelijkt met een CPU/videokaart die dat niet doet dan kan de ene dus dubbel zo snel lijken, terwijl die in de praktijk wel eens voor jouw langzamer kan zijn.

Daarmee zeg ik dus niet dat het niet nuttig is wat de fabrikanten doen met hun dynamische klokfrequenties, want dat is het wel degelijk. Het is alleen wel iets waar je rekening mee moet houden tijdens het testen. De ene toepassing is namelijk erg gebaat bij die extra prestaties voor korte tijd. Terwijl de andere er niks aan heeft en zo moeten je tests dus ook worden uitgevoerd.

Dit ligt er helemaal aan wat jij als 'nutteloze test' hebt bestempeld natuurlijk. Ik meen me te herinneren dat jij vond dat we bijvoorbeeld minder resoluties en/of settings van 1 bepaalde game zouden moeten testen. Dat is ook 1 van de dingen waar we naar kijken bij het verminderen van het aantal tests. We zijn op dit moment echter nog in de fase van kijken welke games überhaupt geschikt zijn voor langere benchmark runs.

Dat klopt je kunt beter 10 goed en uitgebreide tests doen dan 20 slechte en afgeraffelde in de tijd die beschikbaar is. Je kunt niet een oneindig aantal tests doen. De tijd is maar beperkt, dus de tijd die je hebt wil je zoveel mogelijk nuttig besteden. Ik zou zeggen doe wat minder tests met meer games.

Nu wordt elke game met elke videokaart 6 maal getest, als je dan minder tijd kwijt wil zijn is het logisch om hier flink te schrappen na bijvoorbeeld twee of drie tests. In plaats van het aantal games van 10 naar 5 terug brengen. En zorg dat je ook de nuttige tests pakt. Een low-end videokaartje testen in de zwaarste games op 4K Ultra zodat die 10fps heeft is niet nuttig. Zelfde geld voor de snelste videokaart testen op full HD medium instellingen. Het enige wat je zal meten is een CPU bottleneck. De prestaties van de videokaart zul je echter niet meten.

Dat is uiteraard ook een goede reden om je driver te updaten, maar deze test komt voor uit het feit dat gesteld werd dat het vergelijken van testdata die verkregen is met verschillende drivers niet eerlijk zou zijn. Dat is dan ook wat we hebben / gaan testen, wat niet wegneemt dat een eventuele performance winst niet de enige reden zou zijn om je driver te updaten.

Ik zie het nut niet echt omdat iedere situatie weer anders is. Het enige wat je mensen kunt vertellen is dat het handig is om de videokaart driver regelmatig te updaten. Met name voor mensen die de nieuwste games spelen, voor oudere games is het dan weer minder nuttig. Je kunt dan wel een test doen, maar dan zul je niet zien dat je net de scenarios test waarbij het weinig verschil maakt, terwijl je uiteindelijk nog niet 0,001% test van wat mogelijk is.

Als het bijvoorbeeld voor 50% van de mensen nuttig zou zijn de videokaart driver regelmatig te updaten en voor de andere 50% is het niet echt interessant, dan zegt jouw test die 0,001% van de scenarios test natuurlijk bijzonder weinig. Voor hetzelfde vallen alle tests juist of negatief of juist positief uit. Maar ja dan zegt niks over 99,999% van wat je niet test.

Ik heb het stukje over performance/watt niet in het overzicht voorbij zien komen, wat bedoel je er precies in deze context mee?

Met een goede digitale DC meter en goede tests kun je tijdens de normale tests ook gewoon het verbruik meten en kom je tot een veel betere performance/watt. Als je één test doet en die draait een stuk beter op product x dan op product y dan kun je een nogal scheve verbruiksmeting krijgen.

Ja, dat hadden we van tevoren ook al gezien. Laat ik voorop stellen dat dit een voorstel was, dus mijn eerste vraag is : wat is jouw alternatief?

We willen in ieder geval iets wat iedereen makkelijk zelf moet kunnen kopen, en dus goed verkrijgbaar is. De enige AIO-watercooler met een blok wat wél de hele chip koelt, is voor zover ik weet de Enermax Liqtech. Gezien de vele issues met deze koeler die online te vinden zijn lijkt me dit geen goede kandidaat. Wel zouden we kunnen kijken naar deze koeler, in combinatie met dit blok.

Geen idee ik heb mij dus nergens in verdiept. De bedoeling was dat jij dat zou doen. Dit zijn dingen die mij gewoon direct opvallen. Lijkt mij dat als je zelf de testsetup in elkaar zet, dat dit ook iets is wat opvalt. Ik kan je dan ook niet precies vertellen hoe je het moet doen, want daarvoor moet je je er echt in verdiepen en dat is iets wat maanden kost.

Het nadeel daarvan is dat we vaak CPU's kunnen lenen van retailers of (andere dan intel/amd) fabrikanten, en deze dan niet lang kunnen houden. Op moment dat we een half jaar hetzelfde testsysteem gebruiken kunnen we deze cpu's gebruiken om te vergelijken met cpu's die we op een later moment toegestuurd krijgen.

Daar moet vast wel een oplossing voor te vinden zijn. Vooral bij de wat minder dure CPU's, dat CPU's van 1000 euro of meer moeilijk gaan worden is logisch, maar CPU's van 100 euro, zeg maar de populaire CPU's daar moet vast wel wat mogelijk mee zijn.

Ik geloof je op je woord, maar ik kan het helaas niet terug vinden. Zou je de suggestie nogmaals kunnen sturen? De energylogger kost overigens iets meer dan twee tientjes (ruim drie keer zo veel), maar dat terzijde. Het gaat bij een energiemeter natuurlijk ook niet om de prijs, maar om zijn precisie en betrouwbaarheid.

Je verward nu de AC Conrad meter met de DC Ali Express meter. Voor AC metingen hebben jullie sowieso al veel betere meters liggen, dus waarom zou je deze gebruiken? Voor DC metingen kun je bijvoorbeeld dezen gebruiken.

[-The_Mask-]

Na het lezen van reviews: Tien maanden driverupdates getest - Welke winst kun je verwachten? heb ik niet het idee dat er ook maar één stap vooruit is gezet. Sterker nog, volgens mij zijn we een paar stappen achteruitgegaan.

Er wordt bijvoorbeeld helemaal geen duidelijkheid geschept over de manier van testen. De tests zijn dus totaal niet controleerbaar.

Maar het ergste is nog wel dat jullie volgens mij geen idee hebben wat jullie aan het testen zijn. De inleiding gaat over welke fabrikant de betere driver ontwikkeling heeft. Het meeste er over lange termijn weet uit te persen of de slechtste driver heeft bij launch. Hoe je het ook wil noemen. Maar vervolgens testen jullie dat helemaal niet.

Daarvoor is de tijdsperiode van drie kwart jaar veel te kort, zijn er veel te weinig games getest en op veel te weinig verschillende tests per game. Je test nu 99,99999% niet en dus kun je nooit een conclusie verbinden. Bij voorbaat weet je dus al dat deze test geen kans van slagen heeft. Maar het meest onrealistische is nog wel dat jullie waarschijnlijk game versies testen die nog niet eens bestonden in de tijd van toen de driver uitkwam. Dus hoe verwacht je dat een fabrikant als nVidia of AMD optimalisaties kon doen voor een gameversie welke bijvoorbeeld pas een half jaar later uitkwam?

Daarom is het dus zo belangrijk om te vertellen hoe je test. Dan kan iedereen, die wil, direct zien dat de test niet klopt.

Ik vraag mij dus echt af of er überhaupt wel iets veranderd is. Hoe zien jullie dit nu zelf? Welke problemen hebben jullie in deze review allemaal opgelost? Hoe hielp deze review de lezers? Wat hebben de lezers hier van geleerd? Hoe zijn jullie tot de conclusie gekomen dat deze zeven games een representatief beeld geven? Hoe weten jullie dat de uitgevoerde tests een representatief beeld van die game?

Er blijft allemaal zoveel onduidelijk dat het er gewoon op lijkt dat de hele review eigenlijk nergens over gaat. Dat het gewoon meer tijddoding was dan dat iemand er wat aan heeft. En dus niet dat men werkelijk werkt aan een nieuwe reviewprotocollen.

Als je van mening bent dat ik er naast zit dan hoor ik graag waarom je dat vindt. Wat trouwens ook helpt is wat sneller reageren. Als elke reactie vanuit jullie één maand moet duren zoals nu, dan gaat er echt nog heel veel jaren overheen voordat het ergens op begint te lijken.

[Ch3cker]

Allereerst even een update van waar we nu staan in het proces van veranderingen.

• We hebben inmiddels een aantal processors getest met de Dark Rock Pro 4 voor de temperatuurmetingen. We zijn op dit moment de data aan het analyseren, maar het ziet er naar uit dat we dit binnen afzienbare tijd kunnen integreren in ons vaste protocol
• We zijn druk bezig met onze testprocedure pagina's. Hierop zal onder andere te vinden zijn welke versienummers van benchmarks we draaien, en een uitgebreide omschrijving van alle tests die we in ons protocol hebben. Gezien we op dit moment ook nog bezig zijn met de veranderingen in de testprocedures is dit nog een work in progress.
• We zijn de afgelopen weken enorm druk geweest met het hertesten van verschillende processors
• De 0.1% lows zijn geïntegreerd in onze testprocedure voor videokaarten / 3d-chips
• We hebben bekeken of bestaande benchmarks op een makkelijke manier geschikt gemaakt kunnen worden voor langerer benchmark runs. Helaas blijkt dat dit voor veel benchmarks niet makkelijk mogelijk is. Een klein aantal is hier wel voor geschikt. We gaan kijken of we voor de games waar de bestaande benchmarks niet toereikend zijn nieuwe benchmarks kunnen ontwikkelen waarbij we wel makkelijk een lange run kunnen benchmarken. Een alternatief is kijken naar andere games om te benchmarken.
• Inmiddels is de driver update test verschenen, ik las al wat feedback daarop van @-The_Mask- , ik zal hieronder daar op reageren.

Dan de inhoudelijke reactie op de posts tot nu toe. Het valt me op dat eigenlijk alleen @-The_Mask- nog post de afgelopen weken, wij vinden dat enorm jammer. Ik hoop dat ook de rest van de volgers van dit topic hun stem willen laten horen.

-The_Mask- schreef op woensdag 22 april 2020 @ 15:01:
[...]

Maar dat moet zo zijn. De tests moeten een realistisch beeld geven van de de praktijk. Als dat niet het geval is dan zijn je tests niet goed. Dat heeft niks met aannames nodig, het heeft te maken met het goed uitvoeren van de tests.

Eens! De verwachting is dan ook zeker dat we de duurtest kunnen laten varen. Maar laten we eerste eens een review met beiden doen, dan kunnen we conclusies trekken.

Zoals ik eerder heb aangegeven mogen sommige CPU's nu korte tijd twee tot drie keer zoveel verbruiken dan dat ze continu mogen verbruiken. Als je dan een test doet die in de praktijk lang duurt dan moet de test ook lang duren. Het moet dan niet zo zijn dat de test die je doet dan kort is, waardoor je een foutmarge krijgt van ergens tussen de 100% en 200%. Je wil namelijk naar een foutmarge van 1% of maximaal 2%.

Ik denk dat er hier simpelweg een verschil is in wat jij denkt dat we willen meten, en wat wij daadwerkelijk willen meten. Wij willen een gemiddeld verbruik meten waarmee je iets kan zeggen over wat een processor in de praktijk onder load zal verbruiken. Je hebt helemaal gelijk dat dit niks zegt over wat een processor in 1 ms zou kunnen verbruiken. Alhoewel dat ook zeker interessant is, proberen we dat op dit moment niet te meten.

Verreweg meeste mensen hebben geen idee wat ze willen, dus een pol zal een extreem vertekend beeld geven. Er zijn oneindig veel voorbeelden hier van. Eén van de bekendste voorbeelden van de laatste jaren is bijvoorbeeld de iPhone of gewoon de smartphone in het algemeen. Hoeveel mensen vroegen om een telefoon met een groot scherm, waarmee je alles kan en simpel apps kan installeren vanuit een app store? Volgens mij was hier geen enkele serieuze vraag na, maar wie wil er nu zonder? Of kan er überhaupt een dag zonder?

Had Apple in die tijd dus een simpele poll gemaakt met willen jullie een kleinere mobiel of juist een veel grotere dan was de consensus waarschijnlijk kleiner geweest. Had je de pol echter extreem uitgebreid gedaan waarbij je ging uitleggen wat er allemaal mogelijk zou zijn met een smartphone en had je mensen verplicht het hele verhaal te lezen en na te denken waar ze op stemmen. Dan zou de uitslag ongetwijfeld heel anders zijn.

Dat iemand iets wil wat jij niet wilt, betekent niet meteen dat het niet nuttig kan zijn. In je eigen voorbeeld geef je dit eigenlijk ook al aan. Op moment dat een deel van onze gebruikers aangeeft dat ze dit toch interessant vinden, en het kost ons weinig tijd, zie ik niet waarom we dit niet kunnen toevoegen. Als jij dit dan niet interessant vindt, dan hoef jij daar natuurlijk geen conclusies aan te verbinden. Wij zullen dat ook niet doen, gezien we al hebben aangegeven dat wij de test zelf ook niet veel vinden zeggen.

Zelfde geld voor reviews. Als je nu gaat vragen wat ze vinden van de reviews zal ongetwijfeld het grootste deel zeggen dat ze goed zijn. Maar ga je echter uitleggen wat er allemaal verkeerd is en waarom de reviews eigenlijk niet goed zijn dan ga je toch echt een hele andere mening krijgen.

Dus dan kun je nu wel heel democratisch alles erin drukken. Maar uiteindelijk is dat toch niet wat men wil als blijkt dat het een heel vertekend beeld geeft. Je hebt daarnaast ook te maken met mensen die heel vluchtig eroverheen lezen en de plaatjes bekijken. Die zullen dan een begeleidende tekst missen waarin staat dat het geen realistische beeld weergave is. Ook moet je rekening houden met dat het allemaal niet te lang wordt. Want ik kan nog wel 10 andere tests verzinnen die er ook in kunnen, maar het kan niet oneindig lang worden. Je wil juist het meest nuttige, zo goed als mogelijk, zo uitgebreid mogelijk, maar toch ook weer bondig en niet te lang.

Samengevat wil je de mening van anderen dan moet je er wel voor zorgen dat die persoon ook alle informatie heeft en ook begrijpt. Anders ga je nooit een goede mening krijgen van die persoon.

Er zit natuurlijk een groot verschil tussen 'dit kan niet toegevoegd worden want ik vind het niet interessant' en 'x is interessanter, dus dat kan je beter toevoegen'. Met dat laatste kan ik iets, met dat eerste niet. Als er tests zijn die interessanter zijn, zullen we moeten kijken of we die niet beter kunnen toevoegen. We hebben overigens nergens aangegeven dat we zo'n begeleidende tekst niet zouden schrijven, dus er nu al vanuit gaan dat dat niet gaat gebeuren is een beetje voorbarig.

[...]

Dus het was niet betrouwbaar, want zoals je zelf al aangaf geeft een halve centimeter dus een groot verschil. Dat betekent ook dat een centimeter naar links of rechts ook een groot verschil maakt. En een videokaart met drie fans is dus waarschijnlijk ook in het nadeel in vergelijking met één met één of twee fans omdat de afstand tussen de fan kleiner is. Dit geeft dus duidelijk aan dat jullie wel een betere geluidsbox nodig hebben en dat zoals ik al aangaf de huidige metingen onbetrouwbaar zijn.

Een centimeter naar links of rechts hebben we getest, dit maakte nauwelijks verschil. Dat neemt niet weg dat ik het met je eens ben dat de meting beter op 30cm, ons maximum in de huidige box, kunnen testen. Dat gaan we dan ook doen.

[...]

Ik heb over de jaren genoeg mensen gezien die zelf een geluidsdichte box hebben gemaakt die ook op 17dB uitkwam of zelfs lager, dus dat is echt niet zo bijzonder. De voedingsreviewer van TechPowerUp/Tomshardware heeft een speciale kamer gebouwd om tot 6dB te gaan, dat is pas stil. Daarmee zeg ik niet dat je dat moet doen. Maar een grotere geluidsdichte box maken is in deze tijd waar iedereen thuis zit natuurlijk perfect te doen.

Iedereen thuis zit? Was het maar zo'n feest! Het is op dit moment, zoals al eerder gezegd, enorm druk. Ook durf ik te betwijfelen dat dit zo makkelijk is als jij zegt dat het is. We hebben inmiddels contact gehad met verschillende bedrijven die dit soort ruimtes verkopen, deze voldoen allen niet aan onze eisen. We gaan zeker verder kijken, maar om te stellen dat iets 'niet zo bijzonder' is.. nee.

[...]

Videokaarten met stock koeler zijn gewoon te koop, sterker nog in de eerste weken na launch zijn het regelmatig de enige versie die je kunt krijgen. Dan is het toch interessant om te weten wat de geluidsproductie is? Dat het niks zegt over andere videokaarten met dezelfde chip lijkt mij logisch, dat is immers een andere videokaart. Geluidsmetingen ga je pas overslaan op het moment dat je die versie niet kan kopen. Maar dan moet je je afvragen hoeveel nut het nog heeft om een review te maken van een product wat niet te koop is en wat nooit te koop komt.

Dat is zeker interessant! Maar dan test je de reference kaart dus als videokaart, niet als 3d-chip. Dat doen we ook regelmatig, als we verschillende videokaarten met elkaar vergelijken. Als je de chip wilt testen, wil je de beperkende factor juist niet bij de koeling hebben liggen. Als je de videokaart wilt testen, wil je juist dat je de koeling (en dus het geluid) wél meeneemt.

[...]

Als je met bestcase ssenario bedoeld, onrealistisch in vergelijking met de praktijk. Dan vind ik inderdaad dat je dat niet met elkaar kan vergelijken. Zie het stukje van wat ik eerder schreef over de CPU. Als een CPU of videokaart veel meer mag verbruiken over korte tijd, terwijl als je die toepassing in praktijk gebruikt je zo maar een uur bezig bent dan krijg je extreem grote afwijkingen in je meting. Als je dat vergelijkt met een CPU/videokaart die dat niet doet dan kan de ene dus dubbel zo snel lijken, terwijl die in de praktijk wel eens voor jouw langzamer kan zijn.

Daarmee zeg ik dus niet dat het niet nuttig is wat de fabrikanten doen met hun dynamische klokfrequenties, want dat is het wel degelijk. Het is alleen wel iets waar je rekening mee moet houden tijdens het testen. De ene toepassing is namelijk erg gebaat bij die extra prestaties voor korte tijd. Terwijl de andere er niks aan heeft en zo moeten je tests dus ook worden uitgevoerd.

Misschien is een voorbeeld hierbij handig. Stel, je hebt twee reference kaarten, 1 van AMD en 1 van Nvidia. Het reference model van AMD heeft zijn koeling slecht op orde, die van Nvidia niet. Alle fabrikanten die een kaart uitbrengen met een aftermarket koeler hebben de koeling echter perfect op orde.

De chip komt uit, en wij maken een review. Stel, wij zouden de review gemaakt hebben gebaseerd op lange tests, waarin we de koeling meenemen, dan concluderen wij dat de chip er niet goed vanaf komt in vergelijking met de Nvidia kaart. Dit terwijl de aftermarket kaarten met diezelfde AMD chip wellicht beter presteren dan de Nvidia kaarten.

Dit is waarom we bij een nieuwe chip deze testen als 3d-chip, met korte benchmarks waarin de koeling bijna geen factor is.

[...]

Dat klopt je kunt beter 10 goed en uitgebreide tests doen dan 20 slechte en afgeraffelde in de tijd die beschikbaar is. Je kunt niet een oneindig aantal tests doen. De tijd is maar beperkt, dus de tijd die je hebt wil je zoveel mogelijk nuttig besteden. Ik zou zeggen doe wat minder tests met meer games.

Nu wordt elke game met elke videokaart 6 maal getest, als je dan minder tijd kwijt wil zijn is het logisch om hier flink te schrappen na bijvoorbeeld twee of drie tests. In plaats van het aantal games van 10 naar 5 terug brengen. En zorg dat je ook de nuttige tests pakt. Een low-end videokaartje testen in de zwaarste games op 4K Ultra zodat die 10fps heeft is niet nuttig. Zelfde geld voor de snelste videokaart testen op full HD medium instellingen. Het enige wat je zal meten is een CPU bottleneck. De prestaties van de videokaart zul je echter niet meten.

Helemaal mee eens, dit nemen we zeker mee!

[...]

Ik zie het nut niet echt omdat iedere situatie weer anders is. Het enige wat je mensen kunt vertellen is dat het handig is om de videokaart driver regelmatig te updaten. Met name voor mensen die de nieuwste games spelen, voor oudere games is het dan weer minder nuttig. Je kunt dan wel een test doen, maar dan zul je niet zien dat je net de scenarios test waarbij het weinig verschil maakt, terwijl je uiteindelijk nog niet 0,001% test van wat mogelijk is.

Als het bijvoorbeeld voor 50% van de mensen nuttig zou zijn de videokaart driver regelmatig te updaten en voor de andere 50% is het niet echt interessant, dan zegt jouw test die 0,001% van de scenarios test natuurlijk bijzonder weinig. Voor hetzelfde vallen alle tests juist of negatief of juist positief uit. Maar ja dan zegt niks over 99,999% van wat je niet test.

Natuurlijk is iedere situatie anders, het zal inderdaad per geval verschillen of het veel voordeel geeft. Dat neemt niet weg dat het interessant is om te zien wat het verschil in performance is tussen verschillende drivers, lijkt me.

[...]

Met een goede digitale DC meter en goede tests kun je tijdens de normale tests ook gewoon het verbruik meten en kom je tot een veel betere performance/watt. Als je één test doet en die draait een stuk beter op product x dan op product y dan kun je een nogal scheve verbruiksmeting krijgen.

Op dit moment doen we twee verbruiksmetingen met een hoge belasting. De ene is terwijl we een Cinebench R20 run doen, de andere is tijdens onze Premiere Pro benchmark. We zouden dus al een performance / watt iets uit kunnen rekenen op basis van deze twee benchmarks, lijkt me een mooie toevoeging.

[...]

Geen idee ik heb mij dus nergens in verdiept. De bedoeling was dat jij dat zou doen. Dit zijn dingen die mij gewoon direct opvallen. Lijkt mij dat als je zelf de testsetup in elkaar zet, dat dit ook iets is wat opvalt. Ik kan je dan ook niet precies vertellen hoe je het moet doen, want daarvoor moet je je er echt in verdiepen en dat is iets wat maanden kost.

Dat hebben we ook gedaan, maar in eerste instantie toch de afweging gemaakt op basis van wat ik eerder al heb gepost. We gaan vooralsnog in ieder geval met de Alphacool oplossing!

[...]

Daar moet vast wel een oplossing voor te vinden zijn. Vooral bij de wat minder dure CPU's, dat CPU's van 1000 euro of meer moeilijk gaan worden is logisch, maar CPU's van 100 euro, zeg maar de populaire CPU's daar moet vast wel wat mogelijk mee zijn.

We hebben de afgelopen paar weken 3 CPU's gekocht om onze eigen 'voorraad' uit te breiden. Ben het met je eens dat we de belangrijkste modellen gewoon zouden moeten hebben, dus dat is in gang gezet.

[...]

Je verward nu de AC Conrad meter met de DC Ali Express meter. Voor AC metingen hebben jullie sowieso al veel betere meters liggen, dus waarom zou je deze gebruiken? Voor DC metingen kun je bijvoorbeeld dezen gebruiken.

Nee ik verwarde hem niet, ik maakte alleen een opmerking op basis van wat je tegen PcDealer zei
Thanks voor je link! Ziet er goed uit, we gaan kijken hoe we dit kunnen integreren in onze setup

-The_Mask- schreef op dinsdag 5 mei 2020 @ 20:53:
Na het lezen van reviews: Tien maanden driverupdates getest - Welke winst kun je verwachten? heb ik niet het idee dat er ook maar één stap vooruit is gezet. Sterker nog, volgens mij zijn we een paar stappen achteruitgegaan.

Er wordt bijvoorbeeld helemaal geen duidelijkheid geschept over de manier van testen. De tests zijn dus totaal niet controleerbaar.

We hebben een pagina 'Testmethode', wat staat daar niet in wat je had willen weten?

Maar het ergste is nog wel dat jullie volgens mij geen idee hebben wat jullie aan het testen zijn. De inleiding gaat over welke fabrikant de betere driver ontwikkeling heeft. Het meeste er over lange termijn weet uit te persen of de slechtste driver heeft bij launch. Hoe je het ook wil noemen. Maar vervolgens testen jullie dat helemaal niet.

Daarvoor is de tijdsperiode van drie kwart jaar veel te kort, zijn er veel te weinig games getest en op veel te weinig verschillende tests per game. Je test nu 99,99999% niet en dus kun je nooit een conclusie verbinden. Bij voorbaat weet je dus al dat deze test geen kans van slagen heeft. Maar het meest onrealistische is nog wel dat jullie waarschijnlijk game versies testen die nog niet eens bestonden in de tijd van toen de driver uitkwam. Dus hoe verwacht je dat een fabrikant als nVidia of AMD optimalisaties kon doen voor een gameversie welke bijvoorbeeld pas een half jaar later uitkwam?

De test is zo opgezet dat alles behalve de driver gelijk is, dus ook de gameversie. Het is sowieso bij veel games niet mogelijk om met oude game versies te testen, gezien die games een internetverbinding nodig hebben en zonder de laatste update gewoonweg niet kunnen starten. Op moment de gameversie somehow wél zou verschillen, zou je niet meer weten of het nou de driver is die het verschil in performance teweegbrengt, of de update van de game. Deze test geeft weer wat het verschil in performance zou zijn op moment dat je op dít moment een oude driver zou hebben.

Daarom is het dus zo belangrijk om te vertellen hoe je test. Dan kan iedereen, die wil, direct zien dat de test niet klopt.

Ik vraag mij dus echt af of er überhaupt wel iets veranderd is. Hoe zien jullie dit nu zelf? Welke problemen hebben jullie in deze review allemaal opgelost? Hoe hielp deze review de lezers? Wat hebben de lezers hier van geleerd? Hoe zijn jullie tot de conclusie gekomen dat deze zeven games een representatief beeld geven? Hoe weten jullie dat de uitgevoerde tests een representatief beeld van die game?

Er zal vast nog verbetering mogelijk zijn, dat zal ik niet ontkennen. Een deel van de vragen heb ik hierboven hopelijk al beantwoord. Deze games zijn een greep uit onze standaard games die we gebruiken voor 3D-chips. Het is natuurlijk altijd beter om meer games te testen, maar je moet ergens een grens stellen. Die grens lag voor ons bij deze zeven games. Er is hier iemand fulltime 2 weken mee bezig geweest, meer dan dat leek ons niet meer te verantwoorden.

Er blijft allemaal zoveel onduidelijk dat het er gewoon op lijkt dat de hele review eigenlijk nergens over gaat. Dat het gewoon meer tijddoding was dan dat iemand er wat aan heeft. En dus niet dat men werkelijk werkt aan een nieuwe reviewprotocollen.

Als je van mening bent dat ik er naast zit dan hoor ik graag waarom je dat vindt. Wat trouwens ook helpt is wat sneller reageren. Als elke reactie vanuit jullie één maand moet duren zoals nu, dan gaat er echt nog heel veel jaren overheen voordat het ergens op begint te lijken.

Zoals ook in de comments aangegeven zijn er ook nog andere tests te verzinnen, zoals bijvoorbeeld een test waarbij we een game testen met een oude driver, met de release driver en met een driver van een aantal maanden verder. Dat zou nog een ander leuk artikel kunnen zijn, maar was niet binnen de scope van dit artikel.

Mijn 'trage' reacties de afgelopen weken hebben meerdere redenen. Een van die redenen is dat ik enorm lange dagen heb gemaakt om al het werk af te krijgen. Kijk ook even naar de tijden waarop ik mijn reacties post, meestal is dat al ver na mijn oorspronkelijke werkdag. Een andere reden is dat ik ook graag andere mensen de kans wil geven om te reageren. Ik denk dat het ook goed is om de meningen van anderen te horen. De laatste reden is dat het door de drukte ook gewoon even duurt voordat alle geplande wijzigingen zijn geïmplementeerd.

[max3D]

quote: "Dan de inhoudelijke reactie op de posts tot nu toe. Het valt me op dat eigenlijk alleen @-The_Mask- nog post de afgelopen weken, wij vinden dat enorm jammer. Ik hoop dat ook de rest van de volgers van dit topic hun stem willen laten horen."

Ik heb me niet eerder laten horen terwijl ook ik kritisch ben op de kwaliteit van de reviews. Ik ben een oudgediende en heb Tweakers langzaam zien veranderen van een nerdy site naar een tech consumenten site.

Dat is een keuze van jullie; ik vind het soms jammer dat we zo overspoeld raken door voor mij vrij irrelevante news posts over een nieuw koelertje met een extra RGB lampje of alweer een mobieltje met vergelijkbare specs aan het huidige aanbod, maar het is wel jullie keuze en die respecteer ik. Er moet ook brood verdiend worden en de Nederlandstalige markt is waarschijnlijk niet groot genoeg voor super gespecializeerde sites.

Mijn reden om deze site nog steeds dagelijks te volgen is de kwaliteit van de reacties. Tussen het kaf is toch nog steeds mooi koren te vinden.

Having said that wil ik natuurlijk ook graag betere reviews en ik volg dit topic dan al vanaf schier het begin. Aanvankelijk kreeg het geen enkele tractie van de redactie en leefde ik mee met de frustratie van de posters. However sinds een paar maanden is er wat aan het gebeuren en dat waardeer ik zeer.

Hoewel er wat overmatig defensieve reacties waren -Wout, waar is je gevoel voor diplomatie-, vind ik dat het nu serieus en inhoudelijk sterk wordt aangepakt. Er wordt werk van gemaakt, er is verslaggeving, ik zie de eerste resultaten in de reviews.

Vooral Ch3cker heeft zowel de juiste toon als ook de juiste houding gevonden. Inhoudelijk, tegemoetkomend aan de wensen, bereid tot veranderen. Kudoos! Top job.

Waarom ik niet reageer is eigenlijk omdat ik nu wat moeite heb met het muggenziften van een enkele user. Ik heb het gevoel dat het niet oplossingsgericht is, ben ook niet blij met de m.i. veel te lange posts en het gebrek aan positiviteit. Ik wil daar geen deel van zijn, dus lees zo nu en dan, maar met lichte tegenzin als het gele belletje me weer alarmeert dat er een update is.

Mijn advies zou zijn dat TheMask het nu echt even zijn gang laat gaan en niet op elke slak zout gaat leggen. Daarnaast dat beide partijen stoppen met inline quotes: die hebben het internet al genoeg schade aangebracht daar het altijd leidt tot geneuzel in de marge waarbij anderen afhaken.

Geef de redactie nu even de ruimte om veranderingen door te voeren. Reageer positief als er stappen gemaakt worden, blijf kritisch maar hou dat kort en zakelijk.

[Frozen]

-The_Mask- schreef op dinsdag 5 mei 2020 @ 20:53:
Na het lezen van reviews: Tien maanden driverupdates getest - Welke winst kun je verwachten? heb ik niet het idee dat er ook maar één stap vooruit is gezet. Sterker nog, volgens mij zijn we een paar stappen achteruitgegaan.

Er wordt bijvoorbeeld helemaal geen duidelijkheid geschept over de manier van testen. De tests zijn dus totaal niet controleerbaar.

Maar het ergste is nog wel dat jullie volgens mij geen idee hebben wat jullie aan het testen zijn. De inleiding gaat over welke fabrikant de betere driver ontwikkeling heeft. Het meeste er over lange termijn weet uit te persen of de slechtste driver heeft bij launch. Hoe je het ook wil noemen. Maar vervolgens testen jullie dat helemaal niet.

Daarvoor is de tijdsperiode van drie kwart jaar veel te kort, zijn er veel te weinig games getest en op veel te weinig verschillende tests per game. Je test nu 99,99999% niet en dus kun je nooit een conclusie verbinden. Bij voorbaat weet je dus al dat deze test geen kans van slagen heeft. Maar het meest onrealistische is nog wel dat jullie waarschijnlijk game versies testen die nog niet eens bestonden in de tijd van toen de driver uitkwam. Dus hoe verwacht je dat een fabrikant als nVidia of AMD optimalisaties kon doen voor een gameversie welke bijvoorbeeld pas een half jaar later uitkwam?

Daarom is het dus zo belangrijk om te vertellen hoe je test. Dan kan iedereen, die wil, direct zien dat de test niet klopt.

Ik vraag mij dus echt af of er überhaupt wel iets veranderd is. Hoe zien jullie dit nu zelf? Welke problemen hebben jullie in deze review allemaal opgelost? Hoe hielp deze review de lezers? Wat hebben de lezers hier van geleerd? Hoe zijn jullie tot de conclusie gekomen dat deze zeven games een representatief beeld geven? Hoe weten jullie dat de uitgevoerde tests een representatief beeld van die game?

Er blijft allemaal zoveel onduidelijk dat het er gewoon op lijkt dat de hele review eigenlijk nergens over gaat. Dat het gewoon meer tijddoding was dan dat iemand er wat aan heeft. En dus niet dat men werkelijk werkt aan een nieuwe reviewprotocollen.

Als je van mening bent dat ik er naast zit dan hoor ik graag waarom je dat vindt. Wat trouwens ook helpt is wat sneller reageren. Als elke reactie vanuit jullie één maand moet duren zoals nu, dan gaat er echt nog heel veel jaren overheen voordat het ergens op begint te lijken.

toon volledige bericht

* Frozen to the rescue

Je hebt gelijk dat ze meerdere kaarten over meerdere jaren hadden moeten testen om de vraag te beantwoorden welke fabrikant het meeste uit kaarten weet te persen gedurende de levensloop of welke de slechte resultaten bij launch biedt. Dat betekent niet dat de vergaarde resultaten niet nuttig zijn, ze geven alleen antwoorden op andere vragen! Het geeft namelijk wel een indicatie, maar ook daarbij moet je onthouden dat het n=1 is. Dit is meer een onderzoek naar wat de invloed van verschillende driverupdates is op de prestaties van 2 videokaarten. Andere vragen kun je er niet mee beantwoorden.

Ik heb niet het idee dat ze een paar stappen achteruit hebben gedaan, maar de resultaten zijn inderdaad lastig te valideren. Zou je deze tests willen nabootsen om de resultaten te valideren dan tja... Op welk stuk is bijvoorbeeld de FPS gemeten, over hoeveel seconden is dit gemeten etc? Echter, zolang tweakers zou zeggen dat dit allemaal op precies hetzelfde punt is gemeten in het spel met precies dezelfde instellingen, zie ik de resultaten wel als valide hoor. Echter alleen valide om de vraag "Wat is de invloed van verschillende driverupdates op de prestaties van 2 videokaarten?" te beantwoorden. Natuurlijk kan je uit deze n=1 wel vermoedens halen, maar echte harde conclusies zijn het absoluut niet.

Dat het gewoon meer tijddoding was dan dat iemand er wat aan heeft. En dus niet dat men werkelijk werkt aan een nieuwe reviewprotocollen.

Tegenwoordig hoeven mensen niet meer zo veel te hebben aan de reviews. Veel mensen lezen tweakers als vermaak vandaag de dag.

En om de vraag te beantwoorden of het nu waar is dat de prestaties van AMD-videokaarten mettertijd beter worden dankzij het fine-winefenomeen: niet echt. Althans niet met deze kaarten, deze tijdsspanne en deze games. Eigenlijk zou je eerder concluderen dat het Nvidia is dat na verloop van tijd beter wordt, maar dan vooral dankzij de 4k-resultaten.

Met de conclusie ben ik het ook eens. De tweede zin geeft de nuance aan die ik zocht, namelijk dat er alleen wat gezegd kan worden over de geteste kaarten, bij de geteste games in deze tijdsspanne. Je kunt wel merken dat Willem het artikel in ging met: "Yes, ik ga dit uitzoeken en dat uitzoeken" maar hij uiteindelijk dacht: "Deze vragen kan ik helemaal niet beantwoorden..." Hij heeft alleen niet de vragen uit de intro gewijzigd.



Het is echter wel belangrijk dat resultaten verklaard worden, stel voor dat AMD 10% prestatiewinst had geboekt na 9 maanden driverupdates, maar ook meer elektriciteit verbruikte dan tja... Is het dan nog wel eerlijk om te zeggen dat AMD gedurende het leven van de kaart ervoor zorgt dat het met driverupdates meer prestaties biedt? Het zijn dan immers niet de game-optimalisaties die zijn uitgevoerd, maar gewoon een overclock van de GPU. Wil je dus echt de vragen uit de intro beantwoorden, dan moet je ook naar deze factoren kijken.

offtopic:
Lastiger vind ik redactieleden die gelijk in de verdediging schieten wegens een gebrek aan onderbouwde technische kennis.

[ Voor 13% gewijzigd door Frozen op 09-05-2020 01:07 ]

[Redneckerz]

Ch3cker schreef op donderdag 7 mei 2020 @ 15:20:
Dan de inhoudelijke reactie op de posts tot nu toe. Het valt me op dat eigenlijk alleen @-The_Mask- nog post de afgelopen weken, wij vinden dat enorm jammer. Ik hoop dat ook de rest van de volgers van dit topic hun stem willen laten horen.

Je zal zsm een inhoudelijke reactie krijgen. Op het (nieuwe) werk zijn we echter bezig met een migratie (Dat moet vast herkenbaar zijn haha) dus dat schiet er met alle andere zaken/hobbies heel gauw bij in.

Dat is overigens geen excuus, ik ben er domweg nog niet aan toegekomen en om The Mask nu de enige participant in de discussie te laten zijn is ook maar eentonig.

Komt er dus aan, en dan pak ik deze reactie gelijk mee, en dan ga ik ook eens inhoudelijk op de test in die laatst is langsgekomen. Die zal ik wel zo summier mogelijk houden, want die quote kettingen is nu net wat dit hele topic in den beginne zo om zeep hielp.

Ik vermoed dat veranderingen wel een vertragingsslag kennen voordat ze daadwerkelijk in een review terug te vinden zijn. Wellicht kan dat beter aangegeven worden @Ch3cker?

Daarnaast met @max3D dat we niet iedere verandering gelijk neerbranden omdat deze niet naar persoonlijke wens is. Er dient naar goede compromissen gezocht te worden, dat is altijd de strekking geweest van het onderzoek.

[ Voor 19% gewijzigd door Redneckerz op 14-05-2020 13:38 ]

[Ch3cker]

Dank voor jullie reacties! Fijn om te lezen dat er nog steeds mee wordt gelezen, en jullie betrokken blijven. Het zijn nu overwegend positieve reacties, maar ik hoop dat jullie ook vooral reageren op moment dat jullie vinden dat iets beter kan of er iets onduidelijk is.

Wat we de afgelopen tijd hebben gedaan :

• Er zijn twee CPU-reviews online gekomen, hier hebben we veel CPU's voor getest. In de laatste review hebben we voor het eerst de temperatuurtest opgenomen. Ook hebben we in beide reviews geprobeerd om al een iets uitgebreidere testmethode te tonen. We zijn benieuwd naar jullie feedback!
• Wederom hebben we een aantal CPU's (nog niet in de eerdere genoemde reviews opgenomen), aangeschaft als vergelijkingsmateriaal
• We hebben wat onderzoek gedaan naar het verbeteren van onze stroommeting voor processors. We proberen een 'all-in-one' oplossing te vinden voor de meting (volt / ampere / power) die makkelijk afleesbaar is, nog enigszins betaalbaar is én ook een hoge precisie heeft. Als we een wat ons betreft goede kandidaat hebben zal ik dat hier wel even melden.

We zijn op dit moment nog bezig met wat tests voor onze zustersite, Hardware Info. In de tussentijd gaan we natuurlijk gewoon door met het doorvoeren van de aangehaalde verbeteringen.

Dan nog even over de stroom aan 'inline quotes'. Ik snap dat het daardoor wat lastiger lezen is, dus ik zal proberen om dat vanaf nu wat minder te doen. Ik denk wel dat het, de afgelopen tijd in ieder geval, goed is om zo precies mogelijk op zaken in te gaan. Het is natuurlijk niet voor niets dat een vaak aangehaald argument is 'dat er niet op alles antwoord komt'. Ook is het voor veel tests gewoon goed om iets meer de diepte in te gaan. Het nadeel was alleen dat als je op een lange post reageert, je vanzelfsprekend óók een lange post aan het tikken bent. Dat zal hopelijk de komende periode steeds beter gaan.

Ter info : Ik ga er vanuit dat we over een maand of 2 over zullen stappen naar een nieuwere windows versie. Dat betekent dat alle processors weer een hertest krijgen, en er dus ook weer opnieuw gekeken gaat worden naar alle benchmarks. Mochten er dus nog suggesties wat dat betreft zijn horen we ze natuurlijk graag

In de comments onder de laatste review viel mij trouwens nog iets op. Een aantal users vonden het gek dat wij de processors testen met de maximaal ondersteunde geheugensnelheid aangegeven vanuit Intel / AMD. Ik ben benieuwd naar jullie visie hierop!

[-The_Mask-]

Ch3cker schreef op donderdag 28 mei 2020 @ 20:57:
We hebben wat onderzoek gedaan naar het verbeteren van onze stroommeting voor processors. We proberen een 'all-in-one' oplossing te vinden voor de meting (volt / ampere / power) die makkelijk afleesbaar is, nog enigszins betaalbaar is én ook een hoge precisie heeft. Als we een wat ons betreft goede kandidaat hebben zal ik dat hier wel even melden.

Die heb je al gekregen, meer dan een maand geleden.

[Ch3cker]

-The_Mask- schreef op donderdag 28 mei 2020 @ 22:37:
[...]

Die heb je al gekregen, meer dan een maand geleden.

De unit die jij stuurde is zeker een optie, alleen vergt dat wat meer moeite om uit te lezen. We proberen wat opties naast elkaar te zetten om vervolgens de afweging te kunnen maken op basis van de eerder genoemde criteria : makkelijk afleesbaar, betaalbaar, hoge precisie.

[-The_Mask-]

Maar eigenlijk kunnen we dus nog steeds de conclusie trekken dat het onderliggende probleem nog steeds niet is opgelost en het daarom niks wordt. Ik merk namelijk aan alles dat er gewoon niet de kennis is om het goed te doen. Jullie herkennen de problemen niet en zien de oplossingen niet. Zelf als de oplossing aangedragen wordt lopen jullie vast. Nu weer met de stroommeter en hiervoor met de geluidsmetingen. Dus verwacht je nu van ons dat we helemaal gaan uitleggen hoe de stroommeter en geluidsmetingen uitgevoerd moeten worden? Moeten wij dus het hele verhaal gaan uitwerken, testen en de apparatuur zelf kopen?

Maar zelf met de juiste apparatuur heb je natuurlijk nog lang niet een goede review. Kijk gewoon maar naar de voedingsreviews van HWI. Wel de apparatuur, maar niet de kennis om de apparatuur te besturen en ook niet de kennis over voedingen zelf. Waardoor de reviews vol meetfouten, onwaarheden en verkeerde conclusies staan. Hoe wil je dat hier gaan tegengaan?

[ Voor 23% gewijzigd door -The_Mask- op 29-05-2020 13:17 ]

[Ch3cker]

Ik vind het jammer dat je er zo in staat, maar ik begrijp ook dat je je lange tijd niet gehoord hebt gevoeld en er daardoor misschien niet zoveel vertrouwen in hebt. Het enige wat ik kan doen is reageren op je punten, en daadwerkelijk iets te doen met je suggesties in het geval deze onze testprocedures en/of reviews verbeteren.

Zoals al eerder gezegd zal dat niet van de een op de andere dag gaan veranderen. Dat komt ook mede omdat ik denk dat het goed is om áls we dingen dan gaan veranderen, daar goed over na te denken en ons goed te verdiepen in de mogelijkheden voordat er een beslissing wordt gemaakt. Dat is dan ook wat we hebben gedaan met betrekking tot de stroommeting.

Wat betreft de geluidsdichte ruimte heb ik volgens mij al eerder gereageerd. We hebben daar een eerste inventarisatieronde voor gedaan, en helaas bleek het moeilijker te zijn dan gehoopt om een grotere ruimte te realiseren. We gaan daar op een later moment verder naar kijken, voor nu hebben we de meting aangepast naar 30cm. Voor de stroommeting hebben we overigens inmiddels wat dingen besteld bij TinkerForge, dus : to be continued.

[Frozen]

Zoals al eerder gezegd zal dat niet van de een op de andere dag gaan veranderen. Dat komt ook mede omdat ik denk dat het goed is om áls we dingen dan gaan veranderen, daar goed over na te denken en ons goed te verdiepen in de mogelijkheden voordat er een beslissing wordt gemaakt. Dat is dan ook wat we hebben gedaan met betrekking tot de stroommeting.

Gaan jullie dan wel technisch geschoold personeel raadplegen? Want anders zie ik weinig veranderen.

[-The_Mask-]

Ik sta daar zo in omdat het steeds zo blijkt te zijn. Van het begin af aan wordt er alleen maar gezegd dat dingen niet kunnen, dat jullie het niet gaan doen, dat het niet kan, enz. De overeenkomst tussen dit alles is dat men in geen enkel geval duidelijk kan aangeven waarom het niet kan. De reden is echter elke keer simpel, de kennis is afwezig en hierdoor lopen jullie steeds vast. Daarom wordt er ook nooit iets goed uitgelegd en gaan jullie er nooit inhoudelijk op in.

Ook moeten jullie voor elk minuscule stapje vooruit steeds extreem gepusht worden. Nu ook weer met de TinkerForce. Doordat elk stapje zo extreem moeizaam gaat schiet het ook totaal niet op. Elk stapje wordt tot in het maximale gerekt. Voor mij komt het allemaal nog steeds over dat er absoluut geen wil is om iets aan te passen. We zitten nu nog steeds op het punt waarbij jullie zeggen dat er iets gaat veranderen, maar dat punt zaten we een jaar geleden ook. Sterker nog die bewering werd jaren daarvoor ook wel eens gedaan.

Dus als jullie willen overkomen als wel serieus, dan moeten jullie er ook na handelen. Dus inhoudelijk op alles ingaan en niet simpelweg zeggen dat het niet kan. Want hoe kan iemand dan aangeven hoe het wel kan, als jullie alleen maar zeggen dat het niet kan. Daarnaast als jullie echt een beter alternatief willen als de TinkerForce, waarom zie ik dan helemaal niks hierover op GoT of de frontpage? Lijkt mij duidelijk dat je dan niet echt wil.

[kdeboois]

-The_Mask- schreef op vrijdag 29 mei 2020 @ 11:52:
Kijk gewoon maar naar de voedingsreviews van HWI. Wel de apparatuur, maar niet de kennis om de apparatuur te besturen en ook niet de kennis over voedingen zelf. Waardoor de reviews vol meetfouten, onwaarheden en verkeerde conclusies staan. Hoe wil je dat hier gaan tegengaan?

Dat zijn toevallig wel de beste reviews wereldwijd.

Iedere voeding die ik koop is geselecteerd uit reviews van HWI.

Dat niet alles waar is wat er in de review staat is niet zo heel erg. De kenner kan het herkennen en de leek heeft toch niets aan die informatie.

[Redneckerz]

@Ch3cker Je krijgt uiterlijk Dinsdag een uitgebreide reactie van mij.

[Hahn]

kdeboois schreef op zaterdag 6 juni 2020 @ 10:31:
[...]

Dat zijn toevallig wel de beste reviews wereldwijd.

Iedere voeding die ik koop is geselecteerd uit reviews van HWI.

Waar baseer je op dat het de beste reviews zijn? Omdat jij ze als bron gebruikt is geen argument.

Dat niet alles waar is wat er in de review staat is niet zo heel erg. De kenner kan het herkennen en de leek heeft toch niets aan die informatie.

Dit vind ik een heel bijzondere uitspraak. Niet alle fouten zijn even erg, maar een review zou, als het even kan, zo foutloos mogelijk moeten zijn, en je zou geen kenner moeten zijn om bepaalde fouten eruit te halen. Waar is een review anders voor, om niet zo feitelijk juist mogelijk te vertellen over het product..?

[-The_Mask-]

kdeboois schreef op zaterdag 6 juni 2020 @ 10:31:
[...]

Dat zijn toevallig wel de beste reviews wereldwijd.

https://www.techpowerup.c...werplay-gpu-1050fc-1050w/
https://www.tomshardware....-c650-power-supply-review

Lees deze twee reviews eens dan zie je dat er een extreem groot verschil in kwaliteit zit tussen deze twee en die van HWI.

Iedere voeding die ik koop is geselecteerd uit reviews van HWI.

Als je een aantal voedingen hebt gekocht op basis van reviews van HWI dan is de kans groot dat er een aantal miskopen tussen zitten helaas. Regelmatig komt het voor dat een goede voeding bij HWI een slechte beoordeling krijgt door fouten in hun metingen of een slechte voeding een goede beoordeling door de gebrekkige tests en kennis van de reviewer.

Vandaar dat ik eerder aangaf dat het belangrijk is dat de reviews geschreven worden door mensen met verstand van het onderwerp want anders krijg je geen goede review, zelfs als je wel fatsoenlijke apparatuur hebt. Daarom ook mijn vraag aan Tweakers, hoe men dat probleem wil oplossen.

Dat niet alles waar is wat er in de review staat is niet zo heel erg. De kenner kan het herkennen en de leek heeft toch niets aan die informatie.

Een kenner ziet de fouten idd en een leek wordt helaas helemaal verkeerd geïnformeerd. Die had bijvoorbeeld het idee eerst product A te kopen, maar door slechte informatie kiest die dan product B, terwijl product A de veel betere keus was geweest. De kenner negeert de slechte informatie en kiest gewoon product A.

[ Voor 18% gewijzigd door -The_Mask- op 06-06-2020 14:10 ]

[kdeboois]

-The_Mask- schreef op zaterdag 6 juni 2020 @ 14:04:
Als je een aantal voedingen hebt gekocht op basis van reviews van HWI dan is de kans groot dat er een aantal miskopen tussen zitten helaas. Regelmatig komt het voor dat een goede voeding bij HWI een slechte beoordeling krijgt door fouten in hun metingen of een slechte voeding een goede beoordeling door de gebrekkige tests en kennis van de reviewer.

Dat denk ik niet, want ik ben een kenner.

Ik zal die genoemde reviews eens lezen.
Edit: done, onbruikbaar, bij HWI kan ik de test resultaten van een breed scala voedingen vergelijken. Dat is mijn meest gebruikte functie.

Met name de belastings- en geluidstesten van HWI zijn zeer goed.

Hahn schreef op zaterdag 6 juni 2020 @ 13:46:
[...]

Waar baseer je op dat het de beste reviews zijn? Omdat jij ze als bron gebruikt is geen argument.

[...]

Dit vind ik een heel bijzondere uitspraak. Niet alle fouten zijn even erg, maar een review zou, als het even kan, zo foutloos mogelijk moeten zijn, en je zou geen kenner moeten zijn om bepaalde fouten eruit te halen. Waar is een review anders voor, om niet zo feitelijk juist mogelijk te vertellen over het product..?

Dat is mijn mening gepresenteerd als feit. Dat mag ik wel als kenner van mezelf.

De fouten die ze maken zijn mijn inziens niet zo dramatisch als jullie stellen. Denk dat er hier ook wel iets overdreven wordt.

[ Voor 42% gewijzigd door kdeboois op 06-06-2020 14:44 ]

[ANdrode]

-The_Mask- schreef op zaterdag 6 juni 2020 @ 14:04:
[...]

https://www.techpowerup.c...werplay-gpu-1050fc-1050w/
https://www.tomshardware....-c650-power-supply-review

Lees deze twee reviews eens dan zie je dat er een extreem groot verschil in kwaliteit zit tussen deze twee en die van HWI.

Hah, techpowerup is een waardige opvolger van JohnyGuru voor PSU reviews. Ik kende ze van andere delen van de site maar wist niet dat de reviews deze kwaliteit hadden.

[-The_Mask-]

kdeboois schreef op zaterdag 6 juni 2020 @ 14:38:
[...]

Dat denk ik niet, want ik ben een kenner.

Dat is mooi, want daar zijn er veel te weinig van naar mijn mening.

Ik zal die genoemde reviews eens lezen.
Edit: done, onbruikbaar, bij HWI kan ik de test resultaten van een breed scala voedingen vergelijken. Dat is mijn meest gebruikte functie.

Je hebt de hele review gelezen en begrepen in iets van 5 minuten tijd? Wauw dan moet je wel echt een kenner zijn!

Met name de belastings- en geluidstesten van HWI zijn zeer goed.

Hmmm, oké... Jij als kenner ziet de problemen in de test toch ook wel? Kun je aangeven waarom je de fouten in de review geen probleem vind?

[kdeboois]

-The_Mask- schreef op zondag 7 juni 2020 @ 00:04:
[...]

Dat is mooi, want daar zijn er veel te weinig van naar mijn mening.


[...]

Je hebt de hele review gelezen en begrepen in iets van 5 minuten tijd? Wauw dan moet je wel echt een kenner zijn!

[...]

Hmmm, oké... Jij als kenner ziet de problemen in de test toch ook wel? Kun je aangeven waarom je de fouten in de review geen probleem vind?

Welke fouten ?

Heb er geen kunnen ontdekken in de reviews van de door mij gekochte voedingen.

5 minuten was meer dan genoeg tijd om te zien dat de sites die je aangaf geen test vergelijking hadden en slechts een beperkt aantal voedingen getest hadden.

Welke fouten zie jij in de laatste reviews ? Dan kunnen we daar over door gaan.

[-The_Mask-]

Welke fouten? Het staat er vol mee. Lijkt mij vrij lastig als om als kenner hier overheen te lezen.

Het begint er mee dat ze geen mensen hebben met een beetje kennis over voedingen. Hierdoor zal je sowieso nooit een goed stuk kunnen schrijven. Je kunt immers niet iemand informeren of uitleggen hoe het allemaal in elkaar steekt als je het zelf niet snapt. Er worden dus regelmatig allemaal statements gemaakt die vooral gebaseerd zijn op hardnekkige mythes.

Eén daarvan is bijvoorbeeld dat men denkt dat multirail niet beter is dan single rail, deze ontstaat door gewoon een simpel gebrek aan kennis. Als men niet weet wat het is en fabrikanten met alleen maar single rail voedingen promoten dat het beter is dan ga je dat vanzelf geloven als je geen kennis van zaken hebt. Dat is het hele idee van marketing mensen laten geloven dat je het beste product hebt, ook al is dat niet zo.

Naast dat er statements worden gemaakt welke niet kloppen geeft het gebrek aan kennis nog een probleem. Je snapt niet goed hoe je apparatuur werkt. Je weet dus niet hoe je ze moet aansluiten. Je weet niet goed hoe je het moet aansturen. Hierdoor kun je geen goede testmethode opzetten en als iemand anders het voor je opzet, kun je niet een goede testmethode uitvoeren. Je herkend de fouten in je meting namelijk zelf niet.

In één van de laatste tests hadden ze een Cooler Master MWE Bronze V2 aan de apparatuur hangen. Deze voeding had volgens hun continu hoge ripple. Maar dat is niet juist, alleen bij lage belasting is de ripple relatief hoog door de burst modus van de LLC resonant controller. Dit om te voldoen aan de nieuwe efficiëntie standaard van 70% bij 2% belasting. Ik heb ze overigens gemeld dat de ripple meting niet klopt, maar men wou geen hertest doen. Liever duizenden mensen verkeerd informeren dan even een uurtje kwijt zijn om je eigen fouten te herstellen...

Mocht je trouwens denken dat het overdreven is. Dat is het niet. Men weet het echt niet. Iets van 5 jaar terug denk ik, ben ik bij HWI geweest om de loadtesters goed aan te sluiten op het breakout board. Het was zo slecht aangesloten dat men in één van de twee 12V meetpunten soms een spanningsval van een halve volt had! In de reviews toentertijd stond dus altijd één extreem afwijkende 12V. Dit kwam doordat men veel te veel stroom trok door veel te weinig draad. Doordat de basis kennis ontbrak viel dit hun nooit op, zelfs al heeft de voeding eigenlijk altijd maar een 12V bron, het viel niet op dat die ene bron toch twee zoveel afwijkende cijfers kon genereren.

Dit zijn zo een paar dingen die mij te binnen schieten, zonder reviews te gaan lezen. Door te lezen of nog beter door de testmethode volledig openbaar te maken kun je nog veel meer problemen ontdekken. Ik denk dat je zult schrikken hoe slecht de test eigen zijn. Denk dat je nooit meer een test van hun over voedingen gaat lezen.

[pino85]

Mbt voedingen reviews.

Ik denk dat geschoold technisch personeel een must is. Het is een ingewikkelde materie voor de meesten(Inc mijzelf). Het is echt een expertise. Daarom zijn er maar weinig sites die reviews volgens de kenners op een degelijke manier /niveau doen. We hebben hier op Tweakers (got) meerdere mensen die echt zo veel know how hebben.. maar het gros houd zijn mond nu dicht of zijn inactief omdat ze niet begrepen werden in het verleden over deze materie.

Ook betekend het niet dat het prima zou zijn dat we voor middelmatigheid moeten gaan omdat 'bijna alle sites' dit doen.
Ook al zien leken niet of een review of slecht of middelmatig is betekend niet dat we ze dat moeten voorschotelen.

In de laatste 5-7 jaar @-The_Mask- echt op Tweakers maar ook bij hw.info is geweest om daar te laten zien hoe men zaken zou kunnen verbeteren in voeding reviews.
Hij heeft ook enorm vaak in posts punt voor punt de technische zaken uiteen gezet. Maar wat mij op viel was dat het dan voor de mensen die deze testen uitvoerden te ingewikkeld werd. Gebrek aan kennis dus. Omdat mensen het niet begrepen ontstond er veel gedoe, en werd hij toen al weg gezet als 'moeilijk'. Heb alle standaard dood doener reacties zien voorbij komen. Dat is gewoon enorm jammer. Ik zie nu weer een beetje dezelfde sfeer ontstaan en dat is nu juist wat we niet willen toch?

Algemeen,

Waar een wil is, is een weg , maar dan moet er wel echt specialisme in huis zijn, zo niet dan kan men daar keuzes in maken door mensen aan te nemen of de community inschakelen.
Genoeg mensen die willen en kunnen helpen op HQ. Ik zie het vaak voorbij komen dat mensen dit graag willen doen maar er word naar mijn mening te weinig gebruik van gemaakt(ook een keuze) , nu met de Covid-19 tijd is het wat ingewikkelder alle begrip hier voor. Maar dit loopt niet van gisteren natuurlijk.

Mijn punt wat ik had aangedragen over de videokaarten reviews is door @Ch3cker grotendeels overgenomen, daar ben ik content mee. Bedankt daarvoor!

[ Voor 26% gewijzigd door pino85 op 07-06-2020 11:24 ]