GPU reviews, discutabel beheer variabelen

[Majestici]

Betreft: review: Achtmaal GeForce RTX 4070 Super - Twee zijn superder, een is superst
@Trygve

Het kan natuurlijk een specifiek gekozen strategie zijn, maar wat mij opvalt is het gebrek aan controleren van variabelen bij de testonderwerpen. Prestaties, Geluid en Temperatuur en Stroomverbruik.

Omtrent de prestaties:
Ik begrijp de toegevoegde waarde van "out of the box performance", alleen zijn de verschillen hier ondanks "OC" labels voornamelijk overgeleverd aan de Nvidia GPU Boost techniek, die enkel kijkt naar asic kwaliteit, wat er van de kaart gevraagd wordt en de temperatuur. De fancurve heeft hier bij wijze van spreken meer invloed op, dan welke OC profiel de AIB's hebben toegevoegd. Immers, ik weet dat boven de 50 graden Nvidia curves al 13mhz eraf plukken, bij 60 nog eens 13. Etc. Ik zie in de testmethode niets daarover geschreven staan, noch wordt de temperatuur gelocked voor de tests om dit te overkomen. Zodra je dit zou doen, zullen alle resultaten waarschijnlijk, buiten ASIC kwaliteit, identiek zijn. Wat is dan de toegevoegde waarde hiervan?

Over Geluid en Temperatuur:
Ten eerste ben ik het niet eens met de gereviseerde methode die omschreven wordt, en ook aangehaald door de auteur in de reacties. De enige zinnige manier om de effectiviteit van het koelblok te testen, is door bepaalde variabelen te normalizen. Temperatuur en Geluidsproductie zijn twee aspecten die op verschillende schalen worden uitgedrukt. Je kunt deze dus niet lineair met elkaar vergelijken, dus moet je ze normalizen. Om te testen hoe goed het koelblok werkt, moet je in ieder geval één van de twee normalizen. Meestal dus de geluidsproductie. En dan kijken wat de temperatuur is. Zo zie je hoe goed de druk is die de fans opbouwen, en hoe goed de finstack is met het dissiperen van de warmte. Zie je uitschieters, dan is een andere methode wellicht interessant, door de ventilatoren op vaste toerentallen (meten met sticker op de fan) te testen, en te zien wat de delta is. Een slecht contact van de baseplate kan bijvoorbeeld een zeer geringe delta/range laten zien bij min. RPM en max. RPM. Omdat de bottleneck bij de basteplate zit en nooit de finstack bereikt. Slechte statische druk fans kun je uitsluiten in die test met een k-type op de heatsink. Met die resultaten, kun je dan ook een beter oordeel vellen over hoe goed de out-of-the-box curve is ingesteld door de board partner. Misschien staat hij te langzaam, misschien onnodig luid. Hoe goed de contact is van de basteplate, werken de heatpipes, maken de fans meer herrie dan dat ze druk opbouwen, etc etc.

Stroomverbruik:
Hier ook wordt voor te weinig gecontroleerd. De meest voor de hand liggende is dat niet alle chips gelijk zijn. Silicon lottery is een dingetje, en je kunt 10 dezelfde 4070 super's testen van dezelfde AIB en 10 verschillende resultaten krijgen, alleen al op ASIC kwaliteit alleen. Ten tweede zit er natuurlijk verschil in de hoeveelheid fans die gebruikt worden, en de toerental waar ze op draaien. Sinds ze op het PCB aangesloten zitten, telt dat mee. De derde en wellicht minst voor de hand liggende, maar wellicht meest belangrijke: temperatuur. Na mate een chip warmer wordt, wordt het minder efficient. En dit is meer dan je wellicht doet vermoeden. Hier heb je een test van mijn 6800XT. Ik heb hier een setje grote noctua's op zitten, zie fotos. En ik bestuur ze via Argus Monitor. Ik heb ze even heel langzaam laten draaien en 100%, en ik kan de 6800XT op 100% terug tot 42 graden krijgen. Langzaam 72 graden. Zie hier de resultaten op het verschil in stroomverbruik.

72 graden @ 196W


42 graden @ 171W


Dit betekend dus, omdat jullie out of the box testen, dat de door de AIB ingestelde fancurve invloed heeft op het stroomverbruik. Je test dus niet de efficiëntie van het blok, maar de chip op de ingestelde temp.

Dan is er nog voltage en clockfrequency die je ook zult moeten locken om een eerlijk vergelijk te maken. Zodra je voor al dit beheert, zal de test ook enkel dezelfde ASIC kwaliteit laten zien als de prestaties tab.

Voor mij is de hamvraag, wat moet de consument nu met deze resultaten? Je weet niet na deze review hoe goed het bereik van de koel oplossing is, en zodra je beheert voor variabelen is het lood om oud ijzer qua prestaties en stroomverbruik. En de hoeveelheid info dat er geschreven wordt over bouwkwaliteit, componentkeuze, hoeveelheid coilwhine (dat is iets wat je op bord niveau kunt fixen, kijk maar naar de interviews met de Nvidia engineer @ gamersnexus) ventilatorkeuze (kwaliteit, merk, zijn ze te vervangen, welke lagers gebruiken ze) is vrij sumier. Ik zou op basis van deze reviews niet weten welke nu voor mij is, als ik niet simpelweg mijn eigen heatsink maakte tegenwoordig. Want voor mij zijn alle AIB's dramatisch slecht met het maken van fanshrouds.

[Trygve]

Zo te lezen ben jij net zo enthousiast over de koelerefficiëntietest als wij dat zijn Desondanks hebben we er wel afscheid van genomen. Dat komt door de feedback die we telkens weer terug zagen komen bij round-ups van videokaarten. Lezers wilden meer videokaarten kunnen vergelijken, en daarbij ook een bredere vergelijking kunnen maken met meer/andere gpu’s, om zo een beslissing te maken welk model interessant voor ze is.

Tegelijkertijd kost de koelerefficiëntietest veel tijd om correct en stabiel te voltooien. Die tijd staat niet in verhouding tot de beperkte interesse die lezers in deze resultaten bleken te hebben. We testen en vergelijken nu dus niet meer de koelers of de koelerefficiëntie van videokaarten, maar de videokaarten als geheel. Iets als de efficiëntie van de stroomvoorziening is daar onderdeel van. Een kaart met een inefficiënte stroomvoorziening of een matige koeler zal meer verbruiken en warmer worden. Dat is de realiteit voor (potentiële) kopers van die videokaart, en zo informeren we gericht op wat gebruikers in de praktijk kunnen verwachten.

Het voordeel van de nieuwe testmethode is dat we beter aan de wensen van veel lezers kunnen voldoen, namelijk vaker round-ups publiceren die uit meer videokaarten bestaan.

[Majestici]

Trygve schreef op donderdag 25 april 2024 @ 14:31:
Zo te lezen ben jij net zo enthousiast over de koelerefficiëntietest als wij dat zijn Desondanks hebben we er wel afscheid van genomen. Dat komt door de feedback die we telkens weer terug zagen komen bij round-ups van videokaarten. Lezers wilden meer videokaarten kunnen vergelijken, en daarbij ook een bredere vergelijking kunnen maken met meer/andere gpu’s, om zo een beslissing te maken welk model interessant voor ze is.

Nou ja, zoals je kunt zien van mijn 6800XT neem ik het wellicht extremer dan meeste op om een efficiente koeling hebben, maar ik ben het wel niet helemaal eens dat je alle overwegingen moet laten afhangen van het publiek. De meeste content creators die dit pad volgen, raken niet alleen uiteindelijk de lol ervan kwijt, omdat ze niet doen wat ze leuk vinden. Immers, de testmethodologie verbeteren is denk ik voor menig techneut leuker dan simpelweg out-of-the-box testen. Maar uiteindelijk is het publiek het nooit volledig met je eens, dus je zit dan constant meer water bij de wijn te doen om iedereen te vertellen wat ze willen horen. Tot het punt dat je eigenlijk gewoon niets meer zegt, zoals nu. Deze review kun je op elke manier interpreteren als je wilt. Er is altijd een split door het midden, en voor mij zou het dan juist de uitdaging zijn om je lezers op een hoger niveau te tillen. Schrijf een artikel over de testmethodologie. De redenen erachter, waarom out-of-the-box testen van prestaties, geluidsproductie en stroomverbruik zo bedrieglijk is. Voorbeeld:
https://gamersnexus.net/h...logy-2019-ryzen-3000-prep

Dat soort methodologie artikels schrijven lijkt me voor veel mensen echt wel interessant, en ook leuk voor de redacteur. En ik denk over-tijd dat je publiek bijdraait zodra het een beter begrip krijgt van deze zaken.

Daarbij is de vocale minderheid niet altijd representatief voor het volledige publiek. De meeste mensen kijken pas als ze iets nodig hebben, en bekijken de review lang na publishing. En doen niet echt mee in de discussie onderaan. Ik denk dat jullie zelf ook weten dat het een harde kern is die elke review gaat zitten discussiëren.

Trygve schreef op donderdag 25 april 2024 @ 14:31:
Tegelijkertijd kost de koelerefficiëntietest veel tijd om correct en stabiel te voltooien. Die tijd staat niet in verhouding tot de beperkte interesse die lezers in deze resultaten bleken te hebben. We testen en vergelijken nu dus niet meer de koelers of de koelerefficiëntie van videokaarten, maar de videokaarten als geheel. Iets als de efficiëntie van de stroomvoorziening is daar onderdeel van. Een kaart met een inefficiënte stroomvoorziening of een matige koeler zal meer verbruiken en warmer worden. Dat is de realiteit voor (potentiële) kopers van die videokaart, en zo informeren we gericht op wat gebruikers in de praktijk kunnen verwachten.

Soms moet je je publiek dingen vertellen die ze niet willen horen. Als je informatie gaat weerhouden om niet tegen schenen te willen schoppen, ga je niet iedereen accuraat informeren. Echter weet ik niet tot in hoeveel detail je mijn post gelezen heb, maar dat is niet geheel waar wat je zegt. Niet elke VRM wordt gekoeld door de heatsink, vaak is het een aparte tray. Dat betekend dat dit niet altijd leidt tot een toename in GPU temps. En nogmaals, de fabrikant kan een overweging maken om de GPU temperatuur target hoger te leggen, met gereduceerd fanspeed, en daarme wat meer inefficientie meebrengt maar een lager db(A). Maar de grootste factor van stroomverbruik zal echt wel asic kwaliteit zijn. Omdat er dus helemaal geen kanttekeningen bij de tekst geplaatst worden dat dit zwaar onderhevig is aan silicon lottery, denken je lezers dat de ene fabrikant het beter doet dan de andere.

Trygve schreef op donderdag 25 april 2024 @ 14:31:
Het voordeel van de nieuwe testmethode is dat we beter aan de wensen van veel lezers kunnen voldoen, namelijk vaker round-ups publiceren die uit meer videokaarten bestaan.

Met andere woorden, meer content genereren in minder tijd. Dat klinkt alsof het in het voordeel is van DPG en niet de lezer. Vrij gemeen van me om dit te zeggen maar, zit ik ernaast...? Bedoel, als dit de afweging is die er gemaakt wordt dan heeft het ook geen nut om verbeteringen te suggereren.

[WoutF]

Majestici schreef op donderdag 25 april 2024 @ 16:35:
Met andere woorden, meer content genereren in minder tijd. Dat klinkt alsof het in het voordeel is van DPG en niet de lezer. Vrij gemeen van me om dit te zeggen maar, zit ik ernaast...? Bedoel, als dit de afweging is die er gemaakt wordt dan heeft het ook geen nut om verbeteringen te suggereren.

Je zit ernaast We maken de content niet voor DPG, die maken we voor de lezers van Tweakers. Bij het reviewen en testen van producten moeten we altijd de afweging maken tussen hoeveel tijd de tests bij elkaar duren is en hoeveel producten we testen. Er is simpelweg een bepaalde hoeveelheid tijd beschikbaar en die kunnen we in de breedte of diepte inzetten. Het is enorm leuk om een enkel product helemaal uit elkaar te trekken en zoveel mogelijk aspecten te testen, maar als het dan bij een paar blijft, heb je er als lezer of potentiele koper weinig aan. Zoals Reinoud ook in zijn reactie schrijft, hebben we op basis van lezersfeedback deze keuze gemaakt. Daar heeft DPG helemaal niks mee te maken.

Daarmee is deze discussie w.m.b afgerond