[ALGEMEEN] Betrouwbaarheid en perspectief van benchmarks

[418O2]

Regelmatig zie ik nieuwposts van artikels waarin videokaarten worden getest. Dit is allemaal heel leuk en natuurlijk heel informatief.

Maar ik ben van mening dat een benchmark van een kaart pas waarde heeft als er op datzelfde systeem met concurrerende kaarten wordt getest. Want je kan wel verschillende review naast elkaar leggen, maar de systemen waarop getest wordt verschillen constant van elkaar, dus wat is de waarde van de uitkomst van deze tests dan?

[MisteRMeesteR]

ehh.. bij de meeste reviews worden er verschillende kaarten getest op dezelfde mobo/cpu enz combo

[418O2]

dat is ongetwijfeld waar, maar kleine verschillen, zoals bijvoorbeeld raid of niet, p-ata of s-ata, andere memtimings, dual channel mem of niet kunnen al een verschil uitmaken

daarnaast is het OS en zijn instellingen van belang.

imo hebben die benchmarks weinig nut..

[Dr. Donald]

Die benchmarks geven ook niet aan wat voor score jij minimaal zou moeten halen, maar geven je een idee hoe goed een kaart presteerd. In zo'n test gebruiken ze dan voor de verschillende kaarten precies dezelfde instellingen.

edit:

Hoe wou jij anders kaarten vergelijken? Alle technische data naast elkaar zetten? De meeste mensen weten echt niet wat bijvoorde Smooth Shader oid doet, en kunnen dus niet zeggen met die kaart kan ik dat en dat doen, met benchmarks krijg je daar wel een goed idee van.

[ Voor 40% gewijzigd door Dr. Donald op 09-01-2005 22:26 ]

[HeepH]

Dr. Donald schreef op zondag 09 januari 2005 @ 22:23:
Die benchmarks geven ook niet aan wat voor score jij minimaal zou moeten halen, maar geven je een idee hoe goed een kaart presteerd. In zo'n test gebruiken ze dan voor de verschillende kaarten precies dezelfde instellingen.

edit:

Hoe wou jij anders kaarten vergelijken? Alle technische data naast elkaar zetten? De meeste mensen weten echt niet wat bijvoorde Smooth Shader oid doet, en kunnen dus niet zeggen met die kaart kan ik dat en dat doen, met benchmarks krijg je daar wel een goed idee van.

En mss weten ze wel wat smooth shader doet,maar dan nog is het onmogelijk om te bepalen wat het effect is op de prestaties.

Wat de ts bedoelt is denk ik dat sites als bijvoorbeeld toms hardware of [h] benchmarken met elke keer een andere configuratie, en dat 2 verschillende sites de zelfde videokaart,of kaarten, benchen met een andere pc, waardoor de onderlinge vergelijkbaarheid van de resultaten op verscheidene website nihil, tot non existent is.

offtopic:
commentaar op eigen post : moeilijk taalgebruik, en volgens mij nog incorrect ook

[Dr. Donald]

HeefStan schreef op zondag 09 januari 2005 @ 23:13:
[...]


En mss weten ze wel wat smooth shader doet,maar dan nog is het onmogelijk om te bepalen wat het effect is op de prestaties.

Wat de ts bedoelt is denk ik dat sites als bijvoorbeeld toms hardware of [h] benchmarken met elke keer een andere configuratie, en dat 2 verschillende sites de zelfde videokaart,of kaarten, benchen met een andere pc, waardoor de onderlinge vergelijkbaarheid van de resultaten op verscheidene website nihil, tot non existent is.

offtopic:
commentaar op eigen post : moeilijk taalgebruik, en volgens mij nog incorrect ook

Oja, nu ik nog een keer lees, lees ik dat ook.. Ik moet echt beter gaan lezen
Je kunt verschillende reviews idd niet direkt met elkaar vergelijken. Je kunt wel een idee krijgen hoe ze ongeveer presteren, maar als de kaarten dicht bij elkaar liggen heb je toch wel een review nodig waar beide (of meerdere) kaarten tegelijk worden vergeleken. Of je wilt bijvoorbeeld het verschil weten tussen kaart 1 en 2, maar je kunt alleen reviews vinden met óf 1 óf 2. Je kunt dan kijken naar kaarten die in beide reviews voorkomen, dan kun je een omrekenfactor berekenen tussen beide reviews. Dan kom je wel aardig in de buurt

[HeepH]

omrekenfactor
* HeepH vind jou een beetje eng...

Nee even serieus,als ik een review zoek wil ik geen omrekenfactor hoeven te bepalen...Kan er geen algemene-standaard-review-testbak komen ofzo ? Dat elke site exact dezelfde config pakt om mee te testen, en dat deze config om de 3 maanden upgedate word?

Het is in ieder geval makkelijker vergelijken dan

[ Voor 3% gewijzigd door HeepH op 09-01-2005 23:44 ]

[Dr. Donald]

Ik wil ook geen omrekenfactor hoeven te bepalen, het is soms alleen nodig... Zo'n universele testbak zal wel geweldig zijn dan, maar hoe wil je dat organiseren? Wie bepaalt welk systeem gebruikt wordt en hoevaak die verandert? En bovendien wie gaat het betalen? De benchmarks worden nu gewoon uitgevoerd op de pc van de reviewer. Je kunt wel zeggen van dat en dat systeem moet je hebben om te reviewen, maar wie zegt dat de reviewer ook dat systeem wilt hebben. Wat dan een oplossing zou kunen zijn is een computer voor een site, en dat de verschillende reviewers die dan uitwisselen, maar dan krijg je bij de grote internationale sites weer het probleem van de logistiek, hoe komt de computer van de VS in Duitsland?

Het is een mooi idee, maar je krijgt het nooit voor elkaar..

[418O2]

je zou iig af kunnen spreken dat er bijv altijd dezelfde hoeveelheid ram met dezelfde soort hd wordt gebruikt, dan trek je al een aantal kreukels recht

[Puppetmaster]

418O2 schreef op maandag 10 januari 2005 @ 18:12:
je zou iig af kunnen spreken dat er bijv altijd dezelfde hoeveelheid ram met dezelfde soort hd wordt gebruikt, dan trek je al een aantal kreukels recht

én dezelfde proc, én hetzelfde MB/chipset...

maar de meeste sites gebruiken wel 1 testsysteem voor een langere periode, die kan je dan best aardig onderling vergelijken.

verder heb je met GFX-benches altijd 2 botllenecks
1.) de GFX kaart - dit is doorgaans op hoge res+ AA/AF
2.) het systeem - dit doet zich meest voor op lage res + NO AA/AF

als ze nu bij iedere benchmark een grafiekje erbijzetten op 640x480 NO AA/AF, zal bij bijna ieder spel/moderne GFX-kaart het systeem de bottleneck zijn.
deze waardes kan je dan onderling vergelijken voor de verschillende testsystemen

idee?

[SAiN ONeZ]

mee eens, als je een default ati 9800xt 256mb neemt, en een 3dmark03 draait zal je 6700 marks behalen, neem je een nvidia 6800le 128mb, krijg je exact netzoveel marks

Speel je echter in resos hoger dan 1024, zal de LE inkakken (zelfs zonder AA/AF, en met eventueel extra pipes/shaders zelfs enabled..) en speel je met de 9800XT nog beter op 1600x1200 met eventueel 2xAA/4xAF

Blind staren op 3dmarks is ook niet alles...

[Tyranium]

sain onez schreef op dinsdag 11 januari 2005 @ 00:52:


Speel je echter in resos hoger dan 1024, zal de LE inkakken (zelfs zonder AA/AF, en met eventueel extra pipes/shaders zelfs enabled..) en speel je met de 9800XT nog beter op 1600x1200 met eventueel 2xAA/4xAF

Dit heb je toch echt fout. Een gemodde 6800le ( dus 16pipes en 6 vertexshaders)
zal veel betere performance leveren dan een 9800xt, zelfs al speel je op een hoge resolutie met AF+AA. Kijk maar eens naar reviews waar een 9800xt met een
Asus 6800 GT/TD met 128mb vergeleken wordt.

@Topicstarter
Op http://graphics.tomshardware.com worden om een bepaalde periode benchmarks geschreven waarin heel veel videokaarten met elkaar worden
vergeleken. De VGA Charts.

[ Voor 14% gewijzigd door Tyranium op 11-01-2005 19:21 ]

[418O2]

Die ken ik uiteraard wel

Maar er zijn tig andere tech-sites die benchmarks doen in verschillende games met verschillende kaarten en dan is het lastig vergelijk

[Verwijderd]

Puppetmaster schreef op maandag 10 januari 2005 @ 18:36:


als ze nu bij iedere benchmark een grafiekje erbijzetten op 640x480 NO AA/AF, zal bij bijna ieder spel/moderne GFX-kaart het systeem de bottleneck zijn.
deze waardes kan je dan onderling vergelijken voor de verschillende testsystemen

idee?

Idee zou werken, maar ik denk niet dat men een videokaart van meerdere honderden euro's koopt om op 640 * 480 te spelen zonder aa en af. Ik zou juist willen weten hoe zo'n kaart het op hoge reso's met alle eyecandy doet.

[Verwijderd]

Tyranium geeft het goede antwoord. Ome Tom heeft een megagrote test van grafische kaarten. Zelfde systeem met vele videokaarten. Lijkt me aardig nauwkeurig (uiteraard niet compleet) en het beste dat op dit moment voorhanden is.