Voor wat betreft het uitzoeken van methodes waarop populaire games getest kunnen worden zou ik uitgaan van de kennis en ervaring die hiermee reeds aanwezig is bij onder andere Jeroen (Bladeslayer) en Hielko.
Als testplatform gebruiken we een relatief vast systeem, dat regelmatig van een upgrade voorzien wordt om weer up-to-date te zijn naar de op dat moment geldende eisen van een flink gamesysteem.
De ontwikkelingen van de games gaat momenteel sneller dan de cpu's, chipsets en het besturingssysteem. Het is denkbaar dat de hardware een upgraderonde kan overleven waarin alleen enkele games worden vervangen. Een deel van de testresultaten kan daardoor langer bruikbaar blijven. Ik denk dat je zeker om de zes tot acht maanden de games moet aanpassen en misschien tussendoor wel nieuwe games moet toevoegen als deze erg veel impact hebben (bijv. Crysis destijds).
Als uitgangspunt voor het testsysteem zou ik in ieder geval de snelste processor en chipset nemen die je op het moment verkrijgbaar is, zodat de hardware zo lang mogelijk mee kan.
Wordt softwarematig uitgelezen als de kaart idle is en onder volle belasting, en dat terwijl de kaart ingebouwd is in het systeem, voor normaal gebruik. Ter referentie geven we ook overige gemeten temperaturen weer van het systeem (chipset, cpu, ...).
Ik vraag me af of je kunt vertrouwen op een juiste ijking van de temperatuurmeting op de videokaart.
In principe is een meting van het energieverbruik voldoende, aangezien die energie grotendeels in warmte wordt omgezet.
Bij harde schijven heb ik in het verleden temperatuurmetingen gedaan. Mijn ervaring daarmee is dat het erg moeilijk te meten is. Er is veel plaatselijk verschil in temperatuur, verschil in de grootte van de oppervlakte van de harde schijven, invloed van de omgevingstemperatuur, etc. Het energieverbruik is wel zeer betrouwbaarder te meten.
1280x1024 is feitelijk de laagste resolutie die je kunt krijgen in een nieuwe monitor. Er zullen nog wel ergens wat 15 inch modellen zijn of kleinere monitoren voor bijzondere toepassingen, maar die gaat geen enkele gamer kopen. Een lcd (crt's zijn niet relevant meer) wil je het liefst op zijn native resolutie draaien. Het lijkt mij derhalve logisch om bij 1280x1024 te beginnen. Daarnaast 1680x1050, 1900x1200 en eventueel 2560x1600, waarbij de resoluties die getest worden kan afhangen van de positionering van de videokaart. Het heeft vanzelfsprekend geen zin om 2560x1600 te gaan testen op een low-budget kaart. Waardeloos presterende geïntegreerde cpu's kunnen eventueel in een lagere resolutie getest worden.
Voor het bereken van een prestatie-index van alle videokaarten is het noodzakelijke dat bepaalde tests op alle videokaarten worden gedraaid. Dit is iets om rekening mee te houden bij het selecteren van de resoluties en kwaliteitsettings die op de videokaarten uit een bepaald segment worden gedraaid.
Ik vind het zelf geen probleem als er een keer een trage videokaart tussen zou zitten die in een test minder dan 30fps haalt. Weliswaar is de videokaart bij die settings dan niet meer speelbaar, maar het snelheidsverschil met andere videokaarten is wel zichtbaar in de testresultaten en dat bepaald de price/performance van de videokaart. Die vergelijking van price/performance van verschillende videokaarten is feitelijk waar het testen om gaat. Dat je uit de testresultaten ook kunt zien welke resoluties/kwaliteitssettings speelbaar zijn met een bepaalde videokaart is nuttige informatie maar niet het belangrijkste.
Synthetische benchmarks vind ik een waste of time en getuigen van een gebrek aan professionaliteit. Het is niet boeiend hoe snel een game in een benchmark is, je wilt weten hoe hij presteert in games. Synthetische benchmarks kunnen nog wel eens nuttig zijn om meer inzicht te krijgen in de wijze waarop de prestaties van een product tot stand komen. Voor videokaarten lijkt me dit echter niet zo relevant.
3DMark kan handig zijn als je bijv. een videokaart gaat overklokken en snel wilt testen wat de prestatieverbetering is. Voor een serieuze vergelijking van de prestaties van verschillende videokaarten zou ik alleen echte games testen. Het voornaamste nug van 3DMark is dat de mensen het thuis makkelijk kunnen draaien en de resultaten kunnen vergelijken.
CJ schreef op vrijdag 29 februari 2008 @ 23:11:
Toevoegen van RTS games heeft zeker een meerwaarde. RTS games en ook Flight Simulator zijn veel meer CPU limited dan FPS games (FSX gebruikt bv alle 4 cores van een Quadcore en performance verdubbelt daar zo'n beetje wanneer je van Dual Core naar Quad gaat met dezelfde GPU).
Als de framerate in een game cpu-bound is dan is dat een reden om die game niet te gebruiken voor het benchen van een videokaart. Je moet videokaarten alleen testen in games waarin de videokaart de voornaamste bottleneck is voor de prestaties.
[quote[Daarnaast zou ik in de suite ook in ieder geval een game opnemen die gebruik maakt van de Unreal Engine 3 omdat het op dit moment de meest gelicenseerde engine is. [/quote]
Dat is inderdaad een goed argument dat in de selectie van de games meegenomen zal moeten worden. De meest gebruikte rendering engines zouden er in vertegenwoordigd moeten zijn.
Schaalbaarheid: CPU scaling
Bv. Hoe goed schaalt een videokaart (bv een HD3870X2) mee op de meest gangbare resoluties (bv 1280x1024/1600x1200/en hoger) met een E2160, E4500, E6300, E6750, Q6600, QX9650, Athlon64 X2, Phenom X4 etc. Hier kan je RTS games goed gebruiken omdat deze vrij CPU limited zijn. Uit elk segment een CPU gebruiken maakt van een review dat deze niet alleen geschikt is voor de absolute ubertweaker met veel geld die alleen maar de snelste onderdelen in z'n pc wil hebben.
Het is niet te doen om de videokaarten op verschillende processors te gaan testen. Met een beetje redelijke suite van games en resoluties/kwaliteitssettings ben je al een hele dag zoet om een videokaart te testen. Je wilt niet een week bezig zijn met het testen van één videokaart. Vaak worden ze vlak voor een release aangeleverd en moeten er snel resultaten verzameld kunnen worden.
Ik vind het testen op verschillende cpu's ook niet iets dat in een videokaartreview thuishoort. Dit is iets voor een vergelijking van cpu-performance of een vergelijking van upgradecombinaties.
Hielko schreef op dinsdag 04 maart 2008 @ 11:24:
[...]
Dat werkt nog steeds niet helemaal lekker. Omdat je het verbruik uit het stopcontact meet, meet je ook het verbruik van voeding en is de delta in het verbruik niet volledig toe te schrijven aan de videokaart. Afhankelijk van de efficientie - die overigens bij een voeding niet constant is bij verschillende belastingen - zal ca. 25% verbruikt worden door de voeding.
Uiteindelijk gaat het om het energieverbruik aan het stopcontact. Een hogere verliezen in de voeding zorgen voor meer warmte die weer afgevoerd moet worden, een hogere energierekening en meer verspilling van energie. Het is dus zeker relevant om ook de verliezen in de voeding in de meting mee te nemen.
dion_b schreef op donderdag 06 maart 2008 @ 00:58:
De tests moeten zeker gelijkgehouden worden voor alle kaarten, maar gezien de hele drivermodel voor Vista en XP anders is, de performance sterk uiteen kan lopen tussen Vista en XP, en een zeer groot deel van het gamend publiek om die reden Vista (voorlopig) links laat liggen lijkt me het juist relevant. We zijn geen tak van Microsoft's marketingafdeling. Als alle gamers alleen maar Vista gebruiken kunnen we XP altijd alsnog laten vallen, maar zolang een groot deel van het doelpubliek dat zeer bewust niet doet, lijkt het me een goede zaak dat nog niet te doen.
Een prestatievergelijking tussen Vista en XP met enkele videokaarten is leuk om een keer een artikeltje aan te wijden, maar je wilt dit geen vast onderdeel laten zijn van de testmethodiek omdat het gewoon veel te veel tijd kost. Windows XP is een aflopende zaak. Er zullen steeds meer gebruikers overstappen op Vista.
Madrox schreef op zondag 16 maart 2008 @ 00:53:
[...]
De snelst CPU gebruiken voor de benchmarks mag dan optimaal zijn, de relevantie is vrijwel nihil. Juist daarom ben ik ervoor om voor een CPU te kiezen die erg populair is en veel verkocht word.
Dat mag dan een bottleneck geven, maar dan zie je tenminste waar die bottleneck zit en hoe groot die is ipv. ernaar te gissen.
Natuurlijk is het interessant om te weten hoe verschillende videokaarten presteren op een bepaalde processor. In dat geval ben je echter niet bezig met het benchen van een videokaart maar met een benchen van een combinatie van componenten. In een review van een videokaart wil je objectieve metingen kunnen brengen van de prestaties van de videokaart ten opzichte van andere videokaarten en daarvoor wil je dat de prestaties niet belemmerd worden door andere factoren zoals de processor.
Iemand die een videokaart wil kopen wil gewoon weten welk product het beste presteert binnen zijn budget. Deze persoon kan geen eerlijk advies krijgen als prestaties van de videokaarten wordt beperkt door de processor in het testsysteem.