Opstellen reviewprotocol gpu's en videokaarten

Waarom dit topic?

Om hardware goed te kunnen beoordelen, is het eigenlijk van belang dat elke review op dezelfde manier gemaakt wordt en dat er steeds dezelfde benchmarks gedraaid worden en zo. Bovendien zorgt een duidelijk protocol ervoor dat we sneller en vooral beter kunnen gaan reviewen. Daarom gaan we binnen de redactie een aantal reviewprotocollen opstellen voor verschillende producten, zodat met behulp daarvan eigenlijk 'iedereen' de nodige tests kan doen om vervolgens de testresultaten aan te leveren aan diegene die het artikel gaat schrijven.

De eerste productgroep waarvoor we dit willen doen, is voor gpu's en videokaarten, anders plaatste ik dit topic natuurlijk ook niet in dit forum. We hebben bij T.net wel intern wat kennis zitten natuurlijk, maar veel tweakers weten meer dan weinig tweakers en waar anders dan in forum 0 zit dè kennis op dit vlak. Daarom heb ik in samenspraak met de modjes hier besloten om dit topic te openen. De bedoeling is dat we op basis van jullie input tot een volwaardig protocol kunnen komen, dat we gewoon af en toe moeten updaten om weer mee te zijn met de recentste stand van zaken (qua games bvb).


In dit protocol komt dus echt alles te staan. Welke drivers gebruiken we, welke games draaien we, welke settings, welke demo gebruiken we voor die games, ... Maar ook hoe presenteren we de resultaten (genormaliseerd? ten opzichte van wat?), wat gebruiken we als vergelijkingsmateriaal, ...

Reviewprotocol gpu's en videokaarten

Introductie & Hardware

Hier valt weinig aan te 'testen'. Wel moet erop gelet worden dat er voldoende informatie gegeven wordt over het ontwerp van de videokaart, eventueel opvallende zaken aan de koeling, ...

Voor het geven van informatie over de specificaties, kan gebruik gemaakt worden van GPU-Z. We wijzen hierbij onder andere op afwijkende kloksnelheden, maar besteden waar nodig ook aandacht aan het aantal shaders (overklok/unlock-potentieel?). We proberen voor zover mogelijk ook steeds te vermelden welke chiprevisie en geheugenchips gebruikt zijn voor de kaart die we testen (koeler verwijderen).

Daarbij ook de nodige achtergrondinfo/duiding geven: Bij vergelijkingen tussen NV en AMD (en anderen) duidelijk maken dat architecturen van elkaar verschillen en dus niet 1 op 1 te vergelijkingen zijn, zoals mensen dat bv doen met het aantal megahertzen (bv AMD is hoger geklokt, maar toch langzamer en dan even over het hoofd zien dat bv NV met meer dan een dubbele shaderklok werkt en dat de ALUs anders zijn opgebouwd).

We bespreken ook of de kaartbouwer gekozen heeft om het reference design aan te houden of waar er afwijkingen zitten ten opzichte van dat reference design, met eventuele voor- en nadelen van die afwijkingen.

Waar relevant besteden we ook aandacht aan extra's op de kaart zoals hdmi, aansluitingen, hdcp-ondersteuning, ... Ook de retail box komt aan bod, met melding van meegeleverde convertors, games, software, ...

Benchmarks

Testplatform

Als testplatform gebruiken we een relatief vast systeem, dat regelmatig van een upgrade voorzien wordt om weer up-to-date te zijn naar de op dat moment geldende eisen van een flink gamesysteem. Zo blijven resultaten van verschillende reviews nog enigszins vergelijkbaar binnen een bepaalde tijdsspanne, terwijl het systeem toch enigszins up-to-date gehouden wordt. Bovendien is de kans klein dat een review van een kaart van vandaag nog echt vergeleken zal worden met een review van drie jaar geleden, zodat het nadeel van de verminderde vergelijkbaarheid door wisselend basissysteem enigszins beperkt blijft.

Software

Tests worden allemaal gedraaid op Windows Vista en er wordt zoveel mogelijk gebruikgemaakt van de laatste WHQL-drivers van AMD of nVidia zelf. In sommige gevallen zal dat niet mogelijk zijn, waarbij we gewoon op zoek gaan naar de optimale (bèta)-driver waarmee de beste resultaten neergezet worden.

Bench-suite

3DMark06
Lightsmark

• Bioshock
• Call of Duty 4
• Crysis
• Enemy Territory: Quake Wars
• Half Life 2: Episode Two
• Oblivion: Shivering Isles
• Unreal Tournament 3
• The Witcher
• World in Conflict

Bench-instellingen

Moeten nog nader bepaald worden. Op dit moment gaat de voorkeur uit naar een drietal sets instellingen: eentje voor low-end, eentje voor mainstream, en eentje voor high-end. Op die manier blijven resultaten enigszins 'vergelijkbaar' over verschillende segmenten heen en zijn de tests toch realistisch binnen het segment waarin de kaart thuishoort, zodat er ook nog wat zinnigs uit de cijfers te halen valt. Ook de exacte benchmethode per benchmark moet nog bepaald worden, afhankelijk van de settings en zo.

Andere metingen

Geluid

We prikken de kaart in een los moederbord, zonder behuizing of verdere componenten. Voor het OS en de software om de kaart te belasten, maken we gebruik van een ssd-harddisk. Verder worden alle overbodige fans uitgeschakeld en wordt de geluidsproductie gemeten onder load èn idle.

Exacte meetafstand, aantal samples, ... nog te bepalen

Temperatuur

Wordt softwarematig uitgelezen als de kaart idle is en onder volle belasting, en dat terwijl de kaart ingebouwd is in het systeem, voor normaal gebruik. Ter referentie geven we ook overige gemeten temperaturen weer van het systeem (chipset, cpu, ...).

Energieverbruik

We hangen het systeem aan een voltcraft en meten het energieverbruik van het volledige systeem idle, en vervolgens opnieuw terwijl de videokaart flink belast wordt. Hoewel het verbruik niet volledig aan de videokaart toegeschreven kan worden, geeft het wel een indruk van de gulzigheid van de videokaart.

Exacte meetafstand, aantal samples, ... nog te bepalen

Jullie beurt nu

Zoals je ziet is dit nog een vrij grove structuur. Het is de bedoeling om dat, mede dankzij jullie input, uit te kristaliseren tot een compleet en gedetailleerd stappenplan. Roep dus gerust alle opmerkingen, tips, valkuilen, ... Daarbij geldt slechts één belangrijke regel: onderbouw wat je post. Zomaar posten dat X of Y geen zin heeft, daar kunnen we niks mee, als je niet zegt wààrom dat dan wel zo is, natuurlijk.

Deze post zal geregeld geüpdatet worden naarmate dingen duidelijker worden.

Alvast hartelijk bedankt voor het meedenken

Update: 12 maart, 22u45

Yoeri wijzigde dit bericht 12-03-2008 22:45 (52%)

Ik denk zelf dat een resolutie van 800*600 niet meer van deze tijd is, misschien beginnen op 1024*768? Verder zal niet iedereen die 4 games hebben liggen.

Just my 2 cents

ResuCigam wijzigde dit bericht 28-02-2008 16:48 (17%)

quote:

ResuCigam schreef op donderdag 28 februari 2008 @ 16:47:
Ik denk zelf dat een resolutie van 800*600 niet meer van deze tijd is, misschien beginnen op 1024*768? Verder zal niet iedereen die 4 games hebben liggen.

Just my 2 cents

Mja, met een spel als Crysis kan die lage resolutie wel nuttig zijn

Wat die games betreft volg ik je niet zo; als we ze op de redactie maar liggen hebben om ze te testen toch. Het is niet de bedoeling het spel te testen, het is de bedoeling een indicatie te geven van heo de videokaart presteert, en dat doe je gewoonlijk met een aantal recente spellen. Het is dus zaak een aantal 'representatieve' games uit te kiezen waaruit eenieder voor zich kan afleiden welke kaart voor zijn situatie beter geschikt is.

Met betrekking tot Demo afspelen en Logging ->

Voor het vaststellen van FPS, is fraps een van de opties.

http://www.fraps.com/faq.php#fps:

How can I average the framerate between two points?
While in the game press the key you assigned to the Benchmarking Hotkey. This will mark the start of where averaging is to take place. A green box is displayed to let you know that logging has begun, and then the counter is removed for maximum accuracy. When you want to end the benchmark, press the Hotkey again. The average framerate will now be displayed in a red box. Full details are also saved in the file FRAPSLOG.TXT in your Fraps folder, and into the benchmark directory if you have detailed statistics enabled.

Het mooie van fraps is dat je dan een gestandaardiseerde manier van logging hebt.

Alternativ wijzigde dit bericht 28-02-2008 17:07 (63%)

Stalker lijkt mij geen voorbeeld van representatieve game. Het is slecht geschreven, bevat veel bugs en er zijn een x aantal patches van in omloop. Neem iets wat goed doorschaalt, HL2, UT3 of FEAR bijvoorbeeld.
Daarnaast is 800x600 op het moment echt niet meer interessant, zelfs niet bij crysis.

Voor de temperatuur gewoon een elektrische thermometer aanschaffen en gebruiken voor de temperatuur van de heatsink en het geheugen te meten. Softwarematig kan je dan de temperatuur van de core uitlezen. Met deze methode kan je ongeveer bekijken of de koeling effectief is en hoeveel hitte afgevoerd moet worden door lucht in je kast.

Voor je vragen over drivers en timedemo's moet je gewoon de fora in de gaten houden. Vooral die hard oc fora zullen snel beschikken over de beste drivers, al wordt er regelmatig hier op GoT ook een release geleaked. Zelf een timedemo opnemen is ook niet al te veel werk.
Succes iig.

quote:

Yoeri schreef op donderdag 28 februari 2008 @ 16:51:
[...]
Wat die games betreft volg ik je niet zo; als we ze op de redactie maar liggen hebben om ze te testen toch.

Sorry dan heb ik de TS verkeerd begrepen, ik dacht dat het om onze (gebruikers) reviews ging.

Benchmarks e.d. zijn natuurlijk leuk, maar ik vind naast de snelheid van een kaart ook dingen belangrijk als:
stroomverbruik
beeldkwaliteit
warmteproductie

Daar zijn natuurlijk ook dingen voor te bedenken. Wattmeter aan het systeem, thermometer op de videokaart en een zo objectief mogelijke beoordeling van de beeldkwaliteit (al is dat laatste natuurlijk wat moeilijk, maar denk aan dingen als ghosting, tearing en nog wat andere dingen).

Wil je dit soort dingen ook mee gaan nemen of niet?

Later post ik nog wel wat meer, maar op het eerste gezicht:

Vast systeem. Dat de kaart de bottleneck moet zijn begrijp ik, maar ook op gelijke resoluties zorgt een snellere cpu voor meer frames per seconde. Zolang mogelijk een vast systeem gebruiken, een quadcore met meer dan 2GB geheugen op een P35/X38/X48 chipset, dat gebruikt tenslotte het meerendeel van de gebruikers (Behalve QuadCore).

Resoluties, alle resoluties is veel werk, zelf zou ik de meestgebruikte wederom doen, en een 2560x1600 voor de zware belastingen. Dus 1024x768 - 1280x1024 - 1680x1050 / 1600x1200 - 1920/2560. Wat ik ook een belangrijk nadeel bij veel andere reviewers vind, is dat ze de neiging hebben om de hoge resoluties alleen met AA aan te testen. Het liefst zie ik ze ook zonder AA omdat ik langer met een kaart wil doen dan 1 jaar. Later wil ik dus spellen zonder AA spelen maar nog wel op een hoge resolutie.

Hardware:
Sommige mensen hechten veel waarde aan de revisie van de chipset (koeler eraf halen) en de gebruikte geheugenchips.

Andere metingen: Stroomverbruik!
Bij een gelijk systeem kun je altijd de input meten met de Voltcraft, als je telkens een ander systeem in elkaar zet, moet je daar ook rekening meehouden.

--
Moet nu gaan, erg leuk dat jullie dit in de groep gooien

Waarop alleen First Person games ?
Misschien goed om eens wat meer across-the-board te testen,
met strategy-games als World in Conflict, Civilization IV etc.,
Race-games als NFS, DiRT etc.

Die renderen anders, dus misschien laten die wel bepaalde sterktes en/of zwaktes zien die in FP-games minder snel opvallen ?

Ik denk niet dat Civ IV een dusdanige belasting is dat je er wat van gaat merken als je een mindere kaart neemt. Lijkt me slecht dus, maar wel een idee om wat meer diversiteit in de games aan te brengen.

MS Flight Sim X wil ook wel graag wat graka-power meen ik?

Civ4 moet je niet onderschatten. Vergeet niet dat we hier niet alleen high-end dingen gaan benchen, maar ook integrated VGA. En Civ4 is uitgerekend iets wat niet op een GMA9xx draait, marginaal op een X3xxx en best redelijk op en X1250 of 7150.

Ben het verder met Terw_Dan eens, stroomverbruik is een relevant punt om mee te nemen, ook omdat je met verbruik icm temperatuur de efficiency van de koeling kunt bepalen.

Overigens is het mbt koeling en temperaturen belangrijk om vast te stellen in wat voor kast en met wat voor airflow (zijkant open of dicht) getest wordt. Voor de hand ligt een vrij grote kast met alleen voor en achter casefans (niet zijkant/bovenkant) en te benchen met dichte zijkant. Dit levert goede en met name reproduceerbare airflow op.

Oblivion kan ook redelijk makkelijk worden gebencht. Je gaat in een redelijk bosrijke omgeving staan, je drukt de automatische toets voor lopen in (Q was dat uit mijn hoofd) , zonder dat hij natuurlijk vast blijft zitten. Na een paar heb je de optimale route gevonden en maak je gewoon een save game van je plek. Dan laat je Fraps meten voor 60 seconden. Het poppetje loopt door en bij 60 seconden stopt fraps. Je krijgt dan een file met min/gem/max. Dan even Oblivion opnieuw opstarten en weer herhalen.

Deze methode is al eerder gebruikt om videokaarten te testen(bij T.net) En het heeft zich dus ook in de loop vd tijd zichzelf bewezen. Het kan misschien nog wel makkelijker door een script te laten afspelen.

De savegame die is gebruikt voor de videokaarten heb ik ook nog wel ergens.

Met het meten van geluidsproductie is het van belang om rest van de fans uit te schakelen. Een simpele schakelaar will do the job. En dan voor het testen eerst een paar waardes noteren van de omgeving. En dan om 5 seconden aantal dB opschrijven, en gemiddelde van nemen

Bladeslayer wijzigde dit bericht 28-02-2008 19:29 (14%)

Feit is wel dat geluid op sommige frequenties storender is dan andere frequenties.
Nemen jullie dat ook mee? (lijkt me wel lasitg trouwens).

quote:

Bladeslayer schreef op donderdag 28 februari 2008 @ 19:26:
[...]

Met het meten van geluidsproductie is het van belang om rest van de fans uit te schakelen. Een simpele schakelaar will do the job. En dan voor het testen eerst een paar waardes noteren van de omgeving. En dan om 5 seconden aantal dB opschrijven, en gemiddelde van nemen

Niet zo simpel ben ik bang - bij een rechttoe-rechtaan fan werkt het wel, maar als de fan temperatuurgestuurd is en je schakelt andere fans uit, dan stijgt temperatuur onvermijdelijk, waardoor deze fan dan harder gaat blazen en meer herrie maakt.

Hoe het wel te doen... goede vraag, moeten we nog even over nadenken

Ik ben laatst tegen een benchmark opgelopen die ik wel goed vind:
Lightsmark (http://www.lightsmark.com/) misschien een idee om even naar te kijken?
Op www.kustompcs.co.uk wordt het nu ook gebruikt om onderling prestaties te vergelijken, de cpu speelt er vrijwel geen rol in naar mijn weten.

Hieronder een aantal tips voor een GPU reviewprotocol.

Specificaties
Bij vergelijkingen tussen NV en AMD (en anderen) duidelijk maken dat architecturen van elkaar verschillen en dus niet 1 op 1 te vergelijkingen zijn, zoals mensen dat bv doen met het aantal megahertzen (bv AMD is hoger geklokt, maar toch langzamer en dan even over het hoofd zien dat bv NV met meer dan een dubbele shaderklok werkt en dat de ALUs anders zijn opgebouwd).

Ontwerp
Duidelijk vermelden of iets gebruik maakt van het reference design of van een custom design. In het geval van een customdesign is een vergelijking met het referencedesign wel leuk, zeker wanneer men kijkt naar het stroomverbruik, cooling, voltages, overklokbaarheid etc.

Te gebruiken drivers - Alleen WHQL
AMD: elke maand is er een nieuwe Catalyst die generiek werkt op alle desktop GPUs, dus altijd de meest recente gebruiken. Daarnaast ook controleren of er een officiele hotfix is uitgebracht voor een nieuwe game. Voor die nieuwe game dient dan alleen de hotfix te worden toegepast en niet voor andere games, omdat een hotfix vaak alleen voor die ene game specifieke optimalisaties bevat die nog niet uitvoerig getest zijn en dus in andere games problemen kunnen veroorzaken.
http://game.amd.com/us-en/drivers_catalyst.aspx
NV: deze zijn wat minder regelmatig, maar ook zij weten er om de zoveel tijd een WHQL driver uit te pompen, aangevuld met af en toe een beta/hotfix. Ook hier geldt hetzelfde voor wat betreft het gebruik van hotfixen/beta's.
http://www.nvidia.com/Download/Find.aspx?lang=en-us

Gamessuite
Toevoegen van RTS games heeft zeker een meerwaarde. RTS games en ook Flight Simulator zijn veel meer CPU limited dan FPS games (FSX gebruikt bv alle 4 cores van een Quadcore en performance verdubbelt daar zo'n beetje wanneer je van Dual Core naar Quad gaat met dezelfde GPU).

Daarnaast belasten RTS games de GPU vaak op een hele andere manier (en soms zelfs intensiever) dan een gemiddelde FPS game: veel units in de detail, explosies, soepel in- en uitzoomen met veel actie op je scherm... dat vraagt bv veel geometryshading/vertexshading power en misschien iets minder van de pixelshadingpower. Het is alleen moeilijk te benchen omdat geen enkele battle hetzelfde zal zijn.

Voorbeeld games:
- Anno 1701
- Civ4
- C&C Tiberium Dawn
- Company of Heroes

Daarnaast zou ik in de suite ook in ieder geval een game opnemen die gebruik maakt van de Unreal Engine 3 omdat het op dit moment de meest gelicenseerde engine is. Dus een van de onderstaande zou zeker niet misstaan:
- Unreal Tournament 3
- Rainbow Six
- Bioshock

En ook een game zoals World of Warcraft en/of Guild Wars die door de grote massa gespeeld wordt (resp meer dan 10 miljoen en 5 miljoen mensen), zou ik opnemen in de testsuite. Het zijn dan misschien niet de meest veeleisende games, maar het zijn wel superpopulaire games. De kans is groot dat iemand die een videokaart koopt, ook een van deze games speelt en dan is het leuk om een vergelijking te hebben. In WoW kan je bijvoorbeeld een fly-through (op wyvern/gryphon) gebruiken door drukbevolkte gebieden om de gemiddelde framerates op te meten.

Schaalbaarheid: CPU scaling
Bv. Hoe goed schaalt een videokaart (bv een HD3870X2) mee op de meest gangbare resoluties (bv 1280x1024/1600x1200/en hoger) met een E2160, E4500, E6300, E6750, Q6600, QX9650, Athlon64 X2, Phenom X4 etc. Hier kan je RTS games goed gebruiken omdat deze vrij CPU limited zijn. Uit elk segment een CPU gebruiken maakt van een review dat deze niet alleen geschikt is voor de absolute ubertweaker met veel geld die alleen maar de snelste onderdelen in z'n pc wil hebben. Niet iedereen zal een HD3870X2 op een QX9650 gebruiken. Genoeg mensen die hem op een mainstream dualcore zullen gebruiken.

Framerates
- Minimum
- Average
- Maximum
Veel mensen hebben liever een game die gemiddeld 40fps draait en dipt naar 30, dan een game die 50fps draait maar dips vertoont naar 10fps. Belangrijk dus om in ieder geval het minimum en het gemiddelde te vermelden. En vaak kunnen driverupdates hier ook wat aan veranderen. Veel reviews laten alleen het gemiddelde zien waardoor er niks verandert lijkt, terwijl mensen toch melden dat de boel 'soepeler' loopt in bepaalde games. Dit ligt vaak vooral aan de minimum framerates.

IQ vergelijking
- AA modi: niet alleen 4x, maar ook 8x AA. Er komen steeds snellere kaarten uit die 8xAA aan kunnen. Ook leuk om te zien hoe deze daarin presteren. Er zijn mensen die een highend kaart kopen om heel erg veel FPS op het beeld te krijgen, maar ook een grote groep mensen koopt een highend videokaart zodat ze alle eyecandy aan kunnen zetten. Dit geldt natuurlijk niet voor low-budget en in mindere mate midrange kaarten. Alhoewel met het tempo waarin de performance van de midrange nu omhoog gaat, zal het niet lang meer duren voordat 8xAA ook daar gemeengoed is.

---

To be continued als ik meer tijd heb. Tot zover my 2 cts.

ff van me laten horen:
Ik zie al zeer interessante dingen, verwacht na het weekend een geüpdatete versie van de startpost

Wat ook wel interessant is, wat HardOCP ook doet, de ervaring van de reviewer(s) te noteren. Wat gamet nou echt lekkerder?

Het liefst natuurlijk meer dan 1 ervaring of dat een andere reviewer het verslag peer reviewed. Lekker uitgebreid dus .

Laat ik ook eens wat input geven:

quote:

Hier zijn er twee opties: een vast testplatform dat af en toe eens up-to-date gebracht wordt, of steeds een wisselend testplatform. Voordeel van dat eerste is dat je de evolutie van de kaarten zelf beter kunt opvolgen. Ik opteer op dit moment echter om bij het reviewen steeds te proberen te zorgen voor de best beschikbare hardware, om zo de gpu/videokaart tot bottleneck te maken. Op die manier zeggen de resultaten imo immers meest over de kaart die we testen.

Ik zou kiezen voor testplatform die regelmatig up-to-date wordt gebracht, maar het is niet nodig hem bij (bijna) elke review te updaten. Als Intel/AMD met een processor komt die 5% sneller is dan het vorige topmodel boeit dat echt niet voor een videokaartenreview:

1. Vaak zijn benchmarks op de hogere resoluties al helemaal gpu gelimiteerd en zorgt een snellere cpu niet voor betere presaties
2. Het heeft geen effect op de relatieve prestaties. Als de ene kaart 5% minder presteert door een kleine cpu bottleneck heeft de andere kaart hetzelfde nadeel
3. De meeste van onze gebruikers zullen ook niet beschikken over de allersnelste cpu, of overwegen deze aan te schaffen. Testen met een wat betaalbare processor geeft de gebruiker een realistischere beeld met betrekking tot de framerates die hij zelf ook zou kunnen halen.

Daarnaast heeft het niet zo snel wisselen van testplatform het voordeel dat resultaten langer vergelijkbaar zijn, alhoewel de houdbaarheid door driverupdates wel beperkt is. Maar hoe langer resultaten van verschillende reviews onderling vergelijkbaar zijn, hoe beter.

quote:

Belangrijkste vraag aan jullie: waar en hoe halen we dus optimale drivers vandaan?

Videokaartdrivers kunnen altijd zonder problemen van de site van amd/nvidia gehaald worden. Ik gebruik iig gewoon altijd de recenste driver die daar te vinden is (dit is immers ook wat de gebruiker zal installeren). Uitzondering zijn natuurlijk nog niet uitgebrachte kaarten waarvoor vaak een beta driver van ati/nvidia nodig is.

quote:

Besturingssysteem: Vista / XP. Hoewel veel gamers bij XP blijven zweren, duiken er nu al af en toe tests op waarvoor Vista een vereiste is. Het lijkt me dan ook het meest logische om steeds alle tests zowel op Vista àls op XP te draaien.

Dat zou ik niet doen, simpelweg omdat je daar heel veel werk mee op de hals haalt en het niet echt veel toevoegd. Je kan - zeker met het blik op de toekomst - het beste kiezen voor Windows Vista en dan een mix van DirectX 9, DirectX 10 en OpenGL-titels.

quote:

Te draaien benchmarks

Die lijst daar is - als je het echt goed wilt doen - te kort. Zie bijv. een willekeurige review van AnandTech voor een flinke lijst met geschikte games. Zelf test ik nu met:

- Crysis
- Company of Heroes: Opposing Fronts
- Enemy Territory: Quake Wars
- Half-Life 2: Episode 2
- 3DMark06

Dat zijn alle games/benchmarks die goede ingebouwde mogelijkheden hebben op de framerate te testen. Call of Duty 4 en The Elder Scrolls IV: Oblivion hebben als nadeel dat er geen ingebouwde benchmarkfunctionaliteit inzit. Dan moet je met fraps handmatig een scene uitzoeken en daar doorheen lopen, maar dat is vaak niet betrouwbaar omdat je nooit exact dezelfde weg kan volgen. Dus dan zal je het een aantal malen moeten doen, het gemiddelde van nemen, en dat als resultaat opschrijven.

Voor sommige erg populaire titels zoals Call of Duty 4 wellicht een goed idee, maar ik zou verder zoveel mogelijk proberen dergelijke benchmarks te vermijden. Het is arbeidsintensief en nite zo betrouwbaar.

Overigens zal deze lijst regelmatig geupdate moeten worden, als er een nieuwe grote titel verschijnt die geschikt is kan die meegenomen worden en een wat oudere, niet meer zo belangrijke titel, kan er dan af.

quote:

Resoluties: alle standaardresoluties vanaf 800x600 tot zo hoog mogelijk, lijkt me het zinvolst

Dat lijkt me niet het handigst. Je kan het beste een paar (bijvoorbeeld drie) resoluties kiezen die het relevanst zijn. Voor een budgetkaart kies je bijv. voor 1024x768, 1280x1024 en 1650x1080 en bij een high-end kaart kies je voor 1650x1080, 1920x1200 en 2560x1600. Een high-end kaart testen op 1024x768 is net zo min interessant als een budgetkaart op 2560x1600.

quote:

Geluidsproductie: in een afgesloten kast met de kaart idle en onder belasting

Je kan beter de geluidsproductie meter zonder kast en met alle andere fans uit. Als je dat niet doet kan je waarschijnlijk niet eens het verschil tussen twee videokaarten meten. Hierbij is het overigens aan te raden om een passief gekoelde voeding te gebruiken en een testsysteem met 1 harde schijf die in een geluidsisolerende behuizing is geplaatst.

quote:

Temperatuur: softwarematig? gesloten kast? probleem is dat het nog een beetje realiseerbaar moet blijven, het handigste is natuurlijk de temps softwarematig uitlezen, maar da's dan weer niet het betrouwbaarste. Input welkom.

Hardwarematig is ook absoluut niet betrouwbaar omdat je de temperatuursensor niet of nauwelijks vlak bij de core zal kunnen plaatsen. Je zal waarschijnlijk bij elke videokaart een stuk van het koelblok moeten wegschuren als je dat wilt doen: imo niet haalbaar.

quote:

stroomverbruik
beeldkwaliteit
warmteproductie

Wil je dit soort dingen ook mee gaan nemen of niet?

Dat lijkt me wel, hoewel ik de beeldkwaliteit niet standaard in elke review zou willen behandelen. Het gebeurt niet vaak dat er wat dat betreft iets veranderd.

quote:

Framerates
- Minimum
- Average
- Maximum

Opzich interessant, maar helaas niet mogelijk bij veel/de meeste benchmarks.

quote:

- AA modi: niet alleen 4x, maar ook 8x AA.

Ik vind het zelf het beste om slechts 1 modi te testen. Sommige mensen willen de prestaties zonder AA zien, andere 2x en weer andere 4x/8x. Vaak zijn dit soort dingen wel aardig om te weten of daar verschillen inzetten, maar je moet ook een beetje de presentatie van de review in je achterhoofd houden. Als je elke game met 10 verschillende instellingen test dan krijg je een enorme hoeveelheid resultaten, grafieken en cijfertjes waarbij het overzicht totaal verloren gaat. Mede hierom zou ik ook een beperkt aantal resoluties testen en slechts 1 besturingssysteem.

De extra gegevens zullen niet significant veel toevoegen en slechts een kleine groep mensen maak je er blij mee. De overige mensen krijgen een review voor de kiezen met zoveel gegevens dat het overzicht snel helemaal weg is. Oftewel: ik denk dat je de review voor meer mensen minder aantrekkelijk maakt als je zoiets doet, dan dat het voor de andere groep aantrekkelijker wordt.

Met CoD4 kan je een timedemo opnemen. En die kan je later gemakkelijk afspelen, en met fraps kan je natuurlijk gem FPS meten. Geen inbuild benchmark, maar wel genoeg functies om het te maken

En helaas is het niet altijd mogelijk om WHQL drivers te gebruiken. Zeker als je de review op de launchdag openbaar maakt. Vooral met de high-end speciale kaarten, bijv de 7950GX2. Dan ben je gewoon genootzaakt om een beta driver te gebruiken. Omdat het anders simpel weg niet werkt.

Mijn gamebenchmark lijst zou zijn:

Crysis
Bioshock/UT3
Company of heroes
Oblivion
World in conflict

Lijkt mij een aardig begin, maar ik zou er iets meer nemen. Even voor the record, de lijst de AnandTech gebruikt. Zoals je ziet ongeveer de lijst die jij voorstelt gemixt met het lijstje van mij.

- Bioshock
- Call of Duty 4
- Crysis
- Enemy Territory: Quake Wars
- Half Life 2: Episode Two
- Oblivion: Shivering Isles
- Unreal Tournament 3
- The Witcher
- World in Conflict

quote:

Hielko schreef op zaterdag 01 maart 2008 @ 18:20:
Lijkt mij een aardig begin, maar ik zou er iets meer nemen. Even voor the record, de lijst de AnandTech gebruikt. Zoals je ziet ongeveer de lijst die jij voorstelt gemixt met het lijstje van mij.

- Bioshock
- Call of Duty 4
- Crysis
- Enemy Territory: Quake Wars
- Half Life 2: Episode Two
- Oblivion: Shivering Isles
- Unreal Tournament 3
- The Witcher
- World in Conflict

Ik zou toch echt voor het benchen van integrated GPUs nog een aantal dingen met wat lagere eisen toevoegen. Als ik deze waslijst zie, denk ik dat er niet een tussenzit die op een G45 boven de 10FPS uit gaat komen. Civ4 was al genoemd, iets in die regionen zou handig zijn - en ja, bij fatsoenlijke losse GPUs zou het al snel CPU limited zijn, maar goed, het beste wil je een reeks van apps van GPU extensief (goed voor UMA) via middelmatig GPU intensive (games van eerdere generatie, RTSsen van nu) tot echte high-end monsters (Crysis enzo). Dat zijn ook de verschillende profielen van users namelijk.

Voor het benchmarken van integrated gpu's en ultra budget kaarten zou ik niet direct willen kiezen voor compleet andere benchmarks, maar eerder voor andere instellingen. Bijv.

igp: 800x600, 1024x768 en 1280x1024 (allemaal zonder FSAA en AF)
budget: 1024x768, 1280x1024 en 1650x1080 (allemaal met 4x FSAA en 16x AF)
high-end: 1650x1080, 1920x1200 en 2560x1600 (allemaal met 4x FSAA en 16x AF)

Ik denk dat de next-gen generatie igp's wel rond de 30fps kan halen op 1024x768, AMD's 690G-chipset komt nu al bij de wat minder zware benchmarks (hl2:ep2 bijv.) al een heel eind. Daarnaast kan je ook nog kiezen om andere grafische instellingen omlaag te zetten, ipv high wat eigenlijk standaard is bij videobenchmarks zou je voor medium kunnen kiezen. Maar echt belangrijk vind ik dit eerlijk gezegd ook niet, immers: als je wilt gamen koop je toch geen mobo met geintegreerde graphics, daar is het simpelweg te langzaam voor.

Dat gezegd hebbende er is wel iets voor te zeggen om bij de ultra low end benchmarks ook een paar wat oudere games op te nemen, omdat _als_ je iets zal willen spelen dat het toch vaak zal worden (aangezien de nieuwe games toch niet echt soepel zullen werken). Civ 4 is denk ik niet zo'n goede keuze, want volgens mij is dat spel zowieso zwaar cpu gelimiteerd. Misschien iets als Counter-Strike:Source, 3dMark05, C&C:Generals, Warcraft 3 om maar een paar titels te noemen.

C&C Generals heeft daarentegen zo'n brakke engine dat je de GPU niet zwaar kan belasten, met 8 spelers spelen en het spel loopt binnen 10 minuten half vast..

CS:Source lijkt me dan ook een goed alternatief evenals HL2 (wordt ook nog veel gespeeld volgens mij door mensen die het nog niet gespeeld hebben), Civ 4 lijkt inderdaad erg CPU limited. Warcraft 3 draait nog op mijn laptop (met een ATi Radeon 7000Mobile), niet perfect, maar het draait wel: elke huidige IGP draait WC3 dus met gemak zou ik zo zeggen. Een spel als NFS: Most Wanted zou eventueel ook getest kunnen worden bijv. als ouder spel? Volgens mij voor LAN nog steeds populair aangezien Carbon en ProStreet volgens mij geen LAN functie hebben.

quote:

Sp!tF!re schreef op zondag 02 maart 2008 @ 09:28:
C&C Generals heeft daarentegen zo'n brakke engine dat je de GPU niet zwaar kan belasten, met 8 spelers spelen en het spel loopt binnen 10 minuten half vast..

Hangt af van map in kwestie, maar het is idd in staat om ook te pas en onpas een zeer fatsoenlijk systeem op z'n knieen te krijgen. Volstrekt ongeschikt voor benchmarks - wel leuk om te spelen als je een speelbare map hebt

quote:

CS:Source lijkt me dan ook een goed alternatief evenals HL2 (wordt ook nog veel gespeeld volgens mij door mensen die het nog niet gespeeld hebben), Civ 4 lijkt inderdaad erg CPU limited.

Integendeel. Het draait prima op een AthlonXP met een sloot RAM en een GeForce4Ti, maar op een Core2Duo laptop met GMA950 kun je het vergeten. Lijkt me redelijk GPU-limited dan

quote:

Hielko schreef op zaterdag 01 maart 2008 @ 21:20:
Voor het benchmarken van integrated gpu's en ultra budget kaarten zou ik niet direct willen kiezen voor compleet andere benchmarks, maar eerder voor andere instellingen. Bijv.

[...]

Maar echt belangrijk vind ik dit eerlijk gezegd ook niet, immers: als je wilt gamen koop je toch geen mobo met geintegreerde graphics, daar is het simpelweg te langzaam voor.

Dat gezegd hebbende er is wel iets voor te zeggen om bij de ultra low end benchmarks ook een paar wat oudere games op te nemen, omdat _als_ je iets zal willen spelen dat het toch vaak zal worden (aangezien de nieuwe games toch niet echt soepel zullen werken). Civ 4 is denk ik niet zo'n goede keuze, want volgens mij is dat spel zowieso zwaar cpu gelimiteerd. Misschien iets als Counter-Strike:Source, 3dMark05, C&C:Generals, Warcraft 3 om maar een paar titels te noemen.

Als je in VB naar de "Welke ... moet ik kopen?"-topics kijkt (sowieso niet de bedoeling, maar ze worden toch regelmatig gepost) zie je dat de meesten niet gaan over de vraag of iemand een 8800GT(X) of een HD3870 (al dan niet X2) moet nemen _{waar boekdelen over te vinden is}, maar juist over situaties van een budget van EUR 50 voor GPU en de vraag of IGP of losse GPU voor dat budget toereikend is voor Crysis...

Misschien relevant om te gaan bepalen exact wat we willen reviewen/benchmarken. Als we ons alleen maar focussen op de 'enthousiast' market vinden we het wiel opnieuw uit. In het beste geval kunnen we het niveau evenaren van andere sites met jarenlange ervaring. En OK, wij doen het dan in NL, wat dan weer onderscheid geeft, maar goed, kijk naar het profiel van een 'enthousiast' - hij kan prima EN-talige info verzamelen. Dat geldt veel minder voor Jan-met-de-Pet, de soort persoon die met EUR 50 Crysis wil draaien, maar geen benul heeft dat wel eens onmogelijk zou zijn. Op dit moment is er maar een site die consequente benchmarks doet van high- tot low-end GPUs, en dat is THG. Geen toeval dat we hier in de FAQ naar Tom's VGA charts verwijzen... Toch is ook bij THG de dekking qua low-end kaarten nogal patchy en ontbreken integrated GPUs

Er ligt daar dus terrein braak, en getuige de topics die we hier in VB voorbij zien komen is dat ook nog eens een gebied waar veel Tweakers (en dan met name de casual bezoekers) vragen hebben.


Bovenstaande wil niet zeggen dat we niet 9600GT en consorten moeten benchen _{hey, ik moet binnenkort upgraden, en dat ding zit op m'n shortlist, samen met de andere usual suspects} - maar daar onderscheiden we ons niet mee. Juist in de low-end kunnen we dat wel doen, en dan inderdaad door volledig vergelijkbare benches te nemen, dus ook IGPs met Crysis testen ( ) en omgekeerd constateren dat vanaf de 7600GS Civ4 CPU limited is, maar dat dan vanuit meting en niet vooroordeel.