Opstellen reviewprotocol gpu's en videokaarten

Zoals de poster boven mij aangeeft moet ik zeggen dat ik de review van de Radeon HD 4870 X2 eigenlijk beschamend vind voor tweakers.net.

Testen op 1280*1024 is toch gewoon belachelijk! Niemand die zo'n kaart koopt gaat op die resolutie gamen, nog effe voorbijgaand aan het feit dat bij dergelijke resolutie (en zelfs op 1600*1200) nagenoeg alle games CPU bound zijn dus wat hebben jullie nu getest?

-Crysis is cpu gebonden tot 1920*1200 zonder AA op een 4870X2
-Company of Heroes cpu gebonden op zowel GTX280 als 4870X2 tot 1600*1200 met 4AA en 16AF
-Half-Life 2: Episode 2 ook cpu gebonden tot 1920*1200 met 4AA en 16AF op een 4870X2

En dan komen met het zinnetje de 4870X2 is niet overtuigend sneller terwijl er geen enkele fatsoenlijke tetst gedaan wordt om een deftig verschil aan te tonen voor de markt waarvoor deze kaarten bestemd zijn (denk 24 en 30inch schermen op native resolutie)

Ga anders eens héél even kijken op computerbase.de en bekijk hun tests en conclusie eens en vergelijk die dan eens met die van tweakers...

Het is juist goed dat wij eens van de rest afwijken. Eens een keertje reviewen zonder overkill-galore en specs die we toch nooit zullen kopen. Van een populaire E6600 naar een quadcore die ietsje lager dan een E8400 geklokt is.

De grote meerderheid werkt met een 1280*1024 scherm en sommigen gebruiken 1600*1200. Nog hogere resoluties zijn zeldzamer.

Het was te verwachten dat de grafische kaarten overkill waren voor de processor.

Wat ik mis, is een referentie. Je kan zien dat de ene kaart weleens sneller dan de andere is, maar hoe snel is het nu eigenlijk tov bv reviews: Club3D Radeon HD 4870 versus MSI Geforce GTX260 OC

Op het einde kan reviews: HIS Radeon HD 4870 X2 versus Asus Geforce GTX 280 concluderen dat bij normale resoluties en normale processors, de grafische kaarten overkill zijn.

quote:

rapture schreef op donderdag 14 augustus 2008 @ 00:53:
Het is juist goed dat wij eens van de rest afwijken. Eens een keertje reviewen zonder overkill-galore en specs die we toch nooit zullen kopen. Van een populaire E6600 naar een quadcore die ietsje lager dan een E8400 geklokt is.

Mjah, als je dit soort kaarten tot het uiterste wil pushen moet je ze gewoon benchmarken in een systeem wat geen enkele bottleneck kan vormen. Logisch opzich.
je gaat ook geen Ferrari F1 car testen in de bebouwde kom en dan tot conclusie komen dat hij beter over drempels gaat dan de Bmw F1. Daar zijn ze niet voor bedoelt..

m9nossie wijzigde dit bericht 20-08-2008 12:17 (8%)

Naar mijn mening ligt de focus wat te testen games betreft veel te veel op shooters. Waarom nemen jullie bijvoorbeeld niet World of Warcraft en Guild Wars mee? Deze worden letterlijk door miljoenen mensen gespeeld. Ook wat simulaties als Flight Simulator en GTR zouden leuk zijn, en mischien wat titels van EA Sports (denk aan Fifa e.d.), plus een titel uit de NFS reeks, want ook deze zijn heel erg populair bij een breed publiek.

Just my 2 euro cents...

quote:

warp schreef op woensdag 27 augustus 2008 @ 13:37:
Naar mijn mening ligt de focus wat te testen games betreft veel te veel op shooters. Waarom nemen jullie bijvoorbeeld niet World of Warcraft en Guild Wars mee? Deze worden letterlijk door miljoenen mensen gespeeld. Ook wat simulaties als Flight Simulator en GTR zouden leuk zijn, en mischien wat titels van EA Sports (denk aan Fifa e.d.), plus een titel uit de NFS reeks, want ook deze zijn heel erg populair bij een breed publiek.

Just my 2 euro cents...

Mja, je hebt wel een punt, maar die games die je opnoemt zijn grafisch niet erg intensief, en draaien op alle kaarten perfect. Wat ook de reden is dat ze zo populair kunnen zijn.

quote:

Pine Mangoes schreef op donderdag 28 augustus 2008 @ 15:25:
[...]


Mja, je hebt wel een punt, maar die games die je opnoemt zijn grafisch niet erg intensief, en draaien op alle kaarten perfect. Wat ook de reden is dat ze zo populair kunnen zijn.

Op alle kaarten? op hoge setttings? Juist voor simplere budget kaarten, laptaops (of zelfs IGD) is het interresant wat de maximale settings zijn waarop deze spelen kunnen worden gespeed. Op >200 euro kaarten hoef je dit soort spelen niet te benchmarken.

quote:

rapture schreef op donderdag 14 augustus 2008 @ 00:53:
Het is juist goed dat wij eens van de rest afwijken. Eens een keertje reviewen zonder overkill-galore en specs die we toch nooit zullen kopen. Van een populaire E6600 naar een quadcore die ietsje lager dan een E8400 geklokt is.

De grote meerderheid werkt met een 1280*1024 scherm en sommigen gebruiken 1600*1200. Nog hogere resoluties zijn zeldzamer.

Maar imho wel interessant om te zien hoe een game schaalt. Ik zou best benches willen zien op 2560*1600 om eerlijk te zijn in vergelijking met 1920*1200, 1680*1050 en 1280*1024.

quote:

Pine Mangoes schreef op donderdag 28 augustus 2008 @ 15:25:
[...]


Mja, je hebt wel een punt, maar die games die je opnoemt zijn grafisch niet erg intensief, en draaien op alle kaarten perfect. Wat ook de reden is dat ze zo populair kunnen zijn.

Dat klopt natuurlijk niet helemaal dat die games zo populair zijn omdat ze grafisch niet erg intensief zijn. De gameplay is gewoon enorm goed. En daarnaast weet vooral de GW engine er hele mooie beelden uit te pompen... een staaltje van goed programmeerwerk en efficient gebruik van shaders.

Het leuke dat die games op veel systemen draaien, is dat je de nieuwe videokaarten ook echt tot op de max kan testen.... 12xEdge Detect CFAA of 24x Edge Detect CFAA... En reken maar dat het er dan een stuk beter uit ziet.... Dat is iets wat je met Crysis bv beter niet kan doen, tenzij je naar een slideshow wilt kijken.

quote:

CJ schreef op maandag 01 september 2008 @ 19:17:
[...]
Dat klopt natuurlijk niet helemaal dat die games zo populair zijn omdat ze grafisch niet erg intensief zijn. De gameplay is gewoon enorm goed. En daarnaast weet vooral de GW engine er hele mooie beelden uit te pompen... een staaltje van goed programmeerwerk en efficient gebruik van shaders.

Ik zei: dat ze zo populair kunnen worden. Een game met een beetje veeleisende engine kan gewoon nooit zo'n grote doelgroep als WoW of GW bereiken, dan mag de gameplay nog superieur zijn. Ik geef toe, had 't mss beter kunnen verwoorden

quote:

leuk_he schreef op donderdag 28 augustus 2008 @ 15:35:Op alle kaarten? op hoge setttings? Juist voor simplere budget kaarten, laptaops (of zelfs IGD) is het interresant wat de maximale settings zijn waarop deze spelen kunnen worden gespeed. Op >200 euro kaarten hoef je dit soort spelen niet te benchmarken.

Nee, natuurlijk niet op hoge settings Ze draaien wel overal op. M'n broer draait hier WoW op zowat de slechtste laptop denkbaar (Celeron, 512MB geheugen en een crappy GMA 945), en krijgt bijna altijd speelbare fps (~20-30).

Pine Mangoes wijzigde dit bericht 05-09-2008 18:07 (31%)

Het is de eerste keer dat ik deze thread lees en heb alleen de eerste en laatste pagina gelezen, dus vergeef me als ik iets noem dat al gezegd is.
Allereerst wil ik zeggen dat ik het helemaal eens ben met CJ's post op de eerste pagina. Ik heb alleen een paar kleine (doch essentiele) toevoegingen op.

• Het vermelden van de minimale framerate is erg belangrijk. Met name de informatie over de 'dips' in de framerate zijn bepalend voor de speelbaarheid. Daarom zou ik het nog iets uitgebreider willen zien dan alleen de minimale framerate. Want op deze manier weet je niet hoevaak de minimale framerate voorkomt. Het kan best zo zijn dat Windows even een proces moest afhandelen waardoor de fps even een dip neemt. Deze 'spikes' komen slechts zelden voor en zullen dus nooit echt vervelend worden. Twee mogelijke oplossingen hiervoor:
  1. Neem een gemiddelde van de laagste +-2-5% van de framerate metingen. Dit geeft namelijke een veel betere statestiek op het voorkomen van fps dipjes.
  2. Vermeld een distibutie van bv. <10 , 10-25 , 25-40 , 40 -60 , >60. De <10 en 10-25 zijn persoonlijk de belangrijkste. Persoonlijk geeft dit een goede indicatie welk deel niet of slecht te spelen is. Ik heb deze methode eerder gezien, maar weet niet meer welke site dit hanteerde.
• Verder is CPU schaling erg belangrijk. Maar doe het alsjeblieft op een een reso van 1600x1200 en high instellingen of hoger. Mijn punt is namelijk dat niemand geinteresseerd is in of de game 100 of 200 fps geeft op de laagste instellingen, maar des te meer of het van 30 naar 40 kan gaan op hogere instellingen door een snellere CPU. Het hoeft niet direct >1600x1200 en high instelling, maar doe het op de instellingen waar de doelgroep van de kaart op zal spelen. Al betwijfel ik of deze test nodig is voor de low en mid end kaarten (<100 euro). Verder is in deze test de minimum frames ook erg belangrijk. Dit is een onmisbare statistiek om te bepalen of ervaring ook daadwerkelijk beter is.

Just my 2 cents.

masterchi wijzigde dit bericht 05-10-2008 15:08 (9%)

quote:

[b][message=29983741,noline]
En ook niet alleen gamekaarten, maar ook is een keer Matrox of Quadro kaarten reviewen, dus bij die standaard firstperson shooter benchmarks zou ik ook iets van Photoshop ofzo bijzetten (zon soort proggramma die je kunt benchen).

Ik vind het als Gamer/Designer ook wel handig om niet alleen de game benchmarks, maar ook de (design) applicatie benchmarks te zien.

De focus op de gebruiker, niet op de techniek:
Als je een protocol wil opstellen moet je eerst bepalen voor wie je het doet. Stel dus eerst een paar doelgroepen op:

Jullie weten dat veel beter dan ik maar bijvoorbeeld:
1 De online gamer
2 De first-person shooter / Third-person shooter
3 De Photoshopper
4 De 3D Designer
5 De Windows fanaat (die 100 windows tegelijk open heeft staan)
6 De Multi media fanaat (video / audio)
7 De Flash ontwikkelaar
8 Video editor.

Je hoeft natuurlijk niet voor iedereen een aparte sectie te verzinnen. Je moet wel proberen het iedereen naar z’n zin te maken.
Dus als een review af is bekijk je het ook een keer door de bril van een flash ontwikkelaar om te zien of er hier en daar nog iets ontbreekt.

Onderscheiden:
Veel review-sites geven heel technische informatie zoals frame rate. Veel tweakers weten wat ze hier mee aan moeten maar er zijn ook veel mensen die hier niets mee kunnen.
Het zou mooi zijn als er op verschillende punten gewoon een simpele rating gegeven zou worden. Bijvoorbeeld:

Spelen van gewone 3D shooters: zeer goed.
Spelen van Zware 3D shooters: redelijk.
Spelen van gewoon race spel: goed.
Spelen van Zwaar race spel: slecht.
Eenvoudig foto bewerken: redelijk.
Professioneel foto bewerken: niet.
Enz enz enz.

Op die manier kan iedereen er mee uit de voeten.

Leuk tipje:
Dan nog een leuk tipje wat ik op een Photo-camera review site heb gezien.
Daar werd na de conclusie een drietal alternatieve camera’s gepresenteerd. Voor elke alternatief werd even kort verteld war de voor en nadelen van die andere camera waren.

Nog een tip voor die energie meting:
Neem een moederbord met geïntegreerde GPU (G45). Meet het energie verbruik zonder extra video kaart. Zet er vervolgens de video kaart in die je wil testen maar laat de geïntegreerde GPU gewoon aan staan.
Trek de twee getallen van elkaar af……. En zie daar, het verbruik van de video kaart……Hoe meet je dan het verbruik van een G45……. Geen idee..

Nog één tipje dan...
De meeste review site bekijken een product alleen met de standaard instellingen. Dat is goed, het zou echter ook leuk zijn om vervolgens te kijken hoe ver zo'n product getweakt kan worden !!! het heet hier niet voor niets tweakers.....

Had ook graag niet enkel de gangbare "review"-games zien opduiken tijdens het testen. Zo was het opduiken van supreme commander in sommige reviews van de gtx295 een welkome verassing aangezien zulke games mij langer kunnen boeien dan bv. crysis. Het is niet al eye candy dat blinkt, het massaal kunnen genereren op vlotte wijze van units heeft minstens evenveel invloed op mijn spelervaring.

quote:

Proculus schreef op donderdag 29 januari 2009 @ 15:41:
Had ook graag niet enkel de gangbare "review"-games zien opduiken tijdens het testen. Zo was het opduiken van supreme commander in sommige reviews van de gtx295 een welkome verassing aangezien zulke games mij langer kunnen boeien dan bv. crysis. Het is niet al eye candy dat blinkt, het massaal kunnen genereren op vlotte wijze van units heeft minstens evenveel invloed op mijn spelervaring.

helaas is dat laatste nogal cpu-gelimiteerd. (en geheugengelimiteerd als je wat meer units op je kaart wil hebben). Games en applicaties die voornamelijk gebruik maken van de GPU zijn bijvoorbeeld de 3dmark serie, FPS games (recente) op hoge resolutie en in het geval van nvidia benchmarks zou je ook kunnen kijken naar de physics demo's. Die zien er ook wel redelijk schaalbaar uit.

Qua 'professionele' software zouden de volgende benchmarks een goede indicatie kunnen geven:

• MAXON CINEBENCH R10
• SPECapc for 3ds Max 9
• SPECapc for Maya 6.5

Ook zou ik een beeldkwaliteit, kleurcalibratie, profielen etc. terug willen zien. Hoewel ik niet weet signaalkwaliteit bij gebruik van DVI nog een rol speelt.

Ik zou ook graag wat reële reviews willen zien. Daarmee bedoel ik dus op situaties waarbij de thuisgebruiker ook mee wordt geconfronteerd; terwijl er op de achtergrond een virusscanner actief is, wat downloads lopen, MSN, een mp3tje speelt wellicht. Wat zijn dan nog de prestaties van je kaart? Lijkt me veel interessanter dan 3dmark 3019. Een beetje ook type vijf van RichardvVoorden hierboven.

Natuurlijk is dit lastiger te reviewen dan een blote game op een vers geïnstalleerd systeem. Die zijn leuk maar zo speelt volgens mij bijna niemand terwijl dit wel is zoals 99% van de testen worden gedaan. Onrealistisch.

En uiteraard een kaart testen op twee systemen; een maal op de nieuwste high-end duizend euro CPU en een maal op een iets normaler platform; blijft die topscore dan nog overeind of is het overkill voor de gemiddelde gebruiker? _{(al kan dit je wel je witte voetje bij de kaartenfabrikanten kosten)}


Tweaken van de kaarten vind ik minder interessant; de marges en snelheidswinsten zijn veel geringer dan vroeger gehaald konden worden. Geluid en verbruik daarentegen vind ik wel belangrijk.

bombadil wijzigde dit bericht 22-02-2009 21:20 (22%)

De redactie is intern opnieuw bezig met alle protocollen en met name het actualiseren dan wel opstellen daarvan. Alle gegeven input is waardevol en zal waar mogelijk zeker worden gebruikt.

Onbeschaamde crosspost uit het ATi topique betreffende de nieuwste GTX260/TX275/HD4890 review:

quote:

Ik vind dat een site met redelijk niveau als tweakers.net dit raar heeft afgerond, ze melden dat ze voor ATi drivers oud spul pakken en voor nVidia het nieuwste beta spul - maar vervolgens doen ze daar verder niets aan en publiceren ze gewoon vrolijk?

Ook de spellen portfolio die ze testen is hevig biased en ook DAT melden ze nog achteraf. Als je dat toch weet - doe er iets aan? Kanonnen, het willenswetend weglaten van die informatie maakt de review nog slechter dan als ze het per ongeluk deden. En het "geen tijd" argument lijkt me niet op te gaan, los van het feit dat je publiceert als het af is of anders niet, hadden ze wel nieuwe beta drivers van nVidia. Die testgames hadden ze ook anders aan kunnen pakken, want ik heb games als Grid en Hawx al wel degelijk op tweakers voorbij zien komen.

Zonde . Zoveel discussie over videokaart reviews, maar helaas.

Als de reviewers/schrijvers in kwestie hun fouten weten - zou ik aanraden deze vooraf te verbeteren of niet te publiceren/posten. Dat ziet er imo dubbel fout uit.

Storm in een glas water. Ja, 9,4 was beter gweest, en meer spellen ook, maar de uitkomst was niet radicaal anders geweest. De GTX275 is iets sneller dan de HD 4890, en de HD 4890 is weer iets sneller dan de GTX260.

En het was een ongelukkige samenloop van omstandigheden. In de toekomst zal het niet meer voorkomen.

quote:

Marc Rademaker schreef op dinsdag 28 april 2009 @ 17:31:
Storm in een glas water. Ja, 9,4 was beter gweest, en meer spellen ook, maar de uitkomst was niet radicaal anders geweest. De GTX275 is iets sneller dan de HD 4890, en de HD 4890 is weer iets sneller dan de GTX260.

En het was een ongelukkige samenloop van omstandigheden. In de toekomst zal het niet meer voorkomen.

En zo zijn we een paar maanden verder en die tijd bewijst maar weer eens dat de keuze van benchmarks/drivers heel erg van invloed is op de resultaten.

De set gebruikt door [H] toont een duidelijk voordeel van de 4890 over de GTX275
De GTX275 wint alleen nog maar in FarCry2 tov een 4890, Crysis is gelijkwaardig en in de andere benchmarks delft hij nu het onderspit.

Op het moment dat je zegt dat het verschil niet radicaal anders was geweest durf ik te beweren dat dit wel het geval geweest zou zijn. Je praat over 1 of 2 frames verschil waardoor er een kaart als "beter" wordt aangemerkt terwijl dit op het moment van publiceren wellicht niet eens reëel was.