Benchmarks zijn relatief?

[BeachPatroller]

We kennen allemaal wel die 3D-Mark en opengl benchmarks.
Maar een er zijn een aantal dingen die er ontbreken.
En dat is de constantheid van de fps.

Met gemiddelden kunnen deze benchmarks een heel verkeerde indruk geven aan de praktijkervaring.

Bij een videokaart y met een scene 5 minuten 400 fps en 10 seconden 20 fps.
en een andere videokaart x scoort bij dezelfde scene scoort 5 minuten 300 fps en 10 seconden 90 fps heb ik liever de videokaart x terwijl y toch hogere scores geeft (vanwege de verdraaide gemiddelde).

Een andere issue, complexiteit van de 3D werelden.
Belangrijk vind ik niet de gemiddelde framerates maar de punten waar de 'frame drops' plaatsvinden. Ik heb nu enkele nVidia kaarten gehad (TNT en GeForce serie)
Nu heb ik een Radeon 8500 heb zie ik een verschil, waar de Ge-Force begint te hikken blijft de Radeon vrij constant. Ik heb het idee dat nVidia Boards minder efficient met het geheugen omgaan.
Zijn er meer mensen met deze ervaringen?

Net als het verschil tussen de AMD en P4. De ene benchmark wint de P4 het en de ander is de AMD XP sneller.

Omdat de P4 meer geheugenbandbreedte kan behandelen zie ik het voor me als dat de P4 goed is in 'saaie' grote velden met veel textures en weinig complexiteit (hoeken en objecten) en de Athlon-XP sneller is in de meer complexe levels (vanwege meer ruwe rekenkracht).

Voor de meeste gamers is de complexiteit belangrijker dan de ruwe saaie grote vlakken (lijkt mij)

Als je bijv 400 fps scoort in een 'saaie' ruimte en 30 in een zeer complexe wereld met shaders veel hoeken en bewegende objecten is dat storender dan 200 fps in de 'saaie' ruimte en 80 in de complexe ruimte.
Dat de P4 minder is met ruwe rekenkracht maak ik op uit het feit dat renderen met 3D-Max.

De performance 'peaks' en 'drops' die sterk fluctueren is volgens mij een groot nadeel van nVidia kaarten. Met 3Dfx kaarten had ik hier in het algemeen het minste last van.

De 8500 heeft volgens mij dus minder last van die heftige fps drops.

Zijn er medetweakers die hier meer over weten? Dus:
Onder welke omstandigheden welke hardware het best presteerd?
Is mijn veronderstelling over de P4 bijvoorbeeld juist? Zijn er mensen die deze ervaring over nVidia versus Ati met mij kunnen delen?

[Tha_TE]

Ik denk dat de complexiteit wordt gecompenseerd met de te veel Mhz bij de P4

[ Voor 9% gewijzigd door Tha_TE op 28-12-2002 14:36 ]

[We Are Borg]

BeachPatroller schreef op 28 december 2002 @ 14:22:
Een andere issue, complexiteit van de 3D werelden.
Belangrijk vind ik niet de gemiddelde framerates maar de punten waar de 'frame drops' plaatsvinden. Ik heb nu enkele nVidia kaarten gehad (TNT en GeForce serie)
Nu heb ik een Radeon 8500 heb zie ik een verschil, waar de Ge-Force begint te hikken blijft de Radeon vrij constant. Ik heb het idee dat nVidia Boards minder efficient met het geheugen omgaan.
Zijn er meer mensen met deze ervaringen?

Ik heb een radeon en geforce gehad en geen problemen met beide Benchmark is idd wel een beetje relatief, maar je noemt ook wel een k*t programma, namelijke 3dmark. Uitleg: Ziet er erg leuk uit, ff leuk testen en bekijken, maar er zijn mensen die drivers en videokaarten beoordelen op de score die bij 3dmark naar voren komt Altijd ff quake, unreal, cs en wat andere benchmarks er doorheen gooien imo

[Termy]

ik denk niet dat 3D-Max heel complex is. dat lijkt me nou juist meer steeds hetzelfde doen, maar, ik ben zeer slecht bekend met hoe 3D-Max werkt dus dit is meer wat ik qua logica denk.

Verder ben ik het met je eens dat je liever een videokaart hebt die altijd boven de 70fps komt maar ik denk niet dat je dat zomaar kunt stellen. die framedrops hebben een reden en als de ene kaart dat zg "goed" kan en dat andere niet dan klopt de kaart imho niet. wel super techniek voor dat zware, maar het simpele maar nauwelijks kunnen? (400 t.o.v. 200).

Ik denk dat je in essentie wel een puntje maakt, maar je toch te simpel denkt.

[418O2]

+1 Interresant (openingspost)

De beste benchmark is IMHO nog steeds de benchmark in apps die je gebruikt. Ik geef ook weinig om de 3dmark score, want het zegt geen reet. Dat gebruik ik om te kijken of me OC helpt en of het stabiel is.

ECHT goede benchmarks zijn ook de benches in Quake, UT2k3 ed. Dan krijg je een goed beeld van de prestaties van je kaart in de applicaties die jij gebruikt.

[418O2]

We Are Borg schreef op 28 december 2002 @ 14:39:
[...]


Ik heb een radeon en geforce gehad en geen problemen met beide Benchmark is idd wel een beetje relatief, maar je noemt ook wel een k*t programma, namelijke 3dmark. Uitleg: Ziet er erg leuk uit, ff leuk testen en bekijken, maar er zijn mensen die drivers en videokaarten beoordelen op de score die bij 3dmark naar voren komt Altijd ff quake, unreal, cs en wat andere benchmarks er doorheen gooien imo

\o/ Testen met cs. Als je in CS geen 100fps hebt ben je ECHT verkeerd bezig.
Dat haal je al met een GF2ti

[We Are Borg]

418O2 schreef op 28 december 2002 @ 16:07:
[...]


\o/ Testen met cs. Als je in CS geen 100fps hebt ben je ECHT verkeerd bezig.
Dat haal je al met een GF2ti

Met 1600x1200 haal jij geen 100 frames @ cs met je geforce 2 En ja, speel veel cs dus als er bijv nieuwe detenators zijn gaat altijd eerst cs er overheen

[ Voor 4% gewijzigd door We Are Borg op 28-12-2002 16:41 ]

[SG]

BeachPatroller schreef op 28 december 2002 @ 14:22:
We kennen allemaal wel die 3D-Mark en opengl benchmarks.
Maar een er zijn een aantal dingen die er ontbreken.
En dat is de constantheid van de fps.

Ja das heel belangrijk

Met gemiddelden kunnen deze benchmarks een heel verkeerde indruk geven aan de praktijkervaring.

Juist als er geen actie is en de engine in een soort idle stand staat dus elke keer weer die rustige 3dscene renderen dan doet ie dat met hoge gemiddelde FPS zodra er intensieve actie komt dan kelderd het giganties die bekende FPS dips op momenten waard de FPS juist echt van belang is als je juist het hardste nodig hebt.

Bij een videokaart y met een scene 5 minuten 400 fps en 10 seconden 20 fps.
en een andere videokaart x scoort bij dezelfde scene scoort 5 minuten 300 fps en 10 seconden 90 fps heb ik liever de videokaart x terwijl y toch hogere scores geeft (vanwege de verdraaide gemiddelde).

Ja ik ook het gaat om de minimum FPS rate afhankelijk van het genre zet je dat op 30 á 50fps minimum

Een andere issue, complexiteit van de 3D werelden.
Belangrijk vind ik niet de gemiddelde framerates maar de punten waar de 'frame drops' plaatsvinden. Ik heb nu enkele nVidia kaarten gehad (TNT en GeForce serie)
Nu heb ik een Radeon 8500 heb zie ik een verschil, waar de Ge-Force begint te hikken blijft de Radeon vrij constant. Ik heb het idee dat nVidia Boards minder efficient met het geheugen omgaan.
Zijn er meer mensen met deze ervaringen?

Heb daar geen ervaring mee maar wel dat Bench demo's niet representatief zijn voor de hele game.
Bijvoorbeeld Q3A demo's de Demo001 vs nVdemo die reageren nogal verschillen op verschillende configuraties

Net als het verschil tussen de AMD en P4. De ene benchmark wint de P4 het en de ander is de AMD XP sneller.

D'r is een game die benchbaar is met mimimum en gemidelde fps.
iNtel geeft de hoogte gemiddelde FPS
AMD de hoogste minimum FPS
Weet niet mee rwelke game dat is.
Mijn voorkeur gaat dan naar AMD maar weet niet of deze game representatief is voor al die andere games.

Omdat de P4 meer geheugenbandbreedte kan behandelen zie ik het voor me als dat de P4 goed is in 'saaie' grote velden met veel textures en weinig complexiteit (hoeken en objecten) en de Athlon-XP sneller is in de meer complexe levels (vanwege meer ruwe rekenkracht).

FPU/Brancprediction/latency vs bandbreedte/streamed afhankelijkheid

Voor de meeste gamers is de complexiteit belangrijker dan de ruwe saaie grote vlakken (lijkt mij)

ja in de NV15 demo waar de gemiddelde FPS zakt tot onder de 100Fps deed AM Dhet beter
Bij Demo001 deed intel het beter bij 300Fps

Als je bijv 400 fps scoort in een 'saaie' ruimte en 30 in een zeer complexe wereld met shaders veel hoeken en bewegende objecten is dat storender dan 200 fps in de 'saaie' ruimte en 80 in de complexe ruimte.
Dat de P4 minder is met ruwe rekenkracht maak ik op uit het feit dat renderen met 3D-Max.

Ja 3d Max en dan met name het modeleren(Bandbreedte grote poly throughput naar GPU) dus niet renderen(FPU/SSE2 dus CPU) is de iNtel beter

De performance 'peaks' en 'drops' die sterk fluctueren is volgens mij een groot nadeel van nVidia kaarten. Met 3Dfx kaarten had ik hier in het algemeen het minste last van.

De 8500 heeft volgens mij dus minder last van die heftige fps drops.

Zijn er medetweakers die hier meer over weten? Dus:
Onder welke omstandigheden welke hardware het best presteerd?
Is mijn veronderstelling over de P4 bijvoorbeeld juist? Zijn er mensen die deze ervaring over nVidia versus Ati met mij kunnen delen?

Nou er zijn geen diepgande reviews over deze perspectief en zelf heb ik het niet ondervonden aangezien de Thuis PC nogal op veel verschillende vlakken verschillen.
En heel veel games zijn niet Benchbaar en die dat wel zijn, niet zoals jij en ik het willen, met het vastleggen van de minimum FPS rate, het FPS dip verschijnsel.

Ik heb zelfs een game gezien bij reviews die de FPS history grafich op slaat en dus als bench resultaat weergeeft.

[ Voor 3% gewijzigd door SG op 28-12-2002 17:06 ]