Nvidia schandaal ivm. Futuremark's 3Dmark2003

[Madrox]

Futuremark Corporation
May 23rd, 2003

To the Media, Futuremark’s customers and business partners:

Audit Report: Alleged NVIDIA Driver Cheating on 3DMark03

After the launch of 3DMark03 Build 320 Futuremark has received reports from the members of its BETA Program concerning certain anomalies with 3DMark03 and Nvidia drivers. ExtremeTech (www.extremetech.com) has published an article1 on suspecting NVIDIA drivers to improperly boost scores on Futuremark’s 3DMark®03. Some of these anomalies have also been reported by Beyond3D2. Alarmed by all these reports Futuremark has conducted a thorough internal audit
regarding this matter and has verified that certain NVIDIA drivers indeed seem to have detection mechanisms, which are triggered by components of the 3DMark03 program. We have identified eight such mechanisms.
In our testing, all identified detection mechanisms stopped working when we altered the benchmark code just trivially and without changing any of the actual benchmark workload. With this altered benchmark, NVIDIA’s certain products had a performance drop of as much as 24.1% while competition’s products performance drop stayed within the margin of error of 3%. To our knowledge, all drivers with these detection mechanisms were published only after the launch of 3DMark03. According to industry’s terminology, this type of driver design is defined as ‘driver
cheats’. We are publishing this document to report to our customers in detail about our findings. Main reason behind publishing this document is to answer the criticism presented against synthetic benchmarks and their reliability when testing hardware performance. The document follows a question/answer format.

How Were These Driver Cheats Found?
Members of Futuremark’s BETA program3 first noticed how parts of the tests in 3DMark03 were rendered differently on different hardware. When testing NVIDIA hardware on 3DMark03 with socalled developer’s version’s free camera enabled, they noticed how some parts of tests were rendered strangely, and informed Futuremark of their findings. Futuremark investigated further and our findings show that certain NVIDIA drivers seem to detect when 3DMark03 is running and
then replace the 3DMark03’s rendering requests with manually implemented alternative rendering operations. These alternative rendering operations reduce the amount of rendering work and thereby increase the obtained benchmark result.

Why Does This Matter – It Is Just a Synthetic Benchmark?
We acknowledge with great pride how big a role 3DMark has in the PC industry. 3DMark score has become perhaps the most influential metric of PC performance. Enthusiasts, professional hardware reviewers and OEMs all depend on 3DMark results to a great extent. We have a tremendous responsibility towards our users, who count on us and on our products when making important decisions. Thus, it matters a great deal that no one is able to take advantage of 3DMark – or any other significant benchmark - with unfair means. Well designed synthetic benchmarks are excellent tools to objectively compare performance and
to reveal different architectures’ strengths and weaknesses. Some commentators have argued for only using benchmarks based exclusively on games; however there are severe problems with relying only on this approach:
· Game benchmarks only demonstrate how the hardware performs for that particular game and
do not indicate the overall performance of the hardware.
· Any cheats potentially included in drivers are much easier to hide in game benchmarks.
· Finally, synthetic benchmarks can stress the hardware in a variety of ways, allowing reviewers to explore performance in particular areas and extrapolate performance of a hardware for upcoming titles.

Why Is It More Difficult to Cheat In a Synthetic Benchmark?
Actually, it may not be more difficult to cheat in synthetic benchmarks than it is in benchmarks embedded in games. But one thing is for sure, it is much more difficult to cheat in synthetic benchmarks without being caught.
The reason is that a synthetic benchmark does not exist in isolation, but as part of a set of tools.
These tools can be used to analyze the benchmark run for irregularities. Further, the tools can be used to expose the existence of the cheats – both ExtremeTech and Beyond3D have proven this point very effectively. Game benchmarks are not immune to cheating either. Just like drivers can identify when 3DMark03 is running, same drivers also can identify when a popular game’s benchmark is running.
The driver can even detect when the benchmark tool of the game is
running to enable the cheats; the cheats are then disabled when the actual game is played. Thus, the benchmark portion can be made to run faster with cheats while the actual in-game play performance is not enhanced at all.
Game benchmark cheats are much more difficult to expose. Even with the presence of clues, such as reduced image quality or missing features, it is next to impossible to prove what is going on without the source code and game developers’ active cooperation. The major problem with this is following: There are few if any game developers that want to reveal their intellectual property to
third parties so that independent groups would be able to prove the cheats.
Furthermore, game developers are in the business of making games and they want to attract as broad an audience as possible for their game. Their success does not depend on making sure that potential cheats on their benchmarks are exposed, whereas it is a benchmark house’s business actively audit drivers and expose any cheating.

Aren’t These Cheats Just Optimizations That Also Benefit General Game Play
Performance?
No. There are two reasons.
Firstly, these driver cheats increase benchmark performance at the expense of image quality. Only the user and the game developer should decide how a game is meant to be experienced, and not the hardware developer. An act by hardware developer to force a different experience than the developer or the user intended, is an act that may mislead consumers, the OEMs and the media who look to our benchmark to help them make purchase decisions.
Secondly, in well-designed benchmarks like 3DMark03, all cards are instructed to do the same amount of work. Artificially reducing one card’s workload, for example, by using pre-set clip planes or using a lower precision shader against the program’s instructions, is only aimed to artificially manipulate the benchmark test result. Please note, that the cheating described here is totally different from optimization. Optimizing the driver code to increase efficiency is a technique often
used to enhance game performance and carries greater legitimacy, since the rendered image is exactly what the developer intended.

What Are The Identified Cheats?
Futuremark’s audit revealed cheats in NVIDIA Detonator FX 44.03 and 43.51 WHQL drivers. Earlier GeForceFX drivers include only some of the cheats listed below.

1. The loading screen of the 3DMark03 test is detected by the driver. This is used by the driver to disregard the back buffer clear command that 3DMark03 gives. This incorrectly reduces the workload. However, if the loading screen is rendered in a different manner, the driver seems to fail to detect 3DMark03, and performs the back buffer clear command as instructed.

2. A vertex shader used in game test 2 (P_Pointsprite.vsh) is detected by the driver. In this case the driver uses instructions contained in the driver to determine when to obey the back buffer clear command and when not to. If the back buffer would not be cleared at all in game test 2, the stars in the view of outer space in some cameras would appear smeared as have been reported in the articles mentioned earlier. Back buffer clearing is turned off and on again so that the back buffer is cleared only when the default benchmark cameras show outer space.
In free camera mode one can keep the camera outside the spaceship through the entire test, and see how the sky smearing is turned on and off.

3. A vertex shader used in game test 4 (M_HDRsky.vsh) is detected. In this case the driver addstwo static clipping planes to reduce the workload. The clipping planes are placed so that the sky is cut out just beyond what is visible in the default camera angles. Again, using the free camera one can look at the sky to see it abruptly cut off. Screenshot of this view was also reported in the ExtremeTech and Beyond3D articles. This cheat was introduced in the 43.51 drivers as far as we know.

4. In game test 4, the water pixel shader (M_Water.psh) is detected. The driver uses this detection to artificially achieve a large performance boost - more than doubling the early frame rate on some systems. In our inspection we noticed a difference in the rendering when compared either to the DirectX reference rasterizer or to those of other hardware. It appears the water shader is being totally discarded and replaced with an alternative more efficient shader implemented in the drivers themselves. The drivers produce a similar looking
rendering, but not an identical one.

5. In game test 4 there is detection of a pixel shader (m_HDRSky.psh). Again it appears the shader is being totally discarded and replaced with an alternative more efficient shader in a similar fashion to the water pixel shader above. The rendering looks similar, but it is not identical.

6. A vertex shader (G_MetalCubeLit.vsh) is detected in game test 1. Preventing this detection proved to reduce the frame rate with these drivers, but we have not yet determined the cause.

7. A vertex shader in game test 3 (G_PaintBaked.vsh) is detected, and preventing this detection drops the scores with these drivers. This cheat causes the back buffer clearing to be disregarded; we are not yet aware of any other cheats.

8. The vertex and pixel shaders used in the 3DMark03 feature tests are also detected by the driver. When we prevented this detection, the performance dropped by more than a factor of two in the 2.0 pixel shader test.
We have used various techniques to prevent NVIDIA drivers from performing the above detections. We have been extremely careful to ensure that none of the changes we have introduced causes differences in either rendering output or performance. In most case, simple alterations in the shader code – such as swapping two registers – has been sufficient to prevent the detection.

What Is the Performance Difference Due to These Cheats?
A test system with GeForceFX 5900 Ultra and the 44.03 drivers gets 5806 3DMarks with3DMark03 build 320.
The new build 330 of 3DMark03 in which 44.03 drivers cannot identify 3DMark03 or the tests in that build gets 4679 3DMarks – a 24.1% drop.
Our investigations reveal that some drivers from ATI also produce a slightly lower total score on this new build of 3DMark03. The drop in performance on the same test system with a Radeon 9800 Pro using the Catalyst 3.4 drivers is 1.9%. This performance drop is almost entirely due to 8.2% difference in the game test 4 result, which means that the test was also detected and somehow altered by the ATI drivers. We are currently investigating this further.

Why does this matter?
The latest version in the 3DMark series, 3DMark03, was developed for performance
measurement and comparison for the DirectX 9 generation of hardware. All major graphics hardware and CPU manufacturers participated in specifying and testing 3DMark03, in order to ensure that it is an impartial tool that correctly measures the PCs performance in real-time 3D applications, like 3D games. The IHVs see the existence of such an impartial tool so important that they participate in the funding of 3DMark development, by joining the Futuremark beta program.
Games strive to above all offer the best gaming experience, which many times means, that the game needs to be run differently on different hardware. This in turn means that many game benchmarks run differently on different hardware, or in other words submit a differing workload on different hardware. This kind of game benchmark does measure how fast that game runs, but it does not offer a general hardware performance comparison. 3DMark on the other hand is designed for this very purpose. If the drivers do their job correctly, 3DMark produces the precisely same rendering on all hardware. Some hardware with a more limited feature set actually do more work in order to achieve the same rendering, but the resulting
rendering is the same, the workload is comparable, and the performance result is justified as a world wide standard.

Is This Just Futuremark Taking Revenge on Nvidia for Leaving the BETA Program?
No. Our only purpose is to maintain the integrity of our products, and so ensure continuity of our business. We treat the BETA program and the whole industry very seriously; Beta Program members include leading companies of the industry such as Microsoft, Dell, AMD and Intel. Our business relies on our ability to produce unbiased benchmarks that enable apples-to-apples comparisons. Any company that deliberately tries to fool our products is actually trying to take an advantage of our credibility. We will not tolerate such actions from anyone.

What Happens Now?
When 3DMark03 is altered slightly, NVIDIA drivers do not recognize 3DMark03 anymore, and the performance drops. The same slightly altered 3DMark03 version can be run on other hardware and the results remains the same.
Futuremark has prepared a second patch for 3DMark03, Build 330, where these preventative changes are implemented. We hope this will encourage the whole industry to release drivers that render the tests as 3DMark03 intends them to be rendered, and which produce results that can be fairly compared to those obtained with other hardware. It is possible that new drivers that cheat also in the new 3DMark03 build may be released in the future. We sincerely hope this will not
happen. We strive to provide all BETA program members with robust tools to detect suchsituations.

Can 3DMark03 be used as a reliable benchmark for DirectX 9 generation
graphics cards?
Yes, with the new 3DMark03 build 330, it can. We recommend benchmarking GeForceFX cards using the NVIDIA drivers 44.03 or 43.51, and the new 3DMark03 build 330. We also recommend benchmarking Radeon 9000 series cards using the ATI Catalyst 3.4 drivers, and the new 3DMark03 build 330. These combinations run the 3DMark03 tests correctly, according to how 3DMark03 instructs the hardware to render the 3D scenes.

Futuremarks Press Release, presented by Madrox

[Verwijderd]

was volgens mij al bekend hoor maar ik kan me vergissen...

[Neobahamuth]

Inderdaad, het gerucht dat nVidia dit deed ging al een tijdje de ronde. Dat ATI dit misschien ook doet was voor mij nieuw!

[Fanatic_FS]

als ik dit zo allemaal lees begint mijn vertrouwen in 3dmark toch flink te dalen aangezien je de hele test naar jouw hand kunt laten lopen

[Verwijderd]

Fanatic_FS schreef op 23 May 2003 @ 21:24:
als ik dit zo allemaal lees begint mijn vertrouwen in 3dmark toch flink te dalen aangezien je de hele test naar jouw hand kunt laten lopen

Ik heb 3dmark nooit als waardige benchmark gezien, al die "wankers" die van die hoge scores posten enzo, het gaat er toch om dat je gewoon" goed je spellen kan spelen. Kan mij die score nou .

[Madrox]

Het is bekend, sinds vandaag ja. Officieele beschuldiging van Futuremark. Heb alleen ff de complete txt. van de pdf. hier geplaatst. Wel zo makkelijk

[edward2]

Probleem ligt niet bij 3dMark! specefiek, elke vaste benchmark valt te cheaten, daarom is het juist goed dat Futuremark er wat aan gedaan heeft en dat zal moeten blijven doen omdat dit ook weer te hacken is.

[Verwijderd]

ATI heeft dit ook gedaan al dan iet op zon grote schaal, je moet die test niet gebruiken gebruiken gewoon de games/Apps zelf om te testen

[Jefrey Lijffijt]

Verwijderd schreef op 23 May 2003 @ 21:46:
ATI heeft dit ook gedaan al dan iet op zon grote schaal, je moet die test niet gebruiken gebruiken gewoon de games/Apps zelf om te testen

3DMark 2003 is een test voor toekomstige games, de games die de huidige technologie ten volle benutten komen volgend jaar pas op de markt. Je test er dus iets heel anders mee dan met de huidige games.

Daarnaast zijn de games net zo eenvoudig te misleiden als de benchmarks, alleen is het verschil dat deze hacks nogal zichtbaar zijn en het valt meteen iedereen op als de texturen in zijn/haar geliefde game er slecht uitzien. Het heeft daar dus geen nut om ze in te bouwen.

[Madrox]

Futuremark heeft bovendien dit "lek" alweer gedicht. Patch 330 word aangeboden die de truuks van Nvidia buitenspel zet ....
Verwacht nieuwe benchmarks van vele reviewers komende dagen.

ps: Jeffrey; als ze kunnen registreren wanneer je een 'fly-by" doet of een "botmatch" kunnnen ze alsnog zo'n truuk uithalen. En toch merk je er niks van, zolang de demo een fixed pad volgt die je niet kan stoppen en dan zelf de camera bestuurt. Zodra je weer een "gewoon" spelletje speelt is alles weer bij het "oude" natuurlijk....

[ Voor 57% gewijzigd door Madrox op 23-05-2003 22:04 ]

[PeGys]

'k wist het, en nu emmek et bewijs, nVidia zijn afzetters

[Verwijderd]

Ho ho .. dit is een smerige truuk ja, maar we herinneren ons vast nog wel het ATI Quake 3 schandaal.

Alleen bizar dat ATI er van geleerd heeft en nu NVIDIA het op z'n heupen heeft gekregen.

[Verwijderd]

Neobahamuth schreef op 23 May 2003 @ 21:23:
Inderdaad, het gerucht dat nVidia dit deed ging al een tijdje de ronde. Dat ATI dit misschien ook doet was voor mij nieuw!

Bij ATI wordt 1 specifiek geval nog onderzocht, bij NVIDIA zijn 7-8 cheats onderzocht en _bevestigd_. ATI is _nog_ niet schuldig bevonden.

Dankzij deze rapportage ben ik een stuk meer waarde gaan hechten aan 3dmark benchmarks die vanaf nu gedaan worden. Het is namelijk de enige benchmark waarbij de verschillende cheats ontdekt worden. Het zou naief zijn te denken dat er bij andere benchmarks (SS, q3 etc) niet gecheat wordt, het is bij games echter veel moeilijker aan te tonen dat dat daadwerkelijk gebeurt.

Kudos voor Futuremark!

[Glashelder]

Verwijderd schreef op 23 May 2003 @ 22:16:
Ho ho .. dit is een smerige truuk ja, maar we herinneren ons vast nog wel het ATI Quake 3 schandaal.

Alleen bizar dat ATI er van geleerd heeft en nu NVIDIA het op z'n heupen heeft gekregen.

nouja bizar. Mijn idee is gewoon dat nvidia ATi niet bij kon kan houden. Ze willen hun reputatie niet kwijtraken en verzinnen een cheat als dit..

[PeGys]

dual-zip schreef op 23 mei 2003 @ 22:32:
[...]

nouja bizar. Mijn idee is gewoon dat nvidia ATi niet bij kon kan houden. Ze willen hun reputatie niet kwijtraken en verzinnen een cheat als dit..

Ik denk dat ze hun reputatie nu wel kwijt zijn

[Lieuwe]

Waarschijnlijk denkt Nvidia er zo 1-1 van te maken

Als ze nu eens ophouden met die flauwekul, kunnen ze zich weer eens bezighouden met "echte" driver optimalisatie`s. Heeft de consument veel meer aan....

[whyz]

dual-zip schreef op 23 May 2003 @ 22:32:
[...]

nouja bizar. Mijn idee is gewoon dat nvidia ATi niet bij kon kan houden. Ze willen hun reputatie niet kwijtraken en verzinnen een cheat als dit..

Zou kunne, maar ati heeft het ook gedaan (q3) en bijde partijen misbruiken die benchmarks voor verkoop van hun producten het is triest eigenlijk. Kortom draait het natuurlijk weer allemaal om geld. NIET DAT MUN VOLGENDE KAART MATROX WORD

[SandsOfArrakis]

Verwijderd schreef op 23 May 2003 @ 21:26:
[...]


Ik heb 3dmark nooit als waardige benchmark gezien, al die "wankers" die van die hoge scores posten enzo, het gaat er toch om dat je gewoon" goed je spellen kan spelen. Kan mij die score nou .

Zo denk ik er dus ook over.

[Glashelder]

primemaximuz schreef op 23 mei 2003 @ 22:51:
[...]


Zou kunne, maar ati heeft het ook gedaan (q3) en bijde partijen misbruiken die benchmarks voor verkoop van hun producten het is triest eigenlijk. Kortom draait het natuurlijk weer allemaal om geld. NIET DAT MUN VOLGENDE KAART MATROX WORD

maarja, je kan mensen/bedrijven wel blijven veroordelen voor fouten in het verleden. Zo werkt het niet; het gaat om het heden. Hoewel ATi nu nog schoon is (cheat van hun staat nog niet vast!) kunnen ze nog bevuild worden

[ThaHandy]

Verwijderd schreef op 23 May 2003 @ 22:16:
Ho ho .. dit is een smerige truuk ja, maar we herinneren ons vast nog wel het ATI Quake 3 schandaal.

Alleen bizar dat ATI er van geleerd heeft en nu NVIDIA het op z'n heupen heeft gekregen.

vertel? url?

[Glashelder]

ThaHandy schreef op 23 May 2003 @ 23:36:
[...]

vertel? url?

nieuws: Performance van nieuwe Radeon drivers getest

THG

Dat er wel wordt gerept over vermeend cheaten van ATi maar met de duidelijk zichtbare blurry beeldkwaliteit van nVidia's FSAA in de hand, niet wordt gerept over vermeend cheaten van nVidia's kant is raar te noemen. Als je al van 'cheaten' kunt spreken, immers, het gebruik van Quake III Arena als benchmark voor 3D kaarten is aardig, maar zegt op zich vrij weinig: de engine gebruikt geen hardware lighting en doet excessieve culling buiten de kaart om, wat naast de gebruikte API (OpenGL) maar een beperkt deel van de mogelijkheden van de kaart laat zien.

Wat nou cheaten?

[ Voor 62% gewijzigd door Glashelder op 23-05-2003 23:42 ]

[Verwijderd]

ThaHandy schreef op 23 mei 2003 @ 23:36:
[...]

vertel? url?

10 seconden google gaf me dit.

Ik hoop, dat je je duits wat opgepoetst hebt.

[_JGC_]

Op zich ist nog niet eens zo moeilijk te detecteren of je videokaart/drivers nou wel echt doen wat je wilt:
Gooi een qualitytest erin die de belangrijkste functionaliteit van de benchmark moet gaan representeren.

Op het moment dat iemand met de clipping zit te kloten, of als er gewoon geen AA gedaan wordt terwijl je 4x FSAA vraagt, valt dat op in de benchmark en zal er geen score uitkomen. 3D Winbench deed dit ook. Zo was er ooit iemand die S3 tweakdrivers had gebouwd en de mijne de grond indrukte. Schande voor hem toen bleek dat 3D Winbench 2000 zijn driver niet eens wou testen omdat ie de mipmap levels verschoven had zodat een groot deel niet gerenderd werd

[Madrox]

dual-zip schreef op 23 mei 2003 @ 23:41:
[...]

nieuws: Performance van nieuwe Radeon drivers getest

THG

[...]

Wat nou cheaten?

dit is niet te vergelijken. Met die Ati drivers was nog prima te spelen. Hier heeft Nvidia speciale truuks uitgehaalt die alleen werken met 3Dmark2003. Zeer slinks dus....

[Verwijderd]

Dit is wel heel sneaky, ik denk dat ze bij nVidia nu toch ff in hun haar krabben van ongemak.

Dus mensen, bij reviews letten op volgende combinaties en enkel deze als representatief beschouwen:

We recommend benchmarking GeForceFX cards using the NVIDIA drivers 44.03 or 43.51, and the new 3DMark03 build 330. We also recommend benchmarking Radeon 9000 series cards using the ATI Catalyst 3.4 drivers, and the new 3DMark03 build 330. These combinations run the 3DMark03 tests correctly, according to how 3DMark03 instructs the hardware to render the 3D scenes.

En iedereen in het verleden maar juichen als hun score de hoogte inging bij nieuwe drivers, nu weten we hoe dat komt...

Edit: zijn hier concrete wetgevingen tegen?

[ Voor 4% gewijzigd door Verwijderd op 24-05-2003 01:24 ]

[Verwijderd]

Madrox schreef op 24 mei 2003 @ 00:48:
[...]


dit is niet te vergelijken. Met die Ati drivers was nog prima te spelen. Hier heeft Nvidia speciale truuks uitgehaalt die alleen werken met 3Dmark2003. Zeer slinks dus....

Het is wel degelijk te vergelijken. Die drivers renderen Quake3 anders dan ze horen te doen, en ze doen dat ook alleen bij Quake3. Opzettelijk.

[Verwijderd]

Op zich best cool dat ze dit durven..

[Verwijderd]

Verwijderd schreef op 24 mei 2003 @ 01:23:
[...]


Het is wel degelijk te vergelijken. Die drivers renderen Quake3 anders dan ze horen te doen, en ze doen dat ook alleen bij Quake3. Opzettelijk.

Tot op zekere hoogte wel ja, maar er zjin een aantal cruciale verschillen:
- de "optimalisatie" van ATI had niet alleen effect op de benchmark, maar ook op het spel zelf. De FPS gingen dus in het gehele spel omhoog.
- De NVIDIA "optimalisatie" heeft alleen effect op de benchmark, en maakt de andere functionaliteit van 3dmark kapot/onbruikbaar.
- De set drivers van ATI die volgde, herstelde de beeldkwaliteit terwijl het aantal FPS gelijk bleef, dat zie ik NVIDIA niet zo snel doen aangezien ze tot dik 50% in FPS verliezen.

[CJ]

Reactie nVidia:

"Since Nvidia is not part of the Futuremark beta program (a program which costs of hundreds of thousands of dollars to participate in), we do not get a chance to work with Futuremark on writing the shaders like we would with a real applications developer," the representative said. "We don't know what they did, but it looks like they have intentionally tried to create a scenario that makes our products look bad."

http://news.com.com/2100-1046_3-1009574.html?tag=fd_top

Pfff... alsof dit smoesje het goed praat dat er gecheat wordt.

[PeGys]

CJ schreef op 24 mei 2003 @ 01:58:
Reactie nVidia:


[...]


http://news.com.com/2100-1046_3-1009574.html?tag=fd_top

Pfff... alsof dit smoesje het goed praat dat er gecheat wordt.

nVidia heeft geen been om op te staan, ze zijn busted en daar moeten ze nu maar voor boeten.

Hun vorige drivers werkten toch correct met 3Dmark03 ? Dan weten ze toch hoe ze te maken ? Dan kunnen ze die reactie niet als uitvlucht gebruiken.

[ Voor 18% gewijzigd door PeGys op 24-05-2003 02:11 ]

[Madrox]

Verwijderd schreef op 24 mei 2003 @ 01:23:
[...]


Het is wel degelijk te vergelijken. Die drivers renderen Quake3 anders dan ze horen te doen, en ze doen dat ook alleen bij Quake3. Opzettelijk.

Ja en Nee

Ja, want ze cheaten.
Nee, want het draait WEL! sneller in Quake.
Met de Nvidia-fix draait alleen de Benchmark "schijnbaar" sneller, met je spellen merk je er geen moer van.

Dus dit is wel degelijk een verschil.

[Verwijderd]

Nog wranger is dat nVidia's eigen Dawn demo beter blijkt te werken op een 9800 pro dan op de NV30 en NV35: link.

Wat zou nVidia daarover te zeggen hebben? "We don't know what they we did, but it looks like they we have intentionally tried to create a scenario that makes our products look bad", wellicht?

[ Voor 8% gewijzigd door Verwijderd op 24-05-2003 02:25 ]

[Verwijderd]

Madrox schreef op 24 May 2003 @ 02:22:
[...]


Ja en Nee

Ja, want ze cheaten.
Nee, want het draait WEL! sneller in Quake.
Met de Nvidia-fix draait alleen de Benchmark "schijnbaar" sneller, met je spellen merk je er geen moer van.

Dus dit is wel degelijk een verschil.

Het draait sneller omdat de beeldkwaliteit lager is. Dat is bagger. Da's hetzelfde dat een driver je 320x240 geeft als je 1024x768 wilt. Sneller .. maar niet wat je wilt dat het is.

Het is dus wel degelijk hetzelfde.

[PeGys]

Wie een gat graaft voor een ander valt er zelf in.
Ze hebben geprobeerd om ATI achter zich te laten, maar hun plan is aan het licht gekomen.

[CJ]

Verwijderd schreef op 24 May 2003 @ 02:32:
[...]


Het draait sneller omdat de beeldkwaliteit lager is. Dat is bagger. Da's hetzelfde dat een driver je 320x240 geeft als je 1024x768 wilt. Sneller .. maar niet wat je wilt dat het is.

Het is dus wel degelijk hetzelfde.

Hier een leuk en duidelijk verhaaltje omtrend de Quake/Quack affaire met de Radeon8500.


http://www.geocities.com/radtruth/p1.htm

Korte samenvatting. Heeft ATi gecheat in Quake3? Ja en nee.

Ja, maar niet in heel Quake 3. Het gaat hier om 5 textures in de gehele game waar de kwaliteit naar beneden werd gehaald om sneller te worden.

Nee, omdat de rest (dus alle overige textures) van de game er wel goed uit ziet.

Edit:
Reactie van ATi op de 1.9% performance winst, die er toe heeft geleid dat mensen beginnen te zeggen dat ATi 'net zo erg cheat als nVidia':

The 1.9% performance gain comes from optimization of the two DX9 shaders (water and sky) in Game Test 4 . We render the scene exactly as intended by Futuremark, in full-precision floating point. Our shaders are mathematically and functionally identical to Futuremark's and there are no visual artifacts; we simply shuffle instructions to take advantage of our architecture. These are exactly the sort of optimizations that work in games to improve frame rates without reducing image quality and as such, are a realistic approach to a benchmark intended to measure in-game performance. However, we recognize that these can be used by some people to call into question the legitimacy of benchmark results, and so we are removing them from our driver as soon as is physically possible. We expect them to be gone by the next release of CATALYST.

Een stuk netter dan nVidia's reactie.

[ Voor 42% gewijzigd door CJ op 24-05-2003 02:45 ]

[Madrox]

Verwijderd schreef op 24 May 2003 @ 02:32:
[...]


Het draait sneller omdat de beeldkwaliteit lager is. Dat is bagger. Da's hetzelfde dat een driver je 320x240 geeft als je 1024x768 wilt. Sneller .. maar niet wat je wilt dat het is.

Het is dus wel degelijk hetzelfde.

ech niet

Nogmaals, Ati truuk werkt in 3Dmark maar ook in je spel. Nvidia's truuk werkt alleen maar in 3Dmark. Da's nog erger....
en wat nog erger is, is dat Nvidia dit doet terwijl ze uit het 3Dmark gebeuren zijn gestapt. De huilebalken

[PeGys]

Eerst stappen ze het op bij Futuremark, dan maken ze driver om te cheaten en dan geven ze de schuld aan Futuremark omdat nVidia niet naar hun instructies kan programmeren.

Zij zijn het die bij Futuremark zijn weggegaan, niet Futuremark die nVidia eruit heeft gegooid.

[Madrox]

En hier Tom's verhaal over dit debacle

As expected no one was going to be quiet for long on the Futuremark audit report released earlier today. After much discussion and emailing, we were able to get some official reaction from both Nvidia and ATI in regard to the Futuremark audit report.

Nvidia released the following statement to us -

"Since NVIDIA is not part in the FutureMark beta program (a program which costs of hundreds of thousands of dollars to participate in) we do not get a chance to work with Futuremark on writing the shaders like we would with a real applications developer. We don't know what they did but it looks like they have intentionally tried to create a scenario that makes our products look bad. This is obvious since our relative performance on games like Unreal Tournament 2003 and Doom3 shows that The GeForce FX 5900 is by far the fastest graphics on the market today."

From this statement it is clear to us that are calling into question the entire validity of synthetic benchmarking. While we would agree that in most cases real world applications are in many ways a better mode of comparison between products, the drivers are optimized for performance with specific applications. Some believe that Futuremark has an ax to grind with Nvidia, but at least in their statement, this does not appear to be the case.

It is clear that we would agree that certainly Unreal Tournament 2003 is a good example, we would still have to say that it is too early to be totally sure about Doom3 as this not yet a released product. Certainly, you can draw some conclusions as to the performance potential of products on the Doom3 engine, it will only be after Doom3 is closer to release that the full performance story can be told. Again, we are forced to ask the question, Do these driver optimizations effect gameplay or image quality? It would seem only if they do, will these optimizations be called into question.

ATI also came under fire in the Futuremark audit report as well, and they responded by issuing the following statement to us -

"The 1.9% performance gain comes from optimization of the two DX9 shaders (water and sky) in Game Test 4 . We render the scene exactly as intended by Futuremark, in full-precision floating point. Our shaders are mathematically and functionally identical to Futuremark's and there are no visual artifacts; we simply shuffle instructions to take advantage of our architecture. These are exactly the sort of optimizations that work in games to improve frame rates without reducing image quality and as such, are a realistic approach to a benchmark intended to measure in-game performance. However, we recognize that these can be used by some people to call into question the legitimacy of benchmark results, and so we are removing them from our driver as soon as is physically possible. We expect them to be gone by the next release of CATALYST."

Well, it seems that ATI is making the correct move to address the issue, by removing the code from the drivers that gives the appearance of an advantage. It would seem on the surface that ATI's situation is a bit different from that of Nvidia's. While they can label it as an optimization, it is clear over the next several weeks both companies will have to start being more specific about the difference between an optimization and what is now being commonly referred to as a "cheat".

One additional thing that has become clear. Depending on which sources you listen to, Nvidia while still participating in the Futuremark Beta program had access to the last code drop before the final code was released for 3DMark03. Several sources have seemed to indicate that the differences between the last code that Nvidia has access to and the final build where very minimal.

What does this mean in the big scope of things? Many questions remain, but as long as reviewers as well as OEMs continue to use 3DMark03 as one of the standard tests that is used to judge the performance of hardware, these issues are going to continued to get heated. Right now, Lars and Tom are hard at work evaluating the situation and hope to provide a more in depth report shortly. While we all have our early opinions of the situation, it is clear that you, the readers want us to properly research and look at all sides of the issue before giving you our in depth opinion, on what can now only be called a mess. This is what we are going to do.

In the mean time, we will be monitoring our THG Community forums for your comments about the 3DMark03 situation, to get your perspective, input, and feelings about the situation. Drop into the graphics section of our forums and feel free to leave us some feedback, we are listening.

Voorlopige conclusie: Nvidia's verhaal is slap, Ati's verhaal is verhelderend.
hier is iig het laatste woord nog niet over gezegd

[CJ]

PeGys schreef op 24 May 2003 @ 03:01:
Eerst stappen ze het op bij Futuremark, dan maken ze driver om te cheaten en dan geven ze de schuld aan Futuremark omdat nVidia niet naar hun instructies kan programmeren.

Zij zijn het die bij Futuremark zijn weggegaan, niet Futuremark die nVidia eruit heeft gegooid.

Het is wel opvallend dat de klagende en cheatende partij (nVidia) zo'n beetje de enigste videochipfabrikant is die niet in het 3DMark Beta Programma zit, verder zitten ATi, Matrox, S3, SiS, Trident er allemaal in. En die hoor je niet klagen, want die volgen gewoon braaf de regeltjes.

[ Voor 7% gewijzigd door CJ op 24-05-2003 03:23 ]

[Madrox]

Preices. Eerst klagen ze dat Futuremark de benches zo maakt dat hun (nvidia's) kaarten slechter presteren en nu geven ze Fututemark weer de schuld omdat hun scores te hoog waren Het is 1 groot complot, iedereen is tegen ons....whahahaha

O nee, wacht. Ze waren het dus niet eens met de gebruikte benches. Aha, dachten ze toen...laten we futuremark eens ff een poets bakken. We gaan es ff lekker de boel verzieken....jaaa...dat klinkt al veel aannemelijker, nietdan ?

[PeGys]

Inderdaad.

Ik begin meer en meer het gevoel te krijgen dat nVidia het niet aan kan dat ze van de eerste plaats worden geschoven en door zo'n manieren zijn positie probeert te behouden wat enkel tot problemen kan uitdraaien. Wat momenteel dus duidelijk gebeurd is.

ATI geeft toe dat er een kleine optimisation kan zijn in de drivers maar die is minimaal, daar scoor je geen +1000 punten extra mee in 3Dmark03 maar enkel een paar puntjes.
Maar zij gaan ze dan ook meteen verwijderen.

nVidia voelt zich enorm aangevallen wat al bewijst dat ze iets op hun kerfstok hebben. Als hun drivers wel degelijk in orde waren zouden ze niet op zo'n onbeschofte manier reageren en de schuld niet op Futuremark steken.

[Madrox]

En Ati geeft ook aan dat het ECHTE optimalisaties zijn, dus heel goed bruikbaar in games. Da's wel ff wat anders dan die bit-map soep van Nvidia

[PeGys]

Madrox schreef op 24 May 2003 @ 03:40:
En Ati geeft ook aan dat het ECHTE optimalisaties zijn, dus heel goed bruikbaar in games. Da's wel ff wat anders dan die bit-map soep van Nvidia

Inderdaad, ik ben benieuwd hoe nVidia hieruit gaat komen. Want dat is nu niet echt het soort reklame dat een groot merk graag heeft.

Dit zal nog wel een paar dagen/weken blijven duren eer het volledig opgelost is maar het incident wordt niet vergeten.

[Verwijderd]

ohohoh wat zijn we weer anti Nvidia...
als ik nvidia was zou ik t ook doen... er zijn miljoenen nerdjes die zitten te trekken bij een score van boven de 5000 en oogkleppen ophebben voor hoe videokaarten in gewone games werken... die kopen echt geen Nvidia meer, deels ten onrechte.
wat doe je dan om je hoofd boven water te houden in barre tijden? yep... een beetje ellebogenwerk hier en daar... niks mis mee.

btw. ik ben geen nvidia aanhanger, ik heb een 9700 pro

[iets]

Ach ik vind Nvidia en ATI, Matrox whatever allemaal één pot nat. Ze willen allemaal zoveel mogelijk $$$. En hoe krijgen ze dat? -Door beter te scoren in de benches.

Hoe ze dat doen maakt echt geen drol uit. Ik denk dat er wel vaker van die 'optimalisaties' in de drivers zaten van zowel ATI als Nvidia, alleen dat die niet zijn opgemerkt.

Nvidia heeft gewoon slecht gegokt door zo'n optimalisatie in de drivers te stoppen imo.

[PeGys]

Verwijderd schreef op 24 May 2003 @ 03:48:
ohohoh wat zijn we weer anti Nvidia...
als ik nvidia was zou ik t ook doen... er zijn miljoenen nerdjes die zitten te trekken bij een score van boven de 5000 en oogkleppen ophebben voor hoe videokaarten in gewone games werken... die kopen echt geen Nvidia meer, deels ten onrechte.
wat doe je dan om je hoofd boven water te houden in barre tijden? yep... een beetje ellebogenwerk hier en daar... niks mis mee.

btw. ik ben geen nvidia aanhanger, ik heb een 9700 pro

Wel, dan doe je wat ATI vroeger heeft gedaan bij de grote opkomst van nVidia, je houd je een paar jaar stil, werkt aan een volledig nieuw product dat de anderen overtreft, en dan sla je toe en veeg je de anderen weg.

Hoe denk je dat ATI zo groots is geworden op die korte tijd ?

[Madrox]

wel opvallend. Grote jongens als Anandtech, sharkyextreme en firingsquad geven er nog weinig (geen) aandact aan. Wel te vinden op de frontpage van Arstechnica, Toms Hardware , Beyond3D en Cnet meld het ook al. Ook Tweakers.net ligt nog te slapen...

hehe, ik hou wel van een gezond schandaaltje.

[PeGys]

ShotGun schreef op 24 May 2003 @ 03:49:
Ach ik vind Nvidia en ATI, Matrox whatever allemaal één pot nat. Ze willen allemaal zoveel mogelijk $$$. En hoe krijgen ze dat? -Door beter te scoren in de benches.

Hoe ze dat doen maakt echt geen drol uit. Ik denk dat er wel vaker van die 'optimalisaties' in de drivers zaten van zowel ATI als Nvidia, alleen dat die niet zijn opgemerkt.

Nvidia heeft gewoon slecht gegokt door zo'n optimalisatie in de drivers te stoppen imo.

Optimalisaties, ok, maar zo'n cheat zoals nVidia geflikt heeft dat kan niet vindt ik, dat is puur de mensen afzetten. Een product aanbieden dat in benches hoog scoort maar als eindresultaat in games bedroevend is. Dat is veel geld pakken en weinig in de plaats geven.

[Madrox]

ShotGun schreef op 24 May 2003 @ 03:49:
Ach ik vind Nvidia en ATI, Matrox whatever allemaal één pot nat. Ze willen allemaal zoveel mogelijk $$$. En hoe krijgen ze dat? -Door beter te scoren in de benches.

Hoe ze dat doen maakt echt geen drol uit. Ik denk dat er wel vaker van die 'optimalisaties' in de drivers zaten van zowel ATI als Nvidia, alleen dat die niet zijn opgemerkt.

Nvidia heeft gewoon slecht gegokt door zo'n optimalisatie in de drivers te stoppen imo.

Matrox ???? kom es onder die steen vandaan

Als Matrox echt zulke ambitieuse geldwolven waren, waren ze allang geen familiebedrijf meer.....

[Verwijderd]

PeGys schreef op 24 May 2003 @ 03:50:
[...]


Wel, dan doe je wat ATI vroeger heeft gedaan bij de grote opkomst van nVidia, je houd je een paar jaar stil, werkt aan een volledig nieuw product dat de anderen overtreft, en dan sla je toe en veeg je de anderen weg.

Hoe denk je dat ATI zo groots is geworden op die korte tijd ?

een paar jaar stil? denk je dat een bedrijf als nvidia zich het kan veroorloven zich een paar jaar stil te houden? dan zijn ze al 3x failliet

[PeGys]

Hadden ze maar zoveel verlieslatende producten niet op de markt moeten brengen zoals de FX 5800 (Ultra) (of was het 5700 ?) nuja, je snapt wel wat ik bedoel. Dan hadden ze een reserve gehad om dat wel te kunnen doen. Ze konden nog steeds poen pakken met nForce mobo chipsetjes.

Wat me ook wel opvalt is dat de 5800 Ultra of iets in die aard een tijd geleden voor de release bij reviewers ook als "krachtiger dan Radeon 9700 PRO" werd omschreven maar uiteindelijk toch een pak minder krachtig is.

[ Voor 3% gewijzigd door PeGys op 24-05-2003 03:59 ]

[Madrox]

En het word nog leuker, rechtstreeks van www.xbitlabs.com :

ATI Technologies’ New VPU to Overshadow NVIDIA GeForce FX 5900 This Fall

by Anton Shilov
05/22/2003 | 02:14 PM

David Orton, the president and COO of ATI Technologies, yesterday shed some light on the company’s intentions both in short term and long term future. Representative of Markham, Ontario-based graphics and multimedia chips design house said that his company continues to consider consumer-electronics market as a very prospective one.

Mr. Orton said that ATI’s sales will be boosted by devices like PDAs, mobile phones, STBs and digital TVs this [calendar?] year, thus, expect more products for handhelds from ATI since currently the company’s portfolio of such devices only consists of a very few chips. Additionally, ATI wants to capture larger share in the market of integrated chipsets. Orton agrees with his rivals from NVIDIA Corporation and also tells us that this year is going to be successful for graphics processors.

What you really want to know now is when ATI Technologies will beat its arch-rival again in the high-end graphics market. David Orton told on Wednesday that the company will launch its new highest-end graphics chip this Fall. According to Orton, it will overshadow NVIDIA GeForce FX Ultra Ultra that was announced earlier this month.

To tell you the truth, I do now know what does ATI Technologies’ COO and President mean by “new highest-end chip”. Is that R360 that we told you about some time ago (see this news-story), or is that the highly-acclaimed R400? We will need to find everything out, but at this point I doubt this will be R400 given that it is not yet taped out and we should not expect it earlier than in November with real sales starting in December or even January.

Orton also said that his company did not feel substantial impact from SARS outbreak, but weak USD causes some losses currently.

[catfish]

als in veel benches van games blijkt dat de R9800pro en de FX5900U gelijkwaardig zijn enzo, en deze vgl in 3Dmark totaal verkeerd is, begin ik eerder te twijfelen of Futuremark geen vuile spelletjes speelt tov nVidia, sinds nVidia uit het "groepje" is gestapt missen die namelijk inkomsten (zelfs redelijk veel als je alles leest) en wat prestige (want er ontbreekt een belangrijke speler).
Dat nVidia KAN cheaten in zo'n stomme benchn zegt meer over Futuremark dan nVidia, het is namelijk aan de bench om te controleren of alles correct gaat, net zoals een game developper moet controleren of gamers in MP niet vals spelen

[CJ]

PeGys schreef op 24 May 2003 @ 03:30:
ATI geeft toe dat er een kleine optimisation kan zijn in de drivers maar die is minimaal, daar scoor je geen +1000 punten extra mee in 3Dmark03 maar enkel een paar puntjes.
Maar zij gaan ze dan ook meteen verwijderen.

Kijk, optimalisaties zijn in mijn ogen wat anders dan cheats/hacks. En ATi geeft zelf al aan: "we simply shuffle instructions to take advantage of our architecture".

Dat is dus wat anders dan dingen weg laten, want "These are exactly the sort of optimizations that work in games to improve frame rates without reducing image quality and as such, are a realistic approach to a benchmark intended to measure in-game performance."

Maar ATi haalt het nu voor de zekerheid weg om gezeik in de toekomst te voorkomen. En als nVidia dat zou doen, dan zou de performance helemaal in kakken.

[ Voor 2% gewijzigd door CJ op 24-05-2003 10:30 . Reden: effe wat bold gemaakt ]

[Nocturno]

Het is allemaal leuk en aardig, maar wie SPEELT er 3dmark2003 ??

ik persoonlijk niet.. en als je iets moet vergelijken dan is het fps en beeldkwaliteit in games die je ook werkelijk speelt.. wat moet je dan met zo'n domme benchmark?

en ja ik heb een GF4 , en ja ik geef ook toe dat met AA de radeon mooier is.

maar wat ik mij vooral herinner van ati (m7 op mijn laptop bv) is dat ik altijd of speciale drivers of patches nodig had voor games.. nu zal dat tegenwoordig wel beter zijn, maar ut2003 , BF1942 , ut hadden allemaal fixes/patches /.ini tweaks nodig om fatsoelijk te draaien op de ati.. hier heb ik bij nvidia nooit last van gehad.
daarom is het ook een kwalijke zaak dat ze hun energie in het cheaten van een benchmark steken ipv het optimaliseren (ook kwalitatief .. niet alleen snelheid.. 100fps of 120fps .. who gives a f*ck!) van hun drivers..

[Mark Lor]

Zou je nou ook je geld terug kunnen eissen voor je FX? je hebt hem gekocht omdat hij zo goed uit de benchmarks kwam maar dat bleek later cheaten te zijn.

[Nocturno]

ik neem aan dat je je aankopen niet alleen op 3dmark2003 baseert ..

[Verwijderd]

Nocturno schreef op 24 mei 2003 @ 11:36:
Het is allemaal leuk en aardig, maar wie SPEELT er 3dmark2003 ??

ik persoonlijk niet.. en als je iets moet vergelijken dan is het fps en beeldkwaliteit in games die je ook werkelijk speelt.. wat moet je dan met zo'n domme benchmark?

en ja ik heb een GF4 , en ja ik geef ook toe dat met AA de radeon mooier is.

Het probleem is juist dat deze cheats net zo gemakkelijk in games te gebruiken zijn als in 3dmark. De kans is vrij groot dat in andere standaard benchmarks ook "discutabele" dingen gebeuren, die (nog) niet ontdekt zijn. Cheats zijn in games moeilijker te detecteren, waar nog bij komt dat de developers van games helemaal geen tijd/zin/geld hebben om te kijken of er gecheat wordt in benchmarks voor hun games (ik raad je voor verdere info aan die .pdf eens te lezen).
Het feit dat bij 3dmark 2k3 wel cheats worden ontdekt is juist een pluspunt voor 3dmark, omdat dat de enige benchmark is tot nu toe waarvan we weten dat er nu dus goed onderzoek is gedaan naar het bestaan van cheats. Dit maakt 3dmark alleen maar belangrijker als benchmark.

[PeGys]

Nocturno schreef op 24 May 2003 @ 11:36:
Het is allemaal leuk en aardig, maar wie SPEELT er 3dmark2003 ??

ik persoonlijk niet.. en als je iets moet vergelijken dan is het fps en beeldkwaliteit in games die je ook werkelijk speelt.. wat moet je dan met zo'n domme benchmark?

en ja ik heb een GF4 , en ja ik geef ook toe dat met AA de radeon mooier is.

maar wat ik mij vooral herinner van ati (m7 op mijn laptop bv) is dat ik altijd of speciale drivers of patches nodig had voor games.. nu zal dat tegenwoordig wel beter zijn, maar ut2003 , BF1942 , ut hadden allemaal fixes/patches /.ini tweaks nodig om fatsoelijk te draaien op de ati.. hier heb ik bij nvidia nooit last van gehad.
daarom is het ook een kwalijke zaak dat ze hun energie in het cheaten van een benchmark steken ipv het optimaliseren (ook kwalitatief .. niet alleen snelheid.. 100fps of 120fps .. who gives a f*ck!) van hun drivers..

Nu moet je wel ff verder denken. Op het moment dat die games ontwikkeld werder was nVidia de meest voorkomende grafische producent en werden die games daarvoor dan ook geroptimaliseerd. Maar deze games waren niet geoptimaliseerd voor de redelijk nieuwe Radeon grafische kaarten waardoor je inderdaad patches nodig hebt.

Kijk maar eens naar Windows. Al die games zijn ontworpen voor windows 98/me/2k en als je ze probeert te spelen op Windows XP moet je ook een patch downloaden om hem daarin te draaien (die patches zitten meestal reeds in service packs).

[PeGys]

Nuja, komt tweakers.net een dagje later af met het bericht dat ondertussen heel de wereld al weet.

[Verwijderd]

PeGys schreef op 24 May 2003 @ 13:16:
Nuja, komt tweakers.net een dagje later af met het bericht dat ondertussen heel de wereld al weet.

Als tweakers zo langzaam is kom je hier toch gewoon niet meer

On-topic:

Niet netjes van nVidia, maar dat was het van Ati ook niet. Verder een storm in een glas water imo. Ik koop sowieso geen grafische kaart op basis van 3Dmark scores.

Over schandalen gesproken:

En hier Tom's verhaal over dit debacle

Wie luistert er tegenwoordig nou nog naar Tom

[Verwijderd]

Verwijderd schreef op 24 May 2003 @ 12:27:
[...]


Het feit dat bij 3dmark 2k3 wel cheats worden ontdekt is juist een pluspunt voor 3dmark, omdat dat de enige benchmark is tot nu toe waarvan we weten dat er nu dus goed onderzoek is gedaan naar het bestaan van cheats. Dit maakt 3dmark alleen maar belangrijker als benchmark.

Ja, maar het is niets meer dan dat, een synthetishe benchmark. Zelf heb ik nooit en zal ik nooit een aankoop beslissing op een benchmark baseren maar doe ik dat alleen op dingen als prestatie in games, prijs an beschikbaarhaid op het moment dat ik een nieuwe video-kaart nodig heb.

Waar ik op het moment echt op zit te wachten zijn head-to-head benchies van de ATI 9600pro vs. de Nvidia Geforce 5600 ultra in Half-life 2 an DooM III. Totdantoe ga ik geen beslissing nemen over een eventuele nieuwe aankoop. Als ik al iets nieuws bove mijn Ti4200 koop.

Het enige dat ik belangenrijk vind is dat vorig jaar op de E3 DooM III en dit jaar HL 2 beide op een ATI kaart werden getoond. Een sterke aanwijzing dat dit merk op dit moment gewoon de betere is. En daar heb ik geen stompzinnig benchmark programma voor nodig

[Mark Lor]

Nocturno schreef op 24 mei 2003 @ 11:59:
ik neem aan dat je je aankopen niet alleen op 3dmark2003 baseert ..

Nee natuurlijk niet en ik heb m ook niet maar het is toch bedrog als jij een auto koopt en er staat topsnelheid 220 km per uur dan verwacht je toch ook niet dat je daarvoor een stijle berg af moet rijden

[PeGys]

Mark Lor schreef op 24 mei 2003 @ 14:01:
[...]


Nee natuurlijk niet en ik heb m ook niet maar het is toch bedrog als jij een auto koopt en er staat topsnelheid 220 km per uur dan verwacht je toch ook niet dat je daarvoor een stijle berg af moet rijden

lolz, inderdaad, goeie vergelijking.

[Verwijderd]

catfish schreef op 24 mei 2003 @ 10:09:
Dat nVidia KAN cheaten in zo'n stomme benchn zegt meer over Futuremark dan nVidia, het is namelijk aan de bench om te controleren of alles correct gaat, net zoals een game developper moet controleren of gamers in MP niet vals spelen.

Ja dan ligt het ook niet aan de valsspelers neem ik aan? FutureMark gooit zijn eigen glazen in als ze nVidia uitsluiten of benadelen, ze moeten objectief zijn, dus zo stom zullen ze niet zijn. nVidia probeerd FutureMark gewoon in een slecht daglicht te plaatsen en iedereen die nog een GF4 heeft (net zoals ik), met erg lage scores, lullen lekker mee.

[Verwijderd]

Verwijderd schreef op 24 mei 2003 @ 13:59:
[...]

Waar ik op het moment echt op zit te wachten zijn head-to-head benchies van de ATI 9600pro vs. de Nvidia Geforce 5600 ultra in Half-life 2 an DooM III. Totdantoe ga ik geen beslissing nemen over een eventuele nieuwe aankoop. Als ik al iets nieuws bove mijn Ti4200 koop.

Het enige dat ik belangenrijk vind is dat vorig jaar op de E3 DooM III en dit jaar HL 2 beide op een ATI kaart werden getoond. Een sterke aanwijzing dat dit merk op dit moment gewoon de betere is. En daar heb ik geen stompzinnig benchmark programma voor nodig

Ik ben het met je eens dat games beter zijn als benchmark dan synthetische benchmarks. De grote vraag is in welke mate we de games-benchmarks nog kunnen vetrouwen nu blijkt dat cheaten zo makkelijk is en ook daadwerkelijk wordt gedaan. Pas nadat er goed onderzoek is gedaan denk ik dat je pas weer waarde kan gaan hechten aan de huidige games benchmarks.

Doom III zou ik momenteel overigens weinig waarde aan hechten: het is een beta versie, NVIDIA heeft dankzij samenwerking met ID een voorspring in het ontwikkelen van drivers voor Doom III en NVIDIA heeft ook de systemen geleverd waarop Doom III zjin gebenched (wat in de huidige situatie natuurlijk helemaal verdacht is). Halflife2 verkeert ook nog in beta fase en ATI heeft veel meer mogelijkheden gehad om zijn drivers voor halflife2 aan te passen dan NVIDIA (ATI werkt nauw samen met Valve op dit vlak).
Ik zou geen vertrouwen hebben in benchmarks van beide games tot de daadwerkelijke release versies uit zijn samengaand met goed onderzoek naar het aanwezig zijn van potentiele cheats in de drivers voor de betreffende games.

[edward2]

Niemand speelt 3Dmark, maar het is wel een indicatie voor de dx9 performance van je kaart.

Zoals CJ al zei, het lijkt of de FX series speciale aansturing nodig hebbent en dan laat ik het gecheat even buiten beschouwing

Ik heb meer dx9 tests gedaan met een FX5800, en daar komt hij ronduit beroerd uit de test, zelfs de R9700 scoort veel beter in plain dx9 shaders zie Digit Life.

[ Voor 4% gewijzigd door edward2 op 25-05-2003 01:20 ]

[procyon]

Optimalisaties hier en daar is in mijn ogen allemaal fout, ik wil de ruwe performance zien van de nieuwste GPU's.. (in benchmarks) Niets meer en niets minder!
Updates en optimalisaties zijn het werkterrein van de softwareontwikkelaars, eventueel in samenwerking met ATI/Nvidia of wie dan ook..

Of eventueel een optie dat je 3dmark2003 met en zonder speciale optimalisaties kan draaien zodat daar duidelijkheid in is.

[ Voor 21% gewijzigd door procyon op 25-05-2003 11:36 ]

[edward2]

Iemand een idee of FX-kaarten 3DMark03 nu ook in 32 bits precisie renderen na de 330-patch ?

[Madrox]

Ja en nee
Nvidia gebruikt een soort "mixed mode" techniek, dus het is nogal lastig voor mij als leek om het uit te leggen. Hee, zelfs de die-hards programmeurs hebben er 4 kantjes A4 voor nodig

Lees alleen maar eens John Carmack's (Doom3) *.plan updates.
Als je na het lezen daarvan nog niet duizelig word ....

Het grootste probleem is in mijn ogen nog geeneens dat hier gecheat word. Het ligt dieper.
sim-pel gezegt komt het er op neer dat er onvoldoende uniformiteit is, er zijn teveel varianten die ook nog es allemaal programeerbaar zijn. En als dat nog niet genoeg is heeft elke fabrikant zijn eigen code om die variabelen te programmeren. Kortom; de chaos is compleet. Dit kan nooit in ons voordeel zijn, zie alleen al de stroom patches en driver-updates waar maar geen einde aan lijkt te komen; integendeel zou ik haast zeggen.

Daarom word het hoog tijd dat de heren eens de koppen bij elkaar steken en de specificaties voor een toekomstige standaard vastleggen; en dan natuurlijk wel! met strakke regels en vereisten, anders schiet het niet op. Zeg maar een standaard 3D -API waar elk spel mee overweg kan, waarop de fabrikant naar believen 3D-functies bouwt die niet de standaard-API in de weg zit. ICM met een goed developments-pakket voor software-ontwikkelaars moet dit dan gaan leiden tot stabiele spellen waar elke 3D-kaart (certified) mee overweg kan.

Zo kan iedere Noob met een onbezorgd hart zijn favoriete spelletje spelen en de tweakers de laatste 3D-features beproeven. Net zoiets als een tijd geleden gebeurde, met de VESA-standaard. Want toen was de 2D ook al een jungle waar je niet vrolijk van werd.

[GambitRS]

Goh, ATI wint maar 1.9% met die onveranderde 3dmark test. Lijkt mij eerder dat de nieuwe code per ongeluk de kaart iets langzamer maakt. Bovendien, als je tig keer 3dmark draait krijg je toch elke keer een andere score? Ik iig wel, en 1,8% van 5000 3dmarks is maar 90 3dmarks. Als ATI echt voor die 90 extra marks gaat cheaten zijn ze wel heel raar bezig. Kijk, Nvidia doet het dan tenminste meteen goed.

[Madrox]

als je graag belazerd word, idd

wat ze doen met 3Dmark, kunnen ze met elke Fly-by, Demo whatever. Pure oplichting dus.

[Verwijderd]

we simply shuffle instructions to take advantage of our architecture. [..] However [...] we are removing them from our driver as soon as is physically possible.

Wel jammer dat de hardware specifieke pipeline optimalisaties in de driver gaan verdwijnen, daar heb je in games etc tenminste ook echt wat aan en lijkt mij ook het feitelijke doel van een driver (naast de normale OS/DX/GL-aansturing).

[Madrox]

Volgens een Ati medewerker (die het niet eens was met dit besluit) zijn ze al druk bezig om dit toch voor elkaar te krijgen op een betere manier zodat Futuremark er vrede mee kan hebben.

Lees nu ook interressant voer; De meeste DOOM 3 reviews schijnen niet helemaal te kloppen. Er loopt een heftige discussie bij www.beyond3d.com (forum) tussen een reviewer (lars van THG) en een paar code-crushers. Lars heeft het moelijk
Ook Hardocp en Anandtech krijgen ervan langs.....

[Verwijderd]

Procyon for life schreef op 25 May 2003 @ 11:21:
Optimalisaties hier en daar is in mijn ogen allemaal fout, ik wil de ruwe performance zien van de nieuwste GPU's.. (in benchmarks) Niets meer en niets minder!
Updates en optimalisaties zijn het werkterrein van de softwareontwikkelaars, eventueel in samenwerking met ATI/Nvidia of wie dan ook..

Of eventueel een optie dat je 3dmark2003 met en zonder speciale optimalisaties kan draaien zodat daar duidelijkheid in is.

Uhh ja

Maar dan heb je het dus over D3D en niet DirectX op zich, of geprerenderde spullen alts UT2003 en Doom 3 enz.

Dan moet je het hele texel gedoe en de AGP versnellingen enzo uitzetten en realtime 3D gaan renderen met een programma als CPUMM van RightMark dat direct de plaatjes rendert.

[edward2]

Madrox schreef op 26 May 2003 @ 03:46:
Ja en nee
Nvidia gebruikt een soort "mixed mode" techniek, dus het is nogal lastig voor mij als leek om het uit te leggen. Hee, zelfs de die-hards programmeurs hebben er 4 kantjes A4 voor nodig

Lees alleen maar eens John Carmack's (Doom3) *.plan updates.
Als je na het lezen daarvan nog niet duizelig word ....

Het grootste probleem is in mijn ogen nog geeneens dat hier gecheat word. Het ligt dieper.
sim-pel gezegt komt het er op neer dat er onvoldoende uniformiteit is, er zijn teveel varianten die ook nog es allemaal programeerbaar zijn. En als dat nog niet genoeg is heeft elke fabrikant zijn eigen code om die variabelen te programmeren. Kortom; de chaos is compleet. Dit kan nooit in ons voordeel zijn, zie alleen al de stroom patches en driver-updates waar maar geen einde aan lijkt te komen; integendeel zou ik haast zeggen.

Daarom word het hoog tijd dat de heren eens de koppen bij elkaar steken en de specificaties voor een toekomstige standaard vastleggen; en dan natuurlijk wel! met strakke regels en vereisten, anders schiet het niet op. Zeg maar een standaard 3D -API waar elk spel mee overweg kan, waarop de fabrikant naar believen 3D-functies bouwt die niet de standaard-API in de weg zit. ICM met een goed developments-pakket voor software-ontwikkelaars moet dit dan gaan leiden tot stabiele spellen waar elke 3D-kaart (certified) mee overweg kan.

Zo kan iedere Noob met een onbezorgd hart zijn favoriete spelletje spelen en de tweakers de laatste 3D-features beproeven. Net zoiets als een tijd geleden gebeurde, met de VESA-standaard. Want toen was de 2D ook al een jungle waar je niet vrolijk van werd.

Ik weet dat ze tegelijkertijd aan 16 en 32 bits precisie kunnen doen, ik probeer ik altijd het forum van beyond3d te begrijpen maar het schijnt bij bv. de Dawn demo alleen te gaan om de ogen, de rest is 16.
Dan hebben we nog fx12

[procyon]

Verwijderd schreef op 26 mei 2003 @ 09:52:
[...]
Maar dan heb je het dus over D3D en niet DirectX op zich, of geprerenderde spullen alts UT2003 en Doom 3 enz.

Dan moet je het hele texel gedoe en de AGP versnellingen enzo uitzetten en realtime 3D gaan renderen met een programma als CPUMM van RightMark dat direct de plaatjes rendert.

Ik zag toch echt duidelijk dat ik het over benchmarks heb, andere 3d programma's mogen natuurlijk wel geoptimaliseerd worden.

[Madrox]

Precies Edward, om gek van te worden. 16/32/12/24 en daarbovenop nog es 8x1 of 4x2 of what next? 2x4 ? 3x4?
en da's alleen nog maar het technische verhaal. Probleems is dat juist hierdoor er weer speciale tools ontwikkelt voor de heren programmeurs die niet compatible zijn met de concurrentie. Zo hou je dus de chaos in stand. Of nee ik weet het, laten we allemaal Nvidia kopen, zodat ze net als Ms monopolist worden. Da's pas lachen, kunnen we eindelijk onze euro's goed besteden.

[SG]

Madrox schreef op 26 mei 2003 @ 06:29:
Volgens een Ati medewerker (die het niet eens was met dit besluit) zijn ze al druk bezig om dit toch voor elkaar te krijgen op een betere manier zodat Futuremark er vrede mee kan hebben.

Lees nu ook interressant voer; De meeste DOOM 3 reviews schijnen niet helemaal te kloppen. Er loopt een heftige discussie bij www.beyond3d.com (forum) tussen een reviewer (lars van THG) en een paar code-crushers. Lars heeft het moelijk
Ook Hardocp en Anandtech krijgen ervan langs.....

welke subtread & titel? d'r zijn tig tread verdeeld over de subdirectorys over cheating.

Heb wel iets gevonden waar kylie werd afgezeken.

[Metro2002]

ik vind 3dmark2003 sowieso al niet representatief.
als een kaart van ati (bv de 9100 of de 9000 pro) die trager werkt in spellen en trager is in 3dmark2001 ineens sneller is in 3dmark2003 als bijvoorbeeld een geforce4 TI dan daalt mijn geloofwaardigheid al.

krijgen ze punten omdat ze dingen ondersteunen die voorlopig niet in games te vinden zijn (dan zijn die kaarten van ati ook al veels te traag)

ik kan de allernieuwste spellen allemaal spelen, ook met 2x FSAA aan en anosotopisch filteren aan zonder schokken. bijna 11.000 punten in 3dmark2001 en wat heb ik in 2003: 1300 punten
dat KLOPT toch niet

en zoals al gemeld was heeft ATI dat ook destijds geflikt met quake3 door het detaillevel van de textures omlaag te schroeven.

zolang alle spellen draaien vind ik het best

3dmark2003 is voor mij echt alleen nog maar een stresstestprogramma geworden ipv een eerlijke vergelijkingstool.

[stylezzz]

Metro2002 schreef op 27 mei 2003 @ 08:17:

dat KLOPT toch niet

Je vergelijkt appels met peren, dat klopt er niet....

[Siluro]

Metro2002 schreef op 27 May 2003 @ 08:17:

ik kan de allernieuwste spellen allemaal spelen, ook met 2x FSAA aan en anosotopisch filteren aan zonder schokken. bijna 11.000 punten in 3dmark2001 en wat heb ik in 2003: 1300 punten
dat KLOPT toch niet

Dat komt gedeetelijk omdat je de dx9 tests niet kan runnen.
Bovendien is deze benchmark voor een aantal jaar en de hoogste
score die ik hier op gathering zie ligt nog onder de 6000.
Dus ik denk dat scores in 3dmark 03 sowieso al lager uitvallen dan in 2001.

Ikzelf heb een MX kaartje ( wegens geldgebrek ) en ik mag blij zijn als ik er in 3dmark 2001 een score uit kan slepen van 7000 puur omdat ik die nature test niet kan doen.

[Metro2002]

dominator schreef op 27 May 2003 @ 08:43:
[...]


Je vergelijkt appels met peren, dat klopt er niet....

9100 is anders ook een DX8.1 kaart en die haalt toch hoger als een GF4 TI

[Sluuut]

Metro2002 schreef op 27 mei 2003 @ 08:17:
ik vind 3dmark2003 sowieso al niet representatief.
als een kaart van ati (bv de 9100 of de 9000 pro) die trager werkt in spellen en trager is in 3dmark2001 ineens sneller is in 3dmark2003 als bijvoorbeeld een geforce4 TI dan daalt mijn geloofwaardigheid al.

krijgen ze punten omdat ze dingen ondersteunen die voorlopig niet in games te vinden zijn (dan zijn die kaarten van ati ook al veels te traag)

ik kan de allernieuwste spellen allemaal spelen, ook met 2x FSAA aan en anosotopisch filteren aan zonder schokken. bijna 11.000 punten in 3dmark2001 en wat heb ik in 2003: 1300 punten
dat KLOPT toch niet

Hoezo klopt dat niet! Sommige mensen denken blijkbaar niet verder en trekken dan conclusies ... als je nou even bedacht had dat die ATi kaartjes DirectX 9 ondersteunen en hoe complexer de textures worden hoe beter ze het kunnen verwerken in vergelijking met Geforce kaartjes waar jij het over hebt. Natuurlijk zijn die Geforce kaartjes in UT/weet-ik-veel-welke-ouwe-games sneller dan de Radeon's. Die Geforce kaartjes kunnen die ouwe textures namelijk veel sneller verwerken dan de Radeon's, totdat het complexer word. En ja, 3D Mark 2001 werkt nog met ouwe textures, waarbij de kaarten gewoon op een heel andere (ouwere) DirectX versie worden getest.

Oftewel, 3DMark 2003 vind ik persoonlijk wel heel handig om te kijken hoe een bepaalde kaart in toekomstige games gaat presteren, zodat je weet of je ermee vooruit kunt of niet,
en hoe hij gaat presteren als hij het echt zwaar krijgt. Er zijn blijkbaar ook mensen die denken; het kan mij niet boeien wat de toekomst mij brengt.. dat zie ik dan wel. Daar heb ik uiteraard respect voor, dat moeten die mensen zelf weten. Maar ga dan niet lopen zeiken dat je geloofwaardigheid daalt.

[ Voor 6% gewijzigd door Sluuut op 27-05-2003 12:29 ]

[Verwijderd]

SuperG schreef op 27 mei 2003 @ 08:02:
[...]

welke subtread & titel? d'r zijn tig tread verdeeld over de subdirectorys over cheating.

Heb wel iets gevonden waar kylie werd afgezeken.

Ik heb wel iets gerelateerd gevonden; http://www.beyond3d.com/f...topic.php?t=6043&start=20

Vooral die laatste post van Dave H is erg interessant, daar wordt opgesomd welke fouten tot nu toe allemaal gemaakt zijn in de reviews.

Ik kan de beyond3d forums trouwens erg aanraden, er posten over het algemeen mensen met veel vestand van de videokaarten wereld.

[Madrox]

Dankje, Xspring2
Zit op zoveel forums te neuzen dat ik het 1,2,3 ook niet meer weet waar al die info vandaan komt. En idd vind ook ik de beyond3D forums ver boven de rest uitsteken. En om er ff aan toe te voegen; er zitten mensen tussen die er midden in zitten (de 3D wereld)

[Verwijderd]

Ik heb die beyond 3D forums dus gisterenavond uitgebreid zitten lezen. Zo te zien zijn die gasten dus tot de concluse gekomen dat allen door de reviewer zelf gemaakte demo's van de allerlaatste games op dit moment nog enige mate van betrouwbaarheid bieden. Mits daarbij de beeldkwalietit van de verschillende kaarten zeer zorgvuldig met elkaar vergeleken wordt. Dit om te kijken of de vershillende ondernemingen niet ook in de games tot kwaliteisverlies leidende 'optimalisaties' hebben toegepast.

Volgens mij is de huidige situatie eigenlijk erg simpel. Iedereen die op dit moment geen volstekt verouderde videokaart heeft moet op dit moment beslist geen nieuwe hardware kopen. Blijf zitten waar je zit. Pas later dit jaar, als games als FarCry, Half-life 2 en DooM III in de winkel zijn verschenen zullen we kunnen vaststellen welke grafische kaart de beste is.

[E-razor1984]

Waarom laat iedereen alles afhangen van die 3d mark. Als je een game speelt en hij draait vlotjes waarom dan lopen te zanikken dat ie nie lekker draait onder 3d mark 2003. Deze is alleen voor toekomstige hardware. De mensen die nu een GF3/4 hebben kunnen nog alles goed draaien behalve dan die DX9 games en die zijn er nog lang niet, en dit gaat nog wel een tijd duren ook.

[Verwijderd]

Linkjes, linkjes: Reactie van FutureMark op dit antwoord van nVidia.

[Madrox]

ZZzzzz oud nieuws hoor

[SandsOfArrakis]

E_razor_2 schreef op 27 May 2003 @ 16:56:
Waarom laat iedereen alles afhangen van die 3d mark. Als je een game speelt en hij draait vlotjes waarom dan lopen te zanikken dat ie nie lekker draait onder 3d mark 2003. Deze is alleen voor toekomstige hardware. De mensen die nu een GF3/4 hebben kunnen nog alles goed draaien behalve dan die DX9 games en die zijn er nog lang niet, en dit gaat nog wel een tijd duren ook.

I agree.

[Verwijderd]

Sluuut schreef op 27 May 2003 @ 12:21:
[...]


Hoezo klopt dat niet! Sommige mensen denken blijkbaar niet verder en trekken dan conclusies ... als je nou even bedacht had dat die ATi kaartjes DirectX 9 ondersteunen en hoe complexer de textures worden hoe beter ze het kunnen verwerken in vergelijking met Geforce kaartjes waar jij het over hebt. Natuurlijk zijn die Geforce kaartjes in UT/weet-ik-veel-welke-ouwe-games sneller dan de Radeon's. Die Geforce kaartjes kunnen die ouwe textures namelijk veel sneller verwerken dan de Radeon's, totdat het complexer word. En ja, 3D Mark 2001 werkt nog met ouwe textures, waarbij de kaarten gewoon op een heel andere (ouwere) DirectX versie worden getest.

Oftewel, 3DMark 2003 vind ik persoonlijk wel heel handig om te kijken hoe een bepaalde kaart in toekomstige games gaat presteren, zodat je weet of je ermee vooruit kunt of niet,
en hoe hij gaat presteren als hij het echt zwaar krijgt. Er zijn blijkbaar ook mensen die denken; het kan mij niet boeien wat de toekomst mij brengt.. dat zie ik dan wel. Daar heb ik uiteraard respect voor, dat moeten die mensen zelf weten. Maar ga dan niet lopen zeiken dat je geloofwaardigheid daalt.

Dit misverstand hoor ik jammer genoeg wel vaker. 3Dmark2003 bestaat niet uit DirectX 9 testen, maar bestaat uit één directX 7 test, twee DirectX 8 testen en uit één directX 9 test. En deze laatste test zou volgens Futuremark maar 20% van de totaalscore uit moeten maken, oftewel. Bij de scores zie je dat van de populaire kaarten in het middensegment zelfs bij 3Dmark's defaultresolutie, 1024x768x32 zonder AA & AF, een Geforce 4 Ti-4200 bij lange na niet in de buurt komt van een Radeon 9500 laat staan een 9500 pro of 9600 Pro. En het verschil wordt niet zozeer door die ene DirectX 9 test gemaakt, nee, bij de eerste drie testen loopt de Ti4200 al een flinke achterstand op. En dat klopt gewoon niet met werkelijkheid. Ik heb dat al eens eerder getracht te verduidelijken, zie b.v.

http://gathering.tweakers...message/17740935#17740935

Interessanter met het oog op de toekomstige games is dat ook nieuwe testen laten zien dat de scores van 3Dmark2003 weinig tot geen zinnig beeld geven voor de performance in games. Zie hier een test van Splinter Cell op maximale instellingen, een recente en naar huidige maatstaven loodzware DirectX game en daarmee model staand voor menig andere game die het komende jaar zal gaan verswchijnen. Vergelijk deze resultaten eens met de scores die de geteste kaarten in game 2 en 3 van 3Dmark2003 scoren:

http://firingsquad.gamers...-vtdr128_review/page7.asp

En zeg nou zelf, als je ziet dat Futuremark met hun 3Dmark2003 bij de eerste 3 testen, waar dus al genoeg DirectX-7 en -8 games waren om hun benchmark dusdanig te eiken dat zij zelf tijdens de ontwikkelingsfase hadden kunnen (moeten) zien dat er iets grondig mis was met hun testmethode, dusdanig de plank misslaat, heb jij er dan nog enig vertrouwen in dat de laatste test ineens wel een correct beeld van de toekomstige werkelijkheid bij DirectX 9 games zal laten zien?

[procyon]

Verwijderd schreef op 28 May 2003 @ 00:15:
Lang verhaal..

Ten eerste
De link die jij gaf:
http://firingsquad.gamers...-vtdr128_review/page7.asp
Als ik me niet vergis zie ik dat de radeons beter presteren dan de GeForce kaart als de resoluties op de max staan.

Ik weet ook dat de mannen bij Futuremark een bepaalde manier van rendering toegepast hebben waardoor alles eigenlijk meerdere keren berekend wordt dan nodig is (extra zwaar gemaakt), komt ruwweg neer op een res verdubbeling en daar waren de radeons weer beter.
Kortom 3dmark2003 is wel een goede graadmeter voor de videokaart performance in de toekomst (hoge resoluties) want laten we eerlijk zijn, wat doet het er toe welke kaart het snelst is in 1024*768, we willen de performance zien op 1600*1200 en eigenlijk nog zwaarder om te weten hoe ze het zullen doen in de games van morgen.

Kortom vergelijk 3dmark 2003 @ 1024*768 maar met een game van vandaag op een res van 1600*1200.

Verwijderd in "RE: is 3Dmark 03 representatief?"
Ten tweede, in de andere post van je zeg je dat een pIII 1300Mhz met een Gf4 ti4200 een slechter platform is dan een P4 2.8Ghz met een Ti4400 kaart, en dat 3dmark2003 ten onrechte laat zien dat dat niet zo zou zijn.
Je hebt gelijk dat simpele dx7 spellen zolang de filrate niet de beperkende factor is sneller lopen op een computer met een snellere cpu, maar wat als je DX9 spellen gaat spelen op een hoge resolutie? Waarschijnlijk is de pIII1300Mhz dan een beter platform omdat de vid kaart beter is en de vid kaart de beperkende factor is.
Wat denk je wat er gaat gebeuren bij doom3? Deze generatie spellen zijn veel eerder GPU dan CPU gelimiteerd en dat verschil zal elk jaar groter worden.

Vandaar dat het in (3dmark) 2003 veel minder uitmaakt of je nou een 1 of 2Ghz processor hebt dan dat je een GPU hebt die op 250 of 500Mhz loopt.
Vandaar dat ik vind dat 3dmark2003 een goede benchmarktool is om de vodeoperformance te meten, vandaag en morgen!

Ten derde
De gameperformance van de Radeon 9800Pro en de FX5900ultra is nagenoeg gelijk, de 3dmark2003 score ook (gepatchde versie van 2003), vind je nu nog steeds dat de score van 3dmark2003 geen goede performance indicatie geeft?

[ Voor 14% gewijzigd door procyon op 28-05-2003 01:29 ]

[Verwijderd]

Procyon for life schreef op 28 May 2003 @ 01:03:
[...]

Ten eerste
De link die jij gaf:
http://firingsquad.gamers...-vtdr128_review/page7.asp

Als ik me niet vergis zie ik dat de radeons beter presteren dan de GeForce kaart als de resoluties op de max staan.

Ik weet ook dat de mannen bij Futuremark een bepaalde manier van rendering toegepast hebben waardoor alles eigenlijk meerdere keren berekend wordt dan nodig is (extra zwaar gemaakt), komt ruwweg neer op een res verdubbeling en daar waren de radeons weer beter.
Kortom 3dmark2003 is wel een goede graadmeter voor de videokaart performance in de toekomst (hoge resoluties) want laten we eerlijk zijn, wat doet het er toe welke kaart het snelst is in 1024*768, we willen de performance zien op 1600*1200 en eigenlijk nog zwaarder om te weten hoe ze het zullen doen in de games van morgen.

Kortom vergelijk 3dmark 2003 @ 1024*768 maar met een game van vandaag op een res van 1600*1200.

[...]

Radeon 9500 vs TI4200

Splinter Cell

800*600
TI4200: 38.4
R9500: 32.2 Verschil 19.3%

1024*768
Ti4200: 32.5
R9500: 28.4 Verschil 14.4%

1280*1024
TI4200: 25.6
R9500: 21.7 Verschil 18.0 %

1600*1200
TI4200: 20.2 Verschil 12.8%
R9500: 17.9

Performanceverhouding van 1024*768 -> 1600*1200
TI4200: 32.5 -> 20.2 = 62.2%
R9500: 28.4 -> 17.9 = 63.0%

Je ziet dat het dus niet zo is dat als je de resolutie maar eindeloos ophoogt, dat dan de Radeon ineens wint. De radeon verliest bijna net zo veel aan performance als de Geforce 4, wel zien wij hier het bekende verschijnsel dat Nvidia er in slaagt bij een lage resoluties als b.v. 800*600 er wat extra frames uit te persen. Dit verschijnsel was ook al bekend van de GF2 & GF3 t.o.v. de Radeon 7500 & 8500, ik heb gewoon het idee dat nvidia iets meer moeite neemt dan ATI om hun drivers op de lage resoluties te optimaliseren. Veel praktisch nut heeft dit naar mijn mening overigens niet.

Goed, duidelijk is dus dat in een loodzware directX 8 game een Radeon 9500 duidelijk minder presteerd dan een TI4200. En wat geeft 3Dmark aan? Helaas was in deze test van Firingsquad om één of andere reden 3Dmark2003 niet meer gebruikt (zouden zij soms deze benchmark om een of andere reden niet meer bruikbaar vinden?), dus ik moet noodgedwongen naar een test uit April van deRadeon9600Pro uitwijken. Hier is het echter een TI4800 (of zoals zij dat noemen, een TI4600-8X) gebruikt. Mij staat bij dat een TI-4200-8X in 3Dmark2003 ongeveer 80% scoort t.o.v. een TI4800, kan het jammer genoeg niet zelf testen, ik heb namenlijk een ATI Radeon in mijn PC zitten!

3Dmark2003

Game 2

TI4800: 10.8
TI4200: ongeveer 8.6
R9500: 16.3 !!!

Game 3

TI4800: 10.5
TI4200: ongeveer 8.4
R9500: 15.7 !!!

3Dmark2001
Game 4 (ook DirectX 8 )
TI-4800: 78.9
TI-4200: ???
R9500: 59.5

Je ziet dus dat 3Dmark2003 bij hun DirectX 8 testen wel een aantal interessante getallen ophoest, maar dat deze absoluut geen zinnig verband hebben in de werkelijke gameperformance. Want zeg nou zelf, waar in 3Dmark2001 de nature test en de eerste zware DirectX 8 games laten zien dat een TI4200 ongeveer 15% sneller is dan een Radeon 9500, beweert 3Dmark2003 dat de Radeon 9500 bijna 90 % sneller is.

Natuurlijk, het is altijd lastig om met een benchmark proberen de werkelijkheid weer te geven. Ik zal het geen enkele GPU-benchmark kwalijk nemen als zij er 10 a 20 % naast zitten, integendeel, dat is een keurige prestatie en voor 3Dmark2001 heb ik dan ook erg veel lof over. Echter, als je ziet dat 3DMark2003 er met meer dan 100% naast zit, dan heb ik daar minimaal het volgende woord over: SCHANDE!

En iemand met een slecht humeur of meer wantrouwen kan daar nog een hoop lelijke woorden als bedrog, corruptie, vriendjespolitiek, incompetentie en weet niet wat bij verzinnen. En deze woorden kan een dergelijk persoon tevens gebruiken om sommige drivers van Nvidia te beschrijven...

Kort samengevat:

3Dmark2003 meet in hun directX 8 testen iets waar goed presterende directX 8 kaarten zoals de Geforce 4 TI-serie spectaculair slecht op scoren.

Deze testen hebben geen verband met de werkelijkheid bij DirectX 8 games.

Ik denk dat ik daarmee je laatste vraag of de resultaten van de Geforce FX mij meer vertrouwen geven ook wel beantwoord heb.

[ Voor 4% gewijzigd door Verwijderd op 29-05-2003 02:20 ]

[Madrox]

Zo''n schande is het niet. Nvidia en Ati gebruiken nu verschillende technieken die absoluut niet verenigbaar zijn. JC zegt het zelf al: while Nvdia uses a combination of 12bit integer, 16 and 32 floating precision, Ati uses only 24 Floating Precision.

Maw; er is eigenlijk geen goede objectieve en gelijkwaardige benchmark meer mogelijk.

Beide hebben voor en nadelen, wat ik begrijp uit JC's commentaar is dit:
Nvidia's techniek is uiteindelijk sneller maar legt een zware druk op de programmeurs; fouten in de code zijn bijzonder lastig op te sporen....
Waar ik dus bang voor ben is nog meer bugs in spellen, bugs die dan niet opgelost worden "omdat het zo verdomd lastig is die te vinden". Lang leve de vooruitgang....

IPV. de techniek meer toegangelijk te maken en de kans op fouten te verkleinen, gaan ze precies de andere kant op.

[Verwijderd]

Verwijderd schreef op 28 mei 2003 @ 18:34:
[...]

verhaal

Wie zegt dat Nvidia ook niet hun drivers hebben "geoptimaliseerd" in 3dmark2001 en/of splintercell (wat al een pro-nvidia spel is btw)?
Zal me helemaal niet verbazen als ze hetzelfde smerige truukje hebben gedaan bij 2k1, splintercell en andere "benchmark" spellen.....

[ Voor 4% gewijzigd door Verwijderd op 28-05-2003 22:57 ]

[Verwijderd]

Het is nog veel erger:

Gameproducenten optimaliseren hun spellen voor bestaande videokaarten!

Dit is ook een belangrijk verschil met 3Dmark2003. Deze is dusdanig 'geoptimaliseerd' dat hij in test 2 en 3 werkelijk niet vooruit te branden is. Als een gameproducent net zo zou programmeren als Futuremark bij deze testen, dan is de mislukking bijkans gegarandeerd!

En wat de fouten in games betreft, mijn eigen ervaringen met Radeon en Geforce kaarten is dat de Radeons voor meer problemen zorgen dan de Geforcekaarten. Hoe zijn jullie ervaringen hiermee?

[ Voor 5% gewijzigd door Verwijderd op 29-05-2003 02:15 ]

[Verwijderd]

Verwijderd schreef op 28 mei 2003 @ 23:10:
Het is nog veel erger:

Gameproducenten optimaliseren hun spellen voor bestaande videokaarten!

Dit is ook een balangrijk verschil met 3Dmark2003. Deze is dusdanig 'geoptimaliseerd' dat hij in test 2 en 3 werkelijk niet vooruit te branden is. Als een gameproducent net zo zou programmeren als Futuremark bij deze testen, dan is de mislukking bijkans gegarandeerd!

.....

Verwijderd schreef op 28 mei 2003 @ 23:10:

En wat de fouten in games betreft, mijn eigen ervaringen met Radeon en Geforce kaarten is dat de Radeons voor meer problemen zorgen dan de Geforcekaarten. Hoe zijn jullie ervaringen hiermee?

Ik heb sinds een maand 2 radeon kaarten (9500 64Mb en 9500Pro 128Mb) en nog geen enkel probleem gehad. Zeer snelle, stabiele en betrouwbare kaarten als je het mij vraagt.... Hiervoor had ik Nvidia kaarten (GF2, GF3, GF4). Daar had ik veel meer problemen mee. Dat was dan wel over een tijdspanne van 3 jaar. Dus 't is een beetje moeilijk te vergelijken.

[Verwijderd]

Verwijderd schreef op 28 mei 2003 @ 23:35:
[...]

.....

[...]

Ik heb sinds een maand 2 radeon kaarten (9500 64Mb en 9500Pro 128Mb) en nog geen enkel probleem gehad. Zeer snelle, stabiele en betrouwbare kaarten als je het mij vraagt.... Hiervoor had ik Nvidia kaarten (GF2, GF3, GF4). Daar had ik veel meer problemen mee. Dat was dan wel over een tijdspanne van 3 jaar. Dus 't is een beetje moeilijk te vergelijken.

Ik denk dat het verschil in NVIDIA en ATI drivers tegenwoordig nihil is, en dat het meer afhangt van je hardware configuratie hoeveel problemen je krijgt dan van je merk videokaart. Sommige hardware combinaties hebben nou eenmaal wat meer problemen dan andere...

[Madrox]

Verwijderd schreef op 28 May 2003 @ 23:10:
Het is nog veel erger:

Gameproducenten optimaliseren hun spellen voor bestaande videokaarten!

Dit is ook een belangrijk verschil met 3Dmark2003. Deze is dusdanig 'geoptimaliseerd' dat hij in test 2 en 3 werkelijk niet vooruit te branden is. Als een gameproducent net zo zou programmeren als Futuremark bij deze testen, dan is de mislukking bijkans gegarandeerd!

En wat de fouten in games betreft, mijn eigen ervaringen met Radeon en Geforce kaarten is dat de Radeons voor meer problemen zorgen dan de Geforcekaarten. Hoe zijn jullie ervaringen hiermee?

De radeon's hebben voor iets meer problemen gezorgd in het verleden, met sommige spellen heb je er nog last van. Transparancy-code van Nvidia had Nvidia erdoor gedrukt achter de rug om de overige DX-development leden. Was niet zo netjes en ze hebben het later bijgelegt met ATi. Dus zet es ff je gekleurde bril af, plzz.. Alles is niet zo zwart/wit.

Zoals Futuremark programmeert hebben ze in samenspraak gedaan met al hun leden, die zullen waarschijnlijk iets meer verstand van zaken hebben dan jij en ik.
Dat Nvidia eruit gestapt heeft niets te maken met het idee dat Futuremark waardeloos is, zoals Nvidia ons nu wil doen geloven. Nvidia is gewoon niet blij met de manier waarop de benches werden uitgevoert, ook al is dat 100% volgens de DX-specificaties. Nvidia vond het alleen niet zo prettig, omdat hun produkt er niet zo best van afkwam met deze manier van testen, wat niet het probleem van Futuremark of Dx is maar gewoon een gevolg van hun eigen keuses (12/16/32 FP mix). Als Futuremark werkelijk zo slecht bezig is, waarom is Nvidia dan de enige die eruit gestapt is ? Omdat ze zo slim zijn ?

Kom nou toch, gebruik nou eens je verstand.