prestatiewinst 4 videokaarten vs 1 kaart testen

[crazyheinz]

We zijn bezig met een project op school waarbij we werken met 4 9600GT's. Dit doen we om te kunnen werken met cuda en parallel te kunnen programmeren op de gpu's.
Nu wordt er van ons gevraagd om te testen wat de winst is van 1 videokaart tov de 4 kaarten. Nadeel is dat we geen programma's vinden waarop we dit werkelijk kunnen testen. Hier zijn er een paar programma's die cuda gebruiken, maar ze gebruiken geen meerdere videokaarten.
Weet er iemand dus een goede benchmark die gebruik zou maken van alle 4 de kaarten?

[The Flying Dutchman]

Ehm... ik weet niet precies hoe Cuda werkt, maar zorgt Cuda er zelf niet gewoon voor dat alle videokaarten benut worden?

[Iska]

Je kan er zelf toch een hele simpele in elkaar flansen? Al laat je gewoon met DirectX (en Cuda) een object ronddraaien en kijkt hoeveel FPS die heeft bij 1 of 4 kaarten heb je een 'benchmark'...

[crazyheinz]

Ja, alleen vrees ik dat het niet zo heel simpel is...

[Verwijderd]

crazyheinz schreef op zondag 16 november 2008 @ 11:55:
Ja, alleen vrees ik dat het niet zo heel simpel is...

Kijk even in het DPC forum, er zijn volgens mij een aantal projecten daar die op nVidia kaarten kunnen draaien. Daarvan zou je de output van 1 en 4 kaarten kunnen vergelijken... Of is dat nog steeds niet goed genoeg?

[crazyheinz]

Bedoel je dit: http://www.kuleuven-kortrijk.be/DPC ?
Kzie daar geen forum.

[MensionXL]

crazyheinz schreef op zondag 16 november 2008 @ 13:23:
Bedoel je dit: http://www.kuleuven-kortrijk.be/DPC ?
Kzie daar geen forum.

Dat is ook niet de DPC die hier wordt bedoeld. Hier wordt namelijk Dutch Power Cows bedoeld.

Waarom pak je niet gewoon 3DMark?

[ Voor 6% gewijzigd door MensionXL op 16-11-2008 13:29 ]

[crazyheinz]

omdat naar mijn weten 3dmark geen gebruik maakt van 4 videokaarten.

[Jejking]

Dat ligt aan de drivers, niet aan de benchmark.

Oh ja, mocht je een synthetische bench pakken houd dan wel even rekening dat je er een vette processor achter moet zetten om een echte boost te zien. Je kan met meerdere kaarten snel beperkt worden, of je moet natuurlijk een absurde resolutie pakken.

[crazyheinz]

Welke drivers bestaan er dan zodat ik er gebruik kan van maken? Klinkt interessant

[Verwijderd]

3Dmark is niet de opdracht als je op basis van Cuda werkt

Zo kan ik het ook..... Kijk eens op het fora van Nvidia of daar niet wat meer info over Cuda te halen is? Zie ook http://forums.nvidia.com/...c2ac4dbf7889&showforum=62

[Wiethoofd]

3DMark met SLI moet ook ook nog ondersteund worden door je moederbord, als deze Crossfire ondersteund heb je daar dus niets aan.

Je zou inderdaad Folding@Home kunnen draaien en kunnen zien hoeveel 1 kaart tegen 4 kaarten uitzet. Wel zorgen dat je een quadcore hebt om alle grafische cores tijdig en snel genoeg van rekenmateriaal te voorzien en zorg dat je deze met een 'omgevingsvariabele' dusdanig instelt dat hij gebruik maakt van alle 4 je cores.

Omgevingsvariabele: NV_FAH_CPU_AFFINITY
Waarde die er bij ingevuld moet worden afhankelijk van je doel:

Scott has added support for a new environment variable, NV_FAH_CPU_AFFINITY, that allows the user to directly set the processor affinity mask or set it to zero to disable all affinity settings. The CPU affinity is set with individual bits (it's a mask, not a CPU selector):
setting NV_FAH_CPU_AFFINITY to
1 ==> CPU 0
2 ==> CPU 1
3 ==> CPU 0 and 1
4 ==> CPU 2
8 ==> CPU 3
15 ==> CPUs 0-3

[ Voor 36% gewijzigd door Wiethoofd op 16-11-2008 21:33 ]

[crazyheinz]

Wiethoofd: waar voer je die omgevingsvariabele in? Quadcore hebben we, de amd phenom 9850. Naar mijn weten worden er maar 2 videokaarten ondersteund door folding@home: http://folding.stanford.edu/English/DownloadWinOther
Op het forum van cuda is er uiteraard wat te vinden, maar op veel medewerking moet je daar niet rekenen.

[Wiethoofd]

Het aantal ondersteunde videokaarten is onbeperkt (wel beperkt door het aantal GPU-cores in je systeem) Je moet gewoon zorgen dat je 4 mappen maakt, een snelkoppeling naar elke .exe en de snelkoppeling toewijst aan een .exe en de juiste flag in de snelkoppelingseigenschappen zet.

De omgevingsvariabelen vul je hier in:
• Rechtsklik Deze Computer -> Eigenschappen
• Tabblad 'Geavanceerd' -> onderin Omgevingsvariabelen en dan onderin bij 'Systeemvariabelen' op nieuw klikken NV_FAH_CPU_AFFINITY daar plakken/typen en eronder bij de waarde van de variabele een 0 neerzetten als je alle cores wilt gebruiken.

Je GPU-clients opzetten is ook niet al te moeilijk.
Zorg dat je in de mappen: "C:\Documents and Settings\*gebruikersnaam*\Application Data\" 4 mappen maakt, "Folding@home-gpu-1" t/m "Folding@home-gpu-4" (1 per core) (je kan ook 1x de F@H installer lopen, de map hernoemen en vervolgens 3x kopiëren dan hoef je niet later de cliënt bestanden daar meer neer te zetten ([e-mail])) (herhaal dit met de Program Files/Folding@home/(map per core en dezelfde naam als in je App Data)) mappen.

Vervolgens maak je vanaf de [e-mail] een snelkoppeling naar je bureaublad en ga je naar de eigenschappen van die snelkoppeling en bij "Doel" zet je de volgende flags neer: -verbosity 9 -gpu 0 na het laatste aanhalingsteken van je doellocatie (program files, respectievelijke coremap).
-gpu 0 is je eerste grafische core, -gpu 1 je tweede, -gpu 2 je derde enz. (dus per core een snelkoppeling)

Je cliënts instellen is vanzelf sprekend, alleen moet je wel zorgen dat elke cliënt zijn eigen Machine ID krijgt, dus je eerste grafische core krijgt Machine ID 2 en je tweede nummer 3 etc.

En natuurlijk niet vergeten het teamnummer in te vullen: 92 om mee te vouwen met de Dutch Power Cows en meteen je stats terug te zien op http://tadah.mine.nu/inde...l=memberoffset&prefix=fah

PS: overklokken geeft een leuke boost met Folding@Home, dus als je 4x overclocked vergelijkt met 1x stock geeft dat een leuk verschil

[A Lurker]

Ik snap niet dat mensen denken dat je 3DMark o.i.d. kunt gebruiken om die 4 videokaarten te testen. 9600GTs ondersteunen alleen normale SLI, en sowieso is er helemaal niet zoiets als quad-sli bij nVidia. 4 videokaarten in een systeem hangen impliceert echt niet dat je ze in SLI danwel Crossfire draait.

Aan de topicstarter: ik weet dat je eerder een topic had gemaakt over welke videokaarten je het beste in het systeem kon zetten. Had het niet slimmer geweest om eerst te kijken of er wel iets gedaan is met Cuda om meerdere GPUs aan kan sturen? Ik betwijfel of er al iets is gedaan namelijk, mogelijk moet je zelf iets gaan programmeren.

[Verwijderd]

Er is wel quad SLI, of telt 2x een GX2 niet meer mee?

[Wiethoofd]

A Lurker schreef op dinsdag 18 november 2008 @ 10:31:
Had het niet slimmer geweest om eerst te kijken of er wel iets gedaan is met Cuda om meerdere GPUs aan kan sturen?

Cuda ondersteund single cores en kan meerdere cores apart van data voorzien, met sli is dat onmogelijk omdat je data dusdanig eerlijk verdeeld moet worden dat dat niet gaat, vandaar dat uitwijken naar een third-party application zoals Folding@home waar je punten krijgt per ingeleverde WU en je meer WU's in kunt leveren met meer rekenkracht lijkt me een eerlijke methode.

Zo haal ik met 1x 8800GT net geen 5 duizend punten per dag, met 2x 8800GT in dezelfde computer, zonder SLI enabled geeft rond de 10 duizend punten, afhankelijk van overclocks.

Ik snap niet dat mensen denken dat je 3DMark o.i.d. kunt gebruiken om die 4 videokaarten te testen. 9600GTs ondersteunen alleen normale SLI, en sowieso is er helemaal niet zoiets als quad-sli bij nVidia. 4 videokaarten in een systeem hangen impliceert echt niet dat je ze in SLI danwel Crossfire draait.

3DMark is nou net een applicatie die slecht schaalt met meerdere GPU's, het geeft wel een leuke boost, maar minder als je mbv CUDA gaat kijken wat elke kaart individueel aan rekenkracht kan leveren en dat bij elkaar op tellen is eerlijker. Verder bestaat er de 9800GX2 die je in SLI kunt zetten, zoals Reinman al noemt, en je dus 4 rekenkernen je games kunt laten renderen. Wil je die gebruiken voor CUDA, dan moet je sli uitschakelen en ook de interne sli uitschakelen om elke rekenkern apart te kunnen benutten.

Ook heeft de TS nu een moederbord met Crossfire ondersteuning en 4x een nvidia kaart, puur omdat op dat moederbord een slot ruimte zit tussen elk PCI-e x16 slot. Ik heb 2 8800GT's in mijn systeem zitten en draai op m'n ene partitie geen SLI en op m'n game partitie wel, puur voor het multimonitor support en het Folding@home gedeelte. Tuurlijk game ik ook wel op mijn niet-sli partitie, maar sli geeft toch wel degelijk een boost met de juiste drivers.

[A Lurker]

Wiethoofd schreef op dinsdag 18 november 2008 @ 12:16:

Cuda ondersteund single cores en kan meerdere cores apart van data voorzien, met sli is dat onmogelijk omdat je data dusdanig eerlijk verdeeld moet worden dat dat niet gaat, vandaar dat uitwijken naar een third-party application zoals Folding@home waar je punten krijgt per ingeleverde WU en je meer WU's in kunt leveren met meer rekenkracht lijkt me een eerlijke methode.

Zo haal ik met 1x 8800GT net geen 5 duizend punten per dag, met 2x 8800GT in dezelfde computer, zonder SLI enabled geeft rond de 10 duizend punten, afhankelijk van overclocks.

Ok laat ik het herformuleren: ik vraag me af of er al dingen gemaakt zijn die gebruik maken van Cuda waarbij alle 4 de kaarten tegelijk ingezet kunnen worden, of het nu tegelijkertijd aan 1 taak is of het parellel uitdelen van taken. Aangezien de TS me duidelijk de indruk geeft dat ie niet in staat is dan wel de tijd heeft om het zelf te doen, zou het handig zijn om dit op voorhand te weten.

Wiethoofd schreef op dinsdag 18 november 2008 @ 12:16:


3DMark is nou net een applicatie die slecht schaalt met meerdere GPU's, het geeft wel een leuke boost, maar minder als je mbv CUDA gaat kijken wat elke kaart individueel aan rekenkracht kan leveren en dat bij elkaar op tellen is eerlijker. Verder bestaat er de 9800GX2 die je in SLI kunt zetten, zoals Reinman al noemt, en je dus 4 rekenkernen je games kunt laten renderen. Wil je die gebruiken voor CUDA, dan moet je sli uitschakelen en ook de interne sli uitschakelen om elke rekenkern apart te kunnen benutten.

Mijn punt was dat je met 3dmark net zo goed 2 9600GTs in je mobo kunt prikken ipv 4, aangezien 3dmark (zoals elke 3d app) afhankelijk is van SLI en je met 9600GTs alleen normale SLI hebt.

Met quad sli doel ik op 4 fysieke kaarten, dat kan met nVidia niet. Eigenlijk is 2x 9800GX2 helemaal niet quad sli maar gewone sli, of ie nou intern 2 GPUs bevat doet er nu even niet toe.

Als je met 3dmark 4 9600GTs aan kan sturen, zou je dus ook prima kunnen gamen met 4 van dat soort kaarten...ik snap niet dat men hier zich niet realiseert dat als dat zou kunnen, het al lang gedaan was.

Overigens schaalt 3DMark prima met meerdere GPU's, je moet alleen niet op de veel te lage resolutie van 1280x1024 benchmarken...

[crazyheinz]

A Lurker schreef op woensdag 19 november 2008 @ 00:20:
[...]


Ok laat ik het herformuleren: ik vraag me af of er al dingen gemaakt zijn die gebruik maken van Cuda waarbij alle 4 de kaarten tegelijk ingezet kunnen worden, of het nu tegelijkertijd aan 1 taak is of het parellel uitdelen van taken. Aangezien de TS me duidelijk de indruk geeft dat ie niet in staat is dan wel de tijd heeft om het zelf te doen, zou het handig zijn om dit op voorhand te weten.

Ja om het zelf te maken is het een beetje complex. Zou ook willen weten of er al zo'n programma's bestaan.

Verwijderd schreef op zondag 16 november 2008 @ 11:57:
[...]


Kijk even in het DPC forum, er zijn volgens mij een aantal projecten daar die op nVidia kaarten kunnen draaien. Daarvan zou je de output van 1 en 4 kaarten kunnen vergelijken... Of is dat nog steeds niet goed genoeg?

Welke bedoel je, ik vind ze niet...

[crazyheinz]

@wiethoofd: ik heb gedaan zoals je heb beschreven; nu heb ik echter errors
ik krijg de fout dat cudart.dll niet is gevonden bij de eerste gpu, bij de andere gpu's krijg ik de melding dat GPU niet supported is of dat ik geen juist driver heb.

[Wiethoofd]

crazyheinz schreef op dinsdag 25 november 2008 @ 14:31:
@wiethoofd: ik heb gedaan zoals je heb beschreven; nu heb ik echter errors
ik krijg de fout dat cudart.dll niet is gevonden bij de eerste gpu, bij de andere gpu's krijg ik de melding dat GPU niet supported is of dat ik geen juist driver heb.

Dan is je F@H client niet goed geïnstalleerd.

Verwijder eens alle F@H-client mappen en zorg dat je eerst een enkele GPU-client werkend krijgt. Daarna pas gaan kloten met multi-gpu-setups.

Note: Zorg dat SLI disabled is, mocht dat al niet zo zijn.
Note2: Elke grafische kaart moet een scherm (al dan niet gefaked) aangesloten hebben om op 3D Performance te kunnen rekenen.

crazyheinz schreef op dinsdag 25 november 2008 @ 14:11:
Welke bedoel je, ik vind ze niet...

Het enige DPC project wat (nu nog) via je grafische kaart kan is Folding@Home.

[crazyheinz]

Kheb een andere gevonden op internet: http://www.elcomsoft.com/lhc.html
folding werkte op 1 kaart, maar sinds ik ben beginnen kloten met die meerdere kaarten gaat het niet meer.
Hoe kan ik een grafische kaart fake aansluiten? oO

[maratropa]

Wat je bij CPU renderen ziet met een goeie client is dat de winst met elke core bijna 100% is.

Het licht helemaal aan je applicatie. Dus dan kun je wel testen met een app, dat zegt nog niks over wat jouw app gaat doen..

[ Voor 24% gewijzigd door maratropa op 25-11-2008 15:10 ]

[Wiethoofd]

crazyheinz schreef op dinsdag 25 november 2008 @ 15:03:
Hoe kan ik een grafische kaart fake aansluiten? oO

Hier een how to: http://tvtool.info/go.htm....info/english/dummy_e.htm

Verder is het zo dat je idd er even moet voor gaan zitten om meerdere clients te configureren, maar als je de tweede grafische kaart er bij gedaan hebt gaan de derde en 4e vanzelf.

[alx]

Buiten de gaming industrie zijn er eigenlijk geen algemeen geaccepteerde benchmarks om GPUs (en eigenlijk ook multicores (dus niet alleen x86(-64)) te vergelijken. Je kunt wel een (single-)Cuda applicatie nemen (bv uit de Cuda SDK), maar performance hangt erg af van het applicatie gedrag en hoe ver geoptimaliseerd.

Multi Cuda is best te proggen, maar daar zijn al helemaal geen benchmarks voor. Het beste wat je mss zou kunnen vinden is 1 applicatie/stuk code. Dan wss voor een Tesla rack machine ontwikkeld, want die hebben meerdere GPUs voor GPGPU. Als je zoiets vindt (en werkend hebt), zou het leuk zijn als je een linkje post.

De vraag is of het nodig is. Via Cuda heb je geen toegang tot de SLI bridge voor synchronisatie, dus 4 GPUs cuda code laten runnen gaat of zeer bagger of (bijna) 4x zo snel bij nauwelijks synchronisatie en genoeg problem size.

Als je toch experimenteel iets moet onderbouwen, wordt het 3d graphics (met de huidige SLI driver beperkingen) of SETI/Folding/... Dat zal wel 4x zo snel gaan.

Kun je nog eens wat duidelijker uitleggen waarvoor je dit doet? Stel dat je het antwoord weet dat je zoekt, wat ga je dan doen?

[crazyheinz]

het is een proof of concept. We moeten bewijzen dat het nuttig is data parallel te verwerken; en dat grafische kaarten er beter voor geschikt zijn in vergelijking met cpu.

[Wiethoofd]

crazyheinz schreef op dinsdag 25 november 2008 @ 23:23:
het is een proof of concept. We moeten bewijzen dat het nuttig is data parallel te verwerken; en dat grafische kaarten er beter voor geschikt zijn in vergelijking met cpu.

Wat je ook kunt laten zien: nieuws: Mythbusters demonstreren verschil cpu en gpu met het bijbehorende filmpje.

Verder hoop ik wel dat je de F@H op 4 cores aan de praat krijgt om gewoon eens te kijken wat voor output je kunt genereren.

PS: Gebruiken jullie al CUDA 2.1? Die is met de 180.60 drivers geïntroduceerd.

[crazyheinz]

Kzou graag ook folding op de 4 cores aan de praat krijgen, maar probleem is dat het zelfs bij 1 core al vastloopt (vooral als je de viewer opent). Kheb gepost op het folding forum, maar daar weten ze blijkbaar ook niet wat het probleem is... Kan het ook zjin dat als je die folding gebruikt, dat computer beetje slomer wordt?
De cpu is bijna niet belast, ram wordt ook bijna niet gebruikt, maar toch gaat het beeld beetje minder vlot (zelfs in gewoon gebruik)
Gebruiken nu ook de nieuwe cuda.

[ Voor 40% gewijzigd door crazyheinz op 26-11-2008 14:31 ]

[Wiethoofd]

crazyheinz schreef op woensdag 26 november 2008 @ 14:11:
Kzou graag ook folding op de 4 cores aan de praat krijgen, maar probleem is dat het zelfs bij 1 core al vastloopt (vooral als je de viewer opent).

Dan moet je de viewer ook niet openen tevens geeft het open hebben van de vieuwer een lagere daily output dan hem gesloten houden.

Kheb gepost op het folding forum, maar daar weten ze blijkbaar ook niet wat het probleem is... Kan het ook zjin dat als je die folding gebruikt, dat computer beetje slomer wordt?

Je zou het in de daily van F@H kunnen proberen: \[Folding@Home] hitparade van 25 november

De cpu is bijna niet belast, ram wordt ook bijna niet gebruikt, maar toch gaat het beeld beetje minder vlot (zelfs in gewoon gebruik)

Dat kan komen omdat het rekenen toch resources gebruikt die dus niet meer beschikbaar zijn voor het besturingssysteem. Je kunt ook 'Use highly optimalisized code' uitschakelen en de cpu-priority verhogen.

[alx]

crazyheinz schreef op dinsdag 25 november 2008 @ 23:23:
het is een proof of concept. We moeten bewijzen dat het nuttig is data parallel te verwerken; en dat grafische kaarten er beter voor geschikt zijn in vergelijking met cpu.

Dan zou ik eens beginnen met parallele verwerking op 1 gpu. Daar zijn wel applicaties voor. Al gekeken naar de CUDA SDK samples? Daar zit ook de cpu variant bij ter vergelijking en timing. Moet je even een applicatie kiezen en geen klein CUDA feature example. Bv particles, montecarlo option pricing of een van de image processing algs. Volgens mij hebben die ook een document wat beschrijft wat het doet, soms met verwijzing naar een paper.

Daarna kun je nog kijken of je op zoek gaat naar multigpu (1 van de voorbeeldjes porten (bv een image in 4en delen)) of iets anders kunt vinden, bv via de mensen die de Fastra gpu machine aan de uni van Antwerpen gebouwd hebben. Of kom je daar nou net toevallig vandaan?

[Wiethoofd]

Nog even over de missende cudart.dll, you're not the only one any more. Ik heb er zelf ook last van met de nieuwe 6.23 client, waar ik met 6.20rc1 nergens last van heb/had.

---

Edit: Inmiddels het missende cudart.dll probleem opgelost. Kopieer uit je C:\Application Data\*gebruikersnaam*\Folding@home-gpu het cudart.dll bestand en plaats deze in je C:\Program Files\Folding@home-gpu map, start vervolgens de Folding@home executable en hij zou het nu moeten doen.

[ Voor 45% gewijzigd door Wiethoofd op 26-11-2008 22:48 ]