[WCG] Discussie omtrent ondersteuning van CUDA

[Xorsist]

Modbreak:

Dit topic is afgesplitst van [Stampede] Hitparade van 2 april

Als WCG nou es begon met cuda ondersteuning in der projecten denk ik dat het al een stuk harder zou gaan

Ik ben 1 apr. ook begonnen met gpugrid en als ik zie wat ik daar aan boinc punten weglepel (ong 7k/dag) met een simpele 8800GT G92.

[ Voor 17% gewijzigd door iisschots op 03-04-2009 18:44 ]

[Xorsist]

Denk dat je verkeerd leest king, ik ZOU WILLEN dat ze het ondersteunen, is iets anders als dat het er is

Ik kan momenteel alleen een vgl. maken tussen me cpu en me nvidia gpu en als ik zie dat ik op me 3,5Ghz 9450 ongeveer 3 a 3,5 k punten binnenlepel per dag en op me gpu het dubbele, dan snap je wel dat ik graag zie dat die meegenomen zou worden in de projecten. De punten waar ik het over heb zijn boinc punten en geen wcg punten btw.

[Verwijderd]

CUDA... tja WCG wordt intern als een businesss unit gerunt dus alles behoeft approval, ook een CUDA implementatie, maar vermoedt dat die er wel gaat komen, na uitvoerig testen. nVidia zal het nodige moeten aanpassen voordat het het WCG zegel krijgt.

[Xorsist]

wat bedoel je met

nVidia zal het nodige moeten aanpassen voordat het het WCG zegel krijgt.

sekerob? WCG zal zijn rekenmethoden af moeten stellen op wat er mogelijk is met cuda lijkt me en niet andersom?

[Verwijderd]

Had ik het over de rekenmethoden?

[ Voor 65% gewijzigd door Verwijderd op 03-04-2009 16:35 ]

[Xorsist]

Hoor je mij dat zeggen dan? Er staat niet voor niets LIJKT ME.
Maar je uitspraak dat Nvidia dingen aan moet passen (binnen cuda vermoed ik) doet mij bovengenoemde vraag stellen. Ik kan me indenken dat dit soort community driven projecten een hoog status gehalte zouden kunnen hebben voor een videokaart fabrikant, daarentegen hebben zij de tools om gebruik te maken van de power van een gpu vrij gegeven in de cuda specificatie van Nvidia. Vandaar mijn conclusie dat niet Nvidia maar WCG zich zal moeten aanpassen aan wat mogelijk is.

[Verwijderd]

Xorsist schreef op vrijdag 03 april 2009 @ 16:40:
Hoor je mij dat zeggen dan? Er staat niet voor niets LIJKT ME.
Maar je uitspraak dat Nvidia dingen aan moet passen (binnen cuda vermoed ik) doet mij bovengenoemde vraag stellen. Ik kan me indenken dat dit soort community driven projecten een hoog status gehalte zouden kunnen hebben voor een videokaart fabrikant, daarentegen hebben zij de tools om gebruik te maken van de power van een gpu vrij gegeven in de cuda specificatie van Nvidia. Vandaar mijn conclusie dat niet Nvidia maar WCG zich zal moeten aanpassen aan wat mogelijk is.

whoa nelly, ik doe maar even twee stappen terug en ga verder het zwijgen hieromtrent aan. You'll see it when you see it dan maar.

[Xorsist]

Sekerob,

Mijn bedoeling was om gewoon een vraag te stellen aan iemand die VEEL meer van het wcg project weet als ik. Kijk dat ik aannames maak en daarin fout zit .. sorry, ik ben een noob in het wcg project. Daarentegen de uitspraak die jij gedaan hebt

nVidia zal het nodige moeten aanpassen voordat het het WCG zegel krijgt.

heeft mijn intresse gewekt in de zin dat ik graag wilde weten wat je DAAR mee bedoeld.

Het is nooit mijn bedoeling geweest om je in enigerlij vorm af te zeiken of zo maar ik heb gewoon een vraag gesteld en ja als je daar niet op kunt of wilt antwoorden zeg dat gewoon en ga me niet belachelijk lopen maken.

[iisschots]

Ik heb dit topic afgesplitst omdat er te veel discussies door elkaar liepen. Dit kan ook prima in een apart topic

Wel zou ik het verzoek aan beiden willen doen om op een nette manier met elkaar om te gaan.

[muppet99]

Wat je wel weer zou kunnen doen... is het volgende. Doe het zelf namelijk ook. Op de pc's met een cuda device kun je ook meerekenen aan een ander project. Mijn proc staat te stampen op WCG en alle andere client zonder CUDA, De pc's met een Cuda device staan ook daarnaast nog te stampen voor een ander project (niet nader omschreven). De totale CPU belasting is 3,5 min dus dat valt mee. Doe je toch twee goede zaken en voor het goede doel.

[Verwijderd]

Om van mijn kant het verhaal af te sluiten, WCG is big on user experience (large corporate crunching partners op WCG). Daar NVidia de houder is van het CUDA geheel, is het aan hen om die verbeteringen daarin toe te passen die WCG hen gevraagd heeft door te voeren. Tot die tijd zie ik zeker geen move komen van WCG kant. Op WCG forums kan je lezen welk project er buiten HCC de NVidia route aan het onderzoeken is. Ze schijnen al vorderingen te hebben gemaakt met de codering. Als het klaar is moet het glad ingepast worden, zodanig dat als het bij Wellink's DNB zou draaien, niemand er last van heeft en NL niet failliet gaat.

[Xorsist]

Mag ik je bedanken voor je duidelijke antwoord, ik heb lopen zoeken op het forum omtrent cuda en daar niet gevonden wat ik zocht (wellicht komt dat omdat in de search alles 5-10x voorkomt in de zin dat elk bericht uit een forum tree gelist word als een antwoord en niet heel de tree). En ja als WCG inderdaad aanpassingen gevraagt heeft dan gezien mijn voorlaatste post kan ik begrijpen dat dat door nVidia in behandeling genomen word gezien de exposure.
Daarentegen zal het nog wel even duren voor nVidia die aanpassingen gedaan heeft dus zolang zal het project zonder cuda ondersteuning blijven helaas. Ik zag wel met de laatste driverupdate dat er ondersteuning voor cuda 2.2 was dus er word van hun kant wel degelijk aan aanpassingen/uitbreidingen van de mogelijkheden gewerkt.

[Verwijderd]

Hou het er maar op dat je de verbeteringen eerst bij bijv SETI GPUGrid ed zult kunnen waarnemen voordat WCG instapt... hoe zit dat bijv met de mouse responsiveness, onder alle omstandigheden ;-)

kletch u laeter.

PS, heb een FAQ op WCG gemaakt van alle scientists/primary investigators zodat leden makkelijk posts kunnen vinden van de notabelen. Zoek commentaren up van de Clean Energy scientist, Jup & Janneke, maar hun handle is cleanenergy op het forum.

[Verwijderd]

Op verzoek van WCG werd het volgende in 6.6.21 gewijzigd:

- web and client: change the default for "run_gpu_if_user_active" from true to false.
Currently running CUDA apps on NVIDIA GPUs causes a significant slowdown in GUI response.

Iets uit het "big on user experience" deel van het verhaal. We zijn er nog lang niet

ttyl

[SandStar]

Verwijderd schreef op donderdag 09 april 2009 @ 09:44:
Op verzoek van WCG werd het volgende in 6.6.21 gewijzigd:
[...]


Iets uit het "big on user experience" deel van het verhaal. We zijn er nog lang niet

ttyl

Dat ligt ook een beetje aan hoe je gebruik maakt van de GPU... check dnet-cuda & folding@home.
Dus de bal ligt voor een groot deel ook bij WCG

[brid]

Folding@home is inderdaad een goed voorbeeld van een goede CUDA toepassing.
Deze client een paar dagen gedraaid zonder dat het merkbaar invloed had op het werken in windows.

De DNet client ben ik wat minder over te spreken, als de cpu onbelast is dan is de beeldopbouw van de desktop om te janken, zodra als je de cpu voor andere Projecten inzet en dnet niet zo makkelijk z'n cpu deel pakt werkt het pas weer lekker.

Ben dus ook gestopt met de DNET client, kan dus wel begrijpen dat WCG wil voorkomen dat hun cuda client dezelfde problemen gaat vertonen

[Verwijderd]

Schijnbaar zijn de BOINC client ontwikkelaars het eens met het feit dat hun CUDA enabled client tot dat lijdt wat zeer ongewenst is en in huidige vorm schijnbaar niet acceptabel is. Als dnet-cuda en F@H onder BOINC zouden kunnen draaien zonder impact op alles wat men zoal doet op een dag zal dat zeker interesse hebben, set and forget?

[8_ball]

Ik hoop toch nog steeds dat Boinc openCL gaat ondersteunen, zodat het niet uitmaakt wel merk videokaart je hebt. Ben alleen bang dat dat nog even gaat duren, maar mischien dat met de release van de Larabee er wat meer ingezet wordt op open tools ipv een gesloten format.

[Suicyder]

Ik ben het eens met 8_ball. Het zou veel mooier zijn als het GPU onafhankelijk wordt, maar via OpenCL aangesproken wordt zodat zowel ATI als Nvidia kaarten ermee kunnen werken.

[m_p_g]

Het is inderdaad beter om een echt open standaard te gebruiken die door alle fabrikanten wordt ondersteund. WCG draait op diverse platforms en ik denk dat men ook geen specifiek platform of fabrikant wil bevoordelen.

De huidige GPU implementaties hebben echter hun beperkingen wat betreft nauwkeurigheid en recursiviteit in de berekeningen. Daarom kun je op dit moment lang niet alle berekeningen klakkeloos op een GPU loslaten. Maar een grafische kaart was in het begin dan ook nooit met de gedachte ontwikkeld om er wetenschappelijke berekeningen op los te laten. De ontwikkelingen staan niet stil.

[SandStar]

Verwijderd schreef op donderdag 09 april 2009 @ 10:44:
Schijnbaar zijn de BOINC client ontwikkelaars het eens met het feit dat hun CUDA enabled client tot dat lijdt wat zeer ongewenst is en in huidige vorm schijnbaar niet acceptabel is. Als dnet-cuda en F@H onder BOINC zouden kunnen draaien zonder impact op alles wat men zoal doet op een dag zal dat zeker interesse hebben, set and forget?

Boinc heeft er denk ik vrij weinig mee te maken. Het gaat voornamelijk om de rekencore. En die zal bij Folding@home een stuk beter zijn dan bij Dnet. @ Stanford hebben ze behoorlijk samengewerkt met Nvidia om het geheel tot iets moois te maken. Destijds had Nvidia ook wel wat goed te maken toen de eerste GPU clients alleen op Ati hardware draaiden

Als ik er nog eens goed over nadenk denk ik dat het toch vooral bij het ontwikkelen van de rekencore ligt en niet zozeer aan Nvidia's cuda implementatie.

[Verwijderd]

Er zijn in het WCG verhaal 5 partijen:

1- BOINC framework die de core-client leveren en onderhouden inclusief mogelijkheid om op GPU kaarten in te haken.
2- NVidia, en in BOINC 6.8, ATI die hun kaarten en drivers maken en er meer willen verkopen.
3- WCG, de hoster voor de sciences van derden, die er de BOINC wrapper omheen doen en wel oor heeft om externe wetenschappers te helpen met het porten.
4- De distributed computing science ontwikkelaar die de GPU kant kan gebruiken, voor snelheid, maar met beperkingen... niet alles is geschikt.
5- De user, die zijn PC wel met spare cycles beschikbaar wil stellen, maar er geen last van wil hebben (de meesten).

1 t/m 4 mogen 5 overtuigen dat het ok is, veilig en geen interrupties geeft. Niet alleen goed genoeg voor de DC hobbyisten. Zie GPUgrid onder BOINC heeft een paar duizend gebruikers, WCG heeft er honderdduizenden, en die willen ze niet kwijtraken, dus default off. Hoe die bal dan verder rond gespeeld wordt mogen 1-4 gezaam uitvechten. WCG heeft al behoorlijk wat server en client code aan de BOINC open source bijgedragen, dus hebben in het geheel wat water in de melk te brokkelen over hoe het verder gaat.

[SandStar]

Default off lijkt mij inderdaad geen gek idee. Wellicht dat er eerst zo'n switch moet komen in Boinc dat je zelf kan kiezen of je GPU wel of niet mee doet.
Volgens mij is zo'n switch er nog niet.

Ben benieuwd hoe het zich verder ontwikkeld.

[m_p_g]

SandStar schreef op donderdag 09 april 2009 @ 11:43:
[...]

Als ik er nog eens goed over nadenk denk ik dat het toch vooral bij het ontwikkelen van de rekencore ligt en niet zozeer aan Nvidia's cuda implementatie.

Dat is natuurlijk de omgekeerde wereld. Dus de NASA moet zijn nauwkeurige berekeningen met zoveel cijfers achter de komma maar opgeven omdat het anders niet op een GPU kan draaien! Nee. Je hebt nauwkeurige berekeningen nodig en de GPU implementaties moeten die nauwkeurigheid ook maar zien te halen.

[SandStar]

m_p_g schreef op donderdag 09 april 2009 @ 12:08:
[...]


Dat is natuurlijk de omgekeerde wereld. Dus de NASA moet zijn nauwkeurige berekeningen met zoveel cijfers achter de komma maar opgeven omdat het anders niet op een GPU kan draaien! Nee. Je hebt nauwkeurige berekeningen nodig en de GPU implementaties moeten die nauwkeurigheid ook maar zien te halen.

En waarom lukt het Folding@home dan momenteel prima? Je moet wellicht ook niet willen om voor alle berekeningen een cuda implementatie te hebben. Maar Folding@home bewijst dat bepaalde berekeningen prima kunnen worden afgevangen met een GPU.

[m_p_g]

Het is ook niet voor niets dat men beginnen wil met CUDA voor het HCC project, omdat daarin veel integers gebruikt worden

[Verwijderd]

... en van plan is de resultaten v.a. het eerste productie resultaat bruikbaar te laten zijn.

Er is dus nu een GPU switch, via cc_cofig.xml, zeer gebruikersvriendelijk als altijd.

[SandStar]

Verwijderd schreef op donderdag 09 april 2009 @ 13:48:
... en van plan is de resultaten v.a. het eerste productie resultaat bruikbaar te laten zijn.

Er is dus nu een GPU switch, via cc_cofig.xml, zeer gebruikersvriendelijk als altijd.

Waar staat dat bestand?
Kan hem zo snel niet vinden...

[ Voor 4% gewijzigd door SandStar op 09-04-2009 14:15 ]

[Verwijderd]

Per default staat het niet in de algemene versies, wel in de WCG versie. Zou met de 6 client in de data directory moeten staan, als het bestaat! Vlag is <no_gpus>

http://boincfaq.mundayweb...ex.php?language=1&view=91

Als het bestand niet bestaat worden de BOINC ingebouwde defaults gebruikt, die dus aan is/was.

[SandStar]

Verwijderd schreef op donderdag 09 april 2009 @ 14:24:
Per default staat het niet in de algemene versies, wel in de WCG versie. Zou met de 6 client in de data directory moeten staan, als het bestaat! Vlag is <no_gpus>

http://boincfaq.mundayweb...ex.php?language=1&view=91

Als het bestand niet bestaat worden de BOINC ingebouwde defaults gebruikt, die dus aan is/was.

WCG heeft eigen boinc versie? Hoe is dat zo gegroeid?

[Verwijderd]

Krabt zich op hoofd, het staat in de DPC WIKI van die customized versie, met skin: http://wiki.dutchpowercow....php/World_Community_Grid

Waarom het zo gegroeid is... net als de bananen, eigen willetje en met recht want out of de box zat er en zit er nog steeds rommel in... bijv elke 5 minuten een update notificatie als meneer Anderson er Weer een buggy versie uitdrukt en het via de message log laat weten. De tevredenheid met Berkeley is zo groot dat er inmiddels een ver ontwikkelde vork is (Synecdoche)... Een hoop van die code vloeit weer terug als het meneer Anderson kan gerieven, maar dat is helemaal off-topic.

[DukeBox]

binair zijn ze gelijk.. dus alleen te template.

[ Voor 40% gewijzigd door DukeBox op 09-04-2009 17:20 ]

[Verwijderd]

Als je 6.2.28 kunt vinden zonder WCG template hoor ik het wel.

[DukeBox]

Ik bedoel de data die gedownload wordt als 'crunchers'.

[Wolfje666]

Misschien een rare vraag van mijn kant.
Is de versie van WCG zelf beter dan die van berkeley toevallig?
Ik draai op het moment versie 6.4.5 en de 6.6.20.
En ik kan heel dat config bestand niet vinden, dus kijken of die GPU-switch wel of geen effect heeft.

Ik draai XP trouwens

[Verwijderd]

Het cc_config.xml bestand wordt voor zover ik weet niet in de standaard versies meegeleverd. Hier de wiki, met een paar oh's en ah's ;>)

http://boincfaq.mundayweb...9401f3b411e2fd047057571b9

In de BOINC data directory te plaatsen (locatie staat in het start log van BOINC)

[Wolfje666]

En toen kwam ik door toevallig is de pagina goed door te lezen dit tegen
http://boinc.berkeley.edu/cuda.php
Zucht, dus ik draai mijn oude project waar ik jarenlang voor gecrunched heb op mijn Geforce 9800 GTXXX.
Ben benieuwd wat dat gaat opleveren

[Omied]

Is CUDA van NVIDIA nou vergelijkbaar met FireStream van AMD? En zo ja, hoe zit het eigenlijk met de ondersteuning van FireStream?

[m_p_g]

Nvidia heeft CUDA en AMD heeft Stream. Beide zijn GPGPU implementaties.

Nvidia pushed/sponsored zijn CUDA oplossing wat meer in de markt dan ATI zijn Stream, zodat het waarschijnlijk eerder CUDA zal zijn dat door WCG projecten zal worden gebruikt dan Stream.

Intel vertrouwt straks op zijn Larrabee, met een heleboel gemodificeerde Pentium 1 chips. Daarmee is de software nog makkelijker aan te passen voor die kaart dan met CUDA en Stream.

De toekomst zal het leren wie de juiste strategie uitgestippeld heeft.

[Jejking]

http://boinc.berkeley.edu/stream.php werkt dan weer niet, helaas. Had gehoopt wat meer info te vinden over ATi's kant van het verhaal, maar goed... komt vanzelf. Of niet.

[Suicyder]

Jammer dat er niet iemand dit doet @ WCG

Kijk hier hier maar eens naar.
Het lijkt echt waar, getuige dit filmpje en dit filmpje

[Evo155]

Goeie vrijdag... das snel.