Op zoek naar HPC

[Casablanca]

Naar aanleiding van door mij ontwikkelde programmatuur, ben ik opzoek naar een testomgeving om vele scenarios door te rekenen en tevens mijn programma verder te ontwikkelen.

Ik vereis nogal wat GFLOPS en vraag mij af wat verstandig is, aanschaf van een 'workstation' of 'server' met:

• een beste GPU en code omschrijven naar cuda C, mijn code beslaat nogal wat regels en ik begreep dat CUDA C nog redelijk trial and error is (is dit waar?, ik heb de cuda develop tololkit 8.0 website wel bekeken maar daar heb ik geen sluitend antwoord kunnen vinden)
• meerdere Xeon's (2x E5 26xx v4),
• een Nvidia Tesla
• een Xeon phi, hierbij begreep ik dat het ook veel additioneel programmeren vereist om de maximum rekenkracht uit de processor te halen
• een andere oplossing

Het was een beetje lastig om deze topic te plaatsen, maar CUDA C moet maar even de doorslag geven....

[DutchKel]

Ik zou zeggen ga naar de microsoft cloud of amazon cloud. Dan kun je als je het nodig hebt meer cpu power inschakelen en weer uitschakelen als je ze niet meer nodig hebt.

Hier zijn andere tweakers die er vast meer informatie over hebben.

Ben je klaar met het project dan zeg je alles op. Ik heb begrepen dat als je geen cpu meer nodig hebt dat je ook geen of weinig kosten eraan hebt.

[Switchie]

De exacte vraag is mij vooralsnog onduidelijk. Wil je louter antwoord op de vraag of je beter voor een werkstation of server kunt gaan? Beide kunnen namelijk prima uit dezelfde hardware bestaan. Het is de manier van inzetten die het naampje bepaald. Hang een "workstation" aan de tv en films om af te spelen en het is ineens een htpc. Om maar even een dom voorbeeld te noemen.

Zoek je daarentegen advies omtrent specifieke onderdelen om zelf een systeem te bouwen/huren die aan jouw wensen voldoet, zul je waarschijnlijk wat meer info kunnen geven waarbij o.a. budget niet geheel onbelangrijk is.

[Casablanca]

Switchie schreef op zondag 11 december 2016 @ 23:38:
De exacte vraag is mij vooralsnog onduidelijk. Wil je louter antwoord op de vraag of je beter voor een werkstation of server kunt gaan? Beide kunnen namelijk prima uit dezelfde hardware bestaan. Het is de manier van inzetten die het naampje bepaald. Hang een "workstation" aan de tv en films om af te spelen en het is ineens een htpc. Om maar even een dom voorbeeld te noemen.

Zoek je daarentegen advies omtrent specifieke onderdelen om zelf een systeem te bouwen/huren die aan jouw wensen voldoet, zul je waarschijnlijk wat meer info kunnen geven waarbij o.a. budget niet geheel onbelangrijk is.

Ik ben opzoek naar rekencapaciteit, mijn eerste gedachte was een workstation. Een kleine zoektocht naar hardware rekencapaciteit bracht mij bij de opties die ik heb vernoemd in mijn ´post´. Een optie zoals amazon EC2 had ik nog niet bedacht.

Ik ben opzoek naar de informatie om een afgewogen keuze te maken ten aanzien van rekencapaciteit. Prijskaartje is niet meteen een obstakel, het kan 5.000 EUR maar ook 20.000EUR kosten, zolang de afweging maar te onderbouwern is.

Ik heb weinig tijd om mij te verdiepen in additionele code, APIs of etc. om huidige en nieuwe programmas te laten ´runnen´. Ik ben opzoek naar een ´basic´ omgeving waar ik mijn programma snel kan laten ´runnen´.

Verder zal ik intensief nagenoeg 24/7 gebruik willen maken van de rekencapaciteit, zeker voor de eerste aankomende 7 maanden, maar daarna zal ik toch ook op dagelijkse basis voldoende rekencapaciteit nodig hebben.

[ Voor 6% gewijzigd door Casablanca op 12-12-2016 15:44 ]

[epic007]

Ik word nu toch wel benieuwd naar je toepassing.. kan je een tipje van de sluier oplichten?

Ik zou zelf zeggen.. klop bij een universiteit aan. Die hebben wellicht toegang tot een supercomputer.

[Casablanca]

epic007 schreef op dinsdag 13 december 2016 @ 20:38:
Ik word nu toch wel benieuwd naar je toepassing.. kan je een tipje van de sluier oplichten?

Ik zou zelf zeggen.. klop bij een universiteit aan. Die hebben wellicht toegang tot een supercomputer.

ik ben al parttime werkzaam bij een uni, supercomputer kan ik maar periodiek gebruiken. Plus de supercomputer is lang niet zo krachtig als de naam doet denken.....

ik ben bezig met een 'plan' en 'routing problem' met ´time constraints´. De combinatoriek zorgt ervoor dat ik nu een dag aan het wachten ben op het resultaat........

[maratropa]

Zonder cijfers kun je waarschijnlijk moeilijk vergelijken; Aangezien je een beeld hebt dmv huidig gebruik op de uni (of ook eigen pc/pc's?) kun je dat afzetten tegen bijv amazon ec2 (etc) enerzijds en het aanschaffen van wat hardware anderzijds.

Dus op welke hardware X doe je nu een dag over resultaat verkrijgen?

[BramV]

Misschien zoiets om een afweging te maken of test. https://www.ovh.nl/dedicated_servers/gpu/

[DRAFTER86]

Ook belangrijk: hoe makkelijk is je probleem te paralleliseren? Afhankelijk van je algoritme kan shared memory (bijv. OpenMP), parallel computing (bijv. MPI) of GPU (CUDA) de beste keuze zijn. En dan zijn er vast nog opties die ik vergeet. Wat jij wil bereiken (zonder tijd en kennis veel resultaat) kan niet.

[Bigs]

Als je probleem zich leent voor een GPU toepassing dan is het zeker de moeite waard om CUDA of OpenCL te verkennen.

Zo niet, dan biedt een Dual Xeon workstation behoorlijk wat kracht voor <€10000 maar je code moet wel parallel op alle cores kunnen draaien en geen problemen hebben met NUMA.

[Damic]

DRAFTER86 schreef op woensdag 14 december 2016 @ 17:40:
Ook belangrijk: hoe makkelijk is je probleem te paralleliseren? Afhankelijk van je algoritme kan shared memory (bijv. OpenMP), parallel computing (bijv. MPI) of GPU (CUDA) de beste keuze zijn. En dan zijn er vast nog opties die ik vergeet. Wat jij wil bereiken (zonder tijd en kennis veel resultaat) kan niet.

Tja als al je gpu's van nvidia zijn kun je cuda gebruiken maar als je echt alles wilt ondersteunen zou ik opencl gebruiken

[Casablanca]

Aan de hand van de reacties van dit topic en wat extra speurwerk is er uiteindelijk gekozen voor:
- een cloud computing oplossing (schaalbaar en daarom kostentechnisch de beste keuze)
- en een eenvoudige workstation (nodig om ontwikkelprogramma's op te draaien en simpelere scenarios door te kunnen rekenen)

bedankt voor de input!