Number Cruncher

[Joseph]

Een kennis heeft mij hulp gevraagd bij het bouwen van een nieuwe workstation. Het budget is ongeveer €3000. Het moet een zwaar systeem worden, aangezien hij natuurkundige is en serieuze berekeningen (zoals matrixen) wil gaan doen. Processorkracht is dus erg belangrijk en aangezien hij ook in de nabije toekomst met GPGPU's aan de slag wil heb ik uitbreidbaarheid in gedachten gehouden.

Wat voor velen "overkill" is is het hier dus niet, hij heeft de kracht nodig voor zijn werk.

Mij eerste vraag: Die GPGPU's, hoe zit dat nou precies? Ik weet dat het neerkomt op onder andere floating point precisie (je had volgens mij half, single en double ) maar hoe zit dat nou tussen CPU's en (GP)GPU's? Bij mijn weten kun je voor precisie beter een normale processor inzetten dan de CUDA-cores van een (bijvoorbeeld) GeForce. Maar ik er zijn hier vast mensen met meer verstand van deze materie.

Wat wil je doen met je nieuwe systeem?
Dat heb ik hierboven denk ik al aardig uitgelegd, maar nogmaals kort: Zware berekeningen, matrixen, etc.

Wat mag het systeem gaan kosten?
+/- €3100 (Verzendkosten hier wel meegenomen)

Zijn er componenten of randapparatuur die je al hebt en mee wil nemen naar je nieuwe systeem?
Niet van toepassing.

Wat denk je allemaal nodig te hebben?
Serieuze rekenkracht.

Heb je nog bepaalde (merk)voorkeuren?
ASUS, Seasonic (voor de voedingen), Intel, Nvidia. Voor de overige componenten maakt het mij weinig uit.

Heb je nog bepaalde eisen/wensen?
Onder idle moet het beestje aardig stil en zuinig zijn, maar als er gerekend word maakt het weinig uit.

Ga je overklokken?
Niet van toepassing.

Wat verwacht je van ons?
Aangezien ik nieuwe ben in de hele natuurkunde-scene en ook nog niet al te veel specifieke dingen weet van GPGPU's (is de Xeon Phi eigenlijk een GPGPU?) heb ik graag jullie mening. Nogmaals, dit ding gaat niet voor huis-tuin en keuken toepassingen gebruikt worden maar voornamelijk om zware berekeningen te doen.

Dit is wat ik zelf al heb samengesteld

#	Product	Prijs	Subtotaal
2	Intel Xeon E5-2620 v4 Boxed	€ 442,20	€ 884,40
1	Asus Z10PE-D8 WS	€ 511,50	€ 511,50
1	Asus ROG STRIX-GTX1070-O8G-GAMING	€ 515,-	€ 515,-
1	WD Purple WD40PURX, 4TB	€ 140,51	€ 140,51
1	Fractal Design Define XL R2 Black Pearl	€ 129,77	€ 129,77
2	Noctua NH-U14S	€ 63,95	€ 127,90
2	Kingston ValueRAM KVR21R15D4/16	€ 89,55	€ 179,10
1	Seasonic X-1250	€ 231,-	€ 231,-
1	Samsung 960 EVO 500GB	€ 237,90	€ 237,90
		Totaal	€ 2.957,08

Belangrijk om te vermelden: De GPGPU is in deze build nog niet meegenomen, de prijs ervan staat los van de build hierboven. Die verkrijgt hij namelijk via een ander kanaal.

[Makkelijk]

Een GPGPU is geen "ding" maar een concept (priceless ). Namelijk een gewone GPU gebruiken voor berekeningen. De prijs daarvan is dus wél meegenomen, namelijk de GTX1070. Wat daar het beste voor is hangt af van je doel. Als hij een NVidia Tesla krijgt zou dat leuk zijn

[ricklamers]

Misschien heb je hier iets aan: https://nl.mathworks.com/...cs-card-for-gpu-computing

Voor GPGPU performance is zoals Makkelijk al zegt de Tesla eigenlijk ideaal maar dat zal waarschijnlijk net niet passen in het budget.

Daar wordt in de forumpost nog de 980 genoemd maar ik denk dat de 1080 momenteel de beste price/value verhouding heeft.

Hier een benchmark waarin OpenCL natuurkundige benchmarks vergeleken worden voor de 980 en 1080 (en andere): http://www.tested.com/tec...1080-compute-performance/

Qua CPU, RAM en SSD zou ik niet zo goed weten wat de voorkeur heeft. Bij CPU lijkt me optimaliseren voor cores (voor multi core CPU based algoritmes die niet goed werken op GPGPU door memory constraints) het belangrijkst. SSD lijkt me de huidige keuze de beste optie. En RAM is ook niet zo spannend, 32GB waarschijnlijk voldoende en DDR4 een eis van de CPU.

Ben geen domeinexpert. Misschien kun je de vraag nog eens stellen in een community die zich exclusief bezig houdt met scientific computing?

[johnkeates]

Zou je voor z'n machine niet beter een 'echt' werkstation bord kunnen gebruiken? (wat ook nog eens goedkoper is)

Een pricewatch: Supermicro X10DRL-i bijvoorbeeld. Ik denk dat je ook wel mag investeren in ECC, het lijkt me nogal naar als je tegen het einde van een lange berekening een bitflip hebt waardoor je alles opnieuw moet doen.

[begintmeta]

Matrixvermenigvuldigingen zijn door middel van geoptimaliseerde libraries (bijvoorbeeld Intel MKL, Atlas, OpenBLAS etc) heel laagdrempelig voor CPUs (en in bepaalde gevallen ook GPUs) te optimaliseren, en schalen vziw relatief goed over veel cores (vandaar dat GPUs ook van nature vrij geschikt zijn (er kan wel groot verschil bestaan tussen single- en double-precisionprestaties (AMD GPUs hebben vaak betere DP-prestaties voor het geld)). Afhankelijk van het doel is het misschien goed om ook ECC te overwegen (dan ook tzt evt voor de GPU). De zinvolle hoeveelheid RAM etc is natuurlijk ook afhankelijk van wat zal worden gedaan. Gaat nog bepaalde software worden gebruikt, of gewoon basis-programmeertalen?

Het gekozen moederbord lijkt me in iedergeval niet optimaal.

[ Voor 10% gewijzigd door begintmeta op 15-10-2016 13:34 ]

[Makkelijk]

ricklamers schreef op zaterdag 15 oktober 2016 @ 13:17:

Ben geen domeinexpert. Misschien kun je de vraag nog eens stellen in een community die zich exclusief bezig houdt met scientific computing?

Precies, maar dan moet je ook weten wat er mee gebeurt. "Natuurkundige berekeningen" is nogal arbitrair. Voor bepaalde specifieke taken is GPGPU heel geschikt maar in zo'n systeem heb je ook geen heftige CPU nodig. Sommige taken vereisten intens veel geheugen, andere bijna niks. Er is met geen mogelijkheid te zeggen wat een "goed systeem voor berekeningen" is.

[Kser]

De GPGPU is "gewoon" een grafische kaart. Kan een dure Titan kaart zijn, maar kan ook een GTX kaart zijn (Minder geheugen, veel lagere prijs).

Ik denk niet dat wij hier genoeg informatie hebben om een goed systeem aan te kunnen raden.

Afhankelijk van het budget en het aantal GPGPU units die gebruikt gaan worden, moet je ervoor zorgen dat je een moederboord kiest waarin al die kaarten passen. Daarnaast moet je een passende cpu of meerdere cpu's erbij kiezen. Wij kunnen hier gaan gissen en zeggen dat een i6700k genoeg is, of we kiezen voor een Xeon model X... of model Y, maar met een gigantische prijsverschil ertussen.
Kiezen we een te zwakke cpu, dan wordt de GPGPU niet volledig benut. Kiezen we een overkill cpu en verspillen we honderden euros aan een CPU die nauwelijks werk verzet.
Afhankelijk van de taken kan het ook zo zijn dat er veel en/of snel ram nodig is of ook ECC ram.

Het komt erop neer dat wij niet weten wat er nodig is. Je zou toch even door moeten vragen. Wat voor systemen gebruiken ze nu, wat voor berekening en applicaties gaan zij gebruiken, welke GPGPU wordt er aangeschaft en hoeveel. En zoek informatie op websites die meer gericht zijn op dat gebied.

[ Voor 4% gewijzigd door Kser op 15-10-2016 13:35 ]

[begintmeta]

Zo nodig inkopen van rekenkracht in de cloud/bij een rekencentrum is eventueel ook altijd nog het overwegen waard trouwens.

[govie]

johnkeates schreef op zaterdag 15 oktober 2016 @ 13:21:
Zou je voor z'n machine niet beter een 'echt' werkstation bord kunnen gebruiken? (wat ook nog eens goedkoper is)

Een pricewatch: Supermicro X10DRL-i bijvoorbeeld. Ik denk dat je ook wel mag investeren in ECC, het lijkt me nogal naar als je tegen het einde van een lange berekening een bitflip hebt waardoor je alles opnieuw moet doen.

Het plaatsen van ECC aleen is niet voldoende, je moet dan ook een strict S&O regime erop na houden zoals datacenters dat doen en er naar handelen, anders heeft ECC geheugen niet echt de impact waarvoor je het hebt aangeschaft. Ik heb het destijds uitgezocht voor een 3Dcad-workstation en kwam toen dit artikel tegen. Opbasis van die info ben ik ervan uitgegaan dat ECC niet interessant voor een workstation. Tenminste, zolang 1 berekening niet maanden duurt of er levens of een hoop geld van afhankelijk zijn. Ik verwacht dat zal ook wel niet zijn. Dat moederbord is niet zo gek, gezien de totale prijs van het systeem. Het systeem zal ook wel een tijdje mee moeten gaan en deze mobo heeft een hoop luxe en veel mogelijkheden.

Mijn opmerkingen op het huidige voorstel in de bovenste post (als niet natuurkundige).

Storage
Ik ben zelf geen harddiskliefhebber meer. Indien de gebruiker geen 4TB nodig heeft, dan zou ik eerder gewoon alles uitrusten met SSD's. Of in ieder geval een groter aandeel SSD, zeker gezien het budget wat voor handen is en de huidige prijs van +/-250euro/1TB. SSD-techniek betekent 0 Decibel, Harddisk-techniek betekent "rammel-tjirp-rammel-tjirp" (ik chargeer een beetje, maar punt is duidelijk).

CPU koelers
Die cpu koelers in uw overzicht zijn wel erg lomp voor maar 85 Watt TDP. Ik zou overwegen om simpele cpu koelers pakken, eventueel de standaard artic freezer pro. Deze is volgens de pricewatch reviews semipassief, wat volgens mij inhoud dat de fan niet draait als het niet nodig is. Nog meer stilte als de cpu's niet op vollast worden belast.

Geheugen
Dat moederbord heeft 8 geheugensloten en kan tot 512GB worden volgepropt. Ik weet niet hoeveel geheugen de eindgebruiker nodig acht voor de berekeningen, maar in uw huidige overzicht is, 50% van de geheugenslots gevuld. Het zal waarschijnlijk geen probleem zijn, maar wel een aandachtspunt.

[ Voor 57% gewijzigd door govie op 15-10-2016 14:23 ]

[johnkeates]

govie schreef op zaterdag 15 oktober 2016 @ 13:50:
[...]


Het plaatsen van ECC aleen is niet voldoende, je moet dan ook een strict S&O regime erop na houden zoals datacenters dat doen en er naar handelen, anders heeft ECC geheugen niet echt de impact waarvoor je het hebt aangeschaft. Ik heb het destijds uitgezocht voor een 3Dcad-workstation en kwam toen dit artikel tegen. Opbasis van die info ben ik ervan uitgegaan dat ECC niet interessant voor een workstation. Tenminste, zolang 1 berekening niet maanden duurt of er levens of een hoop geld van afhankelijk zijn. Ik verwacht dat zal ook wel niet zijn. Dat moederbord is niet zo gek, gezien de totale prijs van het systeem. Het systeem zal ook wel een tijdje mee moeten gaan en deze mobo heeft een hoop luxe en veel mogelijkheden.

Mijn opmerkingen op het huidige voorstel in de bovenste post (als niet natuurkundige).

Storage
Ik ben zelf geen harddiskliefhebber meer. Indien de gebruiker geen 4TB nodig heeft, dan zou ik eerder gewoon alles uitrusten met SSD's. Of in ieder geval een groter aandeel SSD, zeker gezien het budget wat voor handen is en de huidige prijs van +/-250euro/1TB. SSD-techniek betekent 0 Decibel, Harddisk-techniek betekent "rammel-tjirp-rammel-tjirp" (ik chargeer een beetje, maar punt is duidelijk).

CPU koelers
Die cpu koelers in uw overzicht zijn wel erg lomp voor maar 85 Watt TDP. Ik zou overwegen om simpele cpu koelers pakken, eventueel de standaard artic freezer pro. Deze is volgens de pricewatch reviews semipassief, wat volgens mij inhoud dat de fan niet draait als het niet nodig is. Nog meer stilte als de cpu's niet op vollast worden belast.

Geheugen
Dat moederbord heeft 8 geheugensloten en kan tot 512GB worden volgepropt. Ik weet niet hoeveel geheugen de eindgebruiker nodig acht voor de berekeningen, maar in uw huidige overzicht is, 50% van de geheugenslots gevuld. Het zal waarschijnlijk geen probleem zijn, maar wel een aandachtspunt.

De vergelijking tussen CAD en math gaat hier niet op. Bij CAD kan je een stukje van je model gewoon invalideren en opnieuw renderen, bij math is het verschil niet bekend om dat je de uitkomst van de berekening niet van tevoren weet (daarom reken je het uit ;-) ). ECC geheugen kost niet duizend euro meer ofzo, en als je er 1 uur per jaar mee bespaart is het de investering al waard. Een rekenmachine die je niet kan vertrouwen is niet praktisch als je puur wil rekenen. In dit geval is het eigenlijk voldoende om de CPU/IMC en RAM met foutcorrectie en/of indicatie te hebben, het is niet alsof je berekeningen net als CAD modellen 'opslaat' en dan met on-disk corruptie te maken hebt waardoor je werk verloren is. In dit geval is verloren werk eerder een niet betrouwbare uitkomst dan een slecht opgeslagen tekstbestandje.

Qua WS zou ik nooit met een consumentenbordje gaan, het ASUS bord heeft eigenlijk alleen voor de gamer 'extras', de rest is gewoon fluff en daar betaal je flink voor zonder er ook maar iets op vooruit te gaan.

Qua koeling maakt het niet veel uit wat je doet, de Xeons zijn boxed, er zitten dus koelers bij die het gewoon prima doen. Veel geluid maken ze ook niet perse. De tijd dat een stock koeler uitermate slecht was en een aftermarket koeler duizend keer beter was hebben we wel achter ons gelaten. Wat je wil kan hebben is dat je een paar graden verschil merkt onder maximale load, of dat je een wat stiller systeem hebt (of allebei), maar dat is het dan ook wel.

[ Voor 6% gewijzigd door johnkeates op 15-10-2016 17:27 ]

[nWn]

begintmeta schreef op zaterdag 15 oktober 2016 @ 13:35:
Zo nodig inkopen van rekenkracht in de cloud/bij een rekencentrum is eventueel ook altijd nog het overwegen waard trouwens.

Ik sluit mij hierbij aan. Zelf doe ik ook regelmatig zware simulaties (zowel CPU-only als CPU+GPU), variërend van simpele dingen die bij wijze van spreken op een telefoon moeten kunnen tot simulaties die dagen tot weken moeten draaien op de nationale supercomputer. In de praktijk komt het (bij mij tenminste) weinig voor dat een simulatie precies op het raakvlak van lokaal draaien / toch op een cluster valt. Mocht dat bij jouw kennis hetzelfde zijn dan is het misschien handiger om een wat lichtere computer te nemen voor de lokale zaken en voor de echt zware taken een cluster te regelen.

De 'beste' keuze hangt dus voor een groot deel af van wat hij precies gaat doen, zou je daar misschien meer informatie over hebben? Matrix-berekeningen zijn één ding, maar een matrix van 10x10 inverteren is iets totaal anders dan 10000x10000 of nog groter.

[govie]

johnkeates schreef op zaterdag 15 oktober 2016 @ 17:25:
[...]
De vergelijking tussen CAD en math gaat hier niet op. Bij CAD kan je een stukje van je model gewoon invalideren en opnieuw renderen, bij math is het verschil niet bekend om dat je de uitkomst van de berekening niet van tevoren weet (daarom reken je het uit ;-) ). ECC geheugen kost niet duizend euro meer ofzo, en als je er 1 uur per jaar mee bespaart is het de investering al waard. Een rekenmachine die je niet kan vertrouwen is niet praktisch als je puur wil rekenen. In dit geval is het eigenlijk voldoende om de CPU/IMC en RAM met foutcorrectie en/of indicatie te hebben, het is niet alsof je berekeningen net als CAD modellen 'opslaat' en dan met on-disk corruptie te maken hebt waardoor je werk verloren is. In dit geval is verloren werk eerder een niet betrouwbare uitkomst dan een slecht opgeslagen tekstbestandje.

Volgens het door mij gelinkte artikel is ECC toepassen "an sich" geen verbetering ten opzichte van consumentengeheugen. Je moet extra tijd+geld insteken (serverstyle maintanance) en blijkbaar sticks hebben klaarliggen voor "als". Ik ben geen tegenstander van ECC, ik heb er zelf immers ook naar gekeken. Maar blijkbaar komt er meer bij kijken dan simpelweg een systeempje uitrusten met ECC and "all my troubles are over", je moet er blijkbaar actief mee bezig blijven gedurende een proces. ECC is zo goed als het onderhoud dat gepleegd wordt. Dan rijst de vraag of de eindgebruiker daadwerkelijk van plan was actief hiermee bezig te gaan zijn qua tijd en geld.

[ Voor 12% gewijzigd door govie op 15-10-2016 18:17 ]

[johnkeates]

govie schreef op zaterdag 15 oktober 2016 @ 18:08:
[...]


Volgens het door mij gelinkte artikel is ECC toepassen "an sich" geen verbetering ten opzichte van consumentengeheugen. Je moet extra tijd+geld insteken (serverstyle maintanance) en blijkbaar sticks hebben klaarliggen voor "als". Ik ben geen tegenstander van ECC, ik heb er zelf immers ook naar gekeken. Maar blijkbaar komt er meer bij kijken dan simpelweg een systeempje uitrusten met ECC and "all my troubles are over".

Het is ook geen all my troubles are over oplossing, het is een bitflip-detector op z'n minst. En dat is toevallig ook het enige wat echt belangrijk is als je kijkt naar wat nodig is om grote berekeningen te doen ;-) Je CPU heeft ECC op z'n caches om die reden (stel je voor, een bitflip in een instructie die er een totaal andere instructie van maakt...). Het gaat niet om data maar om geheugen-in-bewerking. Wat er vooraf of wat er na gebeurt is buiten het gebruik van ECC in dit geval. Stel dat je een compleet systeem bekijkt (met netwerk, storage I/O, GPU, misschien zelfs USB I/O) dan is simpelweg wat ECC geheugen toevoegen eigenlijk zinloos. (en in de meeste gevallen niet mogelijk met consumentenhardware) Als je het puur over storage hebt kan een HBA met ECC, ECC RAM en ZFS samen bijvoorbeeld wel een redelijk sluitend storage verhaal maken, maar dan zit je nog wel met netwerk enz. ECC is per case verschillend en meer/minder zinvol per case.

Ik zou het voor iets waarbij een bitje meer of minder een groot effect op een complete behandeling kan zijn wel toepassen. Stel je voor dat een hoog bitje bij een multiplier or exponent flipt. Opeens is je berekening meerdere ordegroottes verkeerd. Dat is dan als mens natuurlijk wel weer te spotten, maar een laag bitje dat flipt dat ergens drie posities achter de komma een verschil maakt kan net zo destructief zijn, en als mens dan weer een stuk moeilijker te merken.

Ik denk dat op z'n minst de melding "Er is een error gevonden" het geld al waard is. Meestal kan ECC slecht 1-bit errors repareren (en soms 2-bit errors), maar behalve repareren krijg je dus ook de detectie mogelijkheid, en dat is goud waard. Silent corruption is het ergste.

[ Voor 6% gewijzigd door johnkeates op 15-10-2016 18:22 ]