Advies 6+ GPU build voor deep learning

[redblack]

Wat wil je doen met je nieuwe systeem?
Deep learning systeem met ruimte voor minimaal 6 kaarten uit de RTX3000 series.

Wat mag het systeem gaan kosten?
Maximaal 4000 euro, exclusief GPU's

Zijn er componenten of randapparatuur die je al hebt en mee wil nemen naar je nieuwe systeem?
Nee

Wat denk je allemaal nodig te hebben?
Plaats voor minimaal 6 GPU's uit RTX3000 series
Om te beginnen 128GB. Later mogelijk 256 GB ram bij 6 of meer GPU's.
Minimaal 5 threads per GPU
Snel sequentieel lezen van bestanden van 2-10 MB
Snel geheugen voor het parallel werken met veel threads
Pcie x16 voor alle GPU's voor genoeg bandbreedte
Als het kan pcie 4.0. Is mogelijk sneller dan pcie 3.0

Voor meer uitleg over de vereisten voor een deep learning systeem, zie deze post https://gathering.tweaker...message/63885210#63885210

Heb je nog bepaalde (merk)voorkeuren?
Mijn oplosing is een GPU mining rack en de Asrock Rack ROMED8-2T
Ik sta open voor andere oplossingen.

Heb je nog bepaalde eisen/wensen?
Warmte afvoer van GPU's moet goed zijn.
Geluid is geen probleem. Systeem komt op zolder te staan.

Ga je overklokken?
Niet van plan om over te klokken.

Wat verwacht je van ons?
Suggesties voor zo veel mogelijk bang for the buck / kosten terug brengen
Suggesties over warmte afvoer. De RTX3000 series geeft veel warmte
Check of ik iets over het hoofd heb gezien. Bijvoorbeeld of het gaat het passen qua ruimte?
Eventueel alternatieven voor mining rack + Asrock Rack ROMED8-2T

Voorstel voor build

#	Category	Product	Prijs	Subtotaal
1	Processors	AMD Epyc 7402P Tray	€ 1.396,82	€ 1.396,82
1	Moederborden	Asrock Rack ROMED8-2T	€ 561,-	€ 561,-
1	Behuizingen	Dimastech X-Hash - Mining Case	€ 192,03	€ 192,03
1	Netwerkadapters	Intel Dual Band Wireless-AC 7265	€ 12,70	€ 12,70
7	Casemodding	Cooler Master Riser Cable PCIe 3.0 x16 Ver. 2 - 300mm	€ 28,50	€ 199,50
1	Processorkoeling	Noctua NH-U14S TR4-SP3	€ 75,15	€ 75,15
6	Ventilatoren	Scythe Kaze Flex 120mm 2000rpm	€ 8,99	€ 53,94
1	Geheugen intern	G.Skill Ripjaws V F4-3200C16Q-128GVK	€ 459,90	€ 459,90
1	Voedingen	LC-Power LC1800 V2.31 - Mining Edition	€ 199,-	€ 199,-
1	Solid state drives	Gigabyte Aorus NVMe Gen4 SSD 2TB	€ 364,98	€ 364,98
Bekijk collectie Importeer producten			Totaal	€ 3.515,02

[Djarune]

Ik heb maar weinig verstand van zulke racks. Wel prachtig spul zo te zien. Toch een paar tips:

De Intel netwerkadapter gaat niet passen op het moederbord. Daarvoor heb je een M.2 key E slot nodig die er niet op zit. Bovendien heb je daarnaast ook nog pigtail kabels en een antenne nodig. Beter is dus een een goede adapter te nemen via USB of een access point met een ethernet aansluiting als je wifi nodig hebt.

De Aorus NVMe heeft een snelle random read/write, maar de latency is een stuk minder. Naar mijn mening de prijs niet waard. Kun je beter voor de pricewatch: XPG SX8200 Pro 2TB gaan.

Ik weet trouwens niet of de PCIe 3.0 riser cables invloed hebben op de PCIe 4.0 snelheden.

Aankoopadvies voor de voeding laat ik even over aan @Uszka. Ik vind hem vrij goedkoop voor 1800W. Wel genoeg aansluitingen

[Dennism]

Moederbord heeft 2x 10Gbit nic's, ik zou dan inderdaad niet met een wifi kaartje gaan lopen rommelen.

[Uszka]

Welke RTX 3*** gaat het worden? 6x 3080 kom je tekort aan 1800w en die LC-Power is niet bepaald de modernste.

[redblack]

Uszka schreef op woensdag 23 september 2020 @ 13:05:
Welke RTX 3*** gaat het worden? 6x 3080 kom je tekort aan 1800w en die LC-Power is niet bepaald de modernste.

Waarschijnlijk 5x 3080 en 2x 3090

[Uszka]

redblack schreef op woensdag 23 september 2020 @ 14:44:
[...]


Waarschijnlijk 5x 3080 en 2x 3090

Dan heb je bijna 3000w aan voeding nodig.

[Djarune]

Uszka schreef op woensdag 23 september 2020 @ 15:09:
[...]

Dan heb je bijna 3000w aan voeding nodig.

Kan dat met 2 voedingen en dit mooie dingetje: pricewatch: Add2Psu 24-Pin Power Connector Adapter zonder brandgevaar ?

[Potenscia]

Ik weet niet hoe snel je je systeem wilt hebben, maar AMD zal bij aankondiging van Zen 3 als eerste Epyc vervangen met de nieuwe Milan processors. Misschien worth-the-wait. Op 8 oktober zal Zen 3 uit de doeken gedaan worden.

[redblack]

Potenscia schreef op woensdag 23 september 2020 @ 17:17:
Ik weet niet hoe snel je je systeem wilt hebben, maar AMD zal bij aankondiging van Zen 3 als eerste Epyc vervangen met de nieuwe Milan processors. Misschien worth-the-wait. Op 8 oktober zal Zen 3 uit de doeken gedaan worden.

Voorlopig is de RTX3000 serie nog niet goed verkrijgbaar. Misschien is dit wel het wachten waard. Dank voor de tip!

[redblack]

Djarune schreef op woensdag 23 september 2020 @ 15:31:
[...]


Kan dat met 2 voedingen en dit mooie dingetje: pricewatch: Add2Psu 24-Pin Power Connector Adapter zonder brandgevaar ?

Als dat zou kunnen, dan ben ik uit de brand

[redblack]

Hoe zit het met het combineren van twee voedingen? Ik heb het nog even nagezocht.

Volgens https://gpu0.com/using-a-...pter-on-a-gpu-mining-rig/ kan het combineren van twee voedingen altijd

You can connect any two ATX power supplies to attain the power necessary for your mining rig. We always recommend purchasing platinum-rated power supplies as they are built to endure the 24/7/365 running requirement.

Dan is er nog de mogelijkheid van overbelasting van de elektriciteitsvoorziening. Ook dat blijkt mee te vallen.
Uitgaande van een standaard groep van 16A schrijft https://info.elektroshop.nl/watt-groep/

Houd altijd als vuistregel aan dat er maximaal 3500 Watt aan stroom door een groep mag lopen. Als je 3500 Watt als standaard aanhoudt zit je altijd goed.

Conclusie: ik verwacht niet dat het gebruik van twee voedingen problemen oplevert. Wel nog even checken of de groep naar de zolder volgens de huidige normen is aangelegd.

Bedankt voor de tips!

[xera]

Ik neem aan dat dit voor bedrijfsmatig gebruik bedoeld is. Nou ben ik wel heel benieuwd.. wat ga je ermee doen? Heb je een website?

[peize9]

Voor de stroom, 230V á 16A betekent dat je max 3650W kan trekken voor dat je zekering nee zegt. Het laat weinig ruimte over, maar het moet op 1 stroomkring kunnen. Anders moet je krachtstroom aanleggen en 400V á 16A of 400V á 32A nemen. Ik weet niet precies hoe professioneel alles is, maar het is het zeker waard om te overwegen. Met het gebruik van die 6 kaarten en de rest kom je oncomfortabel dicht bij het limiet.

Qua PSU's, pricewatch: LC-Power LC1800 V2.31 - Mining Edition x2 kan het denk ik ongeveer doen. 2700W aan GPU dan heb je 900W voor de rest over.

Mocht je niet 100% zeker zijn hierover, https://www.supermicro.com/en/products/gpu hier kan je ook even kijken. Supermicro maakt goede server-grade producten en misschien dat ze wat dingen hebben die je erg helpen hiermee. Iig hebben ze 3000W+ psu's.... en garantie natuurlijk.

Vergeet niet dat je beter registered en ECC geheugen kan kopen. Daar is het mobo ook voor gemaakt.

[Uszka]

Die LC-Power zou ik niet willen adviseren, Ik verwacht dat de kwaliteit niet meer dan matig is en de efficiëntie niet erg hoog. Beter pak je 2x pricewatch: Super Flower Leadex Platinum 2000 watt Zwart. Kost een stuk meer maar gezien de onderdelen die er verder in gaan moet dat te verantwoorden zijn.

[mitsumark]

+1
Eventueel in Duitsland nog wat goedkoper.
https://geizhals.de/super....html?hloc=at&hloc=de&v=e

Mocht je bang zijn voor de zekering kun je altijd nog de 2e voeding op een andere groep aansluiten.

PS: is het niet goedkoper/beter om een render farm op te zetten met 2/3/4 computers ieder met 2/3 kaarten.

[redblack]

Kan dit moederbord überhaupt overweg met normaal (unregisterd) ddr4 geheugen?

Supports 8 Channels DDR4 3200/2933/2666/2400 RDIMM,LRDIMM/NV DIMM 8 x DIMM slots

https://www.asrockrack.co...=ROMED8-2T#Specifications