Dedicated systeem voor deep learning training

[IceQb]

Wat wil je doen met je nieuwe systeem?
Mijn huidige MacBook is gpu-loos en dit is een groot gemis voor mij tijdens machine learning projecten. Vandaar een tweede systeem. Dit (server)-systeem zal een groot gedeelte van de tijd alle mogelijke resources gebruiken om deep learning modellen door te rekenen en te trainen. Natuurlijk ben ik me bewust van cloud-oplossingen maar daar kies ik bewust niet voor. Ik wil op eigen hardware draaien.
- CUDA support is daarbij onmisbaar dus Nvidia is een must. Via deze guide van Tim Dettmers kwam ik uit op de RTX 3080 betreft balans prestatie/kosten.
- Systeem moet een flink aantal jaren meekunnen.
- Single gpu lijkt me voldoende.
- Naast training zullen er wat standaard server-taken op gaan draaien, denk aan backups, pi-hole, mediaserver, etc. Misschien ook een crypto-node. Niet al te zware taken verder maar betreft uptime mik ik zeker wel op 100%.

Zelf ben ik tot het volgende systeem gekomen:
MSI GeForce RTX 3080 GAMING X TRIO 10G - Videokaart
AMD Ryzen 5 3600 - Processor
Gigabyte B550 Aorus Elite V2 - Moederbord ATX
Kingston A2000 1 TB - Solid state drive
Corsair Vengeance LPX DDR4 - 64 GB: 2 x 32 GB - 288-PIN - 3200 MHz - Geheugen
MSI MPG A750GF - Voeding (intern)
Inter-tech IPC 4U-4129-N - Rack-uitvoering
(link winkelmandje Azerty)

Mijn belangrijkste vraag is: zit ik in de goede hoek qua platform? Een systeem samenstellen is alweer een tijd geleden voor me. Ik realiseer me dat dit een soort kruising tussen een server en game-systeem is. Zijn er betere cpu/moederbord combo's voor server-achtige taken, met behoud van ondersteuning voor de gpu? Vooral 100% uptime en energieverbruik in het achterhoofd houdende. Misschien toch naar intel kijken (Xeon?)?

[peize9]

Qua onderdelen zit je opzich verder goed. Een Xeon/Epyc zou alleen aantrekkelijk zijn voor nog meer ram, meer PCI lanes of als er bepaalde virtualisatiemogelijkheden niet kunnen op normale systemen. Daarbij heb je dan weer een aardige meerprijs.

Je kan kijken naar meer server borden, maar die zijn vaak al gauw weer duurder. Aan de andere kant heb je dan wel weer IPMI e.d.

Ik mis alleen wel wat, namelijk wat je er voor over hebt...

[IceQb]

Prijs lijkt nu op ~EUR 2000 uit te komen wat binnen mijn budget ligt. Meerprijs van nog zo een EUR 500 of EUR 1000 ligt binnen de mogelijkheden maar dan natuurlijk wel met goede reden.

Vooralsnog begrijp ik van je dat een server-cpu/moederbord extra kosten met zich meebrengt maar niet echt wat toevoegt in mijn situatie?

Extra budget/eventuele upgrade in de toekomst kan ik dan geloof ik beter in extra geheugen en/of tweede gpu steken lijkt me?