Is deze Deep Learning / VR Workstation build zinvol?

[wirrbeltier]

Wat wil je doen met je nieuwe systeem?
Hoi allemaal,

Ik ben voor werk met deep learning en VR bezig, en vind het leuk er in mijn vrije tijd op eigen hardware door te kunnen knutselen. Het is een onderzoeksbaan bij een universiteit, dus er staat een HPC voor het zware werk, maar een workstation waar je eigen linux of docker containers op draait kan niet zomaar. Dit ding moet gewoon bij mij thuis staan zodat ik zonder al te veel moeite een beetje kan leren hoe ik met bijvoorbeel multi-GPU deep learning modellen kan trainen.
VR is niet om te gamen, maar om microscoop-images te visualiseren met software zoals TeraVR. Wellicht een game of zo, als steamVR ook op linux draait.

Ik heb al het e.e.a in de pricewatch uitgezocht, maar dit zou mijn eerste build met zo krachtige componenten zijn. Ik zou dus graag van het tweakers-hivemind (jullie dus!) willen horen of ik dingen over het hoofd heb gezien of aan de verkeerde plekken heb bezuinigd.

Wat mag het systeem gaan kosten?
Max 3500€, minder is altijd beter.

Zijn er componenten of randapparatuur die je al hebt en mee wil nemen naar je nieuwe systeem?
Nope.

Wat denk je allemaal nodig te hebben?
Ik kom tot nu toe in de pricewatch op volgende samenstelling: Wenslijst

#	Category	Product	Prijs	Subtotaal
1	Processors	AMD Epyc 7352 Boxed	€ 314,60	€ 314,60
1	Moederborden	ASRock Rack ROMED8U-2T	€ 387,85	€ 387,85
2	Videokaarten	ASUS Dual GeForce RTX 4060 Ti Advanced Edition 16GB GDDR6	€ 482,66	€ 965,32
1	Behuizingen	Zalman I4 WHITE	€ 62,94	€ 62,94
1	Waterkoeling	Enermax LiqTech TR4 II 240mm	€ 128,51	€ 128,51
5	Ventilators	be quiet! Silent Wings 4 120mm PWM	€ 22,27	€ 111,35
8	Geheugen intern	HP 805358-B21	€ 108,63	€ 869,04
1	Voedingen	Zalman ZM1000-TMX TeraMax 80 PLUS GOLD PSU	€ 129,95	€ 129,95
1	Solid state drives	Transcend MTE250H 4TB	€ 288,-	€ 288,-
Bekijk collectie Importeer producten			Totaal	€ 3.257,56

Heb je nog bepaalde (merk)voorkeuren?
Zie boven: GPU Nvidia (want CUDA), CPU AMD (want voorkeur)

Heb je nog bepaalde eisen/wensen?
Ik heb een paar eisen:
- Er moeten CUDA modellen op draaien dus Nvidia RTX
- Deep Learning, dus meer VRAM is beter
- Multi-GPU (minimaal 2 kaarten, beter 3) dus er moeten voldoende PCIe x16 slots aanwezig zijn
- > 128 GB RAM, meer is beter
- CPU: AMD voorkeur

Verder: Niet te lomp of te lawaaierig, wat lastig is met zo'n systeem. Ik heb daarom tenminste gepland de CPU met een AIO-waterkoeling te koelen en alle (case + AIO) fans met silent-fans te vervangen.

Ga je overklokken?
Nope.

Wat verwacht je van ons?[
Bij het zoeken kwam ik snel op de RTX 4060Ti 16GB als kaart, die heeft voor zover ik het kan zien de beste VRAM/€ ratio. Het alternatief was 2x tweedehands RTX3090 of zo, maar dat leek me net iets te duur voor de 8GB extra VRAM.

Verder liep ik er tegen aan dat de PCIe slots op de meeste AM4 / AM5 borden al snel niet voldoende PCIe lanes meer over hadden. Ik kwam dus op een verassend goedkope serverbord uit (SP3 socket), die met registered DDR4 tot 512GB RAM uitgebouwd kan worden.

Dus is mijn vraag aan jullie: Maakt deze build zinvolle tradeoffs? Zijn er potentiële bottlenecks, of juist ergens betere keuzes mogelijk?

Alvast bedankt voor jullie inzichten

[99ruud99]

De epyc cpu is reeds 5 jaar oud,is de nieuwste pijn niet minstens net zo snel? (Ook ander bord nodig dan).

Is 2x 4060ti beter dan 1x 4070super? Met 1 enkele gpu heb je maar 1 PCIe x16 slot nodig. Met AM5 heb je stuk sneller PCIe sloten.

[wirrbeltier]

Dank! Je hebt gelijk, de epys is de snelste niet. Ik had hem gekozen omdat je er > 192 GB RAM en 3 volle PCIe x16 slots mee kan hebben, voor CPU taken lijkt die mij nog wel voldoende. Maar goed punt, ik heb het even doorgerekend.

Als je wel multi-GPU wil hebben, zou je een high-end AM5 board kunnen pakken waar je de lanes tussen de PCIe slots kan splitten. Bijvoorbeeld de Asus Pro-Art x670 Creator, die heeft zelfs twee PCIe5 x8 (even snel als PCIe x16 als ik het goed weet, mits de grafische kaart dat kan).

RTX 4070 Ti Super 16 GB kan wel (uiteraard sneller maar vooral bredere bus naar de VRAM), maar wordt in een dual-GPU setup snel duur. Wellicht zou ik dat dan beter met 2x tweedehandse RTX 3090s kunnen doen of zo. Ze profiteren allebei niet van de PCIe5 connectie als ik het goed zie, dus dat is het verschil niet.

Zie beneden, voor ongeveer hetzelfde bedrag als de build met de Epyc zou je een maxed-out AM5 board kunnen bouwen met dual RTX4070 Ti Supers. Snellere GPU's, maar minder dan de helft aan RAM (192GB vs 512 GB). Wel het overwegen waard.

#	Category	Product	Prijs	Subtotaal
1	Processors	AMD Ryzen 5 7600X Boxed	€ 214,90	€ 214,90
1	Moederborden	ASUS ProArt X670E-CREATOR WIFI	€ 459,99	€ 459,99
2	Videokaarten	Zotac Gaming GeForce RTX 4070 Ti SUPER Trinity Black Edition 16GB GDDR6X	€ 860,99	€ 1.721,98
1	Behuizingen	Zalman I4 WHITE	€ 62,94	€ 62,94
1	Ventilators	be quiet! Silent Wings 4 120mm PWM	€ 22,27	€ 22,27
2	Geheugen intern	Crucial Pro CP2K48G56C46U5	€ 287,99	€ 575,98
1	Voedingen	Zalman ZM1000-TMX TeraMax 80 PLUS GOLD PSU	€ 129,95	€ 129,95
1	Solid state drives	Transcend MTE250H 4TB	€ 288,-	€ 288,-
			Totaal	€ 3.476,01

[Woezik]

Voor de koelcapaciteit van een AIO-240 radiator kun je ook een grote luchtkoeler kiezen.
De ASUS videokaart is met 50mm reeds te dik om twee kaarten te kunnen plaatsen op dit mATX-moederbord. Je hebt dus niets aan de drie PCIe sloten.
De behuizing heeft geen front USB Type-C.

Ik neig meer naar zoiets:

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i7-14700KF Boxed	€ 405,99	€ 405,99
1	Moederborden	ASRock Z790 Taichi Lite	€ 374,-	€ 374,-
1	Videokaarten	MSI GeForce RTX 4090 VENTUS 3X E 24G OC	€ 1.745,05	€ 1.745,05
1	Behuizingen	be quiet! Shadow Base 800DX Wit	€ 101,99	€ 101,99
1	Waterkoeling	Arctic Liquid Freezer III 420 A-RGB Wit	€ 82,99	€ 82,99
1	Geheugen intern	Corsair Vengeance CMK96GX5M2B5600C40	€ 310,23	€ 310,23
1	Voedingen	Thermaltake Toughpower GF A3 Snow 1050W - TT Premium Edition	€ 150,99	€ 150,99
1	Solid state drives	Samsung 990 Pro (zonder heatsink) 4TB	€ 309,-	€ 309,-
Bekijk collectie Importeer producten			Totaal	€ 3.480,24

Intel moederbord waarop 2x een PCIe5.0 x8/x8 configuratie mogelijk is.
Zeer snel 96Gb DDR5 geheugen, uitbreidbaar naar 192Gb. De Intel ondersteuning voor 4 modules werkt beter op OC snelheden dan AM5.
Een vergelijkbaar X670E moederbord (MSI X670E Carbon moederbord is € 50,- duurder) en een AMD 7950X(3D) is ook duurder.

Mij ontgaat de noodzaak voor 2x een RTX4060Ti, dat is 2x 4.352 cuda cores.
Een RTX4090 heeft 16.384 Cuda cores en 24Gb. Met een enkele kaart ook geen overhead. De MSI is 3-slots dik en heeft een verstevigingsbeugel. Uitbreiding met een tweede RTX4090 (met AIO-koeling) is mogelijk.
PS: Bij twee 3-slots gpu's boven elkaar, dan heeft de bovenste geen koeling.

4Tb SSD met cache.
ATX3.0 Voeding (kan pieken van 100% verwerken) met 12VHPWR connector en 10jaar garantie.
Om 2x een RTX4090 te kunnen aansluiten is een andere voeding nodig met 2x 12VHPWR.
Be Quiet behuizing met voorin 3x de meegeleverde 14cm fans en bovenin de 420 radiator.

Ik heb geen benchmarks of goede recommended system requirements voor vaa3d-x kunnen vinden, maar wellicht dat bij puget software met een vergelijkbare engine is getest.

[creator1988]

>128gb RAM op Z790 is een behoorlijke clusterfuck van wat ik heb kunnen vinden de laatste paar dagen. 4 dimms kan evt wel werken maar je moet exact dezelfde uit dezelfde batch hebben (en dan nog stabiliteitsproblemen van wat ik kan vinden op Reddit) en significant verlies van snelheid (daar gaat je ddr5 snelheid) tov 2 modules. Vrijwel iedereen raad 2 modules aan. Niet ideaal als je veel RAM nodig hebt.

[ Voor 3% gewijzigd door creator1988 op 10-04-2024 22:51 ]

[martyw]

Kijk nog even naar

PNY RTX 4000 SFF Ada Generation

[wirrbeltier]

@Woezik Dank je voor de intel build en de suggesties, in Intel-land had ik nog niet echt veel gezocht.
- Aan de PCIe5 x8 zal ik niet veel hebben denk ik, vooralsnog hebben alle kaarten PCIe4. Dual PCIe4 x8 kunnen heel wat meer borden, en als ik het goed heb gelezen is de doorvoersnelheid nog steeds voldoende voor deep learning tasks.
- Goed punt over de dikte van de grafische kaarten, dat had ik nog niet bedacht. Daar zou ik mee kunnen helpen door óf PCIe riser cables te gebruiken (en te hopen dat het stabiel blijft), óf custom waterblocks op de kaarten te zetten. Dat kan, maar kost al snel 300-400€ extra.
- Goed idee met snelle RAM, maar ik vrees dat het geen goede fit is: Ik heb liever meer (en daarvoor tragere) RAM dan dat het systeem op de SSD gaat swappen. Dat gebeurd zelfs met 128GB nog regelmatig, dus is meer dan 96GB echt een harde vereiste.
- Een voordeel van een modern moederbord met PCIe5: Je kan snellere SSDs verbouwen, wat voor een io-limited workload heel handig kan zijn.

@creator1988 Klopt, dat had ik ook nog niet zo op de radar. Ik heb ook nog even bij reddit en zo gelezen, ook voor AM5 lijken er best wat issues te zijn met >128GB RAM. Ik vond wel dat er een high-end AM5 bord is dat claimt 256GB RAM te kunnen handelen (MSI MPG X670E Carbon), maar dan geen enkele stick in die configuratie in hun memory compatibility table hebben staan.
Wellicht is het momenteel nét nog iets te bleeding edge met 4x 48GB/64GB sticks in die boards.

@Woezik Dank, die had ik nog niet op de radar! Helaas is hij iets te duur voor wat hij doet. Jammer dat hij nog niet tweedehands te krijgen is.

Ik heb me ook nog iets verder in de workloads ingelezen, en voor deep learning zal ik vooral FP32 draaien. Hier is een mooie achtergrondartikel over hoeveel prestatie je van welk systeem mag verwachten. De nummers zijn verzameld uit de manuals van de kaarten en helaas niet echt vergelijkbaar tussen de generaties.
In deze real-world tests van FP32 image segmentation networks lijkt een RTX 4090 tussen de 35 en 75% sneller te zijn dan een RTX 3090, gemiddeld zo'n kleine 50%.
Ze hebben daar ook de overhead van multi-GPUs getest, en het lijkt dat 2x 4090 best prima schaalt (vergelijkbaar met 2x 3090 met nvlink), dichtbij 2x voor de meeste modellen.

In conclusie zal ik denk ik optimaliseren in de volgende volgorde: 1) VRAM capaciteit, 2) SSD speed, 3) RAM capaciteit, 4) GPU speed, 5) CPU speed.
Dan kom ik op een build met 2x tweedehands 3090 (want anders is mijn budget op) voor zo'n 1200-1500€, dan moet de rest een beetje daarom heen gebouwd worden.
De oorspronkelijke serverboard die ik in gedachte had heeft helaas slechts PCIe3 SSD aansluitingen, dat is bij nader inzien toch te traag. Toch maar voor een AM5/1700 systeem met PCIe5 SSD gaan zoeken.
Dan kom ik uit op de volgende build voor net boven de 2000€, totaal ca 3200-3500€.

#	Category	Product	Prijs	Subtotaal
1	Processors	AMD Ryzen 5 7500F Tray	€ 174,-	€ 174,-
1	Moederborden	MSI MPG X670E CARBON WIFI	€ 429,-	€ 429,-
1	Behuizingen	be quiet! Shadow Base 800DX Wit	€ 151,05	€ 151,05
1	Processorkoeling	be quiet! Shadow Rock Slim 2	€ 45,25	€ 45,25
1	Geheugen intern	Corsair Vengeance CMK192GX5M4B5200C38	€ 715,35	€ 715,35
1	Voedingen	Silverstone ST1200-PTS	€ 220,-	€ 220,-
1	Solid state drives	Crucial T700 (zonder heatsink) 2TB	€ 311,99	€ 311,99
			Totaal	€ 2.046,64

[Woezik]

PCIe5.0 x8 heeft dezelfde bandbreedte als PCIe4.0 x16, dus prima voor dikke videokaarten.
Gebruik geen PCIe riser cables. Er zijn wel twee slots dikke RTX videokaarten, maar vanwege het mATX formaat en het gebrek aan snelle M2 sloten, zou ik geen SP3 bord kiezen.

PCIe5.0 SSD's gebruiken te veel stroom, waardoor ze te warm worden en throttlen. De standaard heatspreader van je moederbord is onvoldoende. Er is een Corsair MP700 Pro met grote heatsink, maar de prijs/prestatieverhouding is momenteel nog redelijk onzinnig.

Een andere route is wellicht nog een goedkoop AM4-moederbord met SLI:

#	Category	Product	Prijs	Subtotaal
1	Processors	AMD Ryzen 9 5950X Boxed	€ 369,90	€ 369,90
1	Moederborden	ASUS ProArt B550-CREATOR	€ 188,-	€ 188,-
2	Videokaarten	ASUS ProArt GeForce RTX 4070 Ti SUPER 16GB GDDR6X OC Edition	€ 952,99	€ 1.905,98
1	Behuizingen	Montech Air 903 Base	€ 59,90	€ 59,90
1	Processorkoeling	Thermalright Peerless Assassin 120 SE ARGB Wit	€ 44,90	€ 44,90
1	Geheugen intern	Kingston Fury Beast KF432C16BBK4/128	€ 309,-	€ 309,-
1	Voedingen	be quiet! Straight Power 12 1200W	€ 227,30	€ 227,30
1	Solid state drives	Samsung 990 Pro (zonder heatsink) 4TB	€ 309,-	€ 309,-
Bekijk collectie Importeer producten			Totaal	€ 3.413,98

Asus ProArt moederbord met SLI, dus PCIe4.0 x8/x8. Een PCIe4.0 x4 en PCIe3.0 x4 M2 slot, beide met heatspreader.
2x ASUS ProArt RTX4070Ti moederborden met beide 16Gb VRAM en beide 8.448 cuda cores. De RTX4070Ti is de gpu van de 4080 met iets minder cuda cores. Deze kaarten zijn 5cm dik, waardoor de bovenste kaart nog ongeveer 13mm koeling heeft. Die afstand kan met 2x een RTX3090 nog wel eens problematisch worden.
16-core cpu die prima lucht gekoeld kan worden.
Goedkopere behuizing met drie fans en front USB Type-C
ATX3.0 voeding met 2x 12VHPWR aansluitingen voor beide videokaarten.
De beperking met AM4 blijft wel de 128Gb Ram.

[wirrbeltier]

Dank voor het meedenken!

- Ik denk dat het met PCIe4 x8 per grafische kaart wel voldoende is voor mijn doelen. Als ik het goed begrepen heb spreken de kaarten zelf (behalve peperdure datacenter kaarten) toch alleen maar PCIe4 en zullen dat dan ook met het moederboard negotiaten. De hoeveelheid lanes die ze krijgen hangt af van de totale beschikbare pool (Intel: 20 / AMD: 24, behalve workstation sockets) en hoe het moederboard dat opsplitst. Er zijn een paar mobo's met twee slots die als x8/x8 aangesproken kunnen worden, dus daarnaar ben ik op zoek gegaan.

- Goed punt met de SSD. Na nog wat meer tests gelezen te hebben blijkt dat de 990 Pro die je voorstelde het een kleine 30% minder te doen, maar slechts de helft te kosten. Dus die gaat erin

- AM4 heb ik ook bekeken, maar 128GB RAM zonder mogelijkheid tot uitbreiding lijkt me echt te krap. Ik zag wel dat de AM5 opvolger van je moederboard ook twee grafische slots heeft en die als x8/x8 aan kan spreken. Hij lijkt ook 3 slots afstand tussen die slots te hebben, dus dat board gaat mee op de lijst.

- Dit board is ook flink goedkoper dan het MSI board dat ik eerder op de lijst had, dus een deel van de besparing ga voor een betere processor gebruiken.

- De RTX4070 Ti zien er interessant uit, maar als je naar de verwachtte FP32 prestatie kijkt (hier, met een korreltje zout) blijkt dat ze ongeveer hetzelfde zouden presteren als een RTX 3090 én 1/3 minder werkgeheugen hebben. Daarvoor lijken ze mij te duur.
Goed punt over de dikte, dan zal ik op zoek moeten naar dunnere 3090s zoals de ASUS TUF Gaming GeForce RTX 3090, die is ook maar 51 mm dik. Voor de bovenste kaart althans, voor de onderste maakt het niet veel uit.

Dan kom ik op volgende build, 192GB RAM, 4TB PCIe4 SSD, Ryzen 7700 (ca 2000 + 1500€ voor tweedehands 3090):

#	Category	Product	Prijs	Subtotaal
1	Processors	AMD Ryzen 7 7700 Tray	€ 235,68	€ 235,68
1	Moederborden	ASUS ProArt B650-CREATOR	€ 237,-	€ 237,-
1	Behuizingen	be quiet! Shadow Base 800DX Wit	€ 155,-	€ 155,-
1	Processorkoeling	be quiet! Shadow Rock Slim 2	€ 45,25	€ 45,25
1	Geheugen intern	Corsair Vengeance CMK192GX5M4B5200C38	€ 715,35	€ 715,35
1	Voedingen	Silverstone ST1200-PTS	€ 220,-	€ 220,-
1	Solid state drives	Samsung 990 Pro (zonder heatsink) 4TB	€ 309,-	€ 309,-
			Totaal	€ 1.917,28

[Woezik]

De combinatie 7700 Tray plus B650 Creator lijkt mij inderdaad het beste. Dan heb je ook twee snelle M2 sloten.
Voor de BQ Rock Slim zijn betere koelers te koop: https://tweakers.net/pric...;1921844;1927262;2038916/

De RTX4070Ti Super is nog zeer recent en staat nog niet in het overzicht. Een tweedehands RTX3090 is een oudere generatie, maar zal met 24Gb ram en meer cuda cores wel iets sneller zijn.

Wellicht kun je nog € 120,- besparen met 2x https://tweakers.net/pric...e-cmk96gx5m2b5200c38.html

[thunder7]

Ik heb 2x deze uitvoering: Crucial Pro CP2K48G56C46U5 op een B650 bord van Asus met een 7950x. Werkt prima. Of je dat verschil in latency daadwerkelijk in prestaties terugziet? Ik twijfel.

[Woezik]

thunder7 schreef op zaterdag 13 april 2024 @ 06:58:
Ik heb 2x deze uitvoering: Crucial Pro CP2K48G56C46U5 op een B650 bord van Asus met een 7950x. Werkt prima. Of je dat verschil in latency daadwerkelijk in prestaties terugziet? Ik twijfel.

De Corsair 5200CL38 staat op de QVL lijst van het moederbord en 5200Mhz is de hoogste niet-OC snelheid.
In je review staat nog dat je de Crucial Pro kunt draaien op 3600Mhz. Is het al gelukt om de 5600Mhz kit op hogere snelheden te runnen, bijvoorbeeld 5200Mhz?