Test-systeem (ML/)

[Tota-Fox-]

Wat wil je doen met je nieuwe systeem?
Dit systeem wordt gebouwd voor machine learning (ML) en deep learning. We willen cuda-ondersteuning, dus het moet NVIDIA zijn. De keuze is gevallen op 4x RTX 4060 Ti 16GB, omdat Vram de belangrijkste factor is. De GPU’s werken onafhankelijk van elkaar, dus geen NVLink of SLI. Het systeem draait op Ubuntu Linux.

Wat mag het systeem gaan kosten?
Er is niet echt een harde limiet, maar..... als iets goedkoper kan zonder al te veel in te leveren, dan graag.

Zijn er componenten of randapparatuur die je al hebt en mee wil nemen naar je nieuwe systeem?

GPU’s: 4x RTX 4060 Ti 16GB (deze staan vast in de build)
Behuizing: Niet nodig,/ het systeem komt in een testopstelling (airco is aanwezig in het rack).
OS: Ubuntu Linux

Specifieke wensen en vragen:

CPU: Een snelle CPU, maar geen Intel 14e/15e generatie of AMD 9000-serie.
RAM: 32GB of 64GB DDR4/DDR5, afhankelijk van de prijs/prestatie.
Moederbord: Minimaal 4x PCIe-slots (x8/x8/x8/x8 of beter*denk ik ///). Ik heb hier weinig ervaring mee, dus als er goedkopere opties zijn zonder grote nadelen dan graag.
Koeling: Luchtkoeling, geen waterkoeling.
Voeding: Genoeg vermogen en stabiel voor 4 GPU’s.

Vragen:

PCIe Gen 4 vs. Gen 5: Heeft dit echt veel invloed op ML-workloads in deze setup? Aangezien de GPU’s los van elkaar draaien, vraag ik me af of dit het geld waard is.
Zijn er goedkopere moederbord-opties zonder grote prestatieverliezen?
Is er een betere CPU-keuze dan hieronder, zonder richting de allernieuwste generaties te gaan?
Als er in de toekomst meer rekenkracht nodig is, dan wordt er gekeken naar RTX 4080/3090, maar op dit moment is VRAM de bottleneck. Zijn er dingen waar ik rekening mee moet houden als ik later zou upgraden?

Twee mogelijke builds:
Optie 1: AMD (PCIe Gen 4)

CPU: AMD Ryzen 9 5950X (16 cores, 32 threads)
Moederbord: ASUS Pro WS X570-ACE (4x PCIe 4.0 x8 slots, geschikt voor meerdere GPU’s) zag ik
RAM: 64GB DDR4-3600 CL16 (G.Skill Trident Z Neo of Corsair Vengeance)
Koeling: Noctua NH-D15
Voeding: Corsair HX1200 (1200W, 80+ Platinum)
Opslag: 2TB NVMe SSD (Samsung 970 EVO Plus)

Optie 2: Intel (PCIe Gen 5)

CPU: Intel Core i9-13900KF (24 cores, 32 threads) overkill denk ik?
Moederbord: ASUS Pro WS W680-ACE (4x PCIe 5.0 slots, meer toekomstbestendig) overkill denk ik ....
RAM: 64GB DDR5-5200 CL40 (Kingston Fury Beast of Corsair Vengeance)
Koeling: Noctua NH-D15
Voeding: Corsair HX1200 (1200W, 80+ Platinum)
Opslag: 2TB NVMe SSD (Samsung 980 Pro)

Wat voor software gaan we draaien? * Helaas is dat op het moment niet eens duidelijk. Het systeem moet toekomstbestendig zijn, vandaar de DDR5 maar DDR4 kan ook denk ik... Wat ik test is TensorFlow, OpenCV en YOLO, maar we moeten het ook trainen. Omdat ik zelf geen softwareontwikkelaar ben, heb ik hier zeker mijn issues mee, vooral omdat er nu ook een tijdslimiet op zit. Verder heb ik zelf wel naar ROCm gekeken, omdat ik het zelf gebruik op mijn 7900 XTX, maar eh...

[Dekar]

4060 Ti is een gen 4 kaart dus PCIe gen 5 zal geen verschil maken. 4 pakken dus.

Koeler: een peerless Assassin is minder dan de helft en koelt net zo goed. Die zou ik pakken. Je hebt het over een Rack: passen die koelers wel? Ff checken!

DDR4 vs DDR5 kan alleen jij invullen. Geen idee welke software daar grote verschillen in geeft. DDR4 kost wel ongeveer de helft. Prijs/kwaliteit zal dat sowieso winnen van DDR5.

[kdekker]

AI modellen en GPU's willen weleens een sterke relatie hebben met de benodigde GPU, c.q. lees geheugengebruik. Je zegt dat de keuze op de 4060 is gevallen, maar niet waarom. En ook zeg je dat nog onbekend is wat je gaat draaien. Dat is een vreemde combinatie.

Ook het uitsluiten van de laatste generatie AMD en Intel snap ik niet helemaal. Iets meer uitleg is welkom.

Ik vraag me af of er moederborden zijn waar je 4 RTX 4060's op kwijt kan. Dus past het fysiek, en als het past, past het qua vermogen/TDP. Misschien moet je toch kijken naar de echte AI accelerator kaarten van NVidia. Die zijn wel knijters duur, maar wel veel meer op datacenter gebruik gericht + ze hebben meer geheugen aan boord.

[Tota-Fox-]

kdekker schreef op dinsdag 11 februari 2025 @ 11:38:
AI modellen en GPU's willen weleens een sterke relatie hebben met de benodigde GPU, c.q. lees geheugengebruik. Je zegt dat de keuze op de 4060 is gevallen, maar niet waarom. En ook zeg je dat nog onbekend is wat je gaat draaien. Dat is een vreemde combinatie.

Ook het uitsluiten van de laatste generatie AMD en Intel snap ik niet helemaal. Iets meer uitleg is welkom.

Ik vraag me af of er moederborden zijn waar je 4 RTX 4060's op kwijt kan. Dus past het fysiek, en als het past, past het qua vermogen/TDP. Misschien moet je toch kijken naar de echte AI accelerator kaarten van NVidia. Die zijn wel knijters duur, maar wel veel meer op datacenter gebruik gericht + ze hebben meer geheugen aan boord.

ik snap je. Ja, op dit moment is het voor mij onbekend. Omdat ik zelf al wat ervaring heb met TensorFlow en dit uiteindelijk erop komt te draaien, is er zeker ruimte voor 16U nog leeg. + Acro is niet het probleem, maar je hebt me wel iets om je zorgen over te maken, omdat als de GPU's naast elkaar in het board komen te staan, dat wel wat issues met warmte kan veroorzaken. Maar daarvoor kunnen we PCI risers inzetten. Mijn voorstel was ook voor iets anders, maar helaas moet ik het echt doen met de 4060 Ti's; een 4080 of 3090 gaat hem niet worden, helaas. En als er al budget is voor AI, is dat waarschijnlijk ook een probleem. Verder willen ze echt CUDA hebben, en omdat AMD dat niet heeft, is het bij voorkeur een issue, helaas.

[Tota-Fox-]

Dekar schreef op dinsdag 11 februari 2025 @ 11:33:
4060 Ti is een gen 4 kaart dus PCIe gen 5 zal geen verschil maken. 4 pakken dus.

Koeler: een peerless Assassin is minder dan de helft en koelt net zo goed. Die zou ik pakken. Je hebt het over een Rack: passen die koelers wel? Ff checken!

DDR4 vs DDR5 kan alleen jij invullen. Geen idee welke software daar grote verschillen in geeft. DDR4 kost wel ongeveer de helft. Prijs/kwaliteit zal dat sowieso winnen van DDR5.

Dank je! Ik ga zelf nog even voor zitten als ik wat meer tijd heb. Dan waarschijnlijk toch DDR4 doen en wat betreft de CPU denk ik zelf nog ff aan.

PS: Als het tot een build komt, kan ik ook wat foto's sturen van hoe of wat het eruit ziet, als je dat zou willen zien. Ik weet het niet, maar bedankt voor je antwoord, trouwens!

[youridv1]

Waarom expliciet geen 14e of 15e generatie intel, maar wel 13? De 13e generatie heeft exact dezelfde problemen als 14. En vanwaar wel Ryzen 5000 maar geen 7000 of 9000?

Een 5950X heeft 24 pcie lanes, waarvan er 4 bij ieder bord hardwired op het eerste m.2 slot zitten. Waarschijnlijk heb je dus 2 sloten op x8 en daarna nog eentje van x4. Dat X570 bord van Asus heeft dan ook maar 3 GPU sloten. Geen 4 zoals jij omschrijft.

Dat Asus W680 bord heeft ook maar 2 PCIe x8 sloten. Die onderste twee draaien in PCIe3.0 x4. Dat lijkt me problematisch voor performance?

4 x8 sloten bestaat gewoon niet op consumentenplatformen. CPU die in socket 1700,1851,am4 of am5 past heeft zo veel lanes

Vaak zitten ook alleen de eerste twee PCIe sloten (en de m.2) direct op de CPU. De rest gaat via de chipset, waardoor die sloten dus vaak niet zo veel bandbreedte hebben omdat het ten koste gaat van bijna alle andere IO op het bord.

Het goedkoopste platform wat kan wat jij wilt, 32 PCIe 4.0 lanes aanbieden én een snelle CPU, is AMD Threadripper

[ Voor 102% gewijzigd door youridv1 op 11-02-2025 12:31 ]

[Olaf van der Spek]

Tota-Fox- schreef op dinsdag 11 februari 2025 @ 11:15:
PCIe Gen 4 vs. Gen 5: Heeft dit echt veel invloed op ML-workloads in deze setup? Aangezien de GPU’s los van elkaar draaien, vraag ik me af of dit het geld waard is.

De GPU is 4.0, dus dat antwoord is simpel. De vraag is hoeveel lanes per GPU optimaal is. Is er weinig bandbreedte nodig, dan is 1 lane misschien al voldoende.

RAM: 64GB DDR5-5200 CL40 (Kingston Fury Beast of Corsair Vengeance)

Waarom zulk traag geheugen?

Welke 4060s wil je en hoe ga je die monteren?

[ Voor 14% gewijzigd door Olaf van der Spek op 11-02-2025 12:39 ]

[Tota-Fox-]

youridv1 schreef op dinsdag 11 februari 2025 @ 12:16:
Waarom expliciet geen 14e of 15e generatie intel, maar wel 13? De 13e generatie heeft exact dezelfde problemen als 14. En vanwaar wel Ryzen 5000 maar geen 7000 of 9000?

Een 5950X heeft 24 pcie lanes, waarvan er 4 bij ieder bord hardwired op het eerste m.2 slot zitten. Waarschijnlijk heb je dus 2 sloten op x8 en daarna nog eentje van x4. Dat X570 bord van Asus heeft dan ook maar 3 GPU sloten. Geen 4 zoals jij omschrijft.

Dat Asus W680 bord heeft ook maar 2 PCIe x8 sloten. Die onderste twee draaien in PCIe3.0 x4. Dat lijkt me problematisch voor performance?

4 x8 sloten bestaat gewoon niet op consumentenplatformen. CPU die in socket 1700,1851,am4 of am5 past heeft zo veel lanes

Vaak zitten ook alleen de eerste twee PCIe sloten (en de m.2) direct op de CPU. De rest gaat via de chipset, waardoor die sloten dus vaak niet zo veel bandbreedte hebben omdat het ten koste gaat van bijna alle andere IO op het bord.

Het goedkoopste platform wat kan wat jij wilt, 32 PCIe 4.0 lanes aanbieden én een snelle CPU, is AMD Threadripper

Ja, ik zie het. Ik heb toch even iets niet goed gekeken bij PCPartPicker. Tja, als je het snel doet, gaat het natuurlijk fout. Ik zou toch wel AMD willen hebben. Uhm, ja, we hebben een AMD Threadripper 8, maar dat zijn 1U-servers die niet voor ML/deep learning zijn. Proxmox draait, uhm. Tja, ik ga even overleggen wat daar mogelijk is, want dat kan ik als een probleem zien. uhm.. Vraag aan jou zijn wel system met 2x 8 hebben of is dat er ook niet allen maar 1 x.

[Olaf van der Spek]

Tota-Fox- schreef op dinsdag 11 februari 2025 @ 12:58:
Vraag aan jou zijn wel system met 2x 8 hebben of is dat er ook niet allen maar 1 x.

2x x8 is er wel.

[youridv1]

Tota-Fox- schreef op dinsdag 11 februari 2025 @ 12:58:
[...]

Ja, ik zie het. Ik heb toch even iets niet goed gekeken bij PCPartPicker. Tja, als je het snel doet, gaat het natuurlijk fout. Ik zou toch wel AMD willen hebben. Uhm, ja, we hebben een AMD Threadripper 8, maar dat zijn 1U-servers die niet voor ML/deep learning zijn. Proxmox draait, uhm. Tja, ik ga even overleggen wat daar mogelijk is, want dat kan ik als een probleem zien. uhm.. Vraag aan jou zijn wel system met 2x 8 hebben of is dat er ook niet allen maar 1 x.

2x 8 kan op vrijwel ieder consumentenbord van amd en intel met twee pcie x16 slots onder elkaar. Maar dit staat altijd uitgelegd op de product pagina van de fabrikant. Vaak zitten de bovenste m.2 en de twee bovenste pcie x16 sloten direct op die CPU. Die twee x16 sloten kunnen samen 16 lanes verdelen. in 16/0 of 8/8

Er zijn ook Threadripper workstation borden. In principe is threadripper niet bedoeld voor 1U servers, daar is Epyc voor. Dus de opstelling zoals je hem hier voor ogen hebt kan gewoon maar dan met een threadripper cpu en bord.

uitvoering: AMD Ryzen Threadripper Pro 5955WX Tray
uitvoering: ASRock WRX80 Creator R2.0

Deze CPU heeft 128 lanes. Dus in theorie zou je daarmee 8 x16 sloten kunnen maken. De meeste borden kiezen voor een implementatie met 7 sloten en houden de andere lanes voor andere IO

Het kost zoals je ziet wel een stuk meer dan consumenten spullen. Reken op minimaal 1500 euro voor de CPU en het bord.

[ Voor 30% gewijzigd door youridv1 op 11-02-2025 13:32 ]

[dylan111111]

Het is heel erg afhankelijk van de workload of je veel of weinig pcie bandwidth nodig hebt. Met een Threadripper systeem zit je in ieder geval safe maar het "kan" ook prima werken met een PCIe 3.0 x4.

Aangezien ik ook "trainen" van een ML en later upgraden naar een 4090 lees zou ik safe gaan zitten en voor een Threadripper systeem gaan.

[Tota-Fox-]

dylan111111 schreef op dinsdag 11 februari 2025 @ 13:53:
Het is heel erg afhankelijk van de workload of je veel of weinig pcie bandwidth nodig hebt. Met een Threadripper systeem zit je in ieder geval safe maar het "kan" ook prima werken met een PCIe 3.0 x4.

Aangezien ik ook "trainen" van een ML en later upgraden naar een 4090 lees zou ik safe gaan zitten en voor een Threadripper systeem gaan.

Helaas heb ik geen idee wat het gebruik zal zijn.

Een Threadripper-systeem opbouwen is net even wat te veel, zeker met een 4090. Ik denk dat we dan naar een middenoplossing gaan proberen te werken met 1 systeem met 2x 3090 of 4080. Maar ik ben nu even kwijt, er zit namelijk zeker een budgetlimiet. Helaas moet ik nu goed kijken, want de mensen waarmee ik samenwerk weten ook niet zo veel. Hun idee was een laptop-GPU.

Maar ja, mijn idee was eerst een NVIDIA Jetson AGX Orin 64GB Developer Kit, maar daar heb je weer met trainen een issue.

[kdekker]

Tota-Fox- schreef op dinsdag 11 februari 2025 @ 11:48:
[...]


ik snap je. Ja, op dit moment is het voor mij onbekend. Omdat ik zelf al wat ervaring heb met TensorFlow en dit uiteindelijk erop komt te draaien, is er zeker ruimte voor 16U nog leeg. + Acro is niet het probleem, maar je hebt me wel iets om je zorgen over te maken, omdat als de GPU's naast elkaar in het board komen te staan, dat wel wat issues met warmte kan veroorzaken. Maar daarvoor kunnen we PCI risers inzetten. Mijn voorstel was ook voor iets anders, maar helaas moet ik het echt doen met de 4060 Ti's; een 4080 of 3090 gaat hem niet worden, helaas. En als er al budget is voor AI, is dat waarschijnlijk ook een probleem. Verder willen ze echt CUDA hebben, en omdat AMD dat niet heeft, is het bij voorkeur een issue, helaas.

Als je CUDA zegt, zeg je ook NVidia, dat is duidelijk. Ik ken verder het portfolio van NVidia onvoldoende om te weten of 4x een 4060 in de buurt komt van een speciale AI kaart. Even gecontroleerd: een A30x gaat al over de 3000 euro. Nee dus. En ik weet ook niet hoe ze verhouden t.o.v. meerdere 4060's. Zelf hebben we ooit gespeeld met NVidia Jetsons. Maar dat is een ander platform, weliswaar ook speciaal voor AI. Maar dan op ARM. In de Windows wereld is dat wat onhandiger. Een reden was toentertijd: bang for buck en een groter geheugen dan normale GPU cards voor een PC. Overigens: geheugen gebruik kun je ook limiteren door eerst de plaatjes (als je met plaatjes werkt) te downscalen. Scheelt ook fors aan trainingstijd.

[ Voor 8% gewijzigd door kdekker op 11-02-2025 15:03 ]

[Tota-Fox-]

Mocht iemand nog tips hebben, laat het me weten. Voor de duidelijkheid: er komen 4x 4060 Ti in.

Dis wat we nu hebben / gaan kopen

CPU

AMD Ryzen Threadripper Pro 5955WX

uitvoering: AMD Ryzen Threadripper Pro 5955WX Tray

Vergwelijkiing met AMD Ryzen 9 9950X

https://www.cpu-monkey.co...n_threadripper_pro_5955wx

Moederbord

ASRock WRX80 Creator R20

uitvoering: ASRock WRX80 Creator R2.0

3. RAM (2x)

Corsair Vengeance LPX CMK64GX4M2E3200C16

uitvoering: Corsair Vengeance LPX CMK64GX4M2E3200C16

CPU Koeler

Arctic Freezer 4U M Rev. 2

https://www.arctic.de/en/Freezer-4U-M-Rev.-2/ACFRE00133B

PCIe Riser

EZDIY-FAB Extreem Flexibel PCIe Uitbreidingskaart

https://www.amazon.nl/EZD...MS?crid=1GSZSEPSI6XY0&dib

Voeding

Corsair HX1500i ATX 3.1

uitvoering: Corsair HX1500i ATX 3.1

GPU

Gigabyte GeForce RTX 4060 Ti Windforce OC 16G

uitvoering: Gigabyte GeForce RTX 4060 Ti Windforce OC 16G

NVMe SSD

WD Black SN850X zonder Heatsink 2TB

uitvoering: WD Black SN850X (zonder heatsink) 2TB

9. Koelpasta

Thermal Grizzly Kryonaut Koelpasta

https://www.amazon.nl/The...d-Koelpasta/dp/B08R6QG2CQ

[ Voor 3% gewijzigd door Tota-Fox- op 13-02-2025 18:28 ]

[Olaf van der Spek]

Tota-Fox- schreef op donderdag 13 februari 2025 @ 18:26:
3. RAM (2x)

Corsair Vengeance LPX CMK64GX4M2E3200C16

uitvoering: Corsair Vengeance LPX CMK64GX4M2E3200C16

Heeft de CPU niet acht kanalen?

[Tota-Fox-]

Olaf van der Spek schreef op donderdag 13 februari 2025 @ 18:35:
[...]

Heeft de CPU niet acht kanalen?

Heeft hij ook, maar omdat ik niet weet of we nog meer dan 128 GB nodig hebben, is er de keuze tussen 64 GB en 128 GB. De 128 GB is bedoeld voor 4 kanalen. Maar ik begrijp waar je naartoe wilt. Pas als ik zeker weet dat we 128 GB nodig hebben, lijkt het me handig om 4 kanalen te gebruiken, denk ik zelf.

anders doen we 4x 16 4x 16