Dedicated AI rig

[Antrax]

Ik ben bezig met het bouwen van een krachtige AI server die ik wil gebruiken voor Ollama. Momenteel gebruik ik een server met een NVIDIA RTX 2060, maar ik heb gemerkt dat dit nogal problematisch is aangezien ik de server ook gebruik voor verschillende Docker containers en virtuele machines. Dit zorgt voor prestatieproblemen en ik krijg niet de gewenste performance voor mijn AI taken. Daarom overweeg ik om een dedicated server te bouwen die specifiek is gericht op AI workloads. Een belangrijk aspect is dat Ollama ondersteuning biedt voor meerdere GPU's, wat mijn mogelijkheden aanzienlijk zou kunnen vergroten.

Wat wil je doen met je nieuwe systeem?
Ollama (en open-webui) voor het gebruik van lokale AI. Voornamelijk voor pair-programming, code review (grote context) en andere zaken en familieleden die af en toe ook eens gebruik maken van AI. Ook af en toe, bij geen gebruik van Ollama, zal BOINC draaien via geautomatiseerde scripts bij lage server load. 's nachts het systeem automatisch uit om stroom rust te gunnen .

Wat mag het systeem gaan kosten?
Het maximum is EUR 5000 maar hopelijk zou het iets naar beneden kunnen.

Zijn er componenten of randapparatuur die je al hebt en mee wil nemen naar je nieuwe systeem?
Geen componenten of randapparaatuur die wil meenemen.

Wat denk je allemaal nodig te hebben?
Geen idee. Volgens mij is mijn huidige wensenlijst redelijk compleet.

Heb je nog bepaalde (merk)voorkeuren?
Geen (merk)voorkeuren.

Heb je nog bepaalde eisen/wensen?
Geen eisen/wensen.

Ga je overklokken?
Nee.

Wat verwacht je van ons?
Ik zou graag het volgende willen vragen:

1. Kan ik besparen op een aantal zaken? Ollama gebruikt ook bij een aantal modellen naast de GPU's ook de CPU en kan daar volgens mij niet op gaan zitten besparen voor een paar knaken. Welke andere onderdelen zouden goedkoper kunnen die wel bang-voor-buck zijn?
2. Is een voeding van 1600 watt nodig en zou ik eventueel lager kunnen gaan?
3. Ik vond zelf de koeling wat mager en volgens mij zitten er geen ventalitoren bij deze kast inbegrepen. Een andere kast zou ik eventueel ook voor open staan als het maar niet priegelwerk wordt met mijn grote worsten vingers.
4. Het gekozen geheugen is volgens mij 6000MT terwijl het moederbord 8000MT ondersteund. Is dat heel erg of moet ik gelijk kiezen voor 8000MT? Het doel is eigenlijk om een paar maanden later twee extra reepjes te kopen en die erbij te stoppen. De reden daarvan is dat het anders in een keer best wel veel geld is.

#	Category	Product	Prijs	Subtotaal
1	Processors	AMD Ryzen 9 7950X3D Boxed	€ 527,99	€ 527,99
1	Moederborden	ASUS ProArt X670E-CREATOR WIFI	€ 449,99	€ 449,99
2	Videokaarten	ASUS TUF Gaming GeForce RTX 4090 24GB GDDR6X OG OC Edition	€ 1.773,99	€ 3.547,98
1	Behuizingen	Phanteks Enthoo Pro 2 Server Edition Closed	€ 152,39	€ 152,39
1	Processorkoeling	Noctua NH-D15S chromax.black	€ 104,89	€ 104,89
1	Geheugen intern	G.Skill Flare X5 F5-6000J3038F16GX2-FX5	€ 119,90	€ 119,90
1	Voedingen	be quiet! Dark Power Pro 13 1600W	€ 425,60	€ 425,60
1	SSD's	Samsung 990 Pro (zonder heatsink) 2TB	€ 170,62	€ 170,62
Bekijk collectie Importeer producten			Totaal	€ 5.499,36

[Woezik]

1. De extra cache doet niet veel. De 7950X heeft een hogere kloksnelheid. Update: benchmark AI: https://www.techpowerup.c...d-ryzen-9-7950x3d/11.html
2. Ik zou wel een 1600W voeding kiezen, maar het kan wel goedkoper dan een Dark Power Pro 13. https://www.bequiet.com/en/psucalculator De 7950X3D is wel zuiniger.
3, De gpu staat in de pricewatch als 4-slots dik, maar zou op basis van de breedte ook een 3-slots gpu kunnen zijn. In ieder geval krijgt de bovenste gpu geen koeling. Ik zou hier voor een gpu met AIO-koeling kiezen of een Quadro kaart.
4. Volgens mij ondersteunt AM5 momenteel vrijwel niet hoger dan 6400Mhz. Die snelheid lukt waarschijnlijk niet met een quad kit, omdat het voltage te hoog is en de modules veel te dicht op elkaar zitten en dus te warm worden.

Enkele suggesties:

#	Category	Product	Prijs	Subtotaal
1	Processors	AMD Ryzen 9 7950X Boxed	€ 475,99	€ 475,99
1	Moederborden	ASUS ProArt X670E-CREATOR WIFI	€ 449,99	€ 449,99
2	Videokaarten	Gigabyte AORUS GeForce RTX 4090 XTREME WATERFORCE 24G	€ 2.049,-	€ 4.098,-
1	Behuizingen	Corsair 6500D Airflow Zwart	€ 129,-	€ 129,-
1	Waterkoeling	Arctic Liquid Freezer III 280	€ 67,90	€ 67,90
4	Ventilators	Arctic BioniX P140 Zwart, 140mm	€ 10,50	€ 42,-
1	Geheugen intern	G.Skill Flare X5 F5-5200J4040A48GX2-FX5	€ 218,01	€ 218,01
1	Voedingen	Enermax Revolution D.F. X 1650 watt	€ 270,08	€ 270,08
1	SSD's	Kingston KC3000 2TB	€ 137,99	€ 137,99
Bekijk collectie Importeer producten			Totaal	€ 5.888,96

Bovenin een 38mm dikke 280-radiator voor de cpu. Dat geeft meer ruimte voor de koppelingen van de frontradiator dan een 360 exemplaar.
2x RTX4090 videokaarten, volledig watergekoeld, twee slots dik. De AIO-koeler kan in het zijpaneel en het frontpaneel.
3x 14cm bottom fans en 1x 14cm rearfan.
96Gb ram was maar weinig duurder dan 64Gb.

Misschien beginnen met 1x een RTX4090 of wachten op Ryzen 9000: https://tweakers.net/nieu...et-1-tot-2-weken-uit.html

[Joe28965]

Ik ga een vraag stellen uit nieuwsgierigheid:

Welke dingen op het moederbord vond je belangrijk dat je deze gekozen hebt ipv eentje van 200-250 euro?

Begrijp me niet verkeerd, misschien heb je een goede reden, ik was gewoon nieuwsgierig.

[Woezik]

@Joe28965 Er is een moederbord nodig met 2x PCIe5.0 x16 en een x8/x8 lanes verdeling, zodat je voor beide videokaarten voldoende bandbreedte hebt (beide PCIe5.0 x8). Dat zijn er maar een paar, deze https://tweakers.net/pric...;1875880;1875878;1867026/ of nog duurder. De ProArt heeft een 10Gb Lan, de overige een zwaardere stroomvoorziening.

[Nielson]

Woezik schreef op donderdag 25 juli 2024 @ 09:20:
@Joe28965 Er is een moederbord nodig met 2x PCIe5.0 x16 en een x8/x8 lanes verdeling, zodat je voor beide videokaarten voldoende bandbreedte hebt (beide PCIe5.0 x8).

De RTX 4090 is PCI Express 4.0 dus daar hoef je het niet voor te doen.

[Woezik]

Nielson schreef op donderdag 25 juli 2024 @ 09:24:
[...]
De RTX 4090 is PCI Express 4.0 dus daar hoef je het niet voor te doen.

Ook een moederbord met 2x PCIe4.0 split in het beste geval zijn lanes, zodat je 2x PCIe4.0 x8 hebt. Dat is de helft van de bandbreedte die je met PCIe5.0 x8 hebt. Het performanceverlies zal misschien niet zo heel groot zijn, maar dat doe je niet met een PC van 5k. Consumenten moederborden hebben geen 32 lanes voor 2x PCIe4.0 x16/x16.

[Nielson]

Woezik schreef op donderdag 25 juli 2024 @ 10:30:
[...]Ook een moederbord met 2x PCIe4.0 split in het beste geval zijn lanes, zodat je 2x PCIe4.0 x8 hebt. Dat is de helft van de bandbreedte die je met PCIe5.0 x8 hebt. Het performanceverlies zal misschien niet zo heel groot zijn, maar dat doe je niet met een PC van 5k. Consumenten moederborden hebben geen 32 lanes voor 2x PCIe4.0 x16/x16.

Snap ik, maar ik reageerde op het feit dat je PCIe 5.0 als eis aangaf waardoor je slechts keus hebt uit enkele moederborden, terwijl de sloten toch terugschakelen op PCIe 4.0 ivm je gebruikte kaarten.

[djwice]

Hoe urgent is je huidige behoefte?
Kun je in februari 2025 weer €5.000,- uitgeven na deze investering?

Ik verwacht dat de komende generatie GPU's (januari 2025) significant beter zullen zijn in AI dan de 40x0's.

Is die 2e 1Gbit poort noodzakelijk in je huidige systeem?
Is je huidige use case al geholpen door een 2e 2060 (of 2070s etc.) bij je huidige systeem te prikken, eventueel met wat noodzakelijke upgrades, eventueel de dockers naar een andere machine of - indien van toepassing - de code die in de dockers draait, native gaan draaien.

Dat scheelt nu veel geld en je krijgt er wellicht dubbele rekenkracht en PCIe 5.0 voor terug in februari (en wellicht zelfs ook meer VRAM).

Ik merk dat modellen steeds sneller worden, op m'n 2070s draaien de recente nieuwe releases een stuk vlotter dan die van een paar weken terug.

[ Voor 18% gewijzigd door djwice op 30-07-2024 20:07 ]

[Antrax]

Woezik schreef op donderdag 25 juli 2024 @ 01:21:
1. De extra cache doet niet veel. De 7950X heeft een hogere kloksnelheid. Update: benchmark AI: https://www.techpowerup.c...d-ryzen-9-7950x3d/11.html
2. Ik zou wel een 1600W voeding kiezen, maar het kan wel goedkoper dan een Dark Power Pro 13. https://www.bequiet.com/en/psucalculator De 7950X3D is wel zuiniger.
3, De gpu staat in de pricewatch als 4-slots dik, maar zou op basis van de breedte ook een 3-slots gpu kunnen zijn. In ieder geval krijgt de bovenste gpu geen koeling. Ik zou hier voor een gpu met AIO-koeling kiezen of een Quadro kaart.
4. Volgens mij ondersteunt AM5 momenteel vrijwel niet hoger dan 6400Mhz. Die snelheid lukt waarschijnlijk niet met een quad kit, omdat het voltage te hoog is en de modules veel te dicht op elkaar zitten en dus te warm worden.

Enkele suggesties:

#	Category	Product	Prijs	Subtotaal
1	Processors	AMD Ryzen 9 7950X Boxed	€ 475,99	€ 475,99
1	Moederborden	ASUS ProArt X670E-CREATOR WIFI	€ 449,99	€ 449,99
2	Videokaarten	Gigabyte AORUS GeForce RTX 4090 XTREME WATERFORCE 24G	€ 2.049,-	€ 4.098,-
1	Behuizingen	Corsair 6500D Airflow Zwart	€ 129,-	€ 129,-
1	Waterkoeling	Arctic Liquid Freezer III 280	€ 67,90	€ 67,90
4	Ventilators	Arctic BioniX P140 Zwart, 140mm	€ 10,50	€ 42,-
1	Geheugen intern	G.Skill Flare X5 F5-5200J4040A48GX2-FX5	€ 218,01	€ 218,01
1	Voedingen	Enermax Revolution D.F. X 1650 watt	€ 270,08	€ 270,08
1	SSD's	Kingston KC3000 2TB	€ 137,99	€ 137,99
Bekijk collectie Importeer producten			Totaal	€ 5.888,96

Bovenin een 38mm dikke 280-radiator voor de cpu. Dat geeft meer ruimte voor de koppelingen van de frontradiator dan een 360 exemplaar.
2x RTX4090 videokaarten, volledig watergekoeld, twee slots dik. De AIO-koeler kan in het zijpaneel en het frontpaneel.
3x 14cm bottom fans en 1x 14cm rearfan.
96Gb ram was maar weinig duurder dan 64Gb.

Misschien beginnen met 1x een RTX4090 of wachten op Ryzen 9000: https://tweakers.net/nieu...et-1-tot-2-weken-uit.html

Dank je wel voor je suggesties en je build

djwice schreef op dinsdag 30 juli 2024 @ 18:46:
Ik verwacht dat de komende generatie GPU's (januari 2025) significant beter zullen zijn in AI dan de 40x0's.

De nieuwe GPU's zullen, wanneer ze uitkomen, moeilijk bestelbaar zijn en daar wil ik gezien de eerdere fiascos met de 30 en 40 series niet op wedden. Toch bedankt voor je suggestie. Ik zal het meenemen in de overweging. Wellicht kan ik de 50 serie kopen wanneer ze enige tijd op de markt zijn om de AI server te "upgraden".

[djwice]

Antrax schreef op maandag 5 augustus 2024 @ 10:15:
[...]

Dank je wel voor je suggesties en je build


[...]

De nieuwe GPU's zullen, wanneer ze uitkomen, moeilijk bestelbaar zijn en daar wil ik gezien de eerdere fiascos met de 30 en 40 series niet op wedden. Toch bedankt voor je suggestie. Ik zal het meenemen in de overweging. Wellicht kan ik de 50 serie kopen wanneer ze enige tijd op de markt zijn om de AI server te "upgraden".

Ook een goed punt. De kans is groot dat ze tot de zomer 2025 lastig verkrijgbaar zijn inderdaad, en dan heb je al een jaar plezier van de dual 4090.