AI Threadripper Pro server advies

[eghie]

Ik ben bezig met het samenstellen van een AI "Server". Dit om wat met lokale AI te experimenteren, maar ook om het actief te gaan gebruiken. Nu wil ik ook een basis zetten voor uitbereiding, dus daarom kies ik voor Threadripper Pro platform.

Budget: €10.000,-

Waarom deze keuzes:

• Threadripper Pro heeft meer PCI-E lanes ondersteuning en daarom voorbereid op meer dan 2 video kaarten
• Toekomstig uitbereidbaar
• Naast AI ook heel goed in andere services draaien[/i]
• Ik wil eigenlijk Nvidia RTX 5090 32GB kaart, maar nu nog niet beschikbaar

Vragen:

• Kan dit met luchtkoeling? (ik kan het niet goed inschatten)
• Is dit een goede combinatie
• Ik zit te denken de CPU te downgraden naar een iets lagere config, maar is niet beschikbaar bij Azerty en ook geen goede luchtkoelings optie voor de CPU
• Welke videokaart configuratie raden jullie aan?

Mijn winkelwagen: https://azerty.nl/shareca...frfrLAeRaV%2BgT6kKA%3D%3D

Product	Aantal	Subtotaal (EUR)
ASUS PRO WS WRX90E-SAGE SE - Moederbord (EEB - Socket sTR5 - AMD WRX90 chipset - 1x Ethernet 1Gbps, 2x Ethernet 10G/5G/2.5G/1G/100M - Intel X710-AT2)	1	1.337,83
AMD Ryzen Threadripper PRO 7965WX - Processor (4.0 GHz (5.3 GHz) - 24-cores - 48 threads - 128 MB cache - socket sTR5- zonder koeler - doos)	1	3.150,20
VGA PNY Quadro RTX4500 24GB OEM ADA GDDR6 ECC,4*DP, PCIe 4.0 x16, no manual	1	2.850,00
SilverStone SST-RM44 - Serverbehuizing (zwart)	1	376,00
G.Skill Zeta R5 Neo F5-6000R3036G32GQ4-ZR5NK - Geheugen (DDR5 - 128 GB: 4 x 32 GB - 288-PIN - 6000 MHz / PC5-48000 - CL30 - 1.40V - On-die ECC - AMD EXPO - zwart)	1	895,55
Seasonic PRIME TX-1600 ATX 3.0 - Voeding (ATX12V 3.0 - 80 PLUS Titanium - 1600 Watt - Modulair - 100 - 240 Volt wisselstroom V - PCIe 5.0 - 12VHPWR connector - zwart, zilver)	1	606,05
Corsair MP700 Pro 2TB - SSD (M.2 2280 - PCI Express 5.0 x4 - 2 TB - NVMe 2.0 - 3D TLC - zwart)	2	538,10

* Mogelijke aanpassingen:

• Ik overweeg misschien deze CPU: AMD Ryzen Threadripper Pro 7955WX Tray: uitvoering: AMD Ryzen Threadripper Pro 7955WX Tray
• Deze koeling: Noctua (maar kan geen sTR5 koeling vinden hiervan)
• Nvida Geforce RTX 5090 32gb ipv de bovenstaande GPU

[latka]

Beetje vreemde combinatie: 128Gb kun je ook op een regulier AM5 moederbord (en zelfs meer) en is niet genoeg om Deepseek-R1 te draaien bijvoorbeeld.
Qua videogeheugen houdt het ook niet over: 24Gb op een hele dure kaart terwijl voor LLMs bijv. 2x videokaart op 8 lanes ook uitstekend werkt.

Verder is de voeding vrij zwaar voor deze configuratie op dit moment.

Als je echt 10k wilt uitgeven voor oa. AI werk, dan iets specifieker maken wat je precies wilt doen. Je kunt voor 10k ook een machine met 512Gb geheugen maken wat het al aantrekkelijker maakt voor grote LLMs. Of gewoon 3x een 3090 in een goedkopere machine en dan heb je 3*24Gb geheugen om modellen en stuk rapper te draaien. In de config zoals je nu hebt is het vleesch nog visch (veel rekenkracht in de CPU maar geen memory om er wat mee te doen en veel te veel pci-e lanes voor 1 of 2 grafische kaarten).