AI server upgrade

[wouterdebie]

Hoi! Ik heb momenteel een server die ik met name gebruik voor LLMs en image generation gebruik, bestaande uit een AMD 5950x CPU, en ASRock X570D4U-2L2T moederboard, 192 Gb DDR4 RAM, 2x 2TB NVMe, een paar SATA disks en een GeForce RTX 4090 gekoppeld aan een 10gbit netwerk. Deze configuratie zit in een 2U 19" chassis met een lage CPU fan en een NZXT C1500 PSU. Omdat de RTX 5090 binnenkort uitkomt wil ik deze server uitbreiden met een extra GPU. Helaas heeft het moederbord maar één PCIe x16 slot dus ben ik op zoek naar een moederbord dat ten minste twee sloten heeft. Heeft er iemand een aanbeveling? Ik wil zoveel mogelijk hergebruiken, maar als ik een nieuwe CPU moet kopen is dat ok. Afgezien van de twee sloten zijn BMC/IPMI en 10g netwerk (on-board of de mogelijkheid om een 10g NIC te installeren) belangrijk.

[MacPoedel]

Heb je al nagekeken dat je toepassing ook effectief zoveel PCIe lanes nodig heeft? Je moederbord heeft ook nog een PCIe 4.0 x8 slot (het x16 slot wordt), of hangt daar een GPU koeler voor?

Het hangt wat af van de specifieke toepassing, maar bij wat ik van llama en Stable Diffusion vind, is PCIe 4.0 x8 ook goed.

Sowieso moet je voor multi GPU met 16 PCIe lanes per GPU over naar een ander platform (Threadripper, Epyc of Xeon) en dan zit je makkelijk aan €1000.