Goedkope & efficiënte manier om grotere lokale LLM's te draa

[noucmen]

Hallo allemaal, ik ben nieuw met lokale LLM's en ik wil graag wat goedkope onderdelen opkopers voordat de prijzen nog verder stijgen, zodat ik later kan uitbreiden naar grotere modellen.

Wat ik nu heb:

• CPU: Xeon 2499 v4 (22 cores, 2 threads per core)
• GPU: RTX 3090 24GB
• RAM: 64 GB (4 x 16 GB ECC RDIMM DDR-4 2400 MT/s)
• Snelheid (decoding speed): [100 t/s voor Qwen 3.8 Flash Next (quantization = Gyro-M) op Strata, Linux] en [25 t/s voor Qwen 3.8 27B, Q5, Linux]

Wat ik wil:

• Een rig met meerdere GPU's (of iets vergelijkbaars) zodat ik GLM, Kimi of DeepSeek kan draaien
• Een decodingsnelheid van minstens 20 t/s
• Zo goedkoop mogelijk op te zetten

Een paar vragen:

1. Wat zouden jullie mij aanraden om te doen?
2. Zijn er veilingwebsites waar bedrijven hun oude servers dumpen, zodat ik goedkoop onderdelen kan scoren? Voorbeelden: (2a) meer ECC DDR-4 RDIMM om uit te breiden naar 256 GB of meer? (2b) GPU / Moederbord / CPU / Voeding (PSU) / SSD
3. Voor een multi-GPU rig: zijn 10x Nvidia Tesla P100 eenvoudig op te zetten om nuttige lokale LLM's op te draaien?

Alvast heel erg bedankt.

[Willaaam]

2 GB10 Sparks vinden lijkt mij een pragmatische oplossing.

https://github.com/MiaAI-Lab/DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks

[Dekar]

Een tweede RTX 3090 erbij prikken en nvlink een optie? Anders misschien een mini PC met een Ryzen AI MAX 395 en 128GB unified memory, maar hoeveel tokens/s je daarmee kan halen zal minder zijn.

[noucmen]

Willaaam schreef op vrijdag 30 oktober 2026 @ 00:24:
2 GB10 Sparks vinden lijkt mij een pragmatische oplossing.

https://github.com/MiaAI-Lab/DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks

Hoe veel zou die kosten ?

Mijn huidige systeem koste maar 1550 tot nue toe

[GarBaGe]

Je zou ook kunnen kijken naar 2e hands Nvidia A100 (80GB) kaarten.
Omdat datacenters meer overstappen op de H100 en B200, zie je deze wat meer verschijnen.
Vaak hebben ze SXM4 socket, waardoor je wel een speciale PCIe kaart nodig hebt om dit te gebruiken.
Laatst zag ik op YT een liefhebber die zo'n constructie had draaien.
Oudere generaties (zoals de V100) zijn vaak met veel minder geheugen en vaak ook een heel stuk langzamer

[noucmen]

GarBaGe schreef op vrijdag 30 oktober 2026 @ 10:28:
Je zou ook kunnen kijken naar 2e hands Nvidia A100 (80GB) kaarten.
Omdat datacenters meer overstappen op de H100 en B200, zie je deze wat meer verschijnen.
Vaak hebben ze SXM4 socket, waardoor je wel een speciale PCIe kaart nodig hebt om dit te gebruiken.
Laatst zag ik op YT een liefhebber die zo'n constructie had draaien.
Oudere generaties (zoals de V100) zijn vaak met veel minder geheugen en vaak ook een heel stuk langzamer

Een "Nvidia A100 (80GB)" is van goude-waarde, die zou zeker duizenden Euro kosten, zelf 2e hand is.

Bvb een CMB 170 HX (een "locked version of A100", met firmware unlocked rond April / Mei dit jaar) koste nu al 2500-3000 Euro,

[DeNachtwacht]

Ik zou me toch eens verder verdiepen in wat strata kan, die heeft inmiddels ook Deepseek 4.1 support op zelfs een 5070 met 12gb vram en 64gb ram. Dat is dan wel supertraag (5 tokens/s ofzo), maar jouw setup is ergens ook best upgradetechnisch interessant:

128GB DDR4-3200 is voor servergeheugen relatief heel goedkoop nog (ook tweedehands). Dan heb je daar al een mooie upgrade in ruimte.
Je hebt al een 3090, en dit is nou juist een super interessante kaart doordat je via nvlink veel sneller dan via pcie 4.0 met multi gpu setups kan werken. Het is iets van 5 tot 10x sneller. Heb je dus een runner die goed multi-gpu schaalt, dan kan dit relatief goedkoop echt iets moois worden, zeker als jouw moederbord nog een 3e of zelfs 4e 3090 ondersteunt.

PS mistral 4 large is net ook openweight gepubliceerd, ook één om in de gaten te houden!

[ Voor 5% gewijzigd door DeNachtwacht op 30-10-2026 12:28 ]