Server voor lokale LLM's, vibe coding en tekstverwerking

[Bezuiniging]

Zuinige build rond een RTX 3090 voor lokale LLM's: welke tweedehands basis?

Hoi allemaal,

Ik ben ex-programmeur en wil me weer verdiepen in AI: lokale LLM's, vibe coding en tekstverwerking. Video- of beeldgeneratie hoeft niet. Ik heb sinds 2006 geen desktop meer gehad, dus mijn hardwarekennis is behoorlijk roestig.

Gisteren heb ik een RTX 3090 (24GB) gekocht. Qwen 3.8 27B past daar volledig in. Ik wil daarnaast Qwen 3.8 Flash Next kunnen draaien onder Linux (llama.cpp of Strata), met minimaal ~20 tokens/s. Volgens mij heb ik daarvoor 100GB+ RAM nodig om experts naar het werkgeheugen te offloaden.

Mijn plan:

Een goedkope tweedehands basis kopen (CPU, moederbord, behuizing, koeling) via Tweakers V&A, Marktplaats of Facebook.

RAM, SSD en eventueel de voeding misschien los erbij kopen. Ik bestel vaak via AliExpress/Alibaba.

Mijn vragen:

Welk platform geeft de meeste waarde voor je geld bij 128GB RAM plus een 3090? Ik twijfel tussen een oud workstation en een AM4-systeem met 4x32GB. Bij workstations denk ik aan een HP Z440/Z640, Dell T5810/T7810 of Lenovo P520, met quad-channel DDR4 en goedkope ECC-reepjes. Wat is voor CPU-offloading het snelst per euro?

Waar moet ik op letten bij zo'n tweedehands systeem? Bijvoorbeeld de PCIe-stekkers van de voeding, ruimte voor een dikke kaart en proprietary voedingen of moederborden.

Zien jullie nu een advertentie die hier goed bij past? Links zijn van harte welkom!

Wat is een realistisch budget voor de rest van het systeem?

Via eBay heb ik nog nooit gekocht, wel veel via Marktplaats en Amazon. Tips over waar je dit soort spullen voordelig vindt zijn ook welkom.

Alvast bedankt!

[Romborum]

ik zou ook het intel LGA1700 platform overwegen, ivm dat intel van plan is om volgend jaar nieuwe processors voor dit platform uit te brengen. Heb je die zelf niet nodig, kan het ook nog goed zijn voor de restwaarde.

[br00ky]

Even afgesplitst van [BBG][Q3-26] Thuisserver, want dat topic is niet voor persoonlijke advizen. Vul ook nog even onderstaande vragen in in je startpost zodat alles compact bij elkaar staat

Wat wil je doen met je nieuwe systeem?
Vertel ons wat je wil gaan doen met je nieuwe systeem. Welke software ga je gebruiken? Wil je gaan gamen? Videobewerken? Of gewoon huis tuin en keuken surfen en mailen?

Wat mag het systeem gaan kosten?
Heb je een absolute maximumprijs? In- of exclusief verzendkosten, assemblage en dergelijke Dat hoeft geen vast bedrag te zijn maar mag ook een schatting zijn.

Zijn er componenten of randapparatuur die je al hebt en mee wil nemen naar je nieuwe systeem?
Wees specifiek en noem merk en model

Wat denk je allemaal nodig te hebben?
Zijn twee videokaarten en drie voedingen wel genoeg? 16 SSD's in RAID-5? Vertel ons meer over het systeem van je dromen.

Heb je nog bepaalde (merk)voorkeuren?
Naar welk merk gaat je voorkeur uit? Kun je vertellen waarom? Sta je open voor andere merken? Zet hier neer wat je zelf al hebt gevonden.

Heb je nog bepaalde eisen/wensen?
Denk aan grootte, het te verwachten geluidsniveau, energieverbruik. Hoe meer informatie je geeft, hoe beter we je kunnen helpen.

Ga je overklokken?
Ga je voor de maximum prestaties van je nieuwe systeem of ben je tevreden met de standaard instellingen?

Wat verwacht je van ons?
De laatste en eigenlijk belangrijkste vraag: Vertel hoe we je kunnen helpen met het maken van je keuze. Wil je het nieuwste/snelste/beste/mooiste systeem dat je je maar kunt wensen binnen je budget, of speelt geld geen rol? Wil je weten of/hoe je je build moet aanpassen om aan de gewenste doelen te kunnen voldoen? Of wil je de kosten gewoon zoveel mogelijk terugbrengen en zo veel mogelijk bang-for-buck krijgen?

[martyw]

In het [BBG][Q3-26] Thuisserver topic heb ik een lijstje gemaakt met zo ongeveer jouw gebruik in gedachte. Er zal een iets grotere kast nodig zijn voor de RTX 3090.

[Rob vd Hoeven]

Ik denk dat je een kip-ei probleem hebt ;-)

1) Je wilt graag aan de slag met lokale AI

2) Om dat te doen moet je eerst een systeem bouwen dat geschikt is voor lokale AI.

Probleem met nummer 2 is dat je nog weinig verstand hebt van LLM's. Heel verstandig dus dat je hier om advies vraagt. Oorspronkelijk had ik ook het idee om een goedkoop systeem samen te stellen uit tweedehands onderdelen. Ik heb daar van af gezien. Als je de prijs van de onderdelen bij elkaar optelt, dan bespaar je niet veel. Daar bovenop krijg je dan een systeem met verouderde techniek. Mijn conclusie was: goedkoop is duurkoop. Uiteindelijk heb ik voor 4000 euro een nieuw systeem gekocht met een AMD Ryzen AI Max + 395 met 128 GB gedeeld geheugen. Op dit systeem draai ik LLM's die door Unsloth geoptimaliseerd zijn. Unsloth heeft hiervoor een Unsloth Desktop applicatie. Om je een indruk te geven van de performance: Qwen 3.8 Flash Next (Q2, ~85GB) haalt gemiddeld ca 30 tokens/sec (eerste testen, ik heb het systeem nog maar kort...).

Als je gewoon lekker wilt spelen met LLM's zodat je wat kennis kunt vergaren dan kan je ook een online account bij Abacus.ai afsluiten. Voor $10 per maand krijg je toegang tot vrijwel alle state-of-the-art LLM's. Per maand krijg je 20000 zgn. credits (niet tokens), die je normaal gesproken niet op krijgt (eigen ervaring).

Succes met je AI avonturen!

[Dekar]

Ik denk dat 128GB RAM totaal nutteloos is. Als je gaat unloaded keldert de performance met 30x.

Prik die GPU in een simpele tweedehands PC met iets van een i5 12400 en 32 GB RAM, en ga aan de slag. Kies een model dat ruim past in het VRAM, zodat je ruimte overhoudt voor context lengte en gebruik van RAG.

Voor nieuw zoals hierboven zou ook de AI Max+ 388 een optie zijn. Die heeft dezelfde GPU prestaties als de 395. Alleen de CPU heeft minder cores. Dat maakt voor AI niks uit. Voor compileren wel. Wel is unified memory 4x trager dan de rtx 3090.

[ Voor 6% gewijzigd door Dekar op 25-10-2026 09:55 ]

[Charles Nasi]

Leuk project!

Zelf draai ik Strata en nu vooral Maya (mw00 / Peasant Smith) met verschillende modellen op een AMD 5950x met 128GB DDR4 RAM en een 9060XT. Paar zaken die me opgevallen zijn, zijn vooral het model dat je draait en waar je agents leven (GPU/RAM/SSD). Waar GLM-5.3 ontzettend veel sneller is dan bijvoorbeeld deepseek 4.1 1017 flash met de infill, welke agent je gebruikt (Claude Code gebruikt ~30k tokens), codex ~10k tokens en is DeepSeek veel mee CPU bound dan GLM-5.3. Maak ik mijn context hoger, wordt mijn SSD-snelheid ineens veel belangrijker en wordt mijn CPU niet heel zwaar belast: GLM-5.3 hallucineert weer veel sneller dan DS, maar DS is ruim 4x zo traag door de trage infill.

Misschien boeiend: Er is gisteren een unlock voor FP/BF16 voor de NVIDIA 20-, 30-, en 40,- gen verschenen welke in sommige gevallen de performance soms tot 70+ procent laat gaan. Ik wacht met smart af in de issuetracker van de GIT-pagina van Peasant Smith voor de performance-stats op verschillende hardware.

Wat ik je wil aanrader is om de git en issuetracker van Peasant Smith / mw00 te volgen. Waar ik dacht dat een extra GPU de snelheid zou verdubbelen, is dat in de praktijk niet altijd helemaal waar, gezien het model+variant door bijvoorbeeld een trage interlink tussen de kaarten.

[ Voor 12% gewijzigd door Charles Nasi op 26-10-2026 09:39 ]

[DeNachtwacht]

Voor Strata is die rtx 3090 prima. Je kan ook met 64gb ram beginnen, daarmee kom je qua snelheid al een heel eind. Op de strata GitHub kun je zien dat je daarmee al boven jouw gewenste 20 tokens/s kan komen. Met 128gb is het mogelijk een grotere kwantisatie te laten draaien, maar uiteindelijk is de snelheid van ddr5 (6000 ipv 3200) ook nog wat waard natuurlijk. Beginnen met 64gb ddr5 en eventueel later uitbreiden klinkt op zich niet gek, maar een ddr4 setje is natuurlijk wel betaalbaarder. Ik zou iig niet met meer beginnen dan 64gb omdat dat al een heel belangrijke basis is, 128gb voegt nog wel iets toe maar zó veel maakt het ook niet uit voor de modellen in consumentencategorie.

[ Voor 16% gewijzigd door DeNachtwacht op 26-10-2026 17:04 ]