Lokaal AI workstation - advies en suggesties

[eelcootjuh]

Wat wil je doen met je nieuwe systeem?
Ik ben opzoek naar een nieuwe systeem dat in staat is om lokaal AI modellen te draaien - focus op development, experimenteren, proof of concepts uitwerken. Daarnaast zou ik op hetzelfde systeem ook de nieuwe triple A games willen kunnen spelen.

Wat mag het systeem gaan kosten?
Geen specifiek maximum. Moet gewoon goed zijn.

Wat denk je allemaal nodig te hebben?

#	Categorie	Product	Prijs	Subtotaal
1	Processors	AMD Ryzen 9 9950X3D Boxed	€ 642,99	€ 642,99
1	Moederborden	ASUS ProArt X870E-Creator WiFi	€ 379,-	€ 379,-
1	Videokaarten	ASUS TUF Gaming GeForce RTX 5080 16GB GDDR7 OC Edition	€ 1.469,-	€ 1.469,-
1	Videokaarten	Nvidia RTX PRO 5000 Blackwell 48GB retail	€ 4.862,87	€ 4.862,87
1	Behuizingen	Cooler Master HAF 700 EVO	€ 456,-	€ 456,-
1	Waterkoeling	ASUS ROG Ryujin III 360 ARGB Extreme Zwart	€ 344,99	€ 344,99
2	Geheugen intern	G.Skill Ripjaws S5 F5-6000J3636F32GX2-RS5K	€ 628,85	€ 1.257,70
1	Voedingen	MSI MEG Ai1600T PCIE5	€ 399,-	€ 399,-
3	Interne ssd's	Samsung 990 EVO Plus 4TB	€ 338,98	€ 1.016,94
1	Interne ssd's	Samsung 990 Pro (zonder heatsink) 2TB	€ 249,99	€ 249,99
Bekijk collectie Importeer producten			Totaal	€ 11.078

Heb je nog bepaalde (merk)voorkeuren?
Nee, maar het moet vooral een betrouwbaar systeem zijn.

Wat verwacht je van ons?
Waar zien jullie hier optimalisaties, of wat zou een beter resultaat kunnen geven? Ben opzoek naar een heldere blik, aangezien ik er al lang op aan het turen ben.

Extra context:

• De RTX 5080 wil ik gebruiken voor dagelijks gebruik en gaming.
• De RTX PRO 5000 is bedoeld voor AI workloads (zodat deze dedicated VRAM heeft en los staat van de rest van het systeem).
• Het systeem is bedoeld voor development / experimenteren / POC’s, niet als productieomgeving.

[martyw]

Neem een kit van twee reepjes RAM
Crucial Pro CP2K64G56C46U5
Vier reepjes stabiel op hoge snelheid lukt meestal niet, en dankzij de cache van de X3D chip is hoge snelheid minder belangrijk.

[ Voor 223% gewijzigd door martyw op 22-03-2026 08:51 ]

[Apart]

Met dit budget kun je denk ik wel een tientje missen voor een PCIe 5.0 SSD. De NM1090 Pro 2TB is bijvoorbeeld al mooi. De 9100 Pro van Samsung kost al gauw wat meer, maar met dit budget kan dat denk ik?

Verder sluit ik mij min of meer aan bij @martyw. Het geheugen dat je hebt gekozen heeft alleen Intel XMP profielen, dit betekent dat je er moet op hopen dat ASUS DOCP goed zijn werk doet of dat je het handmatig stabiel kunt instellen. Liever pak je direct een AMD EXPO setje dat de juiste profielen heeft. Daarnaast zijn 4 DIMMs op AM5 minder stabiel en heb je liever niet meer dan 2 DIMMs, omdat je anders wel op snelheid moet inleveren, aangezien de memory controller niet 4 DIMMs kan aansturen op maximale snelheid.

Behuizing en AIO koeler zijn beide onnodig geld verkwisten voor matige performance.
uitvoering: Fractal Design Epoch XL, Black Solid voor behuizing.
uitvoering: Arctic Liquid Freezer III Pro 360 voor AIO CPU koeler is al prima en genoeg.

Voor de rest heb ik te weinig verstand van AI. Ik dacht even mee over PCIe lanes en daarop inleverende snelheid, maar ook daar te min verstand van. Ik vindt het een hoop geld voor "experimenteren". Waarom is een enkele 5090 niet goed genoeg voor deze?

[Tuxie]

Je kunt ook een andere kant opgaan, ik heb recentelijk een EPYC server gebouwd met een Milan CPU (32c/64t), 128GB ECC, 128 PCI/e lanes en 2x3090 GPU (totaal 48GB Vram) voor ongeveer 3,5K.

Waar je wel op moet letten is welke modellen je wilt gaan draaien, hoeveel VRAM je daarvoor nodig hebt, precision voor quantitization en waar het omslagpunt ligt om te verdelen over meerdere GPUs. Weet niet hoe gehecht je bent aan gaming, maar met dit budget zou ik voor AI gaan voor een 6000Pro ivm met VRAM (96gb) die je niet hoeft te splitten, of een losse gaming PC icm een dgx spark. Jouw opzet kan wel, maar ik vind het heel veel geld zonder een idee van de modellen die je wilt draaien, dat gaat namenlijk veel keuzes bepalen in jouw config....en er zijn ook nog andere opties zoals een MacBook m4 / mac studio die met GPU/shared mem werken zodat je een sloot aan (trager) VRAM beschikbaar hebt, zonder de Nvidia penalty te hoeven betalen (duur).

Ik had geen 10k liggen, dus ben voor een budget in between gegaan...

[ Voor 24% gewijzigd door Tuxie op 22-03-2026 09:14 ]

[DeNachtwacht]

kun je even specificeren wat je “ai experimenten” precies inhouden? Er zijn grofweg 3 opties met dit budget;

- een rtx 5090 build waarop vrij veel openweight modellen te draaien zijn. CPU is daar overigens, ook voor gaming, een vrij nutteloze investering. Tijdens mijn comfyUI load staat de cpu 95% van de tijd helemaal niks te doen. De load zit in flink ramgeheugen en vram.

- een mac m5 setup. Dit is minder snel dan een nvidia setup, maar relatief betaalbaar voor het draaien van modellen die fors groter zijn dan 32gb (maximale vram van een “consumenten”gpu momenteel). Deze draait i.p.v. op je gpu namelijk op het ramgeheugen omdat dit ten eerste “unified” is, en ten tweede er van openweight modellen het voor Mac geoptimaliseerde mlx variant is. Je bent dan ongeveer 3x trager dan een rtx 5090 op een openweight model van 24gb, maar zodra je een model van 80gb draait is die Mac dus flink sneller want in dat geval wordt er flink wat van de taak ipv in het 5090 ram op het normale ddr, wat juist +/- 50x trager is.

- een rtx 6000 pro blackwell setup met 96gb vram. Dit is voor draaien van echt flink grote modellen dus sneller en je kan ermee gamen op 5090 niveau. Een 48gb 5000 model zou ik nooit doen dat is maar marginaal meer vram dan een 5090 en dit soort openweight modellen zijn vaak óf geoptimaliseerd voor 16-24 gb vram (voor consumenten om met ai te experimenteren) óf +/- 80gb (voor universiteiten en mkb die zelf semi-professioneel aan de slag willen).

Als ik jouw opzet zo lees neig ik het meest naar een rtx 5090 build, maar het is wel echt nodig dat je even specificeert wat je er precies mee wil gaan doen (dus video generatie? Welke modellen? Programmeerwerk met AI?Welke tools?)

[Gr4mpyC3t]

Voor dit budget zou je eerder twee systemen draaien? Een manusje van alles bouwen leidt volgens mij tot enkel tot compromissen voor beide zaken.

[DeNachtwacht]

Inderdaad. Sowieso €11.000 neerleggen voor een systeem dat nauwelijks beter is dan een rtx 5090 voor ai, en slechter voor gaming is geld weggooien. Voor €12.000 heb je een build met een RTX 6000 en die is voor AI veruit superieur, en voor gaming ook een stukje beter dan een rtx 5090

[ Voor 3% gewijzigd door DeNachtwacht op 22-03-2026 15:04 ]

[martin_v_z]

Voor 11k kan je een leuke Mac studio met een m3 Ultra kopen. Als het om LLM modellen gaat heb je dan de meeste keus en een stuk energiezuiniger dan een GPU.

Maar de vraag is vooral. Wat voor modellen wil je draaien. Want dat zal bepalen wat de bottlenecks gaan zijn. Wil je vooral heel groot dan heb je 64GB+ nodig. Vergeet ook niet dat naast de ruimte die een model in neemt je ook nog wat ruimte moet hebben voor je OS en ruimte moet hebben voor je context. Met 64GB ga je dus misschien 50GB vrij hebben voor een model. Wil je dus echt goede modellen lokaal draaien moet je de denken aan 128GB.

[TobyW]

Welke modellen wil je draaien, hoeveel geheugen hebben deze nodig? Als je een LLM hebt die niet in de 48GB van de RTX PRO 5000 past, dan ga je dat behoorlijk voelen qua performance. Een DGX Spark is dan misschien beter (ook al is die niet supersnel). Of inderdaad een Mac Studio met 128 GB.

[canonball]

Voor dat budget zou ik ook voor 1 DGX spark gaan, je kunt er zelf 2 kopen en via 200Gb met elkaar koppelen, dan heb je ruimte om modellen tot 256GB te draaien.

[eelcootjuh]

Bedankt allemaal voor de nuttige input! Ik denk dat ik teveel in een tunnel visie zat, en teveel in 1 systeem wil steken.

Ik ga het Mac-pad eens verder uitzoeken en zien wat daar mogelijk is. En m'n eisen-lijst nog eens grondig doorlopen - en ook de specs van hardware dubbelchecken.

Budget is het issue niet, maar geld weggooien is ook niet de bedoeling

[DeNachtwacht]

@eelcootjuh je kan op zich alles best in 1 systeem steken, maar het is dan wel even belangrijk dat je laat weten wat de precieze taken zijn. Een nvidia systeem is sowieso flink sneller afhankelijk van hoe groot de LLM's zijn die je wil draaien, of dat nou een RTX 5090 of RTX 6000 build is, dan een Apple build. En met beide kun je prima gamen. De vraag is echt: wat wil je er precies mee gaan doen? Ik heb een RTX 5090 en daar kom je voor hobbymatig/semiprofessionee werk echt wel een eind mee, maar zolang je de tools & taken die je ermee wil gaan doen niet wat specificeert is meedenken over wat handig is vrij lastig

[ Voor 6% gewijzigd door DeNachtwacht op 22-03-2026 19:58 ]

[eelcootjuh]

Daar ben ik zelf nog wat in aan het scherpstellen.

Mijn doel is vooral om lokaal AI te kunnen gebruiken voor development en prototyping. Ik ben zelfstandige en werk voor enterprise klanten rond business automation, custom web development en CRM consultancy.

Concreet denk ik aan:

• bouwen en testen van RAG-oplossingen (documenten, kennisbanken, CRM-data)
• AI-features in tools (onboarding flows, lead qualification, copilots)
• experimenteren met agents en workflows

Het gaat mij niet om het draaien van de grootste modellen, maar wel om:

• vlot werken met kleinere tot middelgrote modellen (7B–30B)
• en af en toe grotere modellen (tot ~70B, quantized) testen

Belangrijk voor mij:

• snel kunnen itereren zonder afhankelijk te zijn van API-kosten tijdens development
• langere context kunnen verwerken (documenten, meerdere bronnen)
• flexibiliteit om verschillende tools en stacks te testen

Het is dus eerder een investering in een lokale AI dev-omgeving voor de komende jaren, dan een setup die vandaag al maximaal benut moet worden. Daarnaast verwacht ik ook dat pricing van AI usage de komende jaren zal veranderen, dus ik hou graag wat controle en onafhankelijkheid via eigen hardware.

[DeNachtwacht]

Kijk, daar kunnen we we al iets verder mee. Het vlot werken met de kleinere modellen ga je prima af kunnen met een RTX 5090 setup. Ik draai hier bijvoorbeeld OpenClaw aangestuurd door Qwen 3.5: 35B. Inclusief 256K context kom ik daarmee op +/- 31GB in het VRAM dus nog net binnen het vram. Momenteel is dit in mijn ervaring het beste allround model, maar specifiek voor bijvoorbeeld programmeren zijn wel beter getrainde modellen voor die taken te vinden. Even v.w.b. je Apple zoektocht; een RTX 5090 is in alle setups voor zo'n model dat binnen het VRAM past 2,5 tot 4,5 keer sneller dan ditzelfde model op Apple unified memory in MLX formaat.

Maar bij de 'af en toe grotere modellen' gaat het dan natuurlijk schuren, de RTX 5090 setups is daar simpelweg niet krachtig genoeg voor. Met flink wat ram kun je offloaden, maar doordat Apple dit netter afhandelt in MLX zal bij grotere taken de mac uiteindelijk sneller zijn (bij 35 GB in het vram maakt het minder uit dat de laatste 3GB via een zandpaadje gaat, de eerste 32GB gaat toch via een snelweg. Maar ja Apple rijdt die gehele 35GB via een provinciale weg, dus je snapt dat als de 'afstand' 70GB is Apple uiteindelijke als winnaar uit de bus komt.

Je moet je denk ik wel echt afvragen of zo'n lokale setup het waard is. Als je het heel veel doet zeker, want voor de topmodellen betaal je +/- €200 per maand maar dan heb je ook wat natuurlijk. Maar ja, met een prima systeem van €1500 kun je dit prima draaien dus moet je +/- het systeem meer dan 40 maanden gebruiken om met een topsysteem van €11.000 goedkoper uit te zijn. Én: die modellen van €200 per maand zullen altijd beter zijn dan wat je thuis kan draaien, simpelweg omdat het al snel 350B+ is wat je daarmee krijgt.

Ik denk dus dat je zal moeten kiezen voor óf toch abonnementen, of een tragere Apple setup met 256GB ram (als je af en toe kan wachten) of juist toch voor +/- €11.500 een RTX 6000 Pro setup met 96GB vram waarin je best forse modellen toch ook snel kan draaien.

[Woezik]

Enkele suggesties t.a.v. je huidige build:

#	Categorie	Product	Prijs	Subtotaal
1	Processors	AMD Ryzen 9 9950X Tray	€ 449,62	€ 449,62
1	Moederborden	ASUS ProArt X870E-Creator WiFi	€ 379,-	€ 379,-
1	Videokaarten	Nvidia RTX PRO 5000 Blackwell 48GB bulk	€ 4.749,-	€ 4.749,-
1	Videokaarten	PNY GeForce RTX 5080 Overclocked	€ 1.321,60	€ 1.321,60
1	Behuizingen	ASUS ProArt PA602 Wood Edition, Tempered Glass side-panel	€ 193,99	€ 193,99
1	Waterkoeling	ASUS ProArt LC 420	€ 258,08	€ 258,08
1	Geheugen intern	G.Skill Trident Z5 Neo RGB F5-5600J4040D48GX2-TZ5NR	€ 899,-	€ 899,-
1	Voedingen	NZXT C1500 Platinum ATX 3.1 Zwart	€ 262,-	€ 262,-
2	Interne ssd's	Lexar NM790 (zonder heatsink) 4TB	€ 349,-	€ 698,-
1	Interne ssd's	Lexar NM1090 PRO 4TB	€ 439,-	€ 439,-
Bekijk collectie Importeer producten			Totaal	€ 9.649,29

- Neem een 3-slots RTX5080 (ASUS is 4-slots), zodat de kaart niet over de onderste rij connectoren hangt. De PNY is 3-slots en heeft ook grotere fans, dan de basis modellen.
- De RTX PRO bulk is goedkoper dan de retail.
- Wellicht 1x PCIE5.0 4Tb met cache en 2x PCIe4.0 NM790. Je houdt dan een M2 slot vrij om later eventueel een 8Tb uitbreiding te kopen tegen een acceptabele prijs.
- ASUS heeft ook een fraaie ProArt behuizing (meerdere uitvoeringen)
- Daar past bovenin een 420mm lange 30mm dikke AIO-radiator.
- Zeer goede ATX3.1 platinum NZXT voeding met 2x PCIe5.0 aansluitingen
- 2x 48Gb geheugen dat op de QVL-lijst van ASUS staat.
- X3D voegt meestal niets toe voor AI en voor gaming op 4k is de videokaart de bottleneck.

[pietvelleman]

De api-kosten - ook bij de dure modellen - vallen bijzonder mee in de development-fase met slechts 1 gebruiker. Hierboven wordt gezegd dat je voor de dure modellen 200 euro per maand kwijt bent. Dat lijkt me erg veel en dan ben je errug grondig aan het testen volgens mij (de api's zitten sowieso niet vast aan een abonnement en zijn afhankelijk van het verbruik, toch?).

En als je toch lokaal wilt testen:
Waarom ga je niet voor een GMKtec-mini-pc met Ryzen AI Max+-cpu en 128GB unified memory (of vergelijkbaar systeem). Voor 2000 euro heb je een prachtig test-systeem. Het stroomverbruik zal ook een stuk lager liggen.

Het voordeel is ook dat je die mini-pc prima als server zal inrichten, waarbij je de LLM via api's gaat benaderen vanaf je vaste desktop. Het gevaar is dat wanneer je alles volledige lokaal draait, je dat aspect vergeet. Een compleet RAG systeem (van LLM, databases, documentstroom, agents) op 1 desktop aan de praat krijgen is een ander verhaal dan wanneer je diverse diensten/services/client-servers aan elkaar moet knopen...

Met zo'n GMKtec-systeem kun je vele maanden testen. Als ik naar jouw wensen kijk dan is de omvang van die modellen slechts 1 aspect van het hele test-gebeuren. Agents, RAG, document flow... Dat alles kun je prima met een kleiner model testen. Voordat je het draaiend hebt, ben je zomaar maanden verder (als je weinig ervaring hebt en hier niet full time mee bezig kunt zijn). En volgens mij kan die GMKtec ook een 70B model aan (het zal niet razend snel zijn... maar als test is dat natuurlijk prima!)

nieuws: GMKtec-mini-pc met Ryzen AI Max+-cpu en 128GB ram kost 1999 euro

https://www.notebookcheck...prestaties.1159997.0.html

Maarrr...
Ik ben het wel geheel eens met @DeNachtwacht ...
De api's van de cloudversies gaan het altijd winnen van een lokale setup. En zeker als je 10k wil neerleggen voor een testsysteem, dan zal lokaal niet goedkoper zijn. Dus - afhankelijk van je niche en privacy eisen - zal ik zeker voor cloudversies gaan.

En - vergeet niet - zelfs met cloudversies is het al ingewikkeld zat om die systemen goed draaiend te krijgen en aan elkaar te knopen met flows tussen LLM's, RAG/vector databases en agents...

Als je daarna precies weet wat je wilt, kun je afhankelijk daarvan kiezen om lokaal te gaan werken en daar je systeem op af te stellen...

Ofwel: ga voor cloudversies òf voor een GMKtec-achtig systeem. En na grondig testen (van cloud of lokaal) weet je precies wat je nodig hebt.. en kun dat aanschaffen... Lijkt me verstandiger dan 11k uitgeven... zelfs als je voldoende geld hebt..

[aldus mijn 2 centen...]