Local AI Videokaart - is het de investering waard?

[Ulysses]

Ja, ik heb zelf natuurlijk ook al rondgekeken op basis van kale specs, maar ik hoop een paar ervaringsdeskundigen te treffen die mij het verlossende antwoord kunnen bieden.

Ik zoek een?
Videokaart die het mogelijk maakt om Google's Gemma 4 lokaal te draaien. Als systeem heb ik momenteel een best aardige Gigabyte X570S-UD met daarop een Ryzen 7 5800X en 128GB DDR4 RAM + 6TB NVMe. De huidige Radeon RX6600 is schattig, maar totaal ongeschikt om een model als Gemma 4 in te draaien natuurlijk. De experimentjes dusver met lokale AI waren om te huilen zo traag. Ik hoop dus met een flinke investering in grafische kaart en voeding, dan samen uit te komen op een monster machine.

Wat is je budget?
Kijk, deze markt is insane. Ik weet dat ik rustig 2 rooie kan stukslaan en nog niet het beste / duurste model hebben. Maar hier heb ik dus gepast advies nodig, wat is prijs/ kwaliteit gezien de sweet spot? Ik zit te twijfelen tussen een paar opties, maar zou het liefst voor zo'n ~1200 euro zowel de kaart als de voeding wel hebben. Het zou voordelig zijn als ik nieuw koop, want ik schrijf het dan op als investering, kan BTW terugvragen en heb natuurlijk langer garantie.
Maar voor de duidelijkheid ga er maar van uit dat dit budget inclusief BTW is.

Heb je bepaalde (merk)voorkeuren?
Aangezien ik een AMD processor gebruik leek het mij hardware technisch logisch en prijstechnisch aangenaam om dan ook voor een AMD videokaart te gaan. Maar bronnen online lijken vooral enthousiast over het gemak van de toepassingen met NVIDIA-kaarten . In ieder geval moet het geheugen voldoende zijn om het hele model in te pompen, dus 24GB lijkt me gepast. Ideeën daarover?

Deze lijken mij aardig:
https://tweakers.net/pric.../1891884;1891834;1603576/
Dat zijn 2 AMD varianten nieuw in mijn budget of een NIVIDIA kaart die hier 2e hands wordt aangeboden. - maar liever zoek ik daarbij iemand die ook een factuur kan uitdraaien.

Specificeer het systeem en de omgeving waarin je het product gaat gebruiken.?
Ik wil lokaal een taalmodel draaien zoals Gemma 4 en dan Agentic AI kunnen gebruiken op mijn eigen hardware. Misschien is dit ook wel super ambitieus en red ik dat niet met 1 monster PC. Maar misschien hebben jullie ook nog andere tips voor deze usecase? Andere ervaringhebbende met dit soort projecten?

Ik gebruik de kaart dus nadrukkelijk niet echt om te gamen.

Voor de voeding heb ik nu een 750W Coolermaster modulair. Maar wat ik online lees zal ik bij deze upgrade moeten kijken naar iets van 1000W. Zou een voeding als deze volstaan voor de genoemde kaarten?
https://www.bol.com/nl/nl...1-zwart/9300000223692084/
Of hebben jullie nog andere tips?

En tot slot had ik wel gelezen dat die AMD-kaarten wat meer liefde vereisen maar dan wel goed onder Linux werken. Ik gebruik linux voor alles. Momenteel KUbuntu 26.04. Zijn daarbij nog aandachtspunten?

[Dekar]

nVidia is op Linux niet ideaal, vanwege slechtere driver support. Maar het kan wel werken.
Voor AI is nVidia dan weer heer en meester vanwege Cuda. Voor het budget is misschien de RTX 5070 Ti een beter alternatief, ook al lever je dan VRAM in. Je kan altijd je 7900 XTX uitproberen, en als het niks is omwisselen voor een 5070 Ti.

Model size en VRAM is wel echt extreem belangrijk. Als je persé een model wil dat > 16GB VRAM nodig heeft zal de 7900 XTX veruit de betere keuze zijn.

Alternatieven:
Tweedehands RTX 3090 24GB ~900,-
Tweedehands RTX 3080 20GB ~600,-

Ik denk dat de 3090 voor jouw budget en use case een veel betere kaart is die sneller en stabieler zal zijn. Wellicht is er een verkoper die een kwitantie wil afgeven voor de Belastingdienst.

Ik zou zelf de uitvoering: be quiet! Pure Power 13 M | 1000W nemen. Even duur, 3 jaar langere garantie, en een stukje stiller.

[ Voor 51% gewijzigd door Dekar op 16-05-2026 08:34 ]

[Ulysses]

Bedankt voor die tip van de 5070 Ti, die lijkt alleen bij het grootste Gemma 4 model, tekort te schieten, maar wat browsen leert mij dat dit ge-offload kan worden voor de grotere vragen - en die voeding lijkt me ook een puik voorstel.

Ik zoek nog eventjes naar "ervaringhebbende" voor wat betreft de snelheid van verwerking van diverse opties.

[Vishari Beduk]

Je schrijft "Gemma 4 draaien" maar niet welke versie.
Ik heb op dit moment gemma-4-e4b draaien op een 5060Ti met 16GB
en om resource te sparen gebruik ik het vanaf een andere pc via pi.dev

Je hebt tegenwoordig ook MoE (Mixture of Experts) LLMs waarmee je te grote modellen toch in weinig vram kan gebruiken.

Ik gebruik deze setup alleen om wat te experimenteren, voor het echte werk gebruik ik mijn betaalde copilot.

[Ulysses]

Ja, ik was dan ook van plan om 26B MoE model te gebruiken - en 31B met configuratie voor offloading er naast wellicht.

Maar jij noemt het dus enkel experimenteren? Ik wil wel echt goed vragen kunnen stellen er aan als ik bijvoorbeeld geen dingen naar andere datacenters wil sturen voor bepaalde vragen. Ik heb betaalde Gemini om vanuit mijn browser te doen en Anthropic Claude zowel via API als Code Pro - maar dat loopt alles bij elkaar op termijn met de maandlasten ook aardig op. Is het dan hebben van een lokaal model niet meer kosten efficient voor wat casual vragen, HTML in elkaar flansen en andere tips?

[XpanD]

Als het doel alleen is om LLMs te draaien dan zou ik persoonlijk ook goed kijken of 2x een 5060 Ti 16GB een optie zijn. 32GB aan traag videogeheugen, maar je pakt een aardig stuk snelheid terug door er twee te draaien; de ene draait één helft van het model, en de andere werkt tegelijkertijd aan de andere helft.

Ik denk overigens wel dat dat Gigabyte-bord dit niet zo heel leuk zal vinden. Dat tweede slot is bijzonder traag. Nou heb je niet heel veel nodig voor een pipeline-parallel split, maar als je nog andere dingen aan de chipset hebt hangen is dit wel krap. Iets om nog even in te duiken.

Gemma 4 26B is prima. Op een enkele 16GB-kaart zou je al iets van Q5_K_S kunnen draaien (doe ik hier ook, maar dan met een 4080). Wel even spelen met --n-cpu-moe in llama.cpp (of "number of layers for which to force MoE offloads to CPU" als je LM Studio gebruikt), als je -ngl ("GPU Offload") op 99 gooit dan kan je daar een flinke snelheidswinst uit halen.

Ik doe het vaak zo:
- -ngl 99
- --n-cpu-moe op een "redelijke" waarde; kijk naar videogeheugen, zorg ervoor dat je net onder de max blijft)
- zit je over de max heen, of laad het model niet? --n-cpu-moe een stuk hoger
- kijk waar de exacte limiet zit en hou hem daar

Misschien de moeite waard om bovenstaande eerst te proberen op je 8GB-kaart (met IQ4_XS?), dan heb je ook een beetje een idee van hoe slim zo'n model nou echt is. (in mijn ervaring... prima bruikbaar voor veel taken, maar nog wel een stap verwijderd van de online modellen)

Je kan zo trouwens ook best goed grotere MoE-modellen draaien, aangezien je zoveel RAM hebt. Zet het actieve deel en de K/V cache in videogeheugen, gooi er zoveel extra lagen bij als dat er passen, en duw het restant in RAM. Het RAM-gedeelte is wel erg traag, maar zo kan je alsnog de slimmere modellen draaien voor zwaardere taken.

[martin_v_z]

Kort antwoord, Nee dat is niet prijstechnisch interessant.

Uitgebreider antwoord. Het verschil tussen een model+context wat je op een 24GB kaart kan draaien en een model zoals Gemini, is groot. Met als resultaat dat je meerdere kaarten of een flinke kaart met iets van 96GB in een systeem moet stoppen.

Dit soort berekeningen zijn eigenlijk alleen interessant als je een use case hebt waarbij je de kaart ook echt maximaliseert. Bijvoorbeeld agents die non stop taken uitvoeren.

De cloud modellen worden nog steeds met verliezen geleverd dus het is moeilijk daar lokaal prijstechnisch een alternatief voor te hebben.

Nu zijn er wel use cases waarbij het interessant kan zijn. Is een kleiner model goed genoeg? Dit zou je zelfs gewoon kunnen testen op je huidige systeem, ja het is traag maar is de kwaliteit van de antwoorden goed genoeg? Image generation is wel goed te doen lokaal op een 24GB kaart. Neem dan wel echt Nvidia anders ga je veel frustratie krijgen.

Als laatste alternatief kan je naar een Mac studio kijken, met bijvoorbeeld 128GB ram, minder snel dan een videokaart maar veel sneller dan in RAM op een normale pc.

[TobyW]

Nvidia GPUs draaien prima onder Kubuntu, ik heb een RTX 5090 onder 24.04 draaien.

Je wilt inderdaad zoveel mogelijk geheugen hebben. Je hebt tegenwoordig ook de Intel Arc Pros met relatief veel geheugen.

Of het de moeite waard is hangt ervan af wat je precies wilt doen. Het is een verschil of je programmeerhulp of alleen een LLM die wat agents voor simpele taken kan aansturen wilt hebben. Ik heb een klein beetje met Qwen-3.6-35b voor programmeren getest (die draait goed op een 5090), maar de benchmarks laten zien dat de Anthropic modellen toch een stuk beter presteren.

[Ulysses]

Okay, ik denk 20 seconden over dit hele antwoord - hoe dan ook, het duurde niet gruwelijk lang. Als dat echt razend veel sneller kan met die 5070Ti dan schaf ik die aan.

[DeNachtwacht]

De grote vraag wat je niet noemt is; wat ga je ermee doen? Als het om video of afbeeldingen genereren gaat heb je wel echt andere behoeften dan wanneer het om agentic coding gaat bijvoorbeeld.

Ik heb hier zelf Gemma 4 26B eb Qwen 3.6 35B draaien op een RTX 5090 met 32GB en dat gaat net aan redelijk voor agentic bouwen met Codex (ben er toevallig gister mee gestart sinds dit in de nieuwe ollama kan).

Even als voorbeeldje, ik ben een volledige front- en backend website aan het bouwen als test met Codex en gaf zojuist deze prompt na een foutmelding: ""I uploaded the code to my live server, but I get this error: Table 'cwme12fbbc_techdependa.news_posts' doesn't exist. Can you give me the exact SQL code I need to run in phpMyAdmin to create this table and any other tables the app needs?"

Ik krijg keurig een SQL die ik nodig heb, maar het duurt ook met een 5090 wel pakweg 10 minuten voor ik die heb. Kortom; cloud modellen zijn echt sneller. Ik zou in jouw geval ook eens kijken naar de Arc B70. Die kost €1249 en heeft 32GB VRAM, dat is wel echt nodig voor voldoende context. Grote vraag is alleen of een Arc B70 snel genoeg is voor AI taken, zeker onder linux durf ik daar weinig uitspraken over te doen.

[Ulysses]

Ik ga hem vooral als Code-slaaf gebruiken. Voor beeld blijf ik Gemini natuurlijk met het superieure Bananen-ding gebruiken. Agentic AI en coderen wil ik hem lokaal laten doen dus. Vooral dat ik het kan verkopen als: "Zonder naar Trump gestuurd te hebben!!11"
Ohja, een Speech-to-Text moet die ook goed gaan doen. Ik wil in mijn chat app gewoon spraakberichtjes on the fly laten assembleren tot een redelijke mockup bijvoorbeeld.

Bedankt voor alle antwoorden dusver al - ik moet er nog een paar rondjes mee wandelen - maar gelukkig heb ik toch ook nog tot 1 juli voordat ik anders nodeloos teveel BTW zou afdragen

[ Voor 42% gewijzigd door Ulysses op 16-05-2026 12:40 ]

[DeNachtwacht]

Ik zou dan eens in de Arc B70 gaan duiken. Gemma 4 en Qwen 3.6 zitten beide rond de 24GB vram wat ze nodig hebben, maar dan heb je nog geen context, daar wil je ook wat GB voor vrijhouden. Tijdens rekenen zit ik rond de 30GB gebruik van de videokaart.

[Dekar]

Als het echt voor zakelijk gebruik is dan is een duurdere GPU al snel te rechtvaardigen.
uitvoering: Nvidia RTX PRO 4500 Blackwell bulk

[martin_v_z]

Doe lokaal even een echte test met Gemma 4 31b dense model. Ja het zal traag zijn maar het gaat even niet om de snelheid. Voer een paar programmeer prompts in en kijk of de code die hij geeft goed genoeg is voor jou. Ik heb begrepen dat de dense versie beter presteert bij coderen dan de moe. De snelheid zal wel minder zijn dan de moe versie.

De q4 versie is zo te zien 20GB dus dan zou je nog 4GB over hebben voor je context.

Ben erg benieuwd of het voldoet, ik verwacht eerlijk gezegd dat het gaat tegenvallen. Maar liever kom je daar dan nu achter dan wanneer je een hoop geld hebt besteed.

[zfxwm5z1]

Ulysses schreef op zaterdag 16 mei 2026 @ 12:34:
Ik ga hem vooral als Code-slaaf gebruiken. Voor beeld blijf ik Gemini natuurlijk met het superieure Bananen-ding gebruiken. Agentic AI en coderen wil ik hem lokaal laten doen dus. Vooral dat ik het kan verkopen als: "Zonder naar Trump gestuurd te hebben!!11"

Wat heeft Trump hier mee te maken en kan je niet gewoon gratis online AI gebruiken voor vragen te stellen? Tenzij je het zonder overzicht zijn gang wil laten gaan iets dat ik me af vraag of dat wel een slim idee is.

[Ulysses]

zfxwm5z1 schreef op zaterdag 16 mei 2026 @ 13:42:
Wat heeft Trump hier mee te maken en kan je niet gewoon gratis online AI gebruiken

Nou, eigenlijk is er best een grote markt van politiek bewogen Klanten die graag zekerheid willen dat hun data, ideetjes of verwerking, niet gebeurt door een regime dat in hun ogen het nieuwe fascisme behelst - al dan niet in de personificatie van Trump. Ik zelf denk daar iets genuanceerder over - en geloof heus dat wat je zegt praktisch is: Voor veel persoonlijke vraagjes zou je alles naar de andere kant van de plas kunnen sturen zonder probleem. Maar voor mijn bedrijfsvoering wil ik de optie hebben om iets te kunnen manifesteren ook Offline bovendien, maar ook zonder het meteen openbaar te maken. Daar betaal ik mij nu vrij scheel voor in de vorm van API-credit bij deze en genen, en dat zou voor een groot deel van de taken offline, en dus gratis kunnen. Voor iets waarbij ik webbronnen onderzoek moet doen, is natuurlijk wat mensen kennen als Consumer-AI beter geschikt vaak. Maar voor mijn usecase gaat het daarnaast om het ontwikkelen van een werkbaar gesloten omgeving - die zo nodig een Offline geavanceerde tekstverwerker met codeerfunctionaliteit behelst. En daarbij de spraakgegevens van instructies dus niet 'lekt'.

[Ulysses]

Okay, ja dit model @martin_v_z -- kan dus best goed de taken die ik voor ogen heb - denk ik. De vraag die ik hem stelde, was om de tekst van mijn meest recente blog (link hieronder ergens) samen te vatten en zakelijk weer te geven. Hij deed er wel lang over. Maar okay - dat zou 10 tot 20x sneller gaan met dedicated grafische kaart heb ik mij laten vertellen...
Nu nog een testje met Audio input opzetten.

[zfxwm5z1]

Ulysses schreef op zaterdag 16 mei 2026 @ 14:30:
[...]

Nou, eigenlijk is er best een grote markt van politiek bewogen Klanten die graag zekerheid willen dat hun data, ideetjes of verwerking, niet gebeurt door een regime dat in hun ogen het nieuwe fascisme behelst - al dan niet in de personificatie van Trump. Ik zelf denk daar iets genuanceerder over - en geloof heus dat wat je zegt praktisch is: Voor veel persoonlijke vraagjes zou je alles naar de andere kant van de plas kunnen sturen zonder probleem. Maar voor mijn bedrijfsvoering wil ik de optie hebben om iets te kunnen manifesteren ook Offline bovendien, maar ook zonder het meteen openbaar te maken. Daar betaal ik mij nu vrij scheel voor in de vorm van API-credit bij deze en genen, en dat zou voor een groot deel van de taken offline, en dus gratis kunnen. Voor iets waarbij ik webbronnen onderzoek moet doen, is natuurlijk wat mensen kennen als Consumer-AI beter geschikt vaak. Maar voor mijn usecase gaat het daarnaast om het ontwikkelen van een werkbaar gesloten omgeving - die zo nodig een Offline geavanceerde tekstverwerker met codeerfunctionaliteit behelst. En daarbij de spraakgegevens van instructies dus niet 'lekt'.

Is begrijpelijk (soort van) maar ze maken dan nogsteeds gebruik van Gemini en andere bedrijven die met de Amerikaanse overheid te maken hebben (AMD, Intel, Nvidia). Dus ongeacht van wat je doet in verband met AI speel je een rol in de ontwikkeling van die bedrijven zelfs al ga je het via een bemiddelaar doen. Als je denkt dat er genoeg mensen zijn die dat het geld waard zouden maken. Of dat de kaart tenminste zo terugbetaald zal geraken kan je dat doen maar lijkt me niet echt een goed doorgedachte strategie van hun kant uit.

Denk dat je meer invloed kan maken door McDonalds te gaan boycotten en crocky in plaats van lays te kopen.

Maar als je hier echt last van hebt kan je gewoon beter helemaal geen AI gebruiken. Of je eigen maken.

[Ulysses]

Dekar schreef op zaterdag 16 mei 2026 @ 13:02:
Als het echt voor zakelijk gebruik is dan is een duurdere GPU al snel te rechtvaardigen.
uitvoering: Nvidia RTX PRO 4500 Blackwell bulk

Nou nou - het e.e.a. moet wel in verhouding staan tot de omzet hier denk ik - Wat is dat toch dat als mensen zakelijk horen ze daar 'oneindig budget' bij verstaan.
Nee, Die 1200 inclusief is het wel wat ik ongeveer wil spenderen. Niet ruim het dubbele.

[zfxwm5z1]

Als je wilt dat niemand je berichten kan lezen is lokaal draaien natuurlijk wel de enige optie. Of het het waard is voor jou is denk ik een vraag die uiteindelijk enkel jij kan beantwoorden. Als je er niet zeker over bent zou ik zelf wel niet zoveel geld besteden zeker nu dat alles zo duur is.

Denk dat met dingen zoals programma's schrijven je eerder wegblijft sinds het niet duidelijk kan zien dat er iets fout is sinds het niet echt logisch is zoals een mens maar voor office of video's te maken het wel behulpzaam kan zijn.

Probleem is uiteraard dat het geen mens is dus laat je het programma's schrijven kan het uit het niks beslissen om je database weg te gooien zonder enige instemming.

https://www.theguardian.c...-ai-deletes-firm-database

Trouwens lol 😂🤣: "Crane said that he was monitoring the agent as it deleted this data. When he asked the coding agent why, it replied: “NEVER FUCKING GUESS!” – and that’s exactly what I did.”"


Never fucking guess!!! 🤣😂😅

[ Voor 20% gewijzigd door zfxwm5z1 op 16-05-2026 15:41 ]

[Vishari Beduk]

Ulysses schreef op zaterdag 16 mei 2026 @ 12:26:
[Afbeelding]

Okay, ik denk 20 seconden over dit hele antwoord - hoe dan ook, het duurde niet gruwelijk lang. Als dat echt razend veel sneller kan met die 5070Ti dan schaf ik die aan.

Even de wijsneus uithangen; het deed er 20 seconde over met een 4B model. Dat zegt nog niets over de response tijd met een grotere van dezelfde gemma-4-26B

DeNachtwacht schreef op zaterdag 16 mei 2026 @ 12:26:
Ik heb hier zelf Gemma 4 26B eb Qwen 3.6 35B draaien op een RTX 5090 met 32GB en dat gaat net aan redelijk voor agentic bouwen met Codex (ben er toevallig gister mee gestart sinds dit in de nieuwe ollama kan).

Ik heb hier zelf ook een 5090 maar dat ding trekt zoveel stroom dat ik er een 5060 naast heb gekocht zodat ik met minder kosten kan experimenteren. Ik wil mijn energie rekening niet zien als die 5090 lang aanstaat.
En ik game helemaal nooit.

[DeNachtwacht]

Vishari Beduk schreef op zaterdag 16 mei 2026 @ 16:13:
Ik heb hier zelf ook een 5090 maar dat ding trekt zoveel stroom dat ik er een 5060 naast heb gekocht zodat ik met minder kosten kan experimenteren. Ik wil mijn energie rekening niet zien als die 5090 lang aanstaat.
En ik game helemaal nooit.

Volgens mij gaat die vlieger helemaal niet op voor LLM. Ten eerste mag je behoorlijk fors veel AI gebruiken voordat je de aanschaf van die 5060 eruit hebt, ten tweede krijg je met gaming meer gameperformance maar blijft het hetzelfde spel. Dus ja, een 5060 ipv 5090 is dan een energiebesparing zolang je kan leven met minder hoge instellingen. Maar met AI krijg je je antwoorden sneller dus heb je ook minder rekentijd waardoor de kosten tov een 5060 lager worden. Ongetwijfeld is een 5090 onderaan de streep ook voor LLM niet de zuinigste kaart, maar dat had je simpeler kunnen oplossen door hem softwarematig te undervolten en met een lager wattage te laten draaien. Dat had de kosten van een 5060 uitgespaard met het voordeel van altijd 32GB ter beschikking.

[ Voor 12% gewijzigd door DeNachtwacht op 16-05-2026 18:37 ]