Ervaringen met zelf gehoste AI assistenten

[CSB]

Voor de Local LLM enthausiastlingen met beperkte hardware is dit goed nieuws:

TL;DR, tot 6x meer KV cache door deze nieuwe quantization method. Dus veel langere context met kleinere modellen.

[DeNachtwacht]

Wat meer achtergrond: https://www.dutchitleaders.nl/news/728196/google-turboquant-de-toekomst-van-supersnel-zoeken

Ik dacht even dat het weer één van de vele clickbait video's was, en dat is het natuurlijk wel een beetje want het zijn vooralsnog theoretische verbeteringen die alleen op een H100 (volgens google) getest zijn met forse snelheids/compressiewinst. Maar het ziet er inderdaad wel indrukwekkend uit, als dat echt enigszins klopt kun je ineens met een 16GB vram kaart behoorlijk serieuze modellen draaien en komt er heel veel moois beschikbaar voor lokale AI . Maar toch ook wel een kleine pas op de plaats: ze noemen snelheidswinst tot 8x, dus ongetwijfeld is het op heel veel plekken 'maar' een snelheidswinst van 2x o.i.d. Even de conferentie afwachten dus.

[ Voor 12% gewijzigd door DeNachtwacht op 27-03-2026 15:22 ]

[CSB]

En hier is BitNet (aanrader om even te kijken):

Overigens, over mijn vorige post Turboquant:
llama-cpp-turboquant-guide Het lukt ze om bijv. op een RTX4070 Mobile GPU (dus 8GB) een context size van 64K te runnen.

Erg interessante tijden gaan we tegemoet voor Local LLM's.

[ Voor 36% gewijzigd door CSB op 02-04-2026 15:54 . Reden: turboquant toegevoegd ]

[DeNachtwacht]

@CSB zo spectaculair is dat toch niet? Die context length is simpelweg fijn, maar in de basis gaat het natuurlijk om de grootte van het model. In het voorbeeldje van jouw site lees ik dat ze Llama-3.1-8B-Instruct Q4_K_M draaien op een 4070 met 8gb mobile, tsja leuk dat het met wat meer context kan, maar het blijft een vrij basaal model dat in de basis 5GB groot is. Die extra context is aardig, maar gezien alle clickbait flauwekul "turboquant BREAKS NVIDIA", "TurboQuant DROPPED AND KILLS CLOUD AI" had ik toch wel op zijn minst de verwachting dat Turboquant het ook mogelijk zou maken om modellen die groter zijn dan het VRAM te draaien. Dát zou echt revolutionair zijn en werd een beetje beloofd tussen alle sensatie door...

Het volgende clickbait filmpje over een 1B model sla ik dus ook gerust over... ik merk dat het pas enigszins vergelijkbaar wordt met een cloud model als je minimaal 30B / 35B hebt. Als het echt zo goed is, komt het wel op serieuze media voorbij. Merk dat ik al maanden youtube totaal niet meer kijk voor dit soort nieuwtjes want in elk filmpje wordt je schreeuwend beloofd dat je vanaf nú lokaal op je 3Dfx uit 1998 met 1 MB ram zelfs de cloud modellen van ChatGPT van enkele terabytes groot kan draaien... en vervolgens blijkt dat er een kleine tweak aan een LLM of tool is die een paar procent snelheidswinst oplevert ergens. En dat blijkt dan ergens in de laatste minuut van het filmpje waar je al teasend naartoe wordt geschreewd.

[ Voor 38% gewijzigd door DeNachtwacht op 02-04-2026 16:09 ]

[CSB]

Tja, dan is het Bitnet filmpje niet voor jou bedoeld denk ik. Ik werd na met name het tweede filmpje waarin hij demonstreert wat een 1-bit bitnet model doet op een M4 mac, wel geïnteresseerd.
Ik zal voortaan de "clickbait filmpjes" achterwege laten, ook al was het goed bedoeld.

[Gr4mpyC3t]

Ik heb voorlopig sowieso even geen interesse meer in lokale AI-modellen.

Het is al moeilijk genoeg om een model in de cloud te laten doen wat je wil, laat staan lokaal waar het model zelf meestal beperkte context en kennis heeft.

Ik vraag het maar eens hier: is het ‘t tot nu toe echt allemaal waard om daar mee te prutsen? Na een uur draait er bij mij lokaal wel wat, maar krijg ik toch een inconsistente gebruikservaring. Of doe ik iets verkeerd?

[DeNachtwacht]

Op zich kun je best al wel leuke dingen doen hoor, het is alleen wat trager dan online en uiteindelijk ook toch wel altijd minder goed. Toevallig is net het nieuwe Gemma 4 model uitgekomen. Je kan hier zien welk model je kan draaien afhankelijk van je gpu:

https://unsloth.ai/docs/models/gemma-4

Gemma E4B zal je dus op een gpu met 16GB vrij royaal in 8 bit kwantisatie kunnen downloaden en gebruiken. Lekker snel en gebruiksvriendelijk is Ollama: https://ollama.com/library/gemma4

Maar idd is en blijft het vooral interessant voor hobbyisten of juist als je er écht professioneel mee aan de slag wil (met stevige GPU's). Voor gewoon casual met een taalmodel aan de slag is over het algeen een cloud model simpeler en ook fors beter. Wel is het voordeel van lokaal draaien natuurlijk dat je zeker weet dat je data echt binnen je pc blijft.

[ocf81]

Mijn AI machine moet eigenlijk eens een opfrisbeurt krijgen. Ik heb de laatste paar maanden er niet zo veel mee gedaan. Wel gedacht aan RAG en agents, maar nooit de stap genomen om daar in te duiken. Wat ik nu heb werkt wel oké voor programmeren en vertalen. Voor kennisvragen gebruik ik de lokale AI niet (meer).

[Seth_Chaos]

Gr4mpyC3t schreef op donderdag 2 april 2026 @ 21:03:
Ik heb voorlopig sowieso even geen interesse meer in lokale AI-modellen.

Het is al moeilijk genoeg om een model in de cloud te laten doen wat je wil, laat staan lokaal waar het model zelf meestal beperkte context en kennis heeft.

Ik vraag het maar eens hier: is het ‘t tot nu toe echt allemaal waard om daar mee te prutsen? Na een uur draait er bij mij lokaal wel wat, maar krijg ik toch een inconsistente gebruikservaring. Of doe ik iets verkeerd?

Voor gebruikers vragen heeft het weinig waarde buiten het hobby'en. Voor agentic AI is het heel handig. Als m'n agents allemaal cloud based zouden draaien, had ik iedere maand een kleine 10.000 euro kunnen afrekenen aan token usage. Ik heb twee piepkleine LLM's op mijn werklaptop draaien voor specialistische taken. En een server met een sloot vram voor grotere modellen die voor taak gerichte agentic AI worden gebruikt. Voor het bouwen van automations gebruik ik n8n instances die gebouwd worden met een Claude subscription. En een chatgpt abbo voor vragen.

[DeNachtwacht]

@Seth_Chaos welke lokale modellen gebruik jij en voor welke agents?

[Seth_Chaos]

DeNachtwacht schreef op donderdag 9 april 2026 @ 18:09:
@Seth_Chaos welke lokale modellen gebruik jij en voor welke agents?

Qwen en Deepseek op mn server. Voor een orchestrator agent die al mijn agents aan stuurt. Een assistent agent die veel van mijn dagelijkse werkzaamheden heeft overgenomen. Een test agent die al het werk van al mijn agents test na elke actie. En een rits aan agents die in n8n workflows worden aangesproken. En een separate agent die mijn home automation regelt onderhoud en op aanvraag uitbreid. Welke LLM's op mijn laptop draaien weet ik niet meer. 1 gebruik ik om 24/7 mee te luisteren en automatisch ieder gesprek te transscripten en op te slaan in Obsidian. En om acties uit te voeren na een wake woord. De andere wordt gebruikt om alle terug koppeling die mijn orchestrator agent geeft om te zetten naar spraak. Wat heel handig is wanneer je 5 a 6 terminals hebt draaien met verschillende projecten die ieder door de orchastrator worden gemanaged. Ik hoef dus niet al mijn terminals af om te weten hoe het ermee staat en ik kan gesproken antwoorden wanneer mijn archostrator iets vraagt, of wanneer ik iets gedaan wil hebben wanneer ik in een overleg zit om maar wat te noemen kan ik dat via een teams berichtje vragen.

En s' avonds wanneer ik wat beters te doen heb dan werken, laat ik vaak nieuwe projecten uitwerken en of voorbereiden en projecten coden.

En Claude gebruik ik met superpowers en skills. Voornamelijk om het werk van de lokale agents nog eens na te lopen en op te poetsen. En voor wat onderzoek. Ook die wordt aangestuurd door m'n orchastrator.

Ik kan dit ook iedereen aanraden. Begin klein. Neem een Claude account. Start Claude code in een terminal met super powers. Hang het aan een notitie tool zoals Obisidan. Leg je dagelijkse werkzaamheden eens vast in obsidian. Gebruik het gewoon een paar dagen als een soort dagboek. Vraag vervolgens Claude om de obsidian dir te gebruiken als werk folder voor Claude. En vraag eens te analyseren wat je allemaal op een dag doet en waar het denkt bij te kunnen helpen, en of welke werkzaamheden het kan overnemen. Vraag Claude dat in te regelen. Begin met zero trust. Alles wat het wil doen moet het eerst vragen. Wanneer je vertrouwen hebt dat het die taak altijd succesvol volbrengt, ga je een stapje verder en vraag je de taak automatisch uit te voeren met enkel een notificatie wanneer de taak gestart wordt, en een notificatie wanneer de taak is volbracht. En breid dat steeds verder uit, tot je op den duur meerdere agents volledig autonoom hun werk kunt laten doen. Zodra de agents autonoom beginnen te werken, verhuis je ze naar lokale AI, zodat er iets overblijft van je bankrekening (of de bankrekening van je werkgever).

Veel mensen zijn bang dat ze daarmee zichzelf overbodig maken. Maar het tegendeel is waar. Ik heb nog steeds 8 uur werk. Maar in plaats van 8 uur zelf het werk te doen stuur ik een legioen agents aan. Mijn werkgever krijgt er een veelvoud van het werk dat ik voorheen deed voor terug. Ik ben nu dus veel waardevoller voor mijn werkgever dan voorheen. En het is ook veel leuker. Want al het hersen dodende werk dat ik voorheen deed, en alles waar ik nul energie van kreeg heb ik als eerste weg geautomatiseerd.

[ Voor 38% gewijzigd door Seth_Chaos op 09-04-2026 19:17 ]

[daily.data.inj]

Seth_Chaos schreef op donderdag 9 april 2026 @ 18:31:
[...]


Qwen en Deepseek op mn server. Voor een orchestrator agent die al mijn agents aan stuurt. Een assistent agent die veel van mijn dagelijkse werkzaamheden heeft overgenomen. Een test agent die al het werk van al mijn agents test na elke actie. En een rits aan agents die in n8n workflows worden aangesproken. En een separate agent die mijn home automation regelt onderhoud en op aanvraag uitbreid. Welke LLM's op mijn laptop draaien weet ik niet meer. 1 gebruik ik om 24/7 mee te luisteren en automatisch ieder gesprek te transscripten en op te slaan in Obsidian. En om acties uit te voeren na een wake woord. De andere wordt gebruikt om alle terug koppeling die mijn orchestrator agent geeft om te zetten naar spraak. Wat heel handig is wanneer je 5 a 6 terminals hebt draaien met verschillende projecten die ieder door de orchastrator worden gemanaged. Ik hoef dus niet al mijn terminals af om te weten hoe het ermee staat en ik kan gesproken antwoorden wanneer mijn archostrator iets vraagt, of wanneer ik iets gedaan wil hebben wanneer ik in een overleg zit om maar wat te noemen kan ik dat via een teams berichtje vragen.

En s' avonds wanneer ik wat beters te doen heb dan werken, laat ik vaak nieuwe projecten uitwerken en of voorbereiden en projecten coden.

En Claude gebruik ik met superpowers en skills. Voornamelijk om het werk van de lokale agents nog eens na te lopen en op te poetsen. En voor wat onderzoek. Ook die wordt aangestuurd door m'n orchastrator.

Ik kan dit ook iedereen aanraden. Begin klein. Neem een Claude account. Start Claude code in een terminal met super powers. Hang het aan een notitie tool zoals Obisidan. Leg je dagelijkse werkzaamheden eens vast in obsidian. Gebruik het gewoon een paar dagen als een soort dagboek. Vraag vervolgens Claude om de obsidian dir te gebruiken als werk folder voor Claude. En vraag eens te analyseren wat je allemaal op een dag doet en waar het denkt bij te kunnen helpen, en of welke werkzaamheden het kan overnemen. Vraag Claude dat in te regelen. Begin met zero trust. Alles wat het wil doen moet het eerst vragen. Wanneer je vertrouwen hebt dat het die taak altijd succesvol volbrengt, ga je een stapje verder en vraag je de taak automatisch uit te voeren met enkel een notificatie wanneer de taak gestart wordt, en een notificatie wanneer de taak is volbracht. En breid dat steeds verder uit, tot je op den duur meerdere agents volledig autonoom hun werk kunt laten doen. Zodra de agents autonoom beginnen te werken, verhuis je ze naar lokale AI, zodat er iets overblijft van je bankrekening (of de bankrekening van je werkgever).

Veel mensen zijn bang dat ze daarmee zichzelf overbodig maken. Maar het tegendeel is waar. Ik heb nog steeds 8 uur werk. Maar in plaats van 8 uur zelf het werk te doen stuur ik een legioen agents aan. Mijn werkgever krijgt er een veelvoud van het werk dat ik voorheen deed voor terug. Ik ben nu dus veel waardevoller voor mijn werkgever dan voorheen. En het is ook veel leuker. Want al het hersen dodende werk dat ik voorheen deed, en alles waar ik nul energie van kreeg heb ik als eerste weg geautomatiseerd.

Uit nieuwsgierigheid aan wat voor hersendodend werk of taken waar je 0 energie van krijgt moet ik aan denken?

[Seth_Chaos]

Alles administratief, documenteren, tijdschrijven, mail bijhouden, tickets bijwerken, teams communicatie, interne blogs schrijven, presentaties opstellen, mijn agenda bijhouden inclusief het maken van afspraken, project management, trainingen voorbereiden. De complexere beheer taken uitvoeren. Probleem analyses uitvoeren, RFC's opstellen en laten goedkeuren. De changes doorvoeren uit die RFC's. Standaard changes doorvoeren zoals onboarding en offboarding van medewerkers, rechten mutaties, firewalls, switches en accespoints inrichten. Security harding, updaten van netwerk apparatuur. Server herstarts overleggen met de klant, inplannen, uitvoeren en monitoren. Automations ontwerpen, bouwen en opleveren. En ongetwijfeld nog een hoop dat ik vergeet. Alles wat ik meer als één keer precies hetzelfde moet doen wordt geautomatiseerd.

[ocf81]

Een video over Hermes, een AI agent die je lokaal kan draaien:

Het lijkt me wel interessant om eens uit te proberen.

[Trasos]

Seth_Chaos schreef op donderdag 9 april 2026 @ 23:28:
Alles administratief, documenteren, tijdschrijven, mail bijhouden, tickets bijwerken, teams communicatie, interne blogs schrijven, presentaties opstellen, mijn agenda bijhouden inclusief het maken van afspraken, project management, trainingen voorbereiden. De complexere beheer taken uitvoeren. Probleem analyses uitvoeren, RFC's opstellen en laten goedkeuren. De changes doorvoeren uit die RFC's. Standaard changes doorvoeren zoals onboarding en offboarding van medewerkers, rechten mutaties, firewalls, switches en accespoints inrichten. Security harding, updaten van netwerk apparatuur. Server herstarts overleggen met de klant, inplannen, uitvoeren en monitoren. Automations ontwerpen, bouwen en opleveren. En ongetwijfeld nog een hoop dat ik vergeet. Alles wat ik meer als één keer precies hetzelfde moet doen wordt geautomatiseerd.

Weten die klanten (en je werkgever) ook dat de server updates en herstarts door AI wordt gedaan?
Ik lees nog iets te vaak "Oeps, Qwen heeft een "rm -rf"-je gedaan..." op Reddit om dat te vertrouwen.

[i-chat]

ik moet heel eerlijk zeggen dat ik ook sceptisch ben om die 1bit modellen maar als je ziet wat het op een m4 kan doen dan zou ik eigenlijk het liefst een nieuwe rasberry pi (of soortgelijke) met een onboard gpu willen zien. hoe dan ook denk ik dat we als het op llm's aankomt we wat meer zouden moeten specialiseren op taak.

als jij iets met coding wilt doen moet je niet een llm heben die de boeken van harry potter heeft geleend. maar als je een email wilt opstellen zou het inlezen van heel veel boeken tijdschriften en kranten juist wél meerwaarde hebben in de data-set.

want laten we eerlijk zijn een 1bit model (liefst getraind op alleen nederlands- en engelstalige data) zou heel handig kunnen zijn voor de allersimpelste taken zoals: een email verzenden, een agenda beheren, je home-assistant aansturen (en dan begrijpen dat: maak het donker, hetzelfde is als doe het licht uit en dat soort saaie troep. eigenlijk spul wat je misschien nu al een gemma 4 e2b zou kunnen laten proberen maar dan met NÓG minder resources.

zo wil ik al een tijdje mijn eigen personal assistent - maar houdt vooralsnog de dure hardware het een beetje tegen. ik hoef geen AI die ingewikkelde dingen kan en zelfs als ik die wél wil zit dat al in mijn office365 account. waarin ik teksten kan laten redigeren ..

[ocf81]

Ja, het oude adagium het juiste gereedschap voor de klus gebruiken gaat hier ook op. Gelukkig kan je daar ook gewoon een keuze in maken.. En ik denk dat je er toch niet omheen kan dat je met minimaal 16GB aan VRAM moet werken voordat je überhaupt enigszins bruikbare resultaten gaat zien. Dat lijkt min of meer de ondergrens van het bruikbare. Als het om de toekomst gaat heb ik dan ook meer fiducie in zaken zoals TurboQuant. Wat me dan wel waarschijnlijk lijkt is dat je desondanks toch veel geheugen nodig blijft hebben, want de benutting daarvan gaat door TurboQuant waarschijnlijk alleen maar omhoog.

HA aansturen kan natuurlijk al lokaal, dat had ik ook een tijdje draaien, voordat ik alles overhoop haalde en het nu weer opnieuw moet installeren. Ik moet alleen nog een slimme speaker hebben die dan met HA praat. Het is overigens beter om een relatief klein model (~12B parameters) te draaien voor dat soort dingen, omdat de interpretatie al lang genoeg duurt met zo'n klein model.

[Seth_Chaos]

Trasos schreef op maandag 4 mei 2026 @ 17:20:
[...]

Weten die klanten (en je werkgever) ook dat de server updates en herstarts door AI wordt gedaan?
Ik lees nog iets te vaak "Oeps, Qwen heeft een "rm -rf"-je gedaan..." op Reddit om dat te vertrouwen.

Yes, daar wordt ik voor betaald.

[ocf81]

Hmm, lokale modellen zijn voor programmeren nog best goed te gebruiken, mits van voldoende omvang:

[ Voor 6% gewijzigd door ocf81 op 07-05-2026 21:19 ]

[DeNachtwacht]

Jaja... is al een tijdje hoor. Qwen 3.5 en Gemma 4 waren hier al best goed in, en Qwen 3.6 is alweer uit die ook weer substantiële sprongen maakt.

[ocf81]

DeNachtwacht schreef op donderdag 7 mei 2026 @ 23:34:
Jaja... is al een tijdje hoor. Qwen 3.5 en Gemma 4 waren hier al best goed in, en Qwen 3.6 is alweer uit die ook weer substantiële sprongen maakt.

Ik draai zelf geen benchmarks, dus het is wel fijn om dat eens gekwantificeerd te zien

[i-chat]

[q]HA aansturen kan natuurlijk al lokaal, dat had ik ook een tijdje draaien, voordat ik alles overhoop haalde en het nu weer opnieuw moet installeren. Ik moet alleen nog een slimme speaker hebben die dan met HA praat. Het is overigens beter om een relatief klein model (~12B parameters) te draaien voor dat soort dingen, omdat de interpretatie al lang genoeg duurt met zo'n klein model.[/q] mijn punt is / was dat een model als gema 4 e4b al op iets van 5gb schijnt te draaien. en dat is in beginsel al een multi-lingual audio/text/image model enige jammere aan dat model is dat je geen spraak-output hebt en daar dus nog een apart model voor moet inladen dat maakt het vram gebruik nog weer nét wat hoger.

wat betreft die speaker ben ik het voor 150% met je eens, het is leuk dat er her en der allerlij kickstarters rondgaan voor vervangende printplaatjes voor je google mini met een of andere esp chip en openwakeword erop maar ik wil helemaal geen printplaat is ik een kant-en-klaar product

[ocf81]

Een video over een een MI50, de AMD instinct adapter gebaseerd op Vega 20, inclusief mooie vergelijkingen met een AMD R9700 en een AMD Strix HALO:

[ Voor 9% gewijzigd door ocf81 op 09-05-2026 13:24 ]

[pelican]

DeNachtwacht schreef op donderdag 2 april 2026 @ 23:13:

... Wel is het voordeel van lokaal draaien natuurlijk dat je zeker weet dat je data echt binnen je pc blijft.

Is dat echt altijd zo? Als je bijv open-webui gebruikt gaat die dan niet online zoeken en kan dat dan ook niet je content het web op sturen?

[DeNachtwacht]

pelican schreef op zaterdag 9 mei 2026 @ 13:34:
[...]

Is dat echt altijd zo? Als je bijv open-webui gebruikt gaat die dan niet online zoeken en kan dat dan ook niet je content het web op sturen?

Via web search wordt er natuurlijk online gezocht, maar dat moet je ten eerste zelf aanzetten en ten tweede loopt dat dan dus via ollama zelf. Wel goed trouwens dat je die vraag stelt, want hoe de ollama tool met die privacy omgaat weet ik niet.

Maar het fijne van lokaal dingen stellen is dat je het ook echt weer kwijt bent zodra je naar een nieuwe tool/llm gaat. In chatgpt/copilot/gemini moet je zoveel moeite doen voor verwijderen dat op een gegeven moment privé gegevens toch ergens in de history blijven hangen en bovendien wordt het gebruikt voor trainen van nieuwe modellen. Bij jouw eigen open source model dat je lokaal draait ben je er 100% zeker van dat dat niet gebeurt want dat blijft allemaal op je pc.

[ Voor 7% gewijzigd door DeNachtwacht op 10-05-2026 12:04 ]

[ocf81]

Ik heb de machine weer eens flink aan het werk gezet, maar ik merk dat modellen die het geheugen van één kaart ontspringen toch wel relatief langzaam draaien. Vermoedelijk ligt dat aan de beperkte bandbreedte tussen de twee kaarten, omdat het moederbord de kaarten op acht banen PCI-e 4.0 laat draaien. Ik overweeg om dan maar een Threadripper systeem te bouwen. Als ik de heb ik nog wel acht reepjes van 32GB DDR4, waardoor ik dan alleen een CPU en een moederbord zou hoeven kopen. Voor de generatie kaarten die ik nu gebruik (W6800 / RDNA2) is PCI-e 4.0 goed genoeg, maar als ik de kaarten opwaardeer naar iets nieuwers zal dat dan weer een beperking vormen en de restwaarde zal vermoedelijk gering zijn. Als ik voor een DDR5 systeem ga ben ik aan de beurt als het om de aanschaf van geheugen gaat, maar dan kan ik wel langer door met het moederbord. Wat zouden jullie doen?

[Gr4mpyC3t]

ocf81 schreef op vrijdag 15 mei 2026 @ 16:45:
Ik heb de machine weer eens flink aan het werk gezet, maar ik merk dat modellen die het geheugen van één kaart ontspringen toch wel relatief langzaam draaien. Vermoedelijk ligt dat aan de beperkte bandbreedte tussen de twee kaarten, omdat het moederbord de kaarten op acht banen PCI-e 4.0 laat draaien. Ik overweeg om dan maar een Threadripper systeem te bouwen. Als ik de heb ik nog wel acht reepjes van 32GB DDR4, waardoor ik dan alleen een CPU en een moederbord zou hoeven kopen. Voor de generatie kaarten die ik nu gebruik (W6800 / RDNA2) is PCI-e 4.0 goed genoeg, maar als ik de kaarten opwaardeer naar iets nieuwers zal dat dan weer een beperking vormen en de restwaarde zal vermoedelijk gering zijn. Als ik voor een DDR5 systeem ga ben ik aan de beurt als het om de aanschaf van geheugen gaat, maar dan kan ik wel langer door met het moederbord. Wat zouden jullie doen?

Een Mac Studio? Of is dat vloeken in de kerk?

Hoeveel geheugen heb je nu op die kaarten zitten? Als dat toereikend genoeg is en het gaat je puur om de PCI lanes, dan zou ik zelf niet de DDR5 hoofdprijs willen betalen (denk ik).

[DeNachtwacht]

Als je al een complete pc hebt staan is mac studio relatief duur, het is vooral interessant als je een nieuw systeem wil samenstellen met zoveel mogelijk vram (bovendien zijn ook deze steeds moeilijker te vinden door de geheugentekorten).

In dit geval is zo'n DDR4 uitbreiding relatief nog te doen, maar wat doe je er precies mee? Dat is nogal belangrijk om te zien wat slim is natuurlijk.

[ Voor 24% gewijzigd door DeNachtwacht op 15-05-2026 18:55 ]

[ocf81]

Gr4mpyC3t schreef op vrijdag 15 mei 2026 @ 18:38:
[...]

Een Mac Studio? Of is dat vloeken in de kerk?

Hoeveel geheugen heb je nu op die kaarten zitten? Als dat toereikend genoeg is en het gaat je puur om de PCI lanes, dan zou ik zelf niet de DDR5 hoofdprijs willen betalen (denk ik).

Momenteel heb ik twee W6800's, waarmee het totaal op 64 GB VRAM komt. Ik overweeg om er twee kaarten er bij prikken. De huidige kaarten werken op PCI-e 4.0, maar als ik bijvoorbeeld zou overstappen naar AI9700's, dan zou dat 5.0 worden en die kaarten presteren iets beter dan de W6800's maar zijn ook niet veel duurder dan W6800's. Dat is ook een van de redenen om te kijken naar PCI-e 5.0. Ze waren alleen nog niet beschikbaar toen ik vorig jaar mijn systeem bouwde. Het nadeel van de AI9700 is wel dat die nog wat problemen met P2P heeft, waardoor een opstelling met meerdere kaarten nu nog niet werkt zoals je zou willen. Daar wordt geloof ik wel aan gewerkt en de upgrade kan later ook nog.

Met een Threadripper sWRX8 systeem is het kostenplaatje ca €2200 en het geheugen wordt daarnaast achtkanaals en 256GB. Met een Threadripper sTR5 systeem met 128GB RAM, en met 4 van de 8 kanalen bezet, dus effectief dezelfde geheugenbandbreedte als de sWRX8 opstelling, zit je aan ca. €8000. Dat is dus heel fors. Hét voordeel van sTR5 is dan natuurlijk dat de bandbreedte verdubbelt en dat kan echt wat schelen in casu LLM's draaien en dat je waarschijnlijk nog een nieuwe generatie kaarten er in kan prikken zonder dat die last gaan hebben van de bandbreedte op de bus.

Een Mac Studio is niet per se vloeken in de kerk, maar ik schat dan wel in dat 128 GB aan systeemgeheugen dan wel de ondergrens is. Die is alleen tweedehands verkrijgbaar en is zeldzaam. Ook is het aanpassen aan de andere software dan weer een heel leertraject. Het voordeel van een Threadripper PC is wel dat je ook makkelijk andere dingen ernaast kan draaien omdat de LLMs dan in een VM op Proxmox worden gehuisvest.

Maar goed, ik had eerder de kosten niet echt helder. Nu ik de mogelijkheden in wenslijsten heb gezet is dat wel het geval. Aangezien de kaarten voor beide opstellingen dezelfde kosten opleveren is het ook niet heel interessant om die op te sommen in de vergelijking. Die heb ik dus niet meegenomen en het is ook eigenlijk een losstaande overweging. €2200 voor een hobbyproject is aan de prijs, maar is "te overzien". Het is zeg maar een aanzienlijk deel van budget dat ik in een jaar aan mijn servers spendeer. Als je daar de prijs van een tweedehands auto tegenoverzet voor een verdubbeling van de bandbreedte naar/tussen de kaarten, dan moet ik toch wel twee keer nadenken. Tegelijkertijd lijkt de RAM-crisis nog zeker een jaar of anderhalf door te gaan, ook als OpenAI de opties die ze hebben niet uitoefent. Het is bijna alsof de CAPEX van de AI hosters in het klein wordt nagespeeld

[ocf81]

Het wordt toch maar de sWRX8 opstelling, want dat geheugen is me te prijzig. Ik heb er nog twee SSD's bij gedaan, waardoor het iets duurder werd.

#	Categorie	Product	Prijs	Subtotaal
1	Processors	AMD Ryzen Threadripper Pro 5955WX Boxed	€ 664,89	€ 664,89
1	Moederborden	ASRock WRX80 Creator R2.0	€ 599,-	€ 599,-
2	Videokaarten	AMD Radeon PRO W6800	€ 0,-	€ 0,-
1	Behuizingen	Silverstone RM51	€ 449,-	€ 449,-
1	Computer-accessoires	Silverstone RMS05-22 rails	€ 106,66	€ 106,66
1	Processorkoeling	Noctua NH-U14S TR4-SP3	€ 90,95	€ 90,95
8	Geheugen intern	Micron MTA18ASF4G72AZ-3G2B1	€ 0,-	€ 0,-
1	Voedingen	FSP Hydro PTM PRO 1650W ATX3.0(12V-2x6)	€ 251,52	€ 251,52
2	Interne ssd's	Lexar NM790 (zonder heatsink) 4TB	€ 299,-	€ 598,-
Bekijk collectie Importeer producten			Totaal	€ 2.760,02

Ik ben nog op zoek naar twee extra W6800's om het totaal op 4 te brengen.

[ Voor 98% gewijzigd door ocf81 op 19-05-2026 19:43 ]

[CSB]

Poeh, wat een geld

Kleine statusupdate van mijn bescheiden, oude gamebak:

Ik heb Ollama verruild voor Llama.cpp en op Ubuntu docker geinstalleerd. Mijn zeer oude Core i7 en 24 GB DDR3 RAM i.c.m. een RX6650XT kan toch de Qwen3.6 35B A3B draaien met 35+ token/s, wat ik acceptabel vind. Dit is tot op heden het beste wat ik eruit heb kunnen halen. Dankzij MTP zijn de kleine dense modellen ook nog eens een stukje sneller geworden, dus voor agents of automation tasks is het prima.

Ik wacht nog wel ff tot de bubble barst.

[ocf81]

Goedkoop is anders, maar dan kan ik wel modellen draaien die weer een slag groter zijn, of agenten die veel tegelijk doen. Overigens had ik de Noctua koeler al in huis, want van 2017 t/m 2022 heb ik een Threadripper systeem als desktop gehad. Dus dat scheelt weer €90

[CT]

Ik was nog geen 800 kwijt voor mijn AI rig, al had ik nog 32GB ddr4 liggen en een ssd, anders was het iets duurder geweest. Voeding en mobo+cpu was 200. Lastigste was een mobo vinden die 2x pcie x16 heeft.

Draai nu 2xRTX3080, die van taobao met 20gb vram p/s, kosten ongeveer 300 (euro) p/s en ik haal nu 32tkn/s met qwen-3.6-27b-q8 met een grote context. Dus je hoeft echt niet je spaarrekening te plunderen 😁

[Beekforel]

ocf81 schreef op maandag 4 mei 2026 @ 10:17:
Een video over Hermes, een AI agent die je lokaal kan draaien:
[YouTube: Hermes Agent Setup With Use Cases - Hermes Agent Use Cases]
Het lijkt me wel interessant om eens uit te proberen.

Ik heb gisteravond Hermes opgezet. Simpel en snel geregeld. Heb hem Gemini en OpenAI gegeven en wat dingetjes geprobeerd, werkt erg soepel. Heb hem aan een loze Gmai gekoppeld waar 6000 ongelezen spam mails, in een zucht had hij dit opgeruimd. Ik had eerder IronClaw geprobeerd met dezelfde taak, die kwam hier niet doorheen en had ook weinig doorzettingsvermogen.

Hij gaat nu voor mij op zoek naar wat hardware zodat ik thuis wat models kan gaan draaien. Ik zou zo'n agent wel in willen zetten voor wat management van documenten en notities etc. Maar dar durf ik niet met een publiek model...

[CT]

CT schreef op donderdag 21 mei 2026 @ 07:15:
[..] ik haal nu 32tkn/s met qwen-3.6-27b-q8 met een grote context [..]

maak daar maar 50 tk/s van dankzij de nieuwe mtp upgrade in llama.cpp
local inference maakt echt gro(o)t(ere) stappen de laatste tijd dan de grote online providers, maarja, de online providers hebben en zullen altijd de perverse prikkel hebben het slechter te maken, puur vanwege het feit dat ze betaald krijgen per token.. en lokaal wil je juist zoveel mogelijk tokens voor de laagste prijs

[CSB]

CT schreef op zaterdag 23 mei 2026 @ 08:04:
[...]

maak daar maar 50 tk/s van dankzij de nieuwe mtp upgrade in llama.cpp
local inference maakt echt gro(o)t(ere) stappen de laatste tijd dan de grote online providers, maarja, de online providers hebben en zullen altijd de perverse prikkel hebben het slechter te maken, puur vanwege het feit dat ze betaald krijgen per token.. en lokaal wil je juist zoveel mogelijk tokens voor de laagste prijs

Ja dat is mooi die ontwikkeling op de lokale LLM's. MTP helpt zeker. Ik wacht nog op de officiele merge van Turboquant in llama.cpp (kan nu ook met een fork, maar wil niet teveel rommelen) dan kan ik mijn context gaan ophogen en gaat het qwen3.6 MoE model van "redelijk werkbaar" naar volledig bruikbaar wat mij betreft.
Ik zat ook te kijken naar Hermes, maar daarvoor heb je modellen nodig die 64K context kunnen verwerken als minimum, en dat trekt mijn RX6650XT-tje niet.

[CT]

Ja met "veel" VRAM ben je nog nergens, want dat betekend niet dat je een groter model ineens -echt- kan gebruiken, eerder, een wat kleiner model maar wel met maximale context!
Ben nu ook 1 Quant naar beneden gegaan (Q8 -> Q6) op mijn setup, zodat ik 128k context makkelijk haal, met 64k kom je eigenlijk ook net iets te kort als je net lekker bezig ben met "coderen"..
128k redt het tot nu toe net aan per task, en moet dan ook weer ff met een schone beginnen erna. Zit nog wel op 40-50token/s met de dual 3080.


Dit is met Qwen3.6-27b; Tot nu toe ben ik er erg tevreden over, heb nog amper een regel zelf hoeven typen in een project dat ik recent ben begonnen, heb alleen in de planning wat regels code gegeven, als voorbeeld van mijn architectuur en stijl, en dat blijft qwen echt mooi volgen, ik kan de code tot nu toe prima lezen.

[ocf81]

CT schreef op zondag 24 mei 2026 @ 12:29:
Ja met "veel" VRAM ben je nog nergens, want dat betekend niet dat je een groter model ineens -echt- kan gebruiken, eerder, een wat kleiner model maar wel met maximale context!

Ik ben wel benieuwd waarom je dat nu precies zegt, want een grotere geheugenruimte maakt wel degelijk een groter model mogelijk. Het is natuurlijk wel zo dat een groter model een grotere verwerkingskracht vereist en dat het met meer I/O nodig heeft als je het over meerdere kaarten verdeelt.

[CT]

ocf81 schreef op maandag 25 mei 2026 @ 10:47:
[...]

Ik ben wel benieuwd waarom je dat nu precies zegt, want een grotere geheugenruimte maakt wel degelijk een groter model mogelijk. Het is natuurlijk wel zo dat een groter model een grotere verwerkingskracht vereist en dat het met meer I/O nodig heeft als je het over meerdere kaarten verdeelt.

wat ik bedoel is dat een model passen in je geheugen 1 ding is, maar het model gebruiken een ander ding (context size) en dat is weer gerelateerd aan de KV cache, dus wil je veel info als input (maw. tijdens coderen veel souce files en andere dingen, zit je snel op 8k tokens..) dan heb je al snel 0.25gb extra nodig bij qwen3.6 27b, maar die 8k is bij een sessie nooit genoeg, 32k enigzins maar dat is al 1GB 64k werkmaar is 2GB en 128k prima te doen is dus een extra 4GB..

Als je dan bijv een.16GB kaart koopt en denkt ik haal het net om mn model te laden, ga je die 4GB nooit erbij krijgen.. dus moet je een model dat past in minder dan 12GB hebben.. maw een kleiner model.

Ik heb nu dus bijv wel 40GB, maar klein deel is al buffer (draai nog een Wayland server) 27GB gaat naar het model (+ wat overhead omdat ik 2 gpu's gebruik, dat telt nooit 100% op) en dan 4GB kv-cache (met overhead) nou dan is het wel vol...

[ocf81]

CT schreef op maandag 25 mei 2026 @ 14:35:
[...]

wat ik bedoel is dat een model passen in je geheugen 1 ding is, maar het model gebruiken een ander ding (context size) en dat is weer gerelateerd aan de KV cache, dus wil je veel info als input (maw. tijdens coderen veel souce files en andere dingen, zit je snel op 8k tokens..) dan heb je al snel 0.25gb extra nodig bij qwen3.6 27b, maar die 8k is bij een sessie nooit genoeg, 32k enigzins maar dat is al 1GB 64k werkmaar is 2GB en 128k prima te doen is dus een extra 4GB..

Als je dan bijv een.16GB kaart koopt en denkt ik haal het net om mn model te laden, ga je die 4GB nooit erbij krijgen.. dus moet je een model dat past in minder dan 12GB hebben.. maw een kleiner model.

Ik heb nu dus bijv wel 40GB, maar klein deel is al buffer (draai nog een Wayland server) 27GB gaat naar het model (+ wat overhead omdat ik 2 gpu's gebruik, dat telt nooit 100% op) en dan 4GB kv-cache (met overhead) nou dan is het wel vol...

Ah, dan snap ik je beter. De context is inderdaad ook en factor van belang. 16GB aan (V)RAM is inderdaad goed genoeg voor ca 14B@Q4 als je een werkbare contextomvang wil hebben. En met zo'n klein model kan je dan weer niet heel veel. Dat is waarom ik nu ook naar vier kaarten met 32GB aan VRAM opschaal. Ik hoop dan zo rond de 90B@Q8 te kunnen draaien.

[ocf81]

De videoselectie van vandaag:

1: Alex Ziskind heeft een mooie vergelijking tussen verschillende kwantisaties van Qwen 3 32B:

Dat je minder nauwkeurige antwoorden krijgt bij lagere kwantisaties was natuurlijk wel bekend, maar deze video illustreert dat wel mooi.

2: bycloud met een video die uitlegt hoe DeepSeek V4 de geheugenbehoefte dramatisch beperkt:

[ Voor 26% gewijzigd door ocf81 op 27-05-2026 23:02 ]

[DeNachtwacht]

@ocf81 mooi filmpje over Deepseek V4. Helaas is de geheugenbehoefte ondanks die nieuwe compressiemethodes nog steeds vrij fors en gaat lokaal draaien op consumentenhardware nog niet helemaal gebeuren .

Maar het zijn interessante ontwikkelingen, als dit soort technieken in een Qwen 4.0 komen bijvoorbeeld begint het allemaal echt mooi te worden. @CT ik heb zelf codex gekoppeld aan ollama en geprobeerd een aantal pogingen gedaan als test een vrij stevige fullstack website te laten bouwen (denk aan "bouw de tweakers nieuwspagina en pricewatch na") door zowel 35B als 27B, maar merk dan dat je toch tegen de limieten aan loopt. Bij heel grote opdrachten is het uren wachten om uiteindelijk geen resultaat te krijgen. Kleinere websitejes (spelletje oid) gaat echter al verrassend goed

[CT]

DeNachtwacht schreef op donderdag 28 mei 2026 @ 08:43:

[..]@CT ik heb zelf codex gekoppeld aan ollama en geprobeerd een aantal pogingen gedaan als test een vrij stevige fullstack website te laten bouwen (denk aan "bouw de tweakers nieuwspagina en pricewatch na") door zowel 35B als 27B, maar merk dan dat je toch tegen de limieten aan loopt. Bij heel grote opdrachten is het uren wachten om uiteindelijk geen resultaat te krijgen. Kleinere websitejes (spelletje oid) gaat echter al verrassend goed

35B model zou ik links laten liggen, die heeft maar 3B active parameters, en de 27B is volledig active geloof ik, dat maakt 'm veel "intelligenter" met name voor coding, alleen alles onder de Q8 (of Q6_XL met qwen3.6) lijkt wel snel dommer te worden.

Verder is het harnass erg belangrijk, heb zelf geen ervaring met Codex, maar lijkt mij opzich wel een capabele Agent? Gebruik nu met veel Zed, die agent pakt het wel goed op. Maar je moet sowieso wel ff wachten uiteraard, 40-50tk/s is niet langzaam maar ook geen premium-opus-snelheid. En wat erg helpt is eerst 'brainstormen' en een soort plan(.md) maken met stappen en wat je kwa structuur verwacht en welke libraries etc. Eigenlijk 'droog' programmeren.

Als je dan tevreden bent over dit (gigantische) plan en dan vraag je gewoon of de agent er aan kan beginnen de implementatie, per stap bijv om de context-size goed in de gaten te houden, dat gaat echt super goed hier iig.

[ocf81]

DeNachtwacht schreef op donderdag 28 mei 2026 @ 08:43:
@ocf81 mooi filmpje over Deepseek V4. Helaas is de geheugenbehoefte ondanks die nieuwe compressiemethodes nog steeds vrij fors en gaat lokaal draaien op consumentenhardware nog niet helemaal gebeuren .

Maar het zijn interessante ontwikkelingen, als dit soort technieken in een Qwen 4.0 komen bijvoorbeeld begint het allemaal echt mooi te worden.

Ik snap niet waarom dat op consumentenhardware niet ook relevant zou kunnen zijn?

[DeNachtwacht]

@ocf81 ik snap je reactie niet? Deepseek V4 heeft ook in de flash variant meer dan 250GB VRAM nodig, dat is dus voor lokaal draaien op consumentenhardware totaal niet van toepassing?

[ocf81]

DeNachtwacht schreef op donderdag 28 mei 2026 @ 10:00:
@ocf81 ik snap je reactie niet? Deepseek V4 heeft ook in de flash variant meer dan 250GB VRAM nodig, dat is dus voor lokaal draaien op consumentenhardware totaal niet van toepassing?

Ja, dat is voor nu en voor dat specifieke model. Het mechanisme zal, zo neem ik aan, ook beschikbaar komen voor lokaal gedraaide modellen?

[DeNachtwacht]

Ehm, ja maar precies daar onder zeg ik

Maar het zijn interessante ontwikkelingen, als dit soort technieken in een Qwen 4.0 komen bijvoorbeeld begint het allemaal echt mooi te worden

Dus we zijn het gewoon eens?

[ocf81]

DeNachtwacht schreef op donderdag 28 mei 2026 @ 10:04:
Ehm, ja maar precies daar onder zeg ik


[...]

Dus we zijn het gewoon eens?

Uiteindelijk wel, hoewel ik dat in eerste instantie niet zo begreep. Het punt van het noemen van zo'n video in deze discussie is natuurlijk nooit om te suggereren dat we letterlijk DeepSeek V4 lokaal gaan draaien, maar om te kijken waar het heen gaat en wat dat kan betekenen als zo'n techniek eenmaal doorsijpelt.

[Varkzor]

CT schreef op donderdag 28 mei 2026 @ 09:37:
[...]

35B model zou ik links laten liggen, die heeft maar 3B active parameters, en de 27B is volledig active geloof ik, dat maakt 'm veel "intelligenter" met name voor coding, alleen alles onder de Q8 (of Q6_XL met qwen3.6) lijkt wel snel dommer te worden.

Verder is het harnass erg belangrijk, heb zelf geen ervaring met Codex, maar lijkt mij opzich wel een capabele Agent? Gebruik nu met veel Zed, die agent pakt het wel goed op. Maar je moet sowieso wel ff wachten uiteraard, 40-50tk/s is niet langzaam maar ook geen premium-opus-snelheid. En wat erg helpt is eerst 'brainstormen' en een soort plan(.md) maken met stappen en wat je kwa structuur verwacht en welke libraries etc. Eigenlijk 'droog' programmeren.

Als je dan tevreden bent over dit (gigantische) plan en dan vraag je gewoon of de agent er aan kan beginnen de implementatie, per stap bijv om de context-size goed in de gaten te houden, dat gaat echt super goed hier iig.

heb je ze zelf al naast elkaar getest?

Ik zit met een RTX 5060ti 16gb en probeer daar de qwen 3.6 35b A3b op omdat een groter model op Q4 er niet op past.

Ik ben zeker geinteresseerd of ik bvb 3.6 27b kan draaie op een RTX 5060ti, iemand ervaring mee?

Verder "hoop" ik alsnog een betaalbare 3090 op de kop te knn tikken, dat geeft toch iets meer opties.

[CT]

Varkzor schreef op vrijdag 29 mei 2026 @ 23:39:
[...]

heb je ze zelf al naast elkaar getest?

Ik zit met een RTX 5060ti 16gb en probeer daar de qwen 3.6 35b A3b op omdat een groter model op Q4 er niet op past. [..]

Heb er geen studie van gemaakt, maar voor coden met lange contexten is 27b (active) echt wel beter dan a(ctive)3b.
Alleen, je moet het dus wel kunnen draaien.. als je de hardware niet hebt, dan zoek je natuurlijk naar 't volgende model dat het maximale uit je systeem kan halen. Dan komt 35b-a3b om de hoek kijken inderdaad en krijg je echt wel veel voor je vram.
Maar, net als dat ik met qwen3.6-27b geen Qwen3-Coder-Next verwacht, kan je met 35b-a3b weer geen 27b verwachten etc.etc.

[DeNachtwacht]

Qwen 3.6 35B is in nvfp4 24GB, 27B zijn zelfs al versies van 20GB te vinden in nvfp4, dus die is zelfs kleiner. A3b zegt in dit geval niks, omdat het 35B model net als @CT zegt dus werkt met een actief (kleiner) deel, die A3b moet je dus niet verwarren met 3 bit kwantisatie.

Of heb je het model in Q3? Unsloth heeft ook niet kleiner, en dan is het model dus inderdaad net iets groter dan 16GB, dus alsnog te weinig: https://huggingface.co/collections/unsloth/qwen36

Met een 16GB videokaart zal je het in Q2 wel kunnen draaien denk ik (zal pakweg 12GB zijn + 4GB ruimte voor +/- 128K context. Maar zelf kan ik hem nergens in die maat vinden.

[Martinspire]

Ik vind het zelf ook wel jammer dat er niet meer modellen beter in 16gb passen. Dat is toch wel de mainstream max meestal (voor meer moet je meteen naar de xx80 en xx90 series gaan kijken (en AMD levert daar niks van bv). Wil je je model populair hebben, dan moet je echt met minder geheugen gaan doen. Verder vind ik dat het raar is dat er in de communciatie van modellen nooit echt helder is hoeveel geheugen hij nodig heeft. De xxB zegt lang niet alles. De ene keer kun je 12B niet eens draaien en de andere keer past 20B ineens prima.

Ik mis bij de self-hosted modellen en tools nog een beetje de snelheid die ik met een VSCode Github Copilot wel ervaar en ook de mogelijkheden om snel online te zoeken (vaak gaat dat toch wat minder goed en ik weet niet zo goed hoe ik dat kan verbeteren). Oftewel, ik ben nog zoekende naar de tools en modellen om een deel van de tokens die ik dagelijks gebruik met ontwikkelen, lokaal te kunnen doen en besparen.

[CT]

Martinspire schreef op zondag 31 mei 2026 @ 01:04:
[..]

Denk dat dit met name komt omdat:
a. de 'grote' bedrijven 0 reden hebben lokaal makkelijk te maken = minder omzet voor hun en veel reden om 'online' zo makkelijk mogelijk te maken en te ontzorgen
b. het lokale is dus overgeleverd 'aan de community', en dit wordt toch grotendeels gedragen door enthousiastelingen wat betekend at er een soort 'gap' is tussen wat het grote publiek eigenlijk wilt en wat de 'hobbist' graag wilt

Dus je moet eerst die knowledge-gap over om lokale modellen met success te gebruiken.. dan zijn de opties wel unlimited, maar kost dus (veel uitzoek) tijd en ook het nodige geld.

Er zijn wel initiativen zoals https://www.fitllms.com om al die calculaties te doen kwa model fitting, maar dan merk je al dat de parameters eindeloos zijn (mijn configuratie kan ik niet eens instellen op die site, terwijl het naar mijn bubbel-idee toch de meest standaard zou moeten zijn, maar jij denkt daar al anders over (16gb is de standaard) etc. ga dat maar is oplossen 'als hobby' geen bedrijf zijnde).

En dan nog de usecases, chatgpt doet gewoon 'alles' in de frontend (image, audio, code, rag, +websearch etc.)
Maar lokaal kan je er 1 kiezen of elk onderwerp apart aanpakken.. met dezelfde diepgang per onderwerp..
De online grote spelers hebben dit al voor je opgelost en bieden het als een totaal pakketje aan, dit vertekend ook het beeld voor de gemiddelde gebruiker, die nu verslaafd is aan dat alles in 1x kan.

In je geval van copilot en searches zou je naast een LLM (zoals qwen) ook kunnen kijken naar een MCP oplossing (of agent die mcp ondersteund) zoals https://github.com/upstash/context7 dan bereik je denk ik wat je wilt lokaal.

[DeNachtwacht]

Martinspire schreef op zondag 31 mei 2026 @ 01:04:
Ik mis bij de self-hosted modellen en tools nog een beetje de snelheid die ik met een VSCode Github Copilot wel ervaar en ook de mogelijkheden om snel online te zoeken (vaak gaat dat toch wat minder goed en ik weet niet zo goed hoe ik dat kan verbeteren). Oftewel, ik ben nog zoekende naar de tools en modellen om een deel van de tokens die ik dagelijks gebruik met ontwikkelen, lokaal te kunnen doen en besparen.

Die snelheid kun je alleen benaderen door taalmodellen die (inclusief de benodigde context) in totaal in zijn geheel in het VRAM van de GPU passen. Kies je op een 16GB videokaart voor een 15 GB model, dan zal de context toch al snel met 3 a 4 gb over dat vram gaan en worden geoffload naar je ramgeheugen en daar zit de traagheid: dan gaat het snel factor 20 langzamer.

Vuistregeltje dat wel redelijk werkt is dat je bij het downloaden simpelweg een model kan hebben dat 75% van je vram is, dan is er 25% ruimte voor context. Dus in het geval van een 16GB videokaart kom je dan op taalmodellen van max 12 GB downloaden.

En even een droom verder; voorlopig zijn we er nog echt niet dat lokale modellen in de buurt komen van commerciele modellen. Dat is ook logisch, want de schattingen zijn dat die al snel richting 1 terabyte groot zijn . Met lokale modellen kun je nu aardig vibecoden door suggesties van stukjes code te vragen, maar niet complete fullstack sites from scratch opbouwen. Ik heb dat (met de luxe van een RTX 5090 uit de tijd dat hij nog betaalbaar was) zelfs op 32GB vram nog niet succesvol voor elkaar gekregen.

[savale]

Had hier nog een dell t5810 met 256gb ddr4 (2400MHz) ram staan van een projectje. Ooit voor 300 euro op de kop weten te tikken. (ram prijs zat toen in een dipje blijkbaar ) Het leuke is dat die 4 dual RAM channels heeft. CPU is nu 20 core/40 threads xeon 2698v4 en heb er nu 4tb ssd en een 3090 in gestopt en dat is echt wel leuk voor LLM's. Grootste kostenpost is natuurlijk nog wel de GPU...


Heb nu deepseek v4 flash (155GB) draaien met 11 tokens/sec. (zonder gpu 4 tokens/sec) Niet super snel, maar met een agent erbij is dat best bruikbaar. Qwen3.6-27B-Q4_K_M doet ruim 43 tokens/sec. (geen MTP nog)

Verbruik: idle 60 watt, met Qwen aan het werk komt daar ruim 300watt bij voor de GPU. Deepseek een stuk minder omdat daar de GPU niet zo hard werkt. Dan blijft het totaal wel onder de 300 watt.

[ Voor 17% gewijzigd door savale op 01-06-2026 00:01 ]

[R3m3d7]

Dat is gaaf @savale !

Ik ben ook aan het kijken wat ik wil met lokale ai vs cloud, ik heb nu een 5-tal hermes agents aan openai codex hangen en ik heb er de grootste lol mee.

voor agentic coding is snelheid niet belangrijk, voor mij niet iig, en ik zou tekenen voor zn model met die snelheid, erg gaaf.


Hoeveel ts doet hij zonder gpu? Ah, 4 staat in je post

[ Voor 8% gewijzigd door R3m3d7 op 02-06-2026 10:47 ]

[savale]

Ja de GPU doet wel iets met deepseek, maar het meeste moet nog wel op de CPU/DDR4 ram... Moet me even wat meer gaan verdiepen in agents, zodat ik programmeertaken over meerdere uren kan laten uitvoeren wat 11 tokens per seconde is te traag om de hele tijd op te wachten. Ik ga met https://opencode.ai/ aan de gang. Kwam dat toevallig hier tegen:

YouTube: Qwen 3.6 vs Gemma 4: I Built the Same App With Both Locally

Doet wel precies wat ik zoek.

[ocf81]

Ik heb nog een X10DRL-i liggen met 128 GB aan geheugen en twee 2698v4's. Het zat eerst in mijn NAS en was daar eigenlijk overkill voor. (en ook weer niet, want de ST prestaties van de 2698v4 was de reden om die CPU te gebruiken)

Misschien voor de grap toch maar inbouwen in een kast om eens te kijken wat die kan presteren, voordat ik hem wegdoe als tweedehands server

[savale]

ocf81 schreef op dinsdag 2 juni 2026 @ 12:55:
Ik heb nog een X10DRL-i liggen met 128 GB aan geheugen en twee 2698v4's. Het zat eerst in mijn NAS en was daar eigenlijk overkill voor. (en ook weer niet, want de ST prestaties van de 2698v4 was de reden om die CPU te gebruiken)

Misschien voor de grap toch maar inbouwen in een kast om eens te kijken wat die kan presteren, voordat ik hem wegdoe als tweedehands server

Belangrijk dat al je geheugenslots vol zitten voor maximale bandbreedte.

[ocf81]

savale schreef op dinsdag 2 juni 2026 @ 13:30:
[...]


Belangrijk dat al je geheugenslots vol zitten voor maximale bandbreedte.

Ja, bandbreedte maximaliseren is natuurlijk altijd belangrijk, en in mijn geval is daar ook aan voldaan. Is het opdelen in twee NUMA-domeinen eigenlijk geen nadeel voor het draaien van LLM's?

[DeNachtwacht]

savale schreef op zondag 31 mei 2026 @ 23:46:
Had hier nog een dell t5810 met 256gb ddr4 (2400MHz) ram staan van een projectje. Ooit voor 300 euro op de kop weten te tikken. (ram prijs zat toen in een dipje blijkbaar )

Nice! Ja oef ik zat dus ook laatst verbaasd te kijken dat ik nota bene net iets meer dan een jaar geleden 32GB DDR4 erbij kocht voor mijn pc voor... €58. Ik weet nog dat ik toen een beetje twijfelde zal ik niet gewoon 4x 32GB kopen voor €200 en de 2x16GB die ik al heb weer doorverkopen... had ik dat maar gedaan .

[savale]

ocf81 schreef op dinsdag 2 juni 2026 @ 13:40:
[...]

Ja, bandbreedte maximaliseren is natuurlijk altijd belangrijk, en in mijn geval is daar ook aan voldaan. Is het opdelen in twee NUMA-domeinen eigenlijk geen nadeel voor het draaien van LLM's?

Geen issue dacht ik, maar je kunt denk ik beter je processoren iets omlaag clocken om wat energie te besparen, want RAM bandbreedte gaat je bottleneck zijn. (--numa flag ook gebruiken bij llama.cpp in ieder geval)

[ Voor 5% gewijzigd door savale op 02-06-2026 16:52 ]