Ervaringen met zelf gehoste AI assistenten

[Ruitenwisser]

Ik vind het interessant om juist te weten wat er achter zit. Ik heb ook een oude PC staan waar llama.cpp op draait (Proxmox server in eigen LXC), het is momenteel de enige LXC die de GPU's gebruikt (Immich kan later nog aan bod komen maar ik ben er nog niet aan toe), dus zit ook niet echt met dat probleem. Ik had wel een FastAPI switcher programma laten schrijven om van model te kunnen wisselen en volledig uit het VRAM te halen buiten de LXC om maar sinds ik met argumenten ben beginnen spelen gebruik ik het eigenlijk niet meer en ssh ik naar de LXC.

[Ruitenwisser]

Vandaag deze extensie voor Pi tegengekomen om websearches uit te voeren: https://pi.dev/packages/pi-ketch-web-access

Werkt wel goed. Bij deze ook SearXNG leren kennen en ben direct ook aan het kijken om deze als LXC toe te voegen tot mijn server .

[ Voor 8% gewijzigd door Ruitenwisser op 15-07-2026 22:19 ]

[Bontje Blauw]

Vintelligence schreef op dinsdag 14 juli 2026 @ 17:01:
[...]

Excuses voor de herhaling. Zou iemand mij hiermee kunnen helpen? Iemand die ervaring heeft met de Continue extensie in Visual Code en lokaal een model draait?

VScode ontwikkelt zich heel snel momenteel. Wekelijkse updates.
Continue is minder relevant aan het worden, omdat VScode Chat al zo compleet aan het worden is en al bij default workspace / context bewust is.
Ik heb ook met Continue / Roo / Aider zitten prutsen, maar kreeg dat nooit helemaal vlekkeloos draaiend en dan mis ik de kennis om allerlei parameters te verfijnen in de agent/provider en VScode.

Ik test nu local LLM's met Command Palette -> Chat: Manage Language Models.
Klik Install Model Provider -> Extensions -> tag:"language-models"
Installeer bijv. Ollama.
Download modellen in terminal, bijvoorbeeld: Ollama pull gemma4:12b
Deze modellen komen dan automatisch in de Chat beschikbaar als modellen.
Dit is de meest klik en gaan methode en een goed startpunt. Kies eerst modellen die in je VRAM passen.
Met Developer: Show Chat Debug View kan je monitoren wat er op de achtergrond allemaal gebeurt.
Met ollama ps kan je zien welk mode Ollama werkelijk draait en hoeveel GPU / CPU hij gebruikt.

Je kan enorm veel met VScode Chat en VScode Agents.
Ik lees mij in op https://code.visualstudio.com/docs
Dat is altijd actueel en soms met een link naar een video turorial.

[ Voor 15% gewijzigd door Bontje Blauw op 16-07-2026 12:09 ]

[Ruitenwisser]

Gisteren het argument `--ctx-checkpoints` leren kennen. Deze staat standaard op 32 en zegt hoeveel checkpoints van de sessie die llama-server moet maken en bijhouden. Dit is goed bij het editen van eerdere antwoorden en bij het 'branchen' zodat hij niet telkens alles opnieuw moet berekenen. Met 32 en een oplopende grootte van checkpoints naargelang hoe meer context, werd llama-server gewoon 'gekilled' toen mijn RAM vol zat. Checkpoint groottes waren dan rond de 500-600MB en met maar 16GB in het systeem (12GB toegewezen aan de LXC), zat hij telkens al vlug tegen zijn limiet.

Momenteel heb ik het op 8 gezet met dat ik niet echt edit of branch en volgens mij wordt er ook gebruik gemaakt van system RAM bij het compacteren van de context en ik daar dus ook nog genoeg RAM voor vrij moet hebben.

[Vintelligence]

Bontje Blauw schreef op donderdag 16 juli 2026 @ 11:39:
[...]

VScode ontwikkelt zich heel snel momenteel. Wekelijkse updates.
Continue is minder relevant aan het worden, omdat VScode Chat al zo compleet aan het worden is en al bij default workspace / context bewust is.
Ik heb ook met Continue / Roo / Aider zitten prutsen, maar kreeg dat nooit helemaal vlekkeloos draaiend en dan mis ik de kennis om allerlei parameters te verfijnen in de agent/provider en VScode.

Ik test nu local LLM's met Command Palette -> Chat: Manage Language Models.
Klik Install Model Provider -> Extensions -> tag:"language-models"
Installeer bijv. Ollama.
Download modellen in terminal, bijvoorbeeld: Ollama pull gemma4:12b
Deze modellen komen dan automatisch in de Chat beschikbaar als modellen.
Dit is de meest klik en gaan methode en een goed startpunt. Kies eerst modellen die in je VRAM passen.
Met Developer: Show Chat Debug View kan je monitoren wat er op de achtergrond allemaal gebeurt.
Met ollama ps kan je zien welk mode Ollama werkelijk draait en hoeveel GPU / CPU hij gebruikt.

Je kan enorm veel met VScode Chat en VScode Agents.
Ik lees mij in op https://code.visualstudio.com/docs
Dat is altijd actueel en soms met een link naar een video turorial.

[Afbeelding]

[Afbeelding]

Dit lijkt inderdaad te werken qua auto approve. Dankjewel voor de tip en gebruik natuurlijk veel liever ingebouwde dingen in VS Code dan weer een extensie. Ik ga ermee aan de slag!

Overigens andere vraag, heb nu Ollama geinstalleerd op mijn Mac. Daar draaien MLX modellen beter op heb ik begrepen maar heb ook begrepen dat Ollama standaard GGUF modellen installeert. Klopt dat? En kan MLX in Ollama ook draaien of is dat niet mogelijk? En zo ja, hoe download ik dan die MLX versies? Dat zie ik op deze site er niet bij staan: https://ollama.com/search

[DeNachtwacht]

Vintelligence schreef op vrijdag 17 juli 2026 @ 12:09:
Klopt dat? En kan MLX in Ollama ook draaien of is dat niet mogelijk? En zo ja, hoe download ik dan die MLX versies? Dat zie ik op deze site er niet bij staan: https://ollama.com/search

Ja.

Vaak uploaden andere gebruikers andere versies van modellen (nvfp4, mlx et cetera). Je kan alles wat binnen ollama beschikbaar is hier vinden: https://ollama.com/library en je kan de benodigde terminalcode om het model te draaien er ook vinden. Ik weet niet welk model je zoekt, maar stel dat dat bananenLLM is, dan vind je daar alle beschikbare varianten en hopelijk dus ook een MLX. Zo nee, dan heb je even pech en is het wachten tot iemand deze beschikbaar maakt.

Als je het model in de ollama GUI niet kan vinden kun je heel simpel via de terminal

ollama run bananenLLM-mlx

typen, dan wordt dat specifieke model gedownload en staat hij er de volgende keer in ollama ook tussen.

Nu hopen dat er ooit iemand nog bananenLLM uitbrengt

[doldrums]

Voor de M line draait Ollama standaard met MLX tegenwoordig en als je modellen download vanuit Ollama zijn het ook meteen mlx versies van de modellen. Dat geldt precies zo voor ML Studio.

[Ruitenwisser]

Voor de fans van Qwen, versie 3.8 is op komst

[rbrtb]

Hallo allemaal, beginner hier. Ik wil langzaam ook meer gebruik gaan maken van programmeren met behulp van lokale LLMs. Zoals ik van iedereen in dit topic begrijp is een videokaart met 32 GB RAM wel een vereiste om krachtigere modellen te draaien. Daarom ben ik van plan een Asus Radeon AI Pro R9700 te kopen (of vergelijkbaar).

Probleem wat ik heb is dat mijn computer in de woonkamer staat, en het geluid van een blower (zover ik weet hebben alle R9700s een blower) niet compatible is met andere gezinsleden die graag een rustige avond willen hebben. Nu begrijp ik dat je de herrie beperkt kunt houden door de kaart te beperken door de kaart power met 10-30% terug te schroeven.

Aangezien hier meerdere mensen met workstation GPUs (met blower) lijken te posten, hoe is jullie ervaring hiermee? Kun je zo'n kaart fatsoenlijk stil krijgen?

[ocf81]

Servertje op zolder neerzetten?

[ocf81]

Ruitenwisser schreef op zondag 19 juli 2026 @ 12:18:
Voor de fans van Qwen, versie 3.8 is op komst

Met 2.4T parameters weet ik niet zo goed of ik daar wel iets mee kan. Dat lijkt dan eerder in de categorie GLM5.2 etc te zitten, dan dat het echt geschikt is om lokaal te draaien. Maar het is leuk dat het bestaat

[Puff_Uncle]

ocf81 schreef op vrijdag 24 juli 2026 @ 00:09:
[...]

Met 2.4T parameters weet ik niet zo goed of ik daar wel iets mee kan. Dat lijkt dan eerder in de categorie GLM5.2 etc te zitten, dan dat het echt geschikt is om lokaal te draaien. Maar het is leuk dat het bestaat

de hoop is op een qwen 3.8 9b of 27b parameter model

[Felicia]

Puff_Uncle schreef op vrijdag 24 juli 2026 @ 09:18:
[...]

de hoop is op een qwen 3.8 9b of 27b parameter model

Ik heb liever de 35b equivalent omdat die gewoon veel sneller gaat (bij mij).

Vervolgens ben ook met interesse aan het spelen met Kimi Linear (48b). Die gaat op een andere manier om met context waardoor die niet zoveel explodeert als bij andere modellen. Zoals ik het begrijp wordt alleen de relevante context opgeslagen en niet de complete context. Dit lijkt een stuk sneller te gaan omdat de te berekenen context vele malen sneller gaat.

[Puff_Uncle]

Felicia schreef op vrijdag 24 juli 2026 @ 11:53:
[...]

Ik heb liever de 35b equivalent omdat die gewoon veel sneller gaat (bij mij).

Vervolgens ben ook met interesse aan het spelen met Kimi Linear (48b). Die gaat op een andere manier om met context waardoor die niet zoveel explodeert als bij andere modellen. Zoals ik het begrijp wordt alleen de relevante context opgeslagen en niet de complete context. Dit lijkt een stuk sneller te gaan omdat de te berekenen context vele malen sneller gaat.

ah leuk, deze heb ik nog niet gezien. Zeker met veel context wordt bijna elke model sloom bij mij, zelfs met een 4b model. ik heb een radeon 6900xt dus daar zal deze misschien wel goed werken.

[Felicia]

Puff_Uncle schreef op vrijdag 24 juli 2026 @ 12:47:
[...]

ah leuk, deze heb ik nog niet gezien. Zeker met veel context wordt bijna elke model sloom bij mij, zelfs met een 4b model. ik heb een radeon 6900xt dus daar zal deze misschien wel goed werken.

Ik weet niet hoeveel Vram die heeft maar de Q4_K_M is 30GB groot en die gebruik ik omdat de Q3_K_L constant toolfouten genereert. Ik heb (inmiddels) een Intel Arc Pro B70 (32GB Vram) en die haalt met de laatste SYCL versie matige resultaten.
Wat opvalt is dat prompt processing enorm inkakt naar mate de context groeit bij het processen, dus 350+ bij 4k tokens maar nog maar 250 bij 16k tokens. Nou weet ik niet of dat de huidige SYCL implementatie is of inherent aan het model en hoe deze context gaandeweg inperkt.

Al met al heb ik het idee dat dit model niet langzamer is dan Qwen 3.6 35b A3b, zeker als een run daar goed met Cache kan werken (wat zeker het geval is met opencode, daar zie ik in een half uur miljoenen tokens voorbij komen en in dezelfde tijd bij Kimi Linear zo'n 40k tokens, maar onduidelijk of de effectieve output vergelijkbaar is in die periode)


Oh, en als je deze op Windows gebruikt zou ik de Git Bash shell gebruiken want in ieder geval met Opencode heeft dit model kennelijk moeite met powershell...

[Deepflame]

rbrtb schreef op donderdag 23 juli 2026 @ 19:48:
Hallo allemaal, beginner hier. Ik wil langzaam ook meer gebruik gaan maken van programmeren met behulp van lokale LLMs. Zoals ik van iedereen in dit topic begrijp is een videokaart met 32 GB RAM wel een vereiste om krachtigere modellen te draaien. Daarom ben ik van plan een Asus Radeon AI Pro R9700 te kopen (of vergelijkbaar).

Probleem wat ik heb is dat mijn computer in de woonkamer staat, en het geluid van een blower (zover ik weet hebben alle R9700s een blower) niet compatible is met andere gezinsleden die graag een rustige avond willen hebben. Nu begrijp ik dat je de herrie beperkt kunt houden door de kaart te beperken door de kaart power met 10-30% terug te schroeven.

Aangezien hier meerdere mensen met workstation GPUs (met blower) lijken te posten, hoe is jullie ervaring hiermee? Kun je zo'n kaart fatsoenlijk stil krijgen?

Met 24 GB kom je al een heel eind, zelfs met 16 GB kan je al best leuke dingen doen. 32 is leuk maar zeker niet een harde vereiste.

NVidia kaarten zijn, over het algemeen, wel beter qua performance en gebruikersgemak. Met wat moeite kom je er ook wel met AMD, maar het is nooit helemaal hetzelfde. Een tweedehands RTX 3090 is een goede investering.

[Felicia]

rbrtb schreef op donderdag 23 juli 2026 @ 19:48:
Hallo allemaal, beginner hier. Ik wil langzaam ook meer gebruik gaan maken van programmeren met behulp van lokale LLMs. Zoals ik van iedereen in dit topic begrijp is een videokaart met 32 GB RAM wel een vereiste om krachtigere modellen te draaien. Daarom ben ik van plan een Asus Radeon AI Pro R9700 te kopen (of vergelijkbaar).

Probleem wat ik heb is dat mijn computer in de woonkamer staat, en het geluid van een blower (zover ik weet hebben alle R9700s een blower) niet compatible is met andere gezinsleden die graag een rustige avond willen hebben. Nu begrijp ik dat je de herrie beperkt kunt houden door de kaart te beperken door de kaart power met 10-30% terug te schroeven.

Aangezien hier meerdere mensen met workstation GPUs (met blower) lijken te posten, hoe is jullie ervaring hiermee? Kun je zo'n kaart fatsoenlijk stil krijgen?

Ik heb zelf een PC met upgrade pad van

• 4070 Super (12GB, geen blower, luid en irritant)
• Intel Arc Pro B60 (24GB Vram, blower en relatief rustig)
• en nu een Intel Arc Pro B70 (32GB Vram, blower en daar wordt je niet blij van in dezelfde ruimte, ik zet de GPU op max 40% vermogen als de jongeste naar bed gaat en PC staat in de kamer ernaast ).

Qua performance is de B60 niet gelijk aan de 4070 qua rekenkracht maar door het vele hogere Vram kan ik desondanks modellen draaien die met de 4070 niet haalbaar waren. De B70 lijkt qua rekenkracht op 5060/5070 niveau te zitten maar dan wel met 32GB Vram.
Met llama.cpp SYCL zijn de performance metrics de afgelopen maanden vooral op prompt processing behoorlijk verbeterd.

De kostprijs was voor mij reden om in ieder geval de B60 te proberen (~700 euro) en ook te upgraden naar de B70 (~1300 euro).

_{Ik had ook een 5070 Ti geprobeerd maar om onbekende redenen wilde mijn PC daarmee niet booten ondanks ruim voldoende voeding. Achteraf blij met de Intel wat veel meer Vram :D}

[rbrtb]

Felicia schreef op vrijdag 24 juli 2026 @ 20:13:
[...]

Ik heb zelf een PC met upgrade pad van

• 4070 Super (12GB, geen blower, luid en irritant)
• Intel Arc Pro B60 (24GB Vram, blower en relatief rustig)
• en nu een Intel Arc Pro B70 (32GB Vram, blower en daar wordt je niet blij van in dezelfde ruimte, ik zet de GPU op max 40% vermogen als de jongeste naar bed gaat en PC staat in de kamer ernaast ).

Bedankt voor je reactie! Aangezien je het hele pad hebt doorlopen, vond je kwaliteit van de grotere modellen (12GB->24GB->32GB) de upgrades waard?

Zelf ben ik van plan de LLMs te gebruiken als coding assistenten voor uit de hand gelopen hobby projecten in c++.

Ik twijfel nog steeds een beetje tussen een AMD 9070 (ie. 16GB, dus 'weinig' VRAM, maar wel stil en nog niet al te duur) en een Intel b60/ AMD R9700 (veel VRAM en duurder/luider). Op het moment heb ik nog een oude RTX2070 non-super (8 GB) in mijn PC.

[Felicia]

rbrtb schreef op zaterdag 25 juli 2026 @ 21:29:
[...]

Bedankt voor je reactie! Aangezien je het hele pad hebt doorlopen, vond je kwaliteit van de grotere modellen (12GB->24GB->32GB) de upgrades waard?

Ik gebruik nu vooral Qwen 35b Q4_K_M en dat paste op de 24GB met zo'n 128k context. Dat was erg goed te doen qua snelheid. Met de laatste ontwikkelingen rondom prompt processing in llama.cpp ben ik nog blijer (prompt processing is grofweg verdubbeld en de vertraging bij grotere contexten is veel kleiner). Met volledige context zit die rond de 25GB Vram.
Het enige wat "irritant" is, is dat het model in Windows na zo'n 30 seconde inactiviteit automatisch naar RAM geladen wordt, dit lijkt een Intel power-saving feature die ik niet uit kan zetten. Ik heb dus een simpele webconsole waarmee ik van model kan wisselen die ook 1x per 30s een prompt stuurt (met Hi en 1 token aan reactie verwacht).

Zelf ben ik van plan de LLMs te gebruiken als coding assistenten voor uit de hand gelopen hobby projecten in c++.

Ik zit met name te klooien met hobby projecten voor werk zoals een branch standaard (process en messaging structuur) een demo-app geven die we wellicht ooit willen inzetten.
Daarnaast vooral vanuit werk om SQL scripts snel op te zetten zonder al te veel code te hoeven schrijven (ja, baas heeft me nog geen Github copilot licentie gegegeven).

Ik twijfel nog steeds een beetje tussen een AMD 9070 (ie. 16GB, dus 'weinig' VRAM, maar wel stil en nog niet al te duur) en een Intel b60/ AMD R9700 (veel VRAM en duurder/luider). Op het moment heb ik nog een oude RTX2070 non-super (8 GB) in mijn PC.

Ik weet niet waar je woont maar ik heb de B60 hier nog in de kast liggen, Ik kan best even langsrijden als je 'm wil testen als het niet te ver uit de buurt is (heb toch nog 3 weken vakantie).

[shaowoo]

@Felicia is er een reden waarom je niet gekozen hebt voor Qwen 3.6 27B ?

ik ben nml ook aan het experimenteren om te kijken wat ik redelijkerwijs kan draaien op mijn pc (rtx5060TI 16gb met 64 gb RAM), ollama gekoppeld aan hermes-agent. Met regelmaat controleer ik :Small Open Source Models | Artificial Analysis

Voor periodieke taken is de traagheid niet zo erg maar als ik bezig ben om te en taak te ontwikkelen dan is het best 'vervelend'. Een qwen 3.5 merkte ik vaak dat het in een soort cirkel redenatie blijft hangen.

[Felicia]

shaowoo schreef op zondag 26 juli 2026 @ 12:36:
@Felicia is er een reden waarom je niet gekozen hebt voor Qwen 3.6 27B ?

23-24tps genereren voor 27b en 50-60 voor 35b. Ook prompt processing is veel sneller met 35b, met de laatste SYCL release zo'n 1100 tps. Qua qualiteit en benchmarks zie ik geen verschil dus ik hou 't lekker bij 35b :)

En ik heb iets gedaan waardoor de 27b nu alleen gibberish uitspuugt, ook met nieuwere llama.cpp versies. Zelfde met Gemma 4 31b dus I gone an' fucked something up :P

[Deepflame]

Felicia schreef op zondag 26 juli 2026 @ 12:46:
[...]

23-24tps genereren voor 27b en 50-60 voor 35b. Ook prompt processing is veel sneller met 35b, met de laatste SYCL release zo'n 1100 tps. Qua qualiteit en benchmarks zie ik geen verschil dus ik hou 't lekker bij 35b :)

...

Dat was ook zo'n beetje mijn conclusie. Er zijn wel verschillen, maar ze zijn subtiel, en als je een groter model reviews laat doen, dan corrigeert dat gemakkelijk voor het kleine beetje verlies wat je oploopt, terwijl je wel alle snelheid van 35b pakt.

[ZatarraNL]

Ik draai al een tijdje ollama met een rtx5060ti (16Gb vram). Ik wil de inzetten als agent in home assistant. Ik gebruik nu gemma4:e4b (8.0B) samen met faster-Whisper voor stt (gebruikt 3Gb vram). Ik vind het moeilijk om voor home assistant de sweet spot te vinden.

Wat is jullie ervaring? Is dit de juiste route? Moet ik zelf gaan tweaken met iets anders dan ollama? Is gemma4:e4b de sweet spot voor home assistant? Heb ik nog dingen over het hoofd gezien?

Mijn ideale situatie: spreken tegen de agent die de juiste acties uitvoert (gaat mij nog vaak mis) en als agent automations aanmaken en verbeteren. Oftewel een beetje supervised beheer over home assistant.

[rbrtb]

Felicia schreef op zaterdag 25 juli 2026 @ 21:50:
[...]

Ik weet niet waar je woont maar ik heb de B60 hier nog in de kast liggen, Ik kan best even langsrijden als je 'm wil testen als het niet te ver uit de buurt is (heb toch nog 3 weken vakantie).

Bedankt voor het aanbod, maar ik woon in het buitenland (Midden-Oosten), dus dat wordt een lastige...

[Felicia]

rbrtb schreef op zondag 26 juli 2026 @ 21:32:
[...]

Bedankt voor het aanbod, maar ik woon in het buitenland (Midden-Oosten), dus dat wordt een lastige...

Dat een beetje ver rijden ja

[Puff_Uncle]

ZatarraNL schreef op zondag 26 juli 2026 @ 18:43:
Ik draai al een tijdje ollama met een rtx5060ti (16Gb vram). Ik wil de inzetten als agent in home assistant. Ik gebruik nu gemma4:e4b (8.0B) samen met faster-Whisper voor stt (gebruikt 3Gb vram). Ik vind het moeilijk om voor home assistant de sweet spot te vinden.

Wat is jullie ervaring? Is dit de juiste route? Moet ik zelf gaan tweaken met iets anders dan ollama? Is gemma4:e4b de sweet spot voor home assistant? Heb ik nog dingen over het hoofd gezien?

Mijn ideale situatie: spreken tegen de agent die de juiste acties uitvoert (gaat mij nog vaak mis) en als agent automations aanmaken en verbeteren. Oftewel een beetje supervised beheer over home assistant.

wat voor mij werkt is hermes draaien of iets anders waarmee je MCP servers kan koppelen en dan de home assistant mcp server deze gebruik ik https://github.com/homeassistant-ai/ha-mcp.

Voor het model gaat het lastig zijn om lokaal te draaien met 16Gb vram die consistente tool calls kan doen en op redelijke snelheid. Er komt namelijk veel context bij en meerdere tool calls als je via de MCP weg wilt. Waardoor het lokaal gelijk een stuk slomer is met prompt processing. Je kan het ook toevoegen in HA(zonder een agent dus waarschijnlijk veel sneller) maar voor zover ik weet kan die alleen apparaten aansturen en geen automations maken maar misschien zijn daar al updates/add-ons voor.

[CSB]

Puff_Uncle schreef op maandag 27 juli 2026 @ 09:44:
[...]

wat voor mij werkt is hermes draaien of iets anders waarmee je MCP servers kan koppelen en dan de home assistant mcp server deze gebruik ik https://github.com/homeassistant-ai/ha-mcp.

Voor het model gaat het lastig zijn om lokaal te draaien met 16Gb vram die consistente tool calls kan doen en op redelijke snelheid. Er komt namelijk veel context bij en meerdere tool calls als je via de MCP weg wilt. Waardoor het lokaal gelijk een stuk slomer is met prompt processing. Je kan het ook toevoegen in HA(zonder een agent dus waarschijnlijk veel sneller) maar voor zover ik weet kan die alleen apparaten aansturen en geen automations maken maar misschien zijn daar al updates/add-ons voor.

Ik heb sinds kort Hermes Agent draaien en gekoppeld aan Home Assistant middels een zgn. long-lived-access token, specifiek voor een user die ik vooraf heb aangemaakt in HA (met basic rechten). Hierdoor kan Hermes HA zaken uitlezen en aansturen die ik vooraf aan de gebruiker heb toegekend en meer niet. Ik moet nog wel verder uitzoeken wat ik er allemaal nog meer mee kan dan simpel wat zaken schakelen, maar dat staat op de backlog.

Sowieso is het draaien van Hermes in mijn A.I. stack de oorzaak van een enorme stroomversnelling aan verbeteringen in mijn interne netwerk; ik heb nu een LLM-Wiki om het long-term memory van de Agent in op te slaan, heb een lang gekoesterde wens voor een RAG pipeline gerealiseerd, werk met een Telegram bot om remote notificaties en chats met Hermes te kunnen doen en heb intern een Kanban bord gemaakt om "tickets" die ik of Hermes aanmaak(t) (errors, updates, upgrades, etc.) te kunnen beoordelen en verwerken. Netjes workflows koppelen middels n8n zodat je de meeste koppelingen via een centraal koppelvlak hebt lopen voor overzicht en daarna tweaken tot je een ons weegt om het allemaal goed te laten werken...

En dat alles in 1 week tijd, sinds implementatie van Hermes. Ik moet daarbij wel eerlijk zijn: het heeft aardig wat trial en error gekost om het goed en soepel in te regelen en ik heb nog wat minor issues die ik moet gaan wegwerken, maar op een PC met een RTX4070S en 32GB DDR5 RAM werkt Qwen3.6 35B A3B prima met Hermes (128k context met room to spare).

[Felicia]

ZatarraNL schreef op zondag 26 juli 2026 @ 18:43:
Ik draai al een tijdje ollama met een rtx5060ti (16Gb vram). Ik wil de inzetten als agent in home assistant. Ik gebruik nu gemma4:e4b (8.0B) samen met faster-Whisper voor stt (gebruikt 3Gb vram). Ik vind het moeilijk om voor home assistant de sweet spot te vinden.

Wat is jullie ervaring? Is dit de juiste route? Moet ik zelf gaan tweaken met iets anders dan ollama? Is gemma4:e4b de sweet spot voor home assistant? Heb ik nog dingen over het hoofd gezien?

Mijn ideale situatie: spreken tegen de agent die de juiste acties uitvoert (gaat mij nog vaak mis) en als agent automations aanmaken en verbeteren. Oftewel een beetje supervised beheer over home assistant.

Je kan eens naar deze kijken:
https://huggingface.co/Nanbeige/Nanbeige4.2-3B

Vanuit benchmarks lijkt deze het relatief beter te doen dan Gemma E4b. Ik zie alleen nog geen GGUF van Unsloth bijvoorbeeld maar voor het testen van een andere zou dat niet zo erg moeten zijn.

[Ferrox1]

Ik zit te wachten op de release van de mac M5 mini om juist daar modellen op te gaan draaien. Dit heb ik al getest op mijn macbook pro M1 MAX met 32GB gedeeld geheugen. Ik ben best tevreden over de resultaten van wat deze machine al kan. De M5 Mac Mini Pro zal daar nog een flinke schep bovenop gaan doen is de verwachting. Deze mac kan dan mooi headless in mijn serverhoekje draaien.

Toch zie ik hier heel veel set-ups met RTX-en voorbij komen.

De reden dat ik een mac-mini wil t.o.v. een RTX set-up zover ik heb kunnen onderzoeken:

• stiller
• zuiniger en efficienter (zeker als hij staat te idlen, maar ook bij het uitvoeren van de modellen)
• unified memory, dus ook gelijk beschikbaar voor de GPU, ik neig naar minimaal 64gig. Dat betekend anders al snel een dubbele videokaart
• kleiner (meestal)
• goedkoper? (beetje afhankelijk van wat de prijzen nu gaan doen voor de M5 als gevolg van de geheugenprijzen)
• zowat alle modellen draaien er ook op.

Waarom lees ik hier dan toch vaak over een RTX set-up? Ik zie daar vooral nadelen aan. Of komt dit omdat dit ook geschikt is voor gamen in tegen stelling tot een mac en dus vaak al beschikbaar is? Ik game namelijk niet vaak.

Of zie ik echt iets compleet over het hoofd? Is dit persoonlijke voorkeur?

[Felicia]

Ferrox1 schreef op maandag 27 juli 2026 @ 14:13:
Waarom lees ik hier dan toch vaak over een RTX set-up? Ik zie daar vooral nadelen aan. Of komt dit omdat dit ook geschikt is voor gamen in tegen stelling tot een mac en dus vaak al beschikbaar is? Ik game namelijk niet vaak.

Volgens mij zit het verschil voornamelijk in ruwe rekenkracht en geheugen bandbreedte. Kijk hier eens voor een vergelijking tussen een 3090, 4090, 5090 en Mac 5 Pro: YouTube: RTX 3090 vs 4090 vs 5090 vs Mac M5 Max: Qwen3.6-35B-A3B Local AI Benchmark using llama.cpp

Verschillen met lagere RTX kaarten zijn natuurlijk relatief in verhouding tot de geheugenbandbreedte etc.

[ZatarraNL]

Ferrox1 schreef op maandag 27 juli 2026 @ 14:13:
Ik zit te wachten op de release van de mac M5 mini om juist daar modellen op te gaan draaien. Dit heb ik al getest op mijn macbook pro M1 MAX met 32GB gedeeld geheugen. Ik ben best tevreden over de resultaten van wat deze machine al kan. De M5 Mac Mini Pro zal daar nog een flinke schep bovenop gaan doen is de verwachting. Deze mac kan dan mooi headless in mijn serverhoekje draaien.

Toch zie ik hier heel veel set-ups met RTX-en voorbij komen.

De reden dat ik een mac-mini wil t.o.v. een RTX set-up zover ik heb kunnen onderzoeken:

• stiller
• zuiniger en efficienter (zeker als hij staat te idlen, maar ook bij het uitvoeren van de modellen)
• unified memory, dus ook gelijk beschikbaar voor de GPU, ik neig naar minimaal 64gig. Dat betekend anders al snel een dubbele videokaart
• kleiner (meestal)
• goedkoper? (beetje afhankelijk van wat de prijzen nu gaan doen voor de M5 als gevolg van de geheugenprijzen)
• zowat alle modellen draaien er ook op.

Waarom lees ik hier dan toch vaak over een RTX set-up? Ik zie daar vooral nadelen aan. Of komt dit omdat dit ook geschikt is voor gamen in tegen stelling tot een mac en dus vaak al beschikbaar is? Ik game namelijk niet vaak.

Of zie ik echt iets compleet over het hoofd? Is dit persoonlijke voorkeur?

Ik had al een proxmoxserver en wilde niet nog een systeem draaien. De rtx5060ti met 16gb was destijds veel compute met relatief veel geheugen en betaalbaar. De Apple was toen nog niet beschikbaar.

[CSB]

Ferrox1 schreef op maandag 27 juli 2026 @ 14:13:
Waarom lees ik hier dan toch vaak over een RTX set-up? Ik zie daar vooral nadelen aan. Of komt dit omdat dit ook geschikt is voor gamen in tegen stelling tot een mac en dus vaak al beschikbaar is? Ik game namelijk niet vaak.

Of zie ik echt iets compleet over het hoofd? Is dit persoonlijke voorkeur?

In mijn geval gaat het om een (underused) game-pc waar die RTX4070 Super toch al in zat. Maar ik denk dat als ik echt zou moeten beginnen ik eerder naar een DGX Spark of Mac Studio zou gaan kijken. (al vind ik het nog steeds heel duur...)

[Ferrox1]

Felicia schreef op maandag 27 juli 2026 @ 14:28:
[...]

Volgens mij zit het verschil voornamelijk in ruwe rekenkracht en geheugen bandbreedte. Kijk hier eens voor een vergelijking tussen een 3090, 4090, 5090 en Mac 5 Pro: YouTube: RTX 3090 vs 4090 vs 5090 vs Mac M5 Max: Qwen3.6-35B-A3B Local AI Benchmark using llama.cpp

Verschillen met lagere RTX kaarten zijn natuurlijk relatief in verhouding tot de geheugenbandbreedte etc.

Ah, dit geeft het wel mooi weer inderdaad. Dankjewel!

Ik mis wel welk verbruik hier tegenover staat en kosten dus op langere termijn? Dat is wat ik een beetje mis in deze video. Alex Ziskind neemt dit wel regelmatig mee in zijn video's en dan zie je echt grote verschillen in tokens/watt. Dan kun je dit ook kwa kosten afzetten tegen een online LLM.

Ook is contextlengte een ding gezien de beperktere geheugen in de RTX-en. Dat is hier ook niet getest. Dus grotere prompts of langere conversaties gaan op een gegeven moment buiten de mogelijkheden vallen, terwijl je met de mac makkelijk naar de 128GB kunt als je dat wil.

Wellicht is mijn toepassing net wat anders. Een AI die op de achtergrond via bijvoorbeeld N8N, Openclaw (of een andere soort) en Home Assistant voor me aan het werk is en ik niet direct mee chat o.i.d. Mogelijk dat ik hem wel ga koppelen in een ontwikkelomgeving, dan is snelheid wel fijn inderdaad, maar daar pak je dan misschien een lichter model voor. Of je gaat dan naar een online abonnement variant voor dat soort toepassingen, om speciaal voor die zeldzame momenten degelijke hardware weg te zetten is overkill in mijn geval.

Kortom, het hangt denk ik ook wel af van je toepassing. En welk middel je dan in wil zetten. Ook privacy telt hier bijvoorbeeld in mee. Wat wil je wel en niet delen met de grote AI boeren.

Een DGX Spark kan ook nog interessant zijn, maar die is dan wel weer prijzig t.o.v. een mac Mini en wellicht dan ook weer overkill voor mijn doel. Bovendien is de Spark wel een niche computer die mogelijk lastiger weer te verkopen is dan een Mac Mini.

het sijpelt er wellicht ook doorheen, Ik kijk ook met een schuin oog naar de businesscase voor zoiets. Het is inderdaad een prijzige hobby en je kunt je euro's maar 1 keer uitgeven.

[Ferrox1]

CSB schreef op maandag 27 juli 2026 @ 15:15:
[...]

In mijn geval gaat het om een (underused) game-pc waar die RTX4070 Super toch al in zat. Maar ik denk dat als ik echt zou moeten beginnen ik eerder naar een DGX Spark of Mac Studio zou gaan kijken. (al vind ik het nog steeds heel duur...)

Kun je dit toelichten? Zie je daar ook dezelfde voordelen van zoals ik die zie?

[ZatarraNL]

CSB schreef op maandag 27 juli 2026 @ 11:42:
[...]

Ik heb sinds kort Hermes Agent draaien en gekoppeld aan Home Assistant middels een zgn. long-lived-access token, specifiek voor een user die ik vooraf heb aangemaakt in HA (met basic rechten). Hierdoor kan Hermes HA zaken uitlezen en aansturen die ik vooraf aan de gebruiker heb toegekend en meer niet. Ik moet nog wel verder uitzoeken wat ik er allemaal nog meer mee kan dan simpel wat zaken schakelen, maar dat staat op de backlog.

Sowieso is het draaien van Hermes in mijn A.I. stack de oorzaak van een enorme stroomversnelling aan verbeteringen in mijn interne netwerk; ik heb nu een LLM-Wiki om het long-term memory van de Agent in op te slaan, heb een lang gekoesterde wens voor een RAG pipeline gerealiseerd, werk met een Telegram bot om remote notificaties en chats met Hermes te kunnen doen en heb intern een Kanban bord gemaakt om "tickets" die ik of Hermes aanmaak(t) (errors, updates, upgrades, etc.) te kunnen beoordelen en verwerken. Netjes workflows koppelen middels n8n zodat je de meeste koppelingen via een centraal koppelvlak hebt lopen voor overzicht en daarna tweaken tot je een ons weegt om het allemaal goed te laten werken...

En dat alles in 1 week tijd, sinds implementatie van Hermes. Ik moet daarbij wel eerlijk zijn: het heeft aardig wat trial en error gekost om het goed en soepel in te regelen en ik heb nog wat minor issues die ik moet gaan wegwerken, maar op een PC met een RTX4070S en 32GB DDR5 RAM werkt Qwen3.6 35B A3B prima met Hermes (128k context met room to spare).

Ik had ook zoiets in gedachten. Ik ga hier dus eens naar kijken. Al vind ik het erg spannend om mijn toch vrij complexe home assistant uit handen te geven aan een onbekende AI. Natuurlijk maak ik backups en die gaan incrementeel 12 maanden terug, maar ik zou het heel vervelend vinden als een AI agent dingen stuk maakt.

Wat is jullie ervaring?

[CSB]

Ferrox1 schreef op maandag 27 juli 2026 @ 16:11:
[...]

Kun je dit toelichten? Zie je daar ook dezelfde voordelen van zoals ik die zie?

Eigenlijk beschrijf je ook mijn beweegredenen om dus te kijken naar DGX Spark-achtige oplossing. Mijn beredenering is als volgt:

Ik wil cloud onafhankelijk, agentic zaken voor elkaar krijgen. Met één of meerdere agents. Hiervoor heb je simpelweg veel vram nodig. Tegenwoordig kom je met MoE modellen zoals Qwen3.6 een heel eind en de output is zeker werkbaar, maar in mijn geval is (op dit moment nu zonne-energie in overvloed is) stroomgebruik niet heel relevant. Maar zodra dat minder wordt en ook de energieprijs blijft stijgen is het wel interessant om dus te kijken naar energiezuinigere systemen.

Daarnaast is het gewoon fijn om een compact stukje hardware te hebben dat specifiek voor dit doel is gemaakt. En met zo'n Spark met 128 GB vram kun je flinke modellen draaien, al zijn ze niet heel erg snel als je ze vergelijkt met een 4090 of 5090. Maar voor mijn usecase hoeft dat ook niet.

edit:
De aanschaf van een DGX Spark-achtig systeem weegt bij lange na niet op tegen de stroomkosten overigens, dus ik blijf deze Frankenstein builds draaien totdat de prijzen OOIT normaliseren.

[ Voor 8% gewijzigd door CSB op 27-07-2026 18:38 ]

[CSB]

ZatarraNL schreef op maandag 27 juli 2026 @ 17:50:
[...]

Ik had ook zoiets in gedachten. Ik ga hier dus eens naar kijken. Al vind ik het erg spannend om mijn toch vrij complexe home assistant uit handen te geven aan een onbekende AI. Natuurlijk maak ik backups en die gaan incrementeel 12 maanden terug, maar ik zou het heel vervelend vinden als een AI agent dingen stuk maakt.

Wat is jullie ervaring?

Vandaar dat ik bewust een nieuwe user heb aangemaakt in HA met minimale rechten en devices waar de agent wat mee mag. Ik draai HA in proxmox (waar de agent NIET bij mag) en heb snapshots en backups van de VM die ik in het uiterste geval kan terugzetten. Maar minimale rechten toekennen is de eerste stap tot ontdekking in mijn geval.

[Vishari Beduk]

CSB schreef op maandag 27 juli 2026 @ 15:15:
[...]

In mijn geval gaat het om een (underused) game-pc waar die RTX4070 Super toch al in zat. Maar ik denk dat als ik echt zou moeten beginnen ik eerder naar een DGX Spark of Mac Studio zou gaan kijken. (al vind ik het nog steeds heel duur...)

Wat betreft die DGX; ik heb 2 maanden geleden toen het copilot plan wijzigde eens gekeken of dit interessant was. Maar twee luxe problemen:
1) de hardware is niet eens zo super, dan kan je wel een heel groot LLM in je geheugen zetten maar hoe groter, hoe trager
2) je betaalt wel voor die 2x QSFP Network connectors, een vergelijkbaar board kost al gauw 1500, terwijl je er verder niets mee kan als je maar één spark hebt
Ik verwacht dat de RTX spark interessanter word voor tweakers, bijna zelfde chip maar goedkoper

[CSB]

Vishari Beduk schreef op maandag 27 juli 2026 @ 22:58:
[...]

Wat betreft die DGX; ik heb 2 maanden geleden toen het copilot plan wijzigde eens gekeken of dit interessant was. Maar twee luxe problemen:
1) de hardware is niet eens zo super, dan kan je wel een heel groot LLM in je geheugen zetten maar hoe groter, hoe trager
2) je betaalt wel voor die 2x QSFP Network connectors, een vergelijkbaar board kost al gauw 1500, terwijl je er verder niets mee kan als je maar één spark hebt
Ik verwacht dat de RTX spark interessanter word voor tweakers, bijna zelfde chip maar goedkoper

Dan gaan we die maar in de gaten houden. Goedkoper is altijd goed.

[R3m3d7]

Ik kijk ook naar 128GB systemen van apple, amd en nvidia. Ik heb er 0,0 ervaring mee maar volgens mij zijn de 128GB systemen van amd en nvidia wel 128GB maar moet je het bijna zien als een kleiner systeem met wat extra headroom door de zeer beperkte snelheid van het geheugen, heb iig niet het idee dat je een dense model van 80GB in kan gaan laden en lekker interactief mee kan werken op amd en nvidia, volgens mij is de mac wel ongeveer 2x zo snel met inference (niet prompt processing, daar wint de spark) maar wil je echte snelheid moet je zo'n 512GB mac studio zien te vinden, die zijn ongeveer 3x de snelheid van het 128GB model maar ook onbetaalbaar. Dus ik keek heel erg uit naar Laguna 2.1 S reviews, een groot MOE model wat prima werkt op een 128GB amd/nvidia systeem doordat er maar een beperkt aantal experts actief zijn per token dus relatief hoge snelheid. De eerste (paar) releases vallen wat tegen tov de qwen modellen door veel eindeloze loops, ze brengen echter constant updates uit en proberen dit gedrag eruit te halen dus er is kans dat dit een goede gaat worden qua kwaliteit en snelheid op deze systemen. Als je een model hebt wat een beetje in de buurt komt van deepseek pro dan is het te overwegen puur als een hobby, want kosten bespaar je er niet snel mee. 2400 euro voor de bosgame m5 (of hoe dat ding ook heet) en ik gebruik met behoorlijk zwaar gebruik 15 euro per maand aan deepseek api, dan ben ik 13 jaar bezig om dat terug te verdienen en dan zou mijn stroom kosteloos moeten zijn.

Dus ik heb besloten te wachten op de volgende generatie nvidia of AMD, niet het systeem van AMD dat dit jaar uitkomt (Gorgon Halo) maar die van eind volgend jaar (Medusa Halo). Daar zou een flinke stap in performance moeten onstaan waardoor je ook met een dense model die 128GB echt kan gaan gebruiken voor zeer context rijk agent gebruik.

Ik ben zelf bezig met Hermes waarbij ik een spel aan het maken ben, een eenvoudige RTS. Dus ik heb 1 agent aan Codex gekoppeld, hij is de senior, maakt het spec document en maakt op basis daarvan behapbare work packages die hij via Kanban aan de Jr ontwikkelaar geeft wat een tweede Hermes profiel is gekoppeld aan Deepseek pro (direct via deekseek API). Als Deepseek zijn model gaat trainen op mijn project spijt dat mij nu al want dan gaat de volgende in kwaliteit achteruit :-) . Maar het is super leuk om twee agents met elkaar te zien communiceren, de senior zegt soms "Nope, niet goed genoeg om deze redenen" en dan gaat de Junior weer verder om dat te fixen en zo gaan ze soms uren door tot een WP gedaan is. Hiermee kan ik veel verder komen met mijn Codex token limiet, ik denk dat het zeker 50% scheelt, het valideren en feedback geven op code kost natuurlijk alsnog aardig wat werk maar toch een stuk minder.

[Tazzy]

Met meerdere mac's zou ik echt even naar ExoLabs kijken

[Vishari Beduk]

Ferrox1 schreef op maandag 27 juli 2026 @ 14:13:
Waarom lees ik hier dan toch vaak over een RTX set-up?

Dan toch voor de meelezers antwoord geven op jouw vraag. Aangezien een systeem met grafische kaart voor jouw toepassing (atlijd aan) niet interessant is.
Voordeel van een RTX kaart voor AI is de prijs als je al een oude PC hebt staan.
Ik had zelf een Ryzen 7 3700X staan met 64 GB die stof stond te vangen.
Voor iets meer dan 400 euro een 5060 Ti gekocht met 16 GB en die erin gezet.
Vervolgens kan ik met ComfyUI images genereren met SDXL, Krea 2 en FLUX Dev, video's met LTX 2
En met LM Studio en Qwen3.6-35B-A3B-GGUF kan vibe coden.
Dankzij Blackwell architecture kan ik meeliften met de nieuwste optimalisaties. En dankzij CUDA werkt alles 'out of the box'
Plan is om de kaart over een tijdje met weinig verlies weer te verkopen en heb ik dus veel kunnen doen voor weinig.

[fox_nl72]

Hallo, ik kom net op dit topic terecht vanwege mijn zoektocht naar STT info. STT komt terloops hierin voor. Ik wilde jullie voorstellen aan GOESB een open benchmark platform specifiek voor STT wat ik aan het ontwikkelen ben.

Doel is om een objectief overzicht te krijgen hoe specifieke hardware draait op verschillende STT engines, modellen, talen etc.

Dit project staat of valt met het runnen van de benchmarks op zoveel mogelijk verschillende hardware. Dus als jullie een keer een benchmark willen draaien en publiceren dan helpen jullie mij, maar ook vele anderen die met dit onderwerp bezig zijn.

Installatie en draaien is zeer eenvoudig, zie hier . Start de wizard met
goesb

Disclaimer: GPU support zit er nog niet volledig in.Vooralsnog alleen Metal op macs.

Verder wordt alle feedback gewaardeerd. Weet niet of en waar ik een specifieke thread rondom dit project op dit forum kwijt kan.

Github van de runner

[Deepflame]

Voordat je een DGX Spark aanschaft (leuke apparaatjes verder hoor, ik zou er graag een willen hebben!) moet je wel de kosten vs baten afwegen. AI tech gaat zo snel dat je tegenwoordig met Bonsai al een Qwen 3.6 27b in 6 GB kan steken. Daar heb je echt geen Spark meer voor nodig.

Een Spark ben je zo bijna €4000 voor kwijt. Dat is 40 maanden aan OpenAI subscription als je Pro x5 pakt. Dan heb je elke dag een frontier model met maximale performance, tov een trager lokaal model.

Zolang OpenAI en Anthropic hun abbos aanbieden, en je niet een sterke reden hebt om echt 100% lokaal te gaan, is er bijna geen competitie financieel gezien. In 40 maanden tijd komt er heus een beter model Spark uit voor minder geld, en is de AI tech al dusdanig verder doorontwikkeld dat de Spark extreem achterhaalde hardware is.

Ik ben enorm voorstander van lokaal modellen draaien. Anders was ik niet voor niets aan een 9-GPU cluster begonnen (ik deel wel wat fotos van het ding zodra hij af is) maar je moet echt heel hard werken om de kosten laag te houden zolang OpenAI en Anthropic de wereld nog sponsoren. En DeepSeek V4 kost ook geen drol, Flash is nog goedkoper.. Een DGX Spark is, imo, op dit moment financieel niet rendabel.

[Felicia]

Deepflame schreef op woensdag 29 juli 2026 @ 22:36:
Een Spark ben je zo bijna €4000 voor kwijt. Dat is 40 maanden aan OpenAI subscription als je Pro x5 pakt. Dan heb je elke dag een frontier model met maximale performance, tov een trager lokaal model.

Moet je alleen wel rekening houden dat OpenAI (en Anthropic ook) op de achtergrond continu zit te klooien met de achterliggende modellen en voorwaarden. Ik had een plus abonnement met 5.3 Codex maar dat model hebben ze vervolgens gewoon weggehaald, met 5.4 low kon ik gewoon niet aan de zelfde resultaten komen omdat de hoeveelheid bruikbare tokens binnen het abonnement niet kon tippen aan 5.3 Codex.
Gevolg was dat ik na ~2 uur al door m'n 5-uur limiet heen was en na 2 dagen door m'n weeklimiet.

Daarnaast vraag ik me af wat de Bonsai Ternary 27b doet qua performance op een 6GB kaart, met mijn (toen) Arc Pro B60 haalde ik zo'n 30tps en dat zakte ook snel weer af naar mate de context toenam (schijnt een Vulkan dingetje te zijn, wil nog eens testen wanneer in llama.cpp main gemerged met SYCL support). Volgens mij wordt dat ook een issue met een Spark als je een beetje formaat model wil draaien.

[R3m3d7]

Hier al mensen die thuis de nieuwe deepseek flash draaien?

[Felicia]

Ik in ieder geval niet, de IQ1 vraagt al bijna meer dan mijn totale VRAM+RAM

[R3m3d7]

Felicia schreef op zaterdag 1 augustus 2026 @ 19:19:
Ik in ieder geval niet, de IQ1 vraagt al bijna meer dan mijn totale VRAM+RAM

Ja, herkenbaar. Ik heb hem (nieuwe deepseek flash) via de API aan een hermes hangen die ik via een andere agent met codex aanstuur voor vibe coding. Ik merk nog niet dat hij beter is dan de oude pro, het is (voor mij) duidelijk nog steeds een stuk minder dan gpt 5.6 sol in godot development. Ik begin toch echt te denken dat hermes mogelijk niet de beste manier is om dit te doen en het maximale uit dit soort modellen te halen.

[Liegebeest]

Deepflame schreef op woensdag 29 juli 2026 @ 22:36:

Een Spark ben je zo bijna €4000 voor kwijt. Dat is 40 maanden aan OpenAI subscription als je Pro x5 pakt.

… met het huidige kostenniveau. Daar kan zomaar verandering in gaan komen.

[R3m3d7]

Liegebeest schreef op zondag 2 augustus 2026 @ 08:56:
[...]

… met het huidige kostenniveau. Daar kan zomaar verandering in gaan komen.

Zie je er iets aankomen?

[Liegebeest]

R3m3d7 schreef op zondag 2 augustus 2026 @ 09:16:
[...]

Zie je er iets aankomen?

Ik bedoel, deze zomer zijn er al veranderingen geweest in de prijsmodellen. En ja, zo’n beetje elke analist verwacht dat de sponsoring van lage prijzen binnenkort moet gaan stoppen.

[apollo13]

Vorige week eens begonnen met het zelf hosten van een LLM, dit via Ollama.
Ik ben al een tijdje bezig met AI image generation, ook lokaal, en via Tweakers vond ik Ollama en dit draadje.

Heb nu Qwen 3.6 en Gemma4:e4b draaien. Met deze twee aan het stoeien geweest en heb nu een mooie landingspage/frontpage gemaakt voor mijn boek. Mijn kennis van html is beperkt, dus ik dacht vraag het de AI! Dat is mijn goed bevallen. Soms gaat de LLM wel eens in de mist, maar geen probleem, gewoonweg weer een poging wagen. Kreeg af en toe geen output van mijn prompt, reden waarom is mij niet duidelijk. Dezelfde prompt een dag later weer gebruikt, en voila, een html website gemaakt.
Ook een kleine test gedaan wat betreft de Engelse versie van mijn boek, grammatica, spelling, woordgebruik, flow etc. Verrassende goede suggesties, verbeteringen en fouten gevonden door de LLM. Binnenkort mijn hele boek dus maar eens laten doorspitten en verbeteren. Ik laat mijn boek natuurlijk niet herschrijven.

Iemand nog suggesties wat betreft lokale LLM's die ik kan gebruiken voor wat ik er mee wil doen?

[R3m3d7]

apollo13 schreef op zondag 2 augustus 2026 @ 20:13:


Iemand nog suggesties wat betreft lokale LLM's die ik kan gebruiken voor wat ik er mee wil doen?

Grappig he hoe je eigen creativiteit een beperrking kan zijn nadat je je realiseert dat je al deze mogelijkheden nu tot je beschikking hebt. Ik heb altijd al bepaalde games willen maken, had echt ideeen maar als je dan voor een paar euro iemand in dienst heb (ik deed het via api) die ongeveer alles kan maken wat je kan beschrijven merk je dat je naar je scherm zit te staren en "Okay, en nu?" zit te denken.

[Groen]

apollo13 schreef op zondag 2 augustus 2026 @ 20:13:
Iemand nog suggesties wat betreft lokale LLM's die ik kan gebruiken voor wat ik er mee wil doen?

Gpt oss 20b werkt voor mij nog steeds het beste/snelste op 16gb vram. Maar misschien loop ik hopeloos achter.

[Deepflame]

Felicia schreef op donderdag 30 juli 2026 @ 15:26:
[...]

Moet je alleen wel rekening houden dat OpenAI (en Anthropic ook) op de achtergrond continu zit te klooien met de achterliggende modellen en voorwaarden. Ik had een plus abonnement met 5.3 Codex maar dat model hebben ze vervolgens gewoon weggehaald, met 5.4 low kon ik gewoon niet aan de zelfde resultaten komen omdat de hoeveelheid bruikbare tokens binnen het abonnement niet kon tippen aan 5.3 Codex.
Gevolg was dat ik na ~2 uur al door m'n 5-uur limiet heen was en na 2 dagen door m'n weeklimiet.

...

Yeah, absoluut waar. Maar daar staat tegenover dat ze ook de hele tijd dingen resetten. Ik zit de afgelopen maanden op een ChatGPT Pro x5 account, en kom nauwelijks tot niet aan mijn huidige limiet. Daarnaast hebben ze de 5-uur limiet (tijdelijk) weggehaald, ze zeiden dat ze die vorige week weer zouden herintroduceren, maar die is er nog steeds niet. En ik heb mijn 7-dagen limiet ook nauwelijks bereikt want elke 3-4 dagen reset OpenAI alles voor iedereen.

Liegebeest schreef op zondag 2 augustus 2026 @ 08:56:
[...]

… met het huidige kostenniveau. Daar kan zomaar verandering in gaan komen.

GPT-5.6-Luna is op het moment bijna gratis, en Terra kost ook niet veel. :-) De Kimi K3 en DeepSeek V4 Flash releases van vorige week vrijdag hebben de kosten weer eens flink gedrukt.

Ik ga niet zeggen dat zelf-hosten een slecht idee is, ik ben er zelf ook enthousiast over, het heeft wel degelijk voordelen, maar volgens mij zijn dat niet de kosten, zeker niet op korte termijn. Niet zolang de abbonnementen zo goedkoop zijn als nu. En helemaal niet zolang de RAM prijzen nog steeds als malle aan het stijgen zijn.

Wel goede redenen:
- Privacy / NDA van het werk dat je LLM voor je doet
- Model fine-tuning voor jouw specifieke doeleinden
- On-the-go LLM toegang (op je laptop in het vliegtuig)
- Onderwerpen die niet toegestaan zijn in de usage policies van de providers
- Extreem grote hoeveelheid tokens om te verwerken (bijvoorbeeld bulk data)
- Leuk om te leren

Volgende week Qwen 3.8 27B! https://x.com/Alibaba_Qwen/status/2084100707423289643

[eheijnen]

Hoe zit het eigenlijk met die Chinese OSS LLMs, hebben die "phone home" functionaliteit aan boord c.q. is dat veilig te gebruiken zonder dat je hele hebben en houwen wordt doorgestuurd...?

[Deepflame]

eheijnen schreef op maandag 3 augustus 2026 @ 14:25:
Hoe zit het eigenlijk met die Chinese OSS LLMs, hebben die "phone home" functionaliteit aan boord c.q. is dat veilig te gebruiken zonder dat je hele hebben en houwen wordt doorgestuurd...?

Een LLM zelf kan niets zonder het harnas. Het is alleen maar een hele grote tabel aan cijfers waar de inference engine vermenigvuldiging op toepast en een stukje tekst terug geeft. Die kunnen niet zelfstandig contact opnemen met de ontwikkelaar.

Harnassen daarintegen kunnen wel degelijk "phone home" functionaliteit aan boord hebben, zoals Claude Code, Codex, Kimi Code, etc. Die hebben dat ook waarschijnlijk allemaal, ook de Amerikaanse.

In theorie kan een model natuurlijk wel getrained worden om contact te proberen te leggen met de ontwikkelaar d.m.v. een tool call via een harnas, maar dat harnas moet dat dan aanbieden en het model moet er dan de keuze voor maken om het te doen. Een beetje transparant harnas laat je alle toolcalls zien die gemaakt worden, zodat je het altijd kan controleren.

Ik heb het zelf in ieder geval nog nooit gezien met alle lokale modellen die ik gedraait heb. Maar dat betekent natuurlijk niet dat ze er in theorie niet op getrained kunnen worden.

[Vishari Beduk]

Deepflame schreef op maandag 3 augustus 2026 @ 13:15:
[...]


Ik ga niet zeggen dat zelf-hosten een slecht idee is,

Dan zeg ik het voor jou; zelf-hosten is een slecht idee.
Het is zeker leuk en interessant maar niet professioneel bruikbaar. Je kan die modellen op je eigen PC vergelijken met een stagiair die nog veel begeleiding nodig heeft. Zoiets als Claude is dan een complete afdeling met senior developers. een ervaren lead, een ervaren tester en een UX-designer.

[CSB]

Vishari Beduk schreef op maandag 3 augustus 2026 @ 21:56:
[...]

Dan zeg ik het voor jou; zelf-hosten is een slecht idee.
Het is zeker leuk en interessant maar niet professioneel bruikbaar. Je kan die modellen op je eigen PC vergelijken met een stagiair die nog veel begeleiding nodig heeft. Zoiets als Claude is dan een complete afdeling met senior developers. een ervaren lead, een ervaren tester en een UX-designer.

Ligt er aan wat je usecase is dus. Als een stagiair die een simpele taak kan uitvoeren goed genoeg is, is zelf hosten prima. Maar dat is vaak niet het geval, dus moet je al gaan kijken naar zware modellen of cloud. Hoewel daar de laatste tijd steeds meer verandering in lijkt te komen...

[Deepflame]

Vishari Beduk schreef op maandag 3 augustus 2026 @ 21:56:
[...]

Dan zeg ik het voor jou; zelf-hosten is een slecht idee.
Het is zeker leuk en interessant maar niet professioneel bruikbaar. Je kan die modellen op je eigen PC vergelijken met een stagiair die nog veel begeleiding nodig heeft. Zoiets als Claude is dan een complete afdeling met senior developers. een ervaren lead, een ervaren tester en een UX-designer.

Je hebt niet voor elke taak een complete afdeling senior developers, testers, en UX designers nodig.

Als je simpelweg 500.000 gescande PDFs moet verwerken naar een database en geen zin hebt om dat met de hand te doen, dan is een lokaal draaiend image model een stuk goedkoper dan je senior developers aan het werk te zetten.

[Puff_Uncle]

ja ik vind het toch wel snel gaan nu met deepseek v4 flash die het goed doet voor zijn aantal parameters en lijkt me idd dat de kleinere modellen alleen maar beter gaan worden.

Ik vraag me af hoe groot de stap gaat zijn tussen qwen3.6 27b en qwen3.8 27b

[Felicia]

Deepflame schreef op dinsdag 4 augustus 2026 @ 10:50:
[...]
Als je simpelweg 500.000 gescande PDFs moet verwerken naar een database en geen zin hebt om dat met de hand te doen, dan is een lokaal draaiend image model een stuk goedkoper dan je senior developers aan het werk te zetten.

Zelfs dan zou ik geen AI inzetten maar een OCR tool, veel efficiënter. Kleine pipeline van N8n of Powershell en klaar.

[Deepflame]

Felicia schreef op dinsdag 4 augustus 2026 @ 11:11:
[...]

Zelfs dan zou ik geen AI inzetten maar een OCR tool, veel efficiënter. Kleine pipeline van N8n of Powershell en klaar.

Ja, fair. Mijn voorbeeld was ook maar even heel snel getypt. :-) In dit geval is het inderdaad verstandiger om OCR toe te passen, en wat deterministische checks of de data correct is ingevuld.

Overigens is het sowieso beter om dat soort bulk acties uit te voeren via tool dan AI, dus terecht, mijn voorbeeld was niet heel erg doordacht.

[Puff_Uncle]

Deepflame schreef op dinsdag 4 augustus 2026 @ 11:21:
[...]

Ja, fair. Mijn voorbeeld was ook maar even heel snel getypt. :-) In dit geval is het inderdaad verstandiger om OCR toe te passen, en wat deterministische checks of de data correct is ingevuld.

Overigens is het sowieso beter om dat soort bulk acties uit te voeren via tool dan AI, dus terecht, mijn voorbeeld was niet heel erg doordacht.

heeft iemand dit al geprobeerd? en werkt elk -ocr model verschillend met een andere workflow of werkt het anders?

[Felicia]

Puff_Uncle schreef op dinsdag 4 augustus 2026 @ 12:35:
[...]

heeft iemand dit al geprobeerd? en werkt elk -ocr model verschillend met een andere workflow of werkt het anders?

Vision models werken best goed, heb nog geen verschil gemerkt tussen verschillende modellen (granted, alleen met printed PDF en niet gescande PDF). Aan de andere kant, Paperless ngx is veel effectiever
Het enige wat ik met PDF in AI doe is overigens binnen ons bedrijf informatie zoeken (Copilot) en thuis voor hobby spul soms een paar wetenschappelijke PDF's in Llama.cpp's webui gooien en kijken of ik er iets interessants uit kan halen.

[Shinji]

Iemand hier ervaring met speech to text en dan liefst zo snel mogelijk? Als in ondertiteling voor een live uitzending regelen.

Ik wil kijken of ik dat werkend kan krijgen maar heb geen idee aan wat voor hardware ik moet denken die dat een beetje deftig kan. Het gaat deels (vooral) om zang dus de teksten zijn al grotendeels bekend, volgorde kan soms wel afwijken door extra coupletten, refreinen etc. Dat de tekst bekend is kan wellicht helpen. Volgens mij kan Whisper wel het een en ander hier mee doen.

Het liefst zou ik iets opzetten dat het eerste woord herkend en dan de volgende twee regels weer geeft. Maar dit wijkt volgens mij dan wel weer af van hoe Whisper werkt.

[ Voor 7% gewijzigd door Shinji op 05-08-2026 22:32 ]

[Ozzi]

Ik zie dit topic nu pas

Ik ben zelf ook aan het experimenteren met het lokaal draaien van llm's. Ik heb 1 machine staan waar ik nu 3x een AMD v620 in heb zitten, maar hierbij moet ik nog wat regelen mbt fancontrol. Deze staan nu constant full-power dus die maakt wat veel herrie Daarom heb ik deze machine meestal ook uit staan.
Sinds een paar dagen heb ik ook mijn home-server licht geupgrade en tevens hierin 1x een v620 geplaatst. Hier wel meteen een werkende fancontrol ingesteld, toch wel fijn als een machine 24/7 aan staat.

Eigenlijk wil ik lokaal ook nog Deepseek Flash testen, maar daarvoor heb ik ook nog niet genoeg vram. Het zou wellicht wel kunnen passen icm met het gewone ram (384GB) in die 3x v620 machine, maar dat wordt vast trager.

[JJ Le Funk]

Ozzi schreef op vrijdag 7 augustus 2026 @ 14:08:
Ik zie dit topic nu pas

Ik ben zelf ook aan het experimenteren met het lokaal draaien van llm's. Ik heb 1 machine staan waar ik nu 3x een AMD v620 in heb zitten

hoeveel vram heb je nu in totaal?

[Ozzi]

Een AMD v620 heeft 32GB ram, x3 dus 96GB in de ene machine. De andere nu dus 32GB.
Wellicht dat ik met een pcie-adapter nog een extra kaart erbij kan plaatsen (heb nog wel een paar v620 op de plank liggen ) maar dan is het alsnog 'maar' 128GB vram.

[JJ Le Funk]

Ozzi schreef op vrijdag 7 augustus 2026 @ 14:27:
Een AMD v620 heeft 32GB ram, x3 dus 96GB in de ene machine. De andere nu dus 32GB.
Wellicht dat ik met een pcie-adapter nog een extra kaart erbij kan plaatsen (heb nog wel een paar v620 op de plank liggen ) maar dan is het alsnog 'maar' 128GB vram.

dat is wel capabele hardware als ik de specs zo bekijk: https://www.amd.com/en/products/accelerators/radeon-pro/amd-radeon-pro-v620.html

maar server grade spul, niet voor de gewone consument beschikbaar?

[ Voor 5% gewijzigd door JJ Le Funk op 07-08-2026 17:46 ]

[Ozzi]

Het is eigenlijk gewoon een RX 6800 XT, maar dan met extra/dubbel geheugen en geen video-out (al zit er wel 1 mini-displayport op). Het is inderdaad server-grade spul ja, maar zijn alle leuke hardware dingen niet server grade ;-)
Deze kaarten waarden volgens mij oorspronkelijk bedoeld voor gpu virtualisatie, ze hebben daar namelijk ook ondersteuning voor. Voordeel van deze kaarten is wel dat deze nog actie supported zijn tenopzichte van de mi50/mi60 kaarten. Kwa performance zijn ze dacht ik ongeveer vergelijkbaar ondanks dat een v620 minder geheugenbandbreedte heeft tenopzichte van een mi50/60.
En als je goed zoekt, kan je deze kaarten wel vinden, alleen over het algemeen niet in Europa. Er staat nu toevallig wel een advertentie op tweakers/marktplaats, maar daar ga ik niet naar linken

[Felicia]

Voor degene die zich afvragen wat ik zoal doe, in dit geval een Android APP die ik bij FlightSims kan gebruiken voor checklists en later ook vliegveld plattegronden. Ik vond het vervelend om die op het zelfde scherm te hebben als de sim zelf dus dan maar zo
Er zijn ongetwijfeld betere opties maar dit is hoe ik 'm wilde dus zo heb ik 'm gemaakt.

Het grootste deel van de basis app heb ik met OpenCode Go's Big Pickle model gedaan waarna ik de rest met Qwen 35b A3b heb gedaan. Ik heb 'm ook bij Github staan maar bij installeren krijg je wel een waarschuwing dat deze nog niet gescand is: https://github.com/FeliciaFiction/FlightSim-supporter

[ocf81]

offtopic:
Oh, cool. Dat is inderdaad wel handig. Is er ook een soort van master data lijst zodat de namen elkaar niet in de weg gaan zitten? (wellicht zijn is een taxonomie op basis van basismodel en subtypen handig, zodat je basislijsten kan overerven)

[ Voor 27% gewijzigd door ocf81 op 07-08-2026 19:15 ]

[ocf81]

@Ozzi Wat is het verschil dan tussen een v620 en een Radeon PRO W6800?

[Felicia]

ocf81 schreef op vrijdag 7 augustus 2026 @ 19:14:

offtopic:
Oh, cool. Dat is inderdaad wel handig. Is er ook een soort van master data lijst zodat de namen elkaar niet in de weg gaan zitten? (wellicht zijn subtypen handig)

Ze zitten in een folder structur met fabrikant/vliegtuig/##_naam_checklist.md (## als integer om de juiste volgorde in de GUI te tonen)
Dus als er varianten zijn, kan je ze als vliegtuig_variant importeren (zoals A320 ER bijvoorbeeld).

[ocf81]

@Felicia De reden dat ik het vraag is dat ik met een schuin zit oog te kijken naar DCS, en dan worden subtypes wat belangrijker, maar is er tegelijkertijd veel duplicatie. vandaar

[Felicia]

ocf81 schreef op vrijdag 7 augustus 2026 @ 19:23:
@Felicia De reden dat ik het vraag is dat ik met een schuin zit oog te kijken naar DCS, en dan worden subtypes wat belangrijker, maar is er tegelijkertijd veel duplicatie. vandaar

Je kan ze met een zip uploaden en met een beetje aanpassing kan je een sub-selectie maken zoals nu ook bij Land -> Vliegveld -> Landingsbaan is. Aan de andere kant, als de checklists niet van elkaar verschillen je volgens mij ook in de naam van het vliegtuig de diverse subtypes opnemen.

Is wel offtopic maar als er een centraal topic is, tag me daar maar of stuur een DM

[Ozzi]

ocf81 schreef op vrijdag 7 augustus 2026 @ 19:17:
@Ozzi Wat is het verschil dan tussen een v620 en een Radeon PRO W6800?

offtopic:
Een W6800 is een workstation kaart. Een variant van de rx 6800 non-XT met 32GB ram en heeft gewoon werkende cooling out of the box. Een v620 is een variant van de 6800 XT (dus meer cores) en is gemaakt voor gebruik in rack-servers met forced air cooling. Deze zijn dus passief gekoeld. Maar daar is altijd wat op te vinden met een 3d-printer en een blower-fan.

Mocht iemand het interessant vinden wil ik nog wel een llama-bench draaien

[Vintelligence]

De ontwikkelingen gaan zo snel op dit moment. Iemand tips voor het beste agentic coding model wat ik nu zou kunnen draaien? Ik gebruik op dit moment Qwen Coder Next (q8). Unified memory gebruik zit op zo een 100GB. Kan het nog beter? Beschikbare unified memory is ~220GB.

[Zsub]

Hmm, heb maar eens een nieuwe GPU besteld. Een GTX1080Ti is niet super meer, zowel met inference als ook gamen op 4k... Morgen komt een 5070Ti binnen. Ben benieuwd of ik dan wat nuttigere dingen lokaal kan draaien.

[R3m3d7]

Vintelligence schreef op vrijdag 7 augustus 2026 @ 22:36:
De ontwikkelingen gaan zo snel op dit moment. Iemand tips voor het beste agentic coding model wat ik nu zou kunnen draaien? Ik gebruik op dit moment Qwen Coder Next (q8). Unified memory gebruik zit op zo een 100GB. Kan het nog beter? Beschikbare unified memory is ~220GB.

Ik zou deepseek flash proberen, ik gebruik hem via de api en nu ik dit goed heb ingesteld is het echt een beest van een model voor de omvang/kosten om hem te draaien.

https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-0731

Uiteraard ook gguf beschikbaar en tig q’s.

Ik ben er via hermes een rts mee aan het vibecoden voor de lol en om van te leren en ben er enorm van onder de indruk.

[Deepflame]

Ik heb afgelopen week DeepSeek V4 Flash 0731 Q2_XSS (86 GB) geprobeerd icm DwarfStar 4 op mijn RTX 3090 (24 GB VRAM) + 40 GB RAM + SSD Expert Streaming.

Nadat ik DwarfStar 4 aan had gepast om een slimmere expert streaming caching strategie toe te passen kreeg ik er 5 tokens per seconde uit, wat voor een beetje chatten best OK is. Voor agentic werk wel veel te langzaam. :-)

[R3m3d7]

Ja, DS4F is echt een flinke jonge, volgens mij is het met een strix halo ook niet leuk (10-15tks). Mensen die 2 sparks via de snelle verbindingen aan elkaar knopen halen volgens mij rond de 60tks.

[Ozzi]

Ik heb vandaag toch maar een 4e GPU erbij geplaatst en wat aan het benchmarken geweest met Qwen3.6-27B-MTP-GGUF:UD-Q6_K_XL

1 GPU:

code:

[root@llmo llama.cpp]# ./build/bin/llama-bench   -hf unsloth/Qwen3.6-27B-MTP-GGUF:UD-Q6_K_XL   -ngl 999   -fa on -b 512,4096  -ub 512,1024   -p 1024,2048,4096 -n 128
ggml_cuda_init: found 1 ROCm devices (Total VRAM: 30704 MiB):
 | ngl | n_batch | n_ubatch |  fa |            test |                  t/s |
 | --: | ------: | -------: | --: | --------------: | -------------------: |
 |     512 |      512 |   1 |          pp1024 |        398.51 ± 0.18 |
 |     512 |      512 |   1 |          pp2048 |        397.17 ± 0.18 |
 |     512 |      512 |   1 |          pp4096 |        393.01 ± 0.09 |
 |     512 |      512 |   1 |           tg128 |         14.72 ± 0.02 |
 |     512 |     1024 |   1 |          pp1024 |        399.06 ± 0.15 |
 |     512 |     1024 |   1 |          pp2048 |        397.15 ± 0.17 |
 |     512 |     1024 |   1 |          pp4096 |        392.71 ± 0.21 |
 |     512 |     1024 |   1 |           tg128 |         14.73 ± 0.01 |
 |    4096 |      512 |   1 |          pp1024 |        398.44 ± 0.16 |
 |    4096 |      512 |   1 |          pp2048 |        396.20 ± 0.16 |
 |    4096 |      512 |   1 |          pp4096 |        391.64 ± 0.18 |
 |    4096 |      512 |   1 |           tg128 |         14.73 ± 0.01 |
 |    4096 |     1024 |   1 |          pp1024 |        399.20 ± 1.55 |
 |    4096 |     1024 |   1 |          pp2048 |        397.31 ± 0.20 |
 |    4096 |     1024 |   1 |          pp4096 |        393.41 ± 0.08 |
 |    4096 |     1024 |   1 |           tg128 |         14.73 ± 0.01 |

4 GPU geen tensor parallelism

code:

[root@llmo llama.cpp]# ./build/bin/llama-bench   -hf unsloth/Qwen3.6-27B-MTP-GGUF:UD-Q6_K_XL   -ngl 999   -fa on -b 512,4096  -ub 512,1024   -p 1024,2048,4096 -n 128
ggml_cuda_init: found 4 ROCm devices (Total VRAM: 122816 MiB):

 | n_batch | n_ubatch |  fa |            test |                  t/s |
 | ------: | -------: | --: | --------------: | -------------------: |
 |     512 |      512 |   1 |          pp1024 |        428.16 ± 0.37 |
 |     512 |      512 |   1 |          pp2048 |        451.21 ± 0.28 |
 |     512 |      512 |   1 |          pp4096 |        461.08 ± 1.08 |
 |     512 |      512 |   1 |           tg128 |         14.34 ± 0.03 |
 |     512 |     1024 |   1 |          pp1024 |        428.81 ± 0.15 |
 |     512 |     1024 |   1 |          pp2048 |        451.60 ± 0.17 |
 |     512 |     1024 |   1 |          pp4096 |        460.47 ± 0.15 |
 |     512 |     1024 |   1 |           tg128 |         14.34 ± 0.02 |
 |    4096 |      512 |   1 |          pp1024 |        428.64 ± 0.24 |
 |    4096 |      512 |   1 |          pp2048 |        451.67 ± 0.16 |
 |    4096 |      512 |   1 |          pp4096 |        460.58 ± 0.22 |
 |    4096 |      512 |   1 |           tg128 |         14.34 ± 0.01 |
 |    4096 |     1024 |   1 |          pp1024 |        388.15 ± 1.68 |
 |    4096 |     1024 |   1 |          pp2048 |        428.60 ± 0.09 |
 |    4096 |     1024 |   1 |          pp4096 |        448.96 ± 0.29 |
 |    4096 |     1024 |   1 |           tg128 |         14.35 ± 0.01 |

2 GPU met tensor parallelism

code:

[root@llmo llama.cpp]# export HIP_VISIBLE_DEVICES=0,1
[root@llmo llama.cpp]# ./build/bin/llama-bench   -hf unsloth/Qwen3.6-27B-MTP-GGUF:UD-Q6_K_XL   -ngl 999   -fa on -b 512,4096  -ub 512,1024   -p 1024,2048,4096 -n 128  --split-mode tensor
ggml_cuda_init: found 2 ROCm devices (Total VRAM: 61408 MiB):
 | n_batch | n_ubatch |     sm |  fa |            test |                  t/s |
 | ------: | -------: | -----: | --: | --------------: | -------------------: |
 |     512 |      512 | tensor |   1 |          pp1024 |        415.44 ± 5.34 |
 |     512 |      512 | tensor |   1 |          pp2048 |        416.52 ± 0.36 |
 |     512 |      512 | tensor |   1 |          pp4096 |        414.76 ± 0.64 |
 |     512 |      512 | tensor |   1 |           tg128 |         19.13 ± 0.15 |
 |     512 |     1024 | tensor |   1 |          pp1024 |        416.37 ± 2.77 |
 |     512 |     1024 | tensor |   1 |          pp2048 |        416.65 ± 0.08 |
 |     512 |     1024 | tensor |   1 |          pp4096 |        414.28 ± 0.23 |
 |     512 |     1024 | tensor |   1 |           tg128 |         19.19 ± 0.14 |
 |    4096 |      512 | tensor |   1 |          pp1024 |        416.41 ± 3.01 |
 |    4096 |      512 | tensor |   1 |          pp2048 |        416.44 ± 0.09 |
 |    4096 |      512 | tensor |   1 |          pp4096 |        414.53 ± 0.27 |
 |    4096 |      512 | tensor |   1 |           tg128 |         19.16 ± 0.14 |
 |    4096 |     1024 | tensor |   1 |          pp1024 |        447.62 ± 3.26 |
 |    4096 |     1024 | tensor |   1 |          pp2048 |        442.46 ± 1.52 |
 |    4096 |     1024 | tensor |   1 |          pp4096 |        440.50 ± 0.12 |
 |    4096 |     1024 | tensor |   1 |           tg128 |         19.19 ± 0.16 |

3 GPU met tensor parallelism

code:

[root@llmo llama.cpp]# export HIP_VISIBLE_DEVICES=0,1,2
[root@llmo llama.cpp]# ./build/bin/llama-bench   -hf unsloth/Qwen3.6-27B-MTP-GGUF:UD-Q6_K_XL   -ngl 999   -fa on -b 512,4096  -ub 512,1024   -p 1024,2048,4096 -n 128  --split-mode tensor
ggml_cuda_init: found 3 ROCm devices (Total VRAM: 92112 MiB):
 | n_batch | n_ubatch |     sm |  fa |            test |                  t/s |
 | ------: | -------: | -----: | --: | --------------: | -------------------: |
 |     512 |      512 | tensor |   1 |          pp1024 |        293.45 ± 9.44 |
 |     512 |      512 | tensor |   1 |          pp2048 |        295.73 ± 0.22 |
 |     512 |      512 | tensor |   1 |          pp4096 |        294.10 ± 0.59 |
 |     512 |      512 | tensor |   1 |           tg128 |         15.08 ± 0.22 |
 |     512 |     1024 | tensor |   1 |          pp1024 |        293.64 ± 8.53 |
 |     512 |     1024 | tensor |   1 |          pp2048 |        295.24 ± 0.21 |
 |     512 |     1024 | tensor |   1 |          pp4096 |        294.61 ± 0.24 |
 |     512 |     1024 | tensor |   1 |           tg128 |         17.20 ± 0.20 |
 |    4096 |      512 | tensor |   1 |          pp1024 |        294.63 ± 7.62 |
 |    4096 |      512 | tensor |   1 |          pp2048 |        296.06 ± 0.13 |
 |    4096 |      512 | tensor |   1 |          pp4096 |        294.96 ± 0.22 |
 |    4096 |      512 | tensor |   1 |           tg128 |         17.64 ± 0.23 |
 |    4096 |     1024 | tensor |   1 |          pp1024 |        315.74 ± 5.13 |
 |    4096 |     1024 | tensor |   1 |          pp2048 |        313.05 ± 4.80 |
 |    4096 |     1024 | tensor |   1 |          pp4096 |        313.22 ± 0.06 |
 |    4096 |     1024 | tensor |   1 |           tg128 |         17.63 ± 0.22 |

4 GPU met tensor parallelism

code:

[root@llmo llama.cpp]# ./build/bin/llama-bench   -hf unsloth/Qwen3.6-27B-MTP-GGUF:UD-Q6_K_XL   -ngl 999   -fa on -b 512,4096  -ub 512,1024   -p 1024,2048,4096 -n 128  --split-mode tensor
ggml_cuda_init: found 4 ROCm devices (Total VRAM: 122816 MiB):
 | n_batch | n_ubatch |     sm |  fa |            test |                  t/s |
 | ------: | -------: | -----: | --: | --------------: | -------------------: |
 |     512 |      512 | tensor |   1 |          pp1024 |        159.84 ± 0.87 |
 |     512 |      512 | tensor |   1 |          pp2048 |        160.38 ± 0.04 |
 |     512 |      512 | tensor |   1 |          pp4096 |        160.15 ± 0.01 |
 |     512 |      512 | tensor |   1 |           tg128 |         13.14 ± 0.19 |
 |     512 |     1024 | tensor |   1 |          pp1024 |        160.02 ± 0.77 |
 |     512 |     1024 | tensor |   1 |          pp2048 |        160.44 ± 0.05 |
 |     512 |     1024 | tensor |   1 |          pp4096 |        160.29 ± 0.03 |
 |     512 |     1024 | tensor |   1 |           tg128 |         13.26 ± 0.15 |
 |    4096 |      512 | tensor |   1 |          pp1024 |        160.20 ± 0.67 |
 |    4096 |      512 | tensor |   1 |          pp2048 |        160.46 ± 0.03 |
 |    4096 |      512 | tensor |   1 |          pp4096 |        160.19 ± 0.04 |
 |    4096 |      512 | tensor |   1 |           tg128 |         13.21 ± 0.15 |
 |    4096 |     1024 | tensor |   1 |          pp1024 |        167.22 ± 1.15 |
 |    4096 |     1024 | tensor |   1 |          pp2048 |        166.09 ± 0.29 |
 |    4096 |     1024 | tensor |   1 |          pp4096 |        166.19 ± 0.04 |
 |    4096 |     1024 | tensor |   1 |           tg128 |         13.18 ± 0.15 |

2 kaarten bied nog wel voordeel voor dit model, maar daarboven gaat de performance achteruit. Wellicht heeft de configuratie van mijn server hier ook wel mee te maken omdat nu 1 kaart via pcie x8 is aangesloten maar ook omdat deze via de PCI-lanes van een andere CPU lopen.

Ik zal ook nog wat meer modellen testen

[ Voor 63% gewijzigd door Ozzi op 09-08-2026 21:31 . Reden: 1 GPU ook toegevoegd + leesbaarder ]

[Ozzi]

Ik heb nog een tweetal modellen getest:

Qwen3.6-35B-A3B 21.10 GiB | 35.51 B

1 GPU

code:

[root@llmo llama.cpp]# ./build/bin/llama-bench   -m /mnt/models/Qwen-3.6-35b/Qwen3.6-35B-A3B-UD-Q4_K_M.gguf   -ngl 999   -fa on -b 512,4096  -ub 512,1024   -p 1024,2048,4096 -n 128
ggml_cuda_init: found 1 ROCm devices (Total VRAM: 30704 MiB):
  Device 0: AMD Radeon PRO V620, gfx1030 (0x1030), VMM: no, Wave Size: 32, VRAM: 30704 MiB

n_batch	n_ubatch	test	t/s
512	512	pp1024	1901.01
512	512	pp2048	1876.94
512	512	pp4096	1841.76
512	512	tg128	76.58
512	1024	pp1024	1896.92
512	1024	pp2048	1884.19
512	1024	pp4096	1834.35
512	1024	tg128	76.71
4096	512	pp1024	1878.87
4096	512	pp2048	1857.05
4096	512	pp4096	1816.11
4096	512	tg128	76.78
4096	1024	pp1024	2353.82
4096	1024	pp2048	2320.88
4096	1024	pp4096	2265.65
4096	1024	tg128	76.68

4 GPU geen tensor parallelism

code:

[root@llmo llama.cpp]# ./build/bin/llama-bench   -m /mnt/models/Qwen-3.6-35b/Qwen3.6-35B-A3B-UD-Q4_K_M.gguf   -ngl 999   -fa on -b 512,4096  -ub 512,1024   -p 1024,2048,4096 -n 128
ggml_cuda_init: found 4 ROCm devices (Total VRAM: 122816 MiB):
  Device 0: AMD Radeon PRO V620, gfx1030 (0x1030), VMM: no, Wave Size: 32, VRAM: 30704 MiB
  Device 1: AMD Radeon PRO V620, gfx1030 (0x1030), VMM: no, Wave Size: 32, VRAM: 30704 MiB
  Device 2: AMD Radeon PRO V620, gfx1030 (0x1030), VMM: no, Wave Size: 32, VRAM: 30704 MiB
  Device 3: AMD Radeon PRO V620, gfx1030 (0x1030), VMM: no, Wave Size: 32, VRAM: 30704 MiB

n_batch	n_ubatch	test	t/s
512	512	pp1024	1925.90
512	512	pp2048	2000.46
512	512	pp4096	2010.28
512	512	tg128	68.79
512	1024	pp1024	1923.03
512	1024	pp2048	2005.71
512	1024	pp4096	2004.02
512	1024	tg128	68.91
4096	512	pp1024	1933.91
4096	512	pp2048	2005.24
4096	512	pp4096	2005.81
4096	512	tg128	68.78
4096	1024	pp1024	2196.86
4096	1024	pp2048	2373.41
4096	1024	pp4096	2440.91
4096	1024	tg128	69.12

2 GPU met tensor parallelism

code:

[root@llmo llama.cpp]# ./build/bin/llama-bench   -m /mnt/models/Qwen-3.6-35b/Qwen3.6-35B-A3B-UD-Q4_K_M.gguf   -ngl 999   -fa on -b 512,4096  -ub 512,1024   -p 1024,2048,4096 -n 128    --split-mode tensor
ggml_cuda_init: found 2 ROCm devices (Total VRAM: 61408 MiB):
  Device 0: AMD Radeon PRO V620, gfx1030 (0x1030), VMM: no, Wave Size: 32, VRAM: 30704 MiB
  Device 1: AMD Radeon PRO V620, gfx1030 (0x1030), VMM: no, Wave Size: 32, VRAM: 30704 MiB

n_batch	n_ubatch	test	t/s
512	512	pp1024	1598.20
512	512	pp2048	1604.02
512	512	pp4096	1583.38
512	512	tg128	46.35
512	1024	pp1024	1585.65
512	1024	pp2048	1604.96
512	1024	pp4096	1578.39
512	1024	tg128	46.49
4096	512	pp1024	1596.34
4096	512	pp2048	1605.87
4096	512	pp4096	1582.64
4096	512	tg128	46.64
4096	1024	pp1024	1956.28
4096	1024	pp2048	1871.51
4096	1024	pp4096	1863.18
4096	1024	tg128	46.50

3 GPU met tensor parallelism (wordt er niet beter op)

code:

[root@llmo llama.cpp]# ./build/bin/llama-bench   -m /mnt/models/Qwen-3.6-35b/Qwen3.6-35B-A3B-UD-Q4_K_M.gguf   -ngl 999   -fa on -b 512,4096  -ub 512,1024   -p 1024,2048,4096 -n 128    --split-mode tensor
ggml_cuda_init: found 3 ROCm devices (Total VRAM: 92112 MiB):

n_batch	n_ubatch	test	t/s
512	512	pp1024	1055.96
512	512	pp2048	1063.74
512	512	pp4096	1058.31
512	512	tg128	30.40
512	1024	pp1024	1069.52
512	1024	pp2048	1068.92
512	1024	pp4096	1059.02
512	1024	tg128	30.03
4096	512	pp1024	1068.93
4096	512	pp2048	1073.97
4096	512	pp4096	1062.18
4096	512	tg128	30.00
4096	1024	pp1024	1239.57
4096	1024	pp2048	1203.65
4096	1024	pp4096	1200.77
4096	1024	tg128	30.25

4 GPU met tensor parallelism ( )

code:

[root@llmo llama.cpp]# ./build/bin/llama-bench   -m /mnt/models/Qwen-3.6-35b/Qwen3.6-35B-A3B-UD-Q4_K_M.gguf   -ngl 999   -fa on -b 512,4096  -ub 512,1024   -p 1024,2048,4096 -n 128    --split-mode tensor
ggml_cuda_init: found 4 ROCm devices (Total VRAM: 122816 MiB):

n_batch	n_ubatch	test	t/s
512	512	pp1024	600.25
512	512	pp2048	605.76
512	512	pp4096	602.68
512	512	tg128	19.74
512	1024	pp1024	600.44
512	1024	pp2048	607.10
512	1024	pp4096	602.80
512	1024	tg128	19.86
4096	512	pp1024	603.68
4096	512	pp2048	607.49
4096	512	pp4096	603.59
4096	512	tg128	19.88
4096	1024	pp1024	652.61
4096	1024	pp2048	644.13
4096	1024	pp4096	644.58
4096	1024	tg128	20.00

Step-3.7-Flash-UD-Q4_K_S 106.32 GiB | 196.96 B

4 GPU geen tensor parallelism

code:

[root@llmo llama.cpp]# ./build/bin/llama-bench   -m /mnt/models/Step-3.7/UD-Q4_K_S/Step-3.7-Flash-UD-Q4_K_S-00001-of-00004.gguf   -ngl 45   -fa on -b 2048  -ub 2048   -p 1024,2048,4096 -n 128
ggml_cuda_init: found 4 ROCm devices (Total VRAM: 122816 MiB):

test	t/s
pp1024	593.30
pp2048	696.69
pp4096	747.59
tg128	24.64

4 GPU met tensor parallelism

code:

[root@llmo llama.cpp]# ./build/bin/llama-bench   -m /mnt/models/Step-3.7/UD-Q4_K_S/Step-3.7-Flash-UD-Q4_K_S-00001-of-00004.gguf   -ngl 45   -fa on -b 2048  -ub 2048   -p 1024,2048,4096 -n 128   --split-mode tensor
ggml_cuda_init: found 4 ROCm devices (Total VRAM: 122816 MiB):

test	t/s
pp1024	262.92
pp2048	272.50
pp4096	269.42
tg128	12.31

Ling-3.0-flash-AD-Q6_K 100.12 GiB | 124.41 B

code:

[root@llmo atomic-llama-cpp-turboquant-b10269-1.5.1]# ./build/bin/llama-bench   -m /mnt/models/Ling-3.0/AD-Q6_K/Ling-3.0-flash-AD-Q6_K-00001-of-00003.gguf   -ngl 999   -fa off -b 2048  -ub 2048   -p 1024,2048,4096 -n 128
ggml_cuda_init: found 4 ROCm devices (Total VRAM: 122816 MiB):
|  fa |            test |                  t/s |
| --: | --------------: | -------------------: |
|   0 |          pp1024 |        856.44 ± 3.73 |
|   0 |          pp2048 |       1002.66 ± 2.23 |
|   0 |          pp4096 |       1064.79 ± 2.08 |
|   0 |           tg128 |         35.95 ± 0.10 |

[ Voor 19% gewijzigd door Ozzi op 09-08-2026 19:50 ]

[zx9r_mario]

Ik heb een pc binnengekregen met een AMD Radeon VII 16GB GPU, deze heeft HBM2 geheugen. Lijkt me een leuke kaart om AI modellen te draaien.


Update: Inmiddels getest met Linux en LMStudio (via Vulkan), haal ik ca 17 tokens/sec met Qwen3.6 27b (32k context window).

[ Voor 31% gewijzigd door zx9r_mario op 10-08-2026 15:46 ]

[Zsub]

Pfff. Draai nu een dagje Qwen3.6-35B-A3B op m'n RTX5070Ti, met een MoE offload naar de CPU, maar ben niet echt onder de indruk van de snelheid. Af en toe smijt llama-server ook de hele cache leeg, dan is 'ie weer met 115 tok/s de hele prompt en context aan het openemen

[Hennie-M]

Ik zie dit topic pas sinds vandaag en ben behoorlijk enthousiast. Op werk zijn we met zijn 3en bezig met experimenteren met een lokaal model maar we komen er wel achter dat pure cpu echt echt niet vooruit te branden is. Dus we willen ook wel met één V620 aan de gang. De vraag is alleen, en niemand weet dit natuurlijk, hoe lang kan je nou eigenlijk doen met zo'n kaart? Ik zie de benchmarks van @Ozzi maar ik kan ze moeilijk beoordelen. Zijn deze kaarten over een jaar compleet achterhaald zoals met het cryptominen het geval was? Of zou je hier nog wel langer plezier van kunnen hebben?

[Shinji]

Hennie-M schreef op maandag 10 augustus 2026 @ 21:01:
Ik zie dit topic pas sinds vandaag en ben behoorlijk enthousiast. Op werk zijn we met zijn 3en bezig met experimenteren met een lokaal model maar we komen er wel achter dat pure cpu echt echt niet vooruit te branden is. Dus we willen ook wel met één V620 aan de gang. De vraag is alleen, en niemand weet dit natuurlijk, hoe lang kan je nou eigenlijk doen met zo'n kaart? Ik zie de benchmarks van @Ozzi maar ik kan ze moeilijk beoordelen. Zijn deze kaarten over een jaar compleet achterhaald zoals met het cryptominen het geval was? Of zou je hier nog wel langer plezier van kunnen hebben?

Lijkt me dat dezelfde modellen vergelijkbaar blijven performen toch?

[Ozzi]

Hoe lang deze kaarten meegaan, wie zal het zeggen. Wel is het zo dat de ontwikkelingen afgelopen jaar ook snel gaan welke verbeteringen brengen welke ook op oudere hardware verbeteringen brengen. Denk hierbij aan MTP en DFlash (die laatste heb ik zelf nog niet mee getest). Wel is het zo dat de performance ook sterk afhankelijk is van de grootte en aantal 'actieve' parameters. Een Dense model van 27B zal waarschijnlijk slechter presteren van een 70B met A6B (ik noem maar wat ) mits beide in memory passen.

[Shinji]

Volgens mij zijn grofweg de opties een DGX Spark, Strix Halo systeem of random PC met een (of meerdere) goede GPU's

Ik heb een aantal reviews gelezen en die gaven aan dat de AI MAX+ 395 met 128GB best prima performed en een stuk goedkoper is dan zo'n DGX Spark. Echter lijkt dat een beetje te zijn achterhaalt. DGX Spark is rond de €4000 en de Strix Halo systemen zijn inmiddels ook die range (€3500-€4500). Ik twijfels waar ik goed aan doe voor een eerste test systeem. Iemand daar een goed overzicht van op basis van de huidige prijzen ergens?

[R3m3d7]

@Shinji de vraag is welk model wil je draaien en is er een kans dat je gaat clusteren dus twee of meer nodes aan elkaar gaat knopen. Dit is hoe ik er naar kijk.

Als je alleen inference verwacht van de box en hem niet mede wil inzetten als een thuis servertje is dat een plus bij de dgx, die is net wat sneller, zeker op pp.

Als je wilt clusteren is het dgx, 400Gbs netwerk zit al in de box, dat is een serieus voordeel en het werkt voortreffelijk.

als je bv deepseek flash wilt draaien zonder quant is 2x dgx de oplossing.

echter er zijn strix modellen met pci slot en daar kan een gpu in die de strix weer sneller maakt als enkele unit tov de dgx maar dan ook qua kosten gelijk of zelfs wat duurder.

ik krijg geen positieve business case met mijn favoriete budget llm deepseek dus blijf het voorlopig via de api afnemen, ik kan er niet eens de stroomkosten van betalen met twee sparks. Ik hoop dat we over 2-3 een strix achtig systeem hebben met 256GB en 900GB/s geheugen voor 4-5k. dan sta ik vooraan…met vele andere vrees ik.

[CSB]

Shinji schreef op maandag 10 augustus 2026 @ 21:18:
Volgens mij zijn grofweg de opties een DGX Spark, Strix Halo systeem of random PC met een (of meerdere) goede GPU's

Ik heb een aantal reviews gelezen en die gaven aan dat de AI MAX+ 395 met 128GB best prima performed en een stuk goedkoper is dan zo'n DGX Spark. Echter lijkt dat een beetje te zijn achterhaalt. DGX Spark is rond de €4000 en de Strix Halo systemen zijn inmiddels ook die range (€3500-€4500). Ik twijfels waar ik goed aan doe voor een eerste test systeem. Iemand daar een goed overzicht van op basis van de huidige prijzen ergens?

Ligt er aan wat je budget is en je doel. ALs het puur hobbymatig is en je hebt misschien al een PC (maar dan zonder goede GPU) dan is een GPU aanschaffen het snelste en "goedkoopste". Maar wil je echt een dedicated inference machine die je misschien zelfs semi-professioneel wilt gaan gebruiken, dan zou je kunnen investeren in een DGX of Strix, al zijn de prijzen wel echt absurd momenteel... Ik ben blij dat ik zelf twee jaar terug een nieuwe game-pc heb gebouwd.

[Vintelligence]

R3m3d7 schreef op zaterdag 8 augustus 2026 @ 11:06:
[...]

Ik zou deepseek flash proberen, ik gebruik hem via de api en nu ik dit goed heb ingesteld is het echt een beest van een model voor de omvang/kosten om hem te draaien.

https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-0731

Uiteraard ook gguf beschikbaar en tig q’s.

Ik ben er via hermes een rts mee aan het vibecoden voor de lol en om van te leren en ben er enorm van onder de indruk.

Dank voor de tip! Ben hem sinds gisteren aan het draaien (DeepSeek V4 Flash mxfp8). Om en nabij 170GB unified memory gebruik

Moet wel zeggen dat het model een stuk trager reageert dan Qwen Coder Next. Wie weet zijn mijn settings niet goed?

• Temperature: 1.0
• Top p: 0.95
• Context window: 1048576 tokens
• Max tokens: 32.768 tokens
• Thinking: aan

[ Voor 4% gewijzigd door Vintelligence op 11-08-2026 11:54 ]

[Rox_NL]

Shinji schreef op maandag 10 augustus 2026 @ 21:18:
Volgens mij zijn grofweg de opties een DGX Spark, Strix Halo systeem of random PC met een (of meerdere) goede GPU's

Ik heb een aantal reviews gelezen en die gaven aan dat de AI MAX+ 395 met 128GB best prima performed en een stuk goedkoper is dan zo'n DGX Spark. Echter lijkt dat een beetje te zijn achterhaalt. DGX Spark is rond de €4000 en de Strix Halo systemen zijn inmiddels ook die range (€3500-€4500). Ik twijfels waar ik goed aan doe voor een eerste test systeem. Iemand daar een goed overzicht van op basis van de huidige prijzen ergens?

Ik volg de eerdere opmerkingen van @CSB en @R3m3d7: ligt voor een groot deel aan je use-case.

Mijn toevoeging: hoe ver ben je al op de leercurve en waar loop je op dit moment tegen limieten aan?

In mijn geval ben ik gestart met Claude (Pro): dit was vooral voor "directe feedback" zaken terwijl ik achter mijn laptop zat. Daarna voor de gein op die laptop de echt kleine modellen (4B-8B) eens lokaal geprobeerd. Niet fantastisch, maar om meerdere redenen was ik wel benieuwd of een lokaal draaiende assistent indien nodig 24/7 kan doorwerken aan lager tempo met acceptabele kwaliteit. Binnen het budget dat ik wilde uitgeven een Mac Studio M1 Max met (helaas) 32GB ram gevonden. Ben nu een dikke maand bezig met Hermes icm met Qwen3.6-35B-A3B.

Van de lessen kan ik al bijna een boek schrijven . Korte samenvatting: ik heb nog geen goede manier gevonden om die combinatie zelfstandig een deftige taak te laten voltooien. Ik blijf wel nieuwe experimenten doen en gelukkig gaan de ontwikkelingen snel.

Zou een DGX Spark of AI MAX+ 395 mij verder gebracht hebben? Deels: ik zie bij bijna al mijn experimenten dat context en reasoning echt enorm veel tokens vreten en nodig zijn voor de basis kwaliteit. Maar ik zou dan toch eerder hybride overwegen: een deftig lokaal model icm met API naar een frontier.

[Puff_Uncle]

Rox_NL schreef op dinsdag 11 augustus 2026 @ 11:55:
[...]

Ik volg de eerdere opmerkingen van @CSB en @R3m3d7: ligt voor een groot deel aan je use-case.

Mijn toevoeging: hoe ver ben je al op de leercurve en waar loop je op dit moment tegen limieten aan?

In mijn geval ben ik gestart met Claude (Pro): dit was vooral voor "directe feedback" zaken terwijl ik achter mijn laptop zat. Daarna voor de gein op die laptop de echt kleine modellen (4B-8B) eens lokaal geprobeerd. Niet fantastisch, maar om meerdere redenen was ik wel benieuwd of een lokaal draaiende assistent indien nodig 24/7 kan doorwerken aan lager tempo met acceptabele kwaliteit. Binnen het budget dat ik wilde uitgeven een Mac Studio M1 Max met (helaas) 32GB ram gevonden. Ben nu een dikke maand bezig met Hermes icm met Qwen3.6-35B-A3B.

Van de lessen kan ik al bijna een boek schrijven . Korte samenvatting: ik heb nog geen goede manier gevonden om die combinatie zelfstandig een deftige taak te laten voltooien. Ik blijf wel nieuwe experimenten doen en gelukkig gaan de ontwikkelingen snel.

Zou een DGX Spark of AI MAX+ 395 mij verder gebracht hebben? Deels: ik zie bij bijna al mijn experimenten dat context en reasoning echt enorm veel tokens vreten en nodig zijn voor de basis kwaliteit. Maar ik zou dan toch eerder hybride overwegen: een deftig lokaal model icm met API naar een frontier.

waar loop je eigenlijk het meest tegenaan is dat snelheid of kwaliteit van de antwoorden? ik ben nu voor hermes bijna 100% bezig met deepseek-v4-flash en vind de snelheid echt heel fijn.

[Shinji]

CSB schreef op dinsdag 11 augustus 2026 @ 09:05:
[...]

Ligt er aan wat je budget is en je doel. ALs het puur hobbymatig is en je hebt misschien al een PC (maar dan zonder goede GPU) dan is een GPU aanschaffen het snelste en "goedkoopste". Maar wil je echt een dedicated inference machine die je misschien zelfs semi-professioneel wilt gaan gebruiken, dan zou je kunnen investeren in een DGX of Strix, al zijn de prijzen wel echt absurd momenteel... Ik ben blij dat ik zelf twee jaar terug een nieuwe game-pc heb gebouwd.

Doel is juist om te onderzoeken waar het nuttig kan zijn. Ik zit vooral in de netwerk / security hoek. Dus analyseren van configuraties etc zit ik aan te denken. Ik wil dit soort gegevens niet naar een externe provider uploaden maar puur zelf in eigen beheer hebben.

Ik ben geen heel fervente gamer dus heb geen game PC staan.

Het zou wel puur zakelijk zijn dus wel aftrekbaar, wat scheelt in de aanschaf.

[neonite]

Shinji schreef op dinsdag 11 augustus 2026 @ 16:29:
[...]

Doel is juist om te onderzoeken waar het nuttig kan zijn. Ik zit vooral in de netwerk / security hoek. Dus analyseren van configuraties etc zit ik aan te denken. Ik wil dit soort gegevens niet naar een externe provider uploaden maar puur zelf in eigen beheer hebben.

Ik ben geen heel fervente gamer dus heb geen game PC staan.

Het zou wel puur zakelijk zijn dus wel aftrekbaar, wat scheelt in de aanschaf.

Ik zit zelf ook in de security hoek, en heb onlangs 2 DGX Sparks aangeschaft voor o.a. het uitvoeren van security testen & analyses icm. het nieuwe Deepseek Flash model. Ik ben niet helemaal onder de indruk van de snelheid, maar het Deepseek model draait verder goed, levert resultaat en het is fijn om alle data in eigen beheer te blijven houden. Daarnaast werkt de oplossing fijn als 'persoonlijke assistent' met Hermes, waarbij ik het meer toegang tot gevoeligere data durf te geven.

Morgen komt het nieuwe Qwen model uit, ik ben benieuwd hoe dat zich gaat verhouden tegen Deepseek.

[Ozzi]

Ik ben vandaag wat aan het testen geweest met "Qwen3.6-27B-Fable-Fus-711-UnHeretic-NM-DAU-NEO-MAX-NEO-MTP" op een enkele v620. Kwa performance werkt dit niet onaardig, meestal tussen de 25 en 30 t/s. Code werkte (uiteraard) niet in een keer out of the box met nog wat extra iteraties en toevoegingen en verbeteringen is er toch best iets grappigs uitgekomen
Mocht iemand 'mijn' baksel willen bekijken, kan dat hier:
https://github.com/OscarDev-/Misc/blob/main/snowman.html

[Felicia]

Ozzi schreef op dinsdag 11 augustus 2026 @ 20:38:
Ik ben vandaag wat aan het testen geweest met "Qwen3.6-27B-Fable-Fus-711-UnHeretic-NM-DAU-NEO-MAX-NEO-MTP" op een enkele v620.

Ik ben benieuwd wat die zelfde prompt doet met de gewone 27b/35b a3b, ik heb toch het idee dat al die veranderingen op het basis model niet echt helpen. Ik heb er verschillende geprobeerd maar of het gaf een flinke hit op de performance of ik kreeg continu tool-errors.

---

Ik ben ook even aan het spelen met het nieuwe model van Nvidia: nieuws: Nvidia brengt aanpasbaar opensource-AI-model uit dat op één gpu draait - update

Qua prompt processing (zonder Dflash) redelijk wat sneller dan Qwen 35b op mijn Intel B70 maar qua token generatie zeker niet. Ik gebruik de ggml-org gguf en bij een relatief kleine aanpassing in een ExpressJS website en hij blijft behoorlijk hangen. Zegt toolcalls te gaan doen, doet vervolgens niets maar wel 25k+ token generatie zonder iets op 't scherm.
Geswitcht naar Qwen 35b en die loste het binnen minuten op