Met zo'n administrator heb je geen users meer nodig...
Ik dacht even dat het weer één van de vele clickbait video's was, en dat is het natuurlijk wel een beetje want het zijn vooralsnog theoretische verbeteringen die alleen op een H100 (volgens google) getest zijn met forse snelheids/compressiewinst. Maar het ziet er inderdaad wel indrukwekkend uit, als dat echt enigszins klopt kun je ineens met een 16GB vram kaart behoorlijk serieuze modellen draaien en komt er heel veel moois beschikbaar voor lokale AI
[ Voor 12% gewijzigd door DeNachtwacht op 27-03-2026 15:22 ]
llama-cpp-turboquant-guide Het lukt ze om bijv. op een RTX4070 Mobile GPU (dus 8GB) een context size van 64K te runnen.
Erg interessante tijden gaan we tegemoet voor Local LLM's.
[ Voor 36% gewijzigd door CSB op 02-04-2026 15:54 . Reden: turboquant toegevoegd ]
Met zo'n administrator heb je geen users meer nodig...
Het volgende clickbait filmpje over een 1B model sla ik dus ook gerust over... ik merk dat het pas enigszins vergelijkbaar wordt met een cloud model als je minimaal 30B / 35B hebt. Als het echt zo goed is, komt het wel op serieuze media voorbij. Merk dat ik al maanden youtube totaal niet meer kijk voor dit soort nieuwtjes want in elk filmpje wordt je schreeuwend beloofd dat je vanaf nú lokaal op je 3Dfx uit 1998 met 1 MB ram zelfs de cloud modellen van ChatGPT van enkele terabytes groot kan draaien... en vervolgens blijkt dat er een kleine tweak aan een LLM of tool is die een paar procent snelheidswinst oplevert ergens. En dat blijkt dan ergens in de laatste minuut van het filmpje waar je al teasend naartoe wordt geschreewd.
[ Voor 38% gewijzigd door DeNachtwacht op 02-04-2026 16:09 ]
Ik zal voortaan de "clickbait filmpjes" achterwege laten, ook al was het goed bedoeld.
Met zo'n administrator heb je geen users meer nodig...
Het is al moeilijk genoeg om een model in de cloud te laten doen wat je wil, laat staan lokaal waar het model zelf meestal beperkte context en kennis heeft.
Ik vraag het maar eens hier: is het ‘t tot nu toe echt allemaal waard om daar mee te prutsen? Na een uur draait er bij mij lokaal wel wat, maar krijg ik toch een inconsistente gebruikservaring. Of doe ik iets verkeerd?
Have you tried turning it off and on again?
https://unsloth.ai/docs/models/gemma-4
Gemma E4B zal je dus op een gpu met 16GB vrij royaal in 8 bit kwantisatie kunnen downloaden en gebruiken. Lekker snel en gebruiksvriendelijk is Ollama: https://ollama.com/library/gemma4
Maar idd is en blijft het vooral interessant voor hobbyisten of juist als je er écht professioneel mee aan de slag wil (met stevige GPU's). Voor gewoon casual met een taalmodel aan de slag is over het algeen een cloud model simpeler en ook fors beter. Wel is het voordeel van lokaal draaien natuurlijk dat je zeker weet dat je data echt binnen je pc blijft.
© ocf81 1981-infinity
Live the dream! | Politiek Incorrecte Klootzak uitgerust met The Drive to Survive
Bestrijd de plaag die woke heet! | Servitisatie is slavernij. Kies je eigen weg!
Voor gebruikers vragen heeft het weinig waarde buiten het hobby'en. Voor agentic AI is het heel handig. Als m'n agents allemaal cloud based zouden draaien, had ik iedere maand een kleine 10.000 euro kunnen afrekenen aan token usage. Ik heb twee piepkleine LLM's op mijn werklaptop draaien voor specialistische taken. En een server met een sloot vram voor grotere modellen die voor taak gerichte agentic AI worden gebruikt. Voor het bouwen van automations gebruik ik n8n instances die gebouwd worden met een Claude subscription. En een chatgpt abbo voor vragen.Gr4mpyC3t schreef op donderdag 2 april 2026 @ 21:03:
Ik heb voorlopig sowieso even geen interesse meer in lokale AI-modellen.
Het is al moeilijk genoeg om een model in de cloud te laten doen wat je wil, laat staan lokaal waar het model zelf meestal beperkte context en kennis heeft.
Ik vraag het maar eens hier: is het ‘t tot nu toe echt allemaal waard om daar mee te prutsen? Na een uur draait er bij mij lokaal wel wat, maar krijg ik toch een inconsistente gebruikservaring. Of doe ik iets verkeerd?
Qwen en Deepseek op mn server. Voor een orchestrator agent die al mijn agents aan stuurt. Een assistent agent die veel van mijn dagelijkse werkzaamheden heeft overgenomen. Een test agent die al het werk van al mijn agents test na elke actie. En een rits aan agents die in n8n workflows worden aangesproken. En een separate agent die mijn home automation regelt onderhoud en op aanvraag uitbreid. Welke LLM's op mijn laptop draaien weet ik niet meer. 1 gebruik ik om 24/7 mee te luisteren en automatisch ieder gesprek te transscripten en op te slaan in Obsidian. En om acties uit te voeren na een wake woord. De andere wordt gebruikt om alle terug koppeling die mijn orchestrator agent geeft om te zetten naar spraak. Wat heel handig is wanneer je 5 a 6 terminals hebt draaien met verschillende projecten die ieder door de orchastrator worden gemanaged. Ik hoef dus niet al mijn terminals af om te weten hoe het ermee staat en ik kan gesproken antwoorden wanneer mijn archostrator iets vraagt, of wanneer ik iets gedaan wil hebben wanneer ik in een overleg zit om maar wat te noemen kan ik dat via een teams berichtje vragen.DeNachtwacht schreef op donderdag 9 april 2026 @ 18:09:
@Seth_Chaos welke lokale modellen gebruik jij en voor welke agents?
En s' avonds wanneer ik wat beters te doen heb dan werken, laat ik vaak nieuwe projecten uitwerken en of voorbereiden en projecten coden.
En Claude gebruik ik met superpowers en skills. Voornamelijk om het werk van de lokale agents nog eens na te lopen en op te poetsen. En voor wat onderzoek. Ook die wordt aangestuurd door m'n orchastrator.
Ik kan dit ook iedereen aanraden. Begin klein. Neem een Claude account. Start Claude code in een terminal met super powers. Hang het aan een notitie tool zoals Obisidan. Leg je dagelijkse werkzaamheden eens vast in obsidian. Gebruik het gewoon een paar dagen als een soort dagboek. Vraag vervolgens Claude om de obsidian dir te gebruiken als werk folder voor Claude. En vraag eens te analyseren wat je allemaal op een dag doet en waar het denkt bij te kunnen helpen, en of welke werkzaamheden het kan overnemen. Vraag Claude dat in te regelen. Begin met zero trust. Alles wat het wil doen moet het eerst vragen. Wanneer je vertrouwen hebt dat het die taak altijd succesvol volbrengt, ga je een stapje verder en vraag je de taak automatisch uit te voeren met enkel een notificatie wanneer de taak gestart wordt, en een notificatie wanneer de taak is volbracht. En breid dat steeds verder uit, tot je op den duur meerdere agents volledig autonoom hun werk kunt laten doen. Zodra de agents autonoom beginnen te werken, verhuis je ze naar lokale AI, zodat er iets overblijft van je bankrekening (of de bankrekening van je werkgever).
Veel mensen zijn bang dat ze daarmee zichzelf overbodig maken. Maar het tegendeel is waar. Ik heb nog steeds 8 uur werk. Maar in plaats van 8 uur zelf het werk te doen stuur ik een legioen agents aan. Mijn werkgever krijgt er een veelvoud van het werk dat ik voorheen deed voor terug. Ik ben nu dus veel waardevoller voor mijn werkgever dan voorheen. En het is ook veel leuker. Want al het hersen dodende werk dat ik voorheen deed, en alles waar ik nul energie van kreeg heb ik als eerste weg geautomatiseerd.
[ Voor 38% gewijzigd door Seth_Chaos op 09-04-2026 19:17 ]
Uit nieuwsgierigheid aan wat voor hersendodend werk of taken waar je 0 energie van krijgt moet ik aan denken?Seth_Chaos schreef op donderdag 9 april 2026 @ 18:31:
[...]
Qwen en Deepseek op mn server. Voor een orchestrator agent die al mijn agents aan stuurt. Een assistent agent die veel van mijn dagelijkse werkzaamheden heeft overgenomen. Een test agent die al het werk van al mijn agents test na elke actie. En een rits aan agents die in n8n workflows worden aangesproken. En een separate agent die mijn home automation regelt onderhoud en op aanvraag uitbreid. Welke LLM's op mijn laptop draaien weet ik niet meer. 1 gebruik ik om 24/7 mee te luisteren en automatisch ieder gesprek te transscripten en op te slaan in Obsidian. En om acties uit te voeren na een wake woord. De andere wordt gebruikt om alle terug koppeling die mijn orchestrator agent geeft om te zetten naar spraak. Wat heel handig is wanneer je 5 a 6 terminals hebt draaien met verschillende projecten die ieder door de orchastrator worden gemanaged. Ik hoef dus niet al mijn terminals af om te weten hoe het ermee staat en ik kan gesproken antwoorden wanneer mijn archostrator iets vraagt, of wanneer ik iets gedaan wil hebben wanneer ik in een overleg zit om maar wat te noemen kan ik dat via een teams berichtje vragen.
En s' avonds wanneer ik wat beters te doen heb dan werken, laat ik vaak nieuwe projecten uitwerken en of voorbereiden en projecten coden.
En Claude gebruik ik met superpowers en skills. Voornamelijk om het werk van de lokale agents nog eens na te lopen en op te poetsen. En voor wat onderzoek. Ook die wordt aangestuurd door m'n orchastrator.
Ik kan dit ook iedereen aanraden. Begin klein. Neem een Claude account. Start Claude code in een terminal met super powers. Hang het aan een notitie tool zoals Obisidan. Leg je dagelijkse werkzaamheden eens vast in obsidian. Gebruik het gewoon een paar dagen als een soort dagboek. Vraag vervolgens Claude om de obsidian dir te gebruiken als werk folder voor Claude. En vraag eens te analyseren wat je allemaal op een dag doet en waar het denkt bij te kunnen helpen, en of welke werkzaamheden het kan overnemen. Vraag Claude dat in te regelen. Begin met zero trust. Alles wat het wil doen moet het eerst vragen. Wanneer je vertrouwen hebt dat het die taak altijd succesvol volbrengt, ga je een stapje verder en vraag je de taak automatisch uit te voeren met enkel een notificatie wanneer de taak gestart wordt, en een notificatie wanneer de taak is volbracht. En breid dat steeds verder uit, tot je op den duur meerdere agents volledig autonoom hun werk kunt laten doen. Zodra de agents autonoom beginnen te werken, verhuis je ze naar lokale AI, zodat er iets overblijft van je bankrekening (of de bankrekening van je werkgever).
Veel mensen zijn bang dat ze daarmee zichzelf overbodig maken. Maar het tegendeel is waar. Ik heb nog steeds 8 uur werk. Maar in plaats van 8 uur zelf het werk te doen stuur ik een legioen agents aan. Mijn werkgever krijgt er een veelvoud van het werk dat ik voorheen deed voor terug. Ik ben nu dus veel waardevoller voor mijn werkgever dan voorheen. En het is ook veel leuker. Want al het hersen dodende werk dat ik voorheen deed, en alles waar ik nul energie van kreeg heb ik als eerste weg geautomatiseerd.