Ervaringen met zelf gehoste AI assistenten

[CT]

@kleneman zo te zien is er aardig wat mogelijk en 40tk/s output is echt niet slecht (denk dat de input wel opzich laat wachten..) zou wel de Q8 nemen dan, en blijkbaar is 36GB mac dan net wat je nodig hebt.

[rinkel]

@kleneman 36GB lijkt me wat klein eerlijk gezegd. Je heb ook nog context nodig.
Ik heb een 32GB shared mem NUC16, maar kleine modellen leveren mij matige code op en context kan ik niet kwijt.
Maar ik ben wel heel benieuwd of een Mac dat beter doet.

[Zsub]

kleneman schreef op donderdag 1 oktober 2026 @ 09:25:
Ik ben mee aan het lezen, en ga dit weekend eindelijk ook zelf experimenteren. Ik heb voornamelijk interesse in een "lokale Claude Code". Ik probeer zoveel mogelijk te RTFM'en, maar kan me toch niet inhouden alvast wat te vragen: is het realistisch om dit voor elkaar te krijgen op een Macbook?

Ik draai alles op een Macbook Pro met M3 Max en 36GB. Ollama, OpenWeb Ui en Qwen3.8 en Gemma4. Niet supersnel, maar ik heb geduld, en voor chat-achtige dingen prima. (Samenvattingen, vertalen, brainstormen).

Ik doe voornamelijk web en Python. Ik ben van plan in het weekend met Aider te gaan spelen, en heb hoge verwachtingen. Ik lees over wisselende resultaten, maar heb ook een sterk bomen/bos-gevoeld met al het AI nieuws.

Pak incoai's qwen3.8-27b-splash op de laatste versie van lm studio anders. Die is behoorlijk vlot vanwege speculative decoding en omdat het een 4bit quant is ook redelijk compact.

[kleneman]

Okee, ik ben nog niet zover dat ik die nuances begrijp, maar daar ga ik induiken. Hopelijk kan ik dan de link van @CT wat beter ontcijferen :-)

Ik zoek overigens echt een command line assistent, niet een IDE of code editor integratie. Dat is LM Studio zo te zien? (Hoewel dat, ongerelateerd, ook weer interessant lijkt om mee te spelen. Zoveel te ontdekken!)

Overigens, ik heb geduld dus prima dat 't model er een paar minuten over doet, en dan met een mooie refactor van mijn functie komt. Ik heb nu met sommige vragen aan Qwen3.8-27b in OpenWebUI dat hij m'n Macbook merkbaar traag maakt. Dan knijp ik hem liever wat af dat 'ie er langer over doet, maar dat ik ondertussen kan doorwerken.

Heb nog nooit met alle parameters en settings wat gedaan, nog eentje om in te duiken dus.

[Vishari Beduk]

CT schreef op donderdag 1 oktober 2026 @ 09:11:
Heb toevallig vanochtend markdown file vol geschreven met een 'brain fart' van een idee, Qwen aangeslingerd en 10min later "To try it: npm run build && npm run preview → [url="http://localhost:4173"]http://localhost:4173[/url]"

En werkt prima, mooie eerste POC en al mn idee'en zitten er in... mij hoor je niet klagen, hangen en loops heb ik sowieso nog nooit meegemaakt met qwen overigens (ook niet met 3.6).

"npm run build" --> Jij hebt hebt het dus over JavaScript of TypeScript. Mee eens, youtube staat vol met filmpjes van testers die precies dit met succes doen.

Mij gaat het specifiek om Rust, de taal met extreme eisen aan de code. Met Rust bestaat het probleem dat de LLM in een eindeloze loop terecht komt.

edit: Ik had gister gepost dat Strato niet remote zou werken maar dat probleem is opgelost. De fout die ik maakte was dat ik de host en setup parameter lost van elkaar invoerde.
From your phone or another PC: START-HERE.bat --setup --host 0.0.0.0 --api-key <secret>, then open the address the server window prints
Nu kan ik strata vanuit pi aansturen en dat werkt heel veel beter dan via chat

[ Voor 19% gewijzigd door Vishari Beduk op 01-10-2026 21:16 ]