Ervaringen met zelf gehoste AI assistenten

[CT]

Denk gewoon van huggingface?
Heb zelf net mn Qwen 3.6_Q8 vervangen met deze Qwen 3.8_Q8 en laad gewoon in en werkt perfect, niks kwa parameters te hoeven aan te passen in llama.cpp :-) nogsteeds rond de 60-80 tk/s.

Zal gedurende de week wel merken of het beter werkt dan 3.6 (wat ongeloogelijk is, als dat zo is, want 3.6 vond ik al eindeloos geweldig, erg veel software mee gemaakt :))

[ocf81]

Misschien wel interessant als je voor een bedrijf met lokale AI aan de slag gaat:

[pling]

DeNachtwacht schreef op zaterdag 15 augustus 2026 @ 10:49:
@Deepflame waar heb jij de Q6 vandaan?

Waarschijnlijk unsloth: unsloth/Qwen3.8-27B-GGUF · Hugging Face

[pling]

Ik heb er nu een kleine dagje gewerkt Qwen3.8 27B (6_K). Hij lijkt een stuk grondiger te werk te gaan. Het duurt allemaal flink langer, maar de resultaten zijn indrukwekkend. Het is mij niet helemaal duidelijk hoe het nu met MTP zit. Ik lees hier en daar berichten dat het 'out of the box' zou moeten werken.

Qwen3.8 - How to Run Locally | Unsloth Documentation:

Qwen3.8 GGUFs use Unsloth Dynamic V3.0 (preview) for SOTA quant performance. Thank you Qwen for day zero access. Unsloth quants also include:

• Developer Role Support for agentic tools like Codex
• MTP enabled for fast inference
• Tool calling: Improved parsing nested objects to make tools succeed more

Weet iemand hoe dat zit?

Ik kijk regelmatig naar dit kanaal: YouTube: Qwen 3.8 27B first tests - 16GB Local LLM setup Hij doet elke keer dezelfde tests. Qwen3.6 was eigenlijk al de beste (in zijn soort), maar 3.8 is het nu helemaal.

[Ozzi]

Ok, ik had mijn poging voor hetzelfde prompt met reasoning disabled uitgevoerd blijkbaar. Nu een nieuwe poging gedaan en na ca 32000 tokens reasoning, en daarna nog ca 28000 tokens voor de rest, heeft ie toch wel iets weekends gemaakt wat er best geinig uitziet en werkt.

Voor de liefhebber:
https://github.com/OscarD...owman-qwen3.8-27b-q6.html

[CT]

pling schreef op zaterdag 15 augustus 2026 @ 18:50:
Ik heb er nu een kleine dagje gewerkt Qwen3.8 27B (6_K). Hij lijkt een stuk grondiger te werk te gaan. Het duurt allemaal flink langer, maar de resultaten zijn indrukwekkend. Het is mij niet helemaal duidelijk hoe het nu met MTP zit. Ik lees hier en daar berichten dat het 'out of the box' zou moeten werken.

Qwen3.8 - How to Run Locally | Unsloth Documentation:


[...]

Weet iemand hoe dat zit?

Ik kijk regelmatig naar dit kanaal: YouTube: Qwen 3.8 27B first tests - 16GB Local LLM setup Hij doet elke keer dezelfde tests. Qwen3.6 was eigenlijk al de beste (in zijn soort), maar 3.8 is het nu helemaal.

Ja alle unsloth modellen werken met MTP optie enabled in llama.cpp, dus die layer zit er default bij. "Vroeger" was dit niet zo en had je een apart MTP model etc maar nu is het al aanwezig vanaf het begin vandaar de expliciete vermelding denk ik.