Ervaringen met zelf gehoste AI assistenten

[DeNachtwacht]

Het is een MoE model zo te zien met 2,5B parameters actief. Dus een heel groot deel hoeft niet in het vram.

[Felicia]

DeNachtwacht schreef op zaterdag 24 oktober 2026 @ 18:14:
Het is een MoE model zo te zien met 2,5B parameters actief. Dus een heel groot deel hoeft niet in het vram.

Idealiter wel omdat Vram -> Vram veel sneller is dan Ram -> Vram. Met uitzondering van cache draait deze bij mij volledig in Vram .

[vargo]

Deze video is vrij informatief over wat Flint is, het team erachter, en de architectuur. Het grote voordeel schijnt de snelheid/kwaliteit verhouding te zijn: ik denk dat dit mn interessant is in een goed ingericht harness waar het model bij een foutje wordt bijgestuurd.

De NVFP4 versie zou 200+ tokens/s decode moeten halen op mijn RTX5090 (out-of-the-box, en we zien dat de backend vaak nog geoptimaliseerd kan worden), maar de video vermeldt dat vooral op de Mac dit al goed moet performen (zie laatste 2 hoofdstukken in de video).

offtopic:
ik ben nu nog bezig Qwen3.8-flash-next te optimaliseren, dus dit komt op de (veel te lange) TO-DO lijst