Ervaringen met zelf gehoste AI assistenten

[DeNachtwacht]

Vargo, ja je hebt zeker gelijk. Deze site is volgens mij langzaam een beetje aan het uitgroeien tot de standaard voor wat betreft benchmarking, die is ook wel leuk te bekijken om te zien hoe je 'scoort' in vergelijking met de grote jongens.

Maar let daar dus wel op dat je het verlies van kwantisatie nog mee moet nemen. Mijn vuistregel vooralsnog is dat je met een (nv)fp4/q4 zo'n 10% accuraatheid verliest dus de score van 20 voor 3.8 27B betekent dus 18 in nvfp met dat vuistregeltje. Is natuurlijk niet 100% accuraat maar als vuistregel kom je ermee weg

[Exirion]

vargo schreef op zondag 8 november 2026 @ 10:40:
Je vraag maakte me nieuwsgierig, dus ik vroeg me af of de cijfers mijn claim van "9-12 maanden" ook ondersteunen.

...

Conclusie: de cijfers laten inderdaad zien dat je met stevige hardware slechts enkele maanden achter loopt. En dan heb ik het nog niet over mensen met pro-sumer hardware die ook DeepSeek V4.1 Flash / GLM 5.3 kunnen draaien.

Hoe enthousiast ik ook ben over de enorme stappen die in korte tijd zijn gemaakt, je moet voorzichtig zijn met conclusies gebaseerd op benchmarks. In de LLM-wereld is benchmaxxing een aangetoond fenomeen, wat doet denken aan de sjoemelsoftware van autofabrikanten om testuitkomsten positief te beinvloeden. Dus ja, modellen van nu kunnen dingen die kort geleden waren voorbehouden aan zwaardere cloudmodellen, maar in real-life vergelijkingen zal de kloof anders zijn dan benchmarkresultaten doen vermoeden.

[Mars Warrior]

Ik heb eerder lokale modellen gebruikt op mijn 4060 Ti 16 GB i.c.m. 96 GB RAM en een AMD 7900X, maar ben al een tijdje toch weer lekker bezig met GPT 6.1 en daarvoor natuurlijk met GPT 5.6. Lokaal plaatjes maken doe ik nog steeds. Dat bevalt nog goed met de beschikbare modellen die binnen die 16 GB VRAM passen.

Het verschil tussen GPT 6.1 en GPT 5.6 is al enorm voor het maken en analyseren van software. Er is ook veel minder rework nodig (dus minder onzin) en GPT 6.1 Sol is eigenlijk spotgoedkoop en lekker snel. Ik kan er dus veel meer mee doen dan met GPT 5.6. Al is het maar dat rework een heel stuk minder is.

De "gratis" route met ChatGPT wordt straks per december afgesneden: dan telt alles mee met je Codex-credits helaas.

Ik vraag me nu af of de lokale modellen ook zaken op Github kunnen controleren. En bijv. KiCad-bestanden kunnen nakijken. Want enkel zeggen dat ze goed zijn in een bepaalde benchmark (coderen) zegt me niks. Dat is allemaal theorie, en de praktijk is soms totaal anders: dat merk ik al met de OpenAI-modellen. Het verschil bijv. tussen 5.6 en 6.1 is in benchmarks niet bijster groot, maar in de praktijk dus wel.

Dus ik vraag me af wat ik kan verwachten van een lokaal model op dit ogenblik op dit vlak. Kan ik simpelweg een hele analyse laten doen van een GitHub-repo? Kan ik de lokale LLM laten zoeken naar voorbeelden op Github om zo oplossingen te vergelijken? Kan ik lokaal een repo van 30.000 regels laten analyseren en daaruit adviezen krijgen voor optimalisatie, efficiëntie, etc?

Hieronder heb ik gewoon zonder enig commentaar KiCad-bestanden in ChatGPT gesleept, en dat ding gaat dan automatisch allerhande controles uitvoeren op het internet: dus controleren wat een leverancier levert. Dat blijkt dus niet altijd te kloppen met de door dezelfde leverancier meegeleverde symbolen en footprints om maar iets te noemen: ChatGPT vindt dat soort problemen gewoon...

Inspecteerde KiCad-bestanden, PCB- en schemagegevens en U2-aansluitingen
Zocht in bestanden
Analyseerde PCB-verbindingen
Verifieerde kritieke aansluitingen
Gecontroleerd en geanalyseerd KiCad-bestanden, netten en PCB-risico’s
5 websites zijn doorzocht
Controleerde schema en printplaat
Controleerde footprintoriëntatie en beoordeelde geheugenchip
7 websites zijn doorzocht
Verifieerde LED-polariteit
2 websites zijn doorzocht
6 websites zijn doorzocht
Testte het downloaden van Xinglight- en DigiKey-pdf's
Vastgesteld en beoordeeld op LED-variant en soldeerbaarheid
2 websites zijn doorzocht
Geëvalueerd LED-voetafdruk en pincompatibiliteit
Voltooide hardwarecontrole en opstartpinnen gecontroleerd
Voltooide afrondende controle
9 websites zijn doorzocht

Oftwel, even nieuwsgierig naar wat lokaal nu haalbaar is met mijn configuratie. Het is nog onbekend namelijk wat OpenAI per december precies gaat doen, en of er gerommeld wordt aan de wekelijkse credits...

[dmantione]

Ik verwacht dat dat nul probleem zal zijn. Ik weet niet met welk harnas je werkt, maar in beginsel stelt het harnas het model een aantal gereedschappen ter beschikking dat het kan aanwenden. Bij Opencode is één van die gereedschappen een webzoekaktie en een andere een webdownload.

Als het model die gereedschappen aanwendt is het nu al je lokale computer die op het web zoekt en de webpagina binnenhaalt. Of je dan een lokale of cloudmodel gebruikt lijkt me dan niet uitmaken, beiden kunnen de gereedschappen aanwenden.

Wat voor grote codeverzamelingen belangrijk is, is een groot contextvenster. Dat is belangrijker dan het beste model hebben. Met 16GB VRAM ga je beperkt zijn hoe groot je het contextvenster kunt maken. Contextmanagement is dus belangrijk. Verdeel de code bijvoorbeeld over meerdere agenten, elk baas over zijn eigen deel van de code, dat voorkomt dat één agent alle code tegelijk moet begrijpen.

[Zsub]

Ja het is bij waargenomen kwaliteit een én-én-én-plaatje. En het model zelf en de quantization en de contextgrootte en het harnas en de tools&skills en de lokale hardware en de engine. Dat maakt het ook zo lastig om te vergelijken, zelfs in dit topic waar we toch redelijk ervaren zijn inmiddels.