Onafhankelijke AI heeft een prijs: zo ver staan Europese…

[djwice]

Artikel: review: Onafhankelijke AI heeft een prijs: zo ver staan Europese alternatieve...
Auteur: @arnoudwokke

https://chat.webllm.ai/

Draait trouwens lokaal in je browser.
Daarom duurt het downloaden van een model even als je voor de eerste keer er mee.chat.

Het is open source dus je kunt het ook zelf hosten.

Hoe krachtiger je GPU hoe sneller de chat.

[ Voor 4% gewijzigd door djwice op 07-02-2026 20:27 ]

[Hahn]

djwice schreef op zaterdag 7 februari 2026 @ 20:26:
Artikel: review: Onafhankelijke AI heeft een prijs: zo ver staan Europese alternatieve...
Auteur: @arnoudwokke

https://chat.webllm.ai/

Draait trouwens lokaal in je browser.
Daarom duurt het downloaden van een model even als je voor de eerste keer er mee.chat.

Het is open source dus je kunt het ook zelf hosten.

Hoe krachtiger je GPU hoe sneller de chat.

Volgens WebLLM Chat zelf is dat niet waar:

[djwice]

https://ollama.com/library/qwen3-coder-next
is een niet Amerikaans model dat je via (na downloaden en installeren van ollama 0.15.5 of hoger en de modellen etc.):

ollama launch claude --model qwen3-coder-next

Kunt gebruiken ter vervanging voor de veel gebruikte Cloud gehoste programmeer modellen van Anthropic (Claude Sonnet), Google (Gemini) en OpenAI (GPT),.

[djwice]

Hahn schreef op zaterdag 7 februari 2026 @ 20:33:
[...]

Volgens WebLLM Chat zelf is dat niet waar:
[Afbeelding]

Schattig toch. De modellen zijn zich niet 'bewust' waar ze draaien, wellicht ook wel gerust stellend?

Maar gooi na je eerste prompt (en model antwoord) gerust je wifi en l'an uit, en je zult zien dat het blijft werken.

[ Voor 11% gewijzigd door djwice op 07-02-2026 20:38 ]

[Hahn]

djwice schreef op zaterdag 7 februari 2026 @ 20:37:
[...]

Schattig toch. De modellen zijn zich niet 'bewust' waar ze draaien, wellicht ook wel gerust stellend?

Dat was niet mijn punt. Het draait niet lokaal als je op die URL zit. Bij mij downloadde er iets een paar seconden en dat was het. No way dat een heel model in die paar seconden gedownload is en lokaal draait. Of het is een minimaal klein model.

Dat je het zelf kan hosten en dat het dan lokaal draait op je eigen GPU, sure, maar dan zal het gigantisch veel trager werken, tenzij je €5000+ aan GPU's hebt.

Oké, correctie, het draait wel lokaal. Maar om nou te zeggen dat het bruikbaar is... Ik probeer het nu net op m'n Samsung Galaxy S23+, wat best traag is, en complete onzin uitkraamt op de vraag of het zonder wifi werkt.

[ Voor 17% gewijzigd door Hahn op 07-02-2026 20:42 ]

[djwice]

Hahn schreef op zaterdag 7 februari 2026 @ 20:38:
[...]

Dat was niet mijn punt. Het draait niet lokaal als je op die URL zit. Bij mij downloadde er iets een paar seconden en dat was het. No way dat een heel model in die paar seconden gedownload is en lokaal draait. Of het is een minimaal klein model.

Dat je het zelf kan hosten en dat het dan lokaal draait op je eigen GPU, sure, maar dan zal het gigantisch veel trager werken, tenzij je €5000+ aan GPU's hebt.

Op.die URL draait het echt ook lokaal, onderzoek maar hoe het werkt. Gaaf hè?!

Hosten kan dus op elke NGINX of Apache of LiteHTTP server want het is een statische website.
De interferentie draait in de browser bij de gebruiker.

En de meeste modellen draaien ook prima als de gebruiker een instap GPU heeft zoals een RTX 5060TI/16GB ... snelheden zijn met name afhankelijk van of het modelletje in het geheugen past. Voor taal modellen is dat ongeveer 1B = 1GB VRAM, uitzondering is gpt-oss daar past 20B in 15GB VRAM.

[ Voor 26% gewijzigd door djwice op 07-02-2026 20:48 ]

[Hahn]

djwice schreef op zaterdag 7 februari 2026 @ 20:42:
[...]

Op.dir URL draait het echt ook lokaal, onderzoek naar hoe het werkt. Gaaf hè?!

Zie correctie: zo te zien een heel klein model, wat nagenoeg onbruikbaar is. Geinig, maar verre van iets wat ook maar in de buurt komt van ChatGPT en consorten.

[Oon]

Heel simpel; als het echt in je browser draait is het óf veel trager óf veel minder slim dan Claude of ChatGPT, en daarmee geen volwaardig alternatief. Dat is een beetje als de vele open source software lijstjes waar GIMP of Paint.NET als alternatief voor Photoshop op staat.

Kleine modellen zijn er, zo kwam Deepseek ook ineens met een model dat op een Raspberry Pi kan draaien, maar het is allemaal vrijwel nutteloos. De ouderwetse woordvoorspelling op je telefoon (waar alle LLM's op gebaseerd zijn) draaien ook lokaal maar daar wil je echt geen gesprek mee proberen te voeren..

[djwice]

Hahn schreef op zaterdag 7 februari 2026 @ 20:4 :*) 3:
[...]

Zie correctie: zo te zien een heel klein model, wat nagenoeg onbruikbaar is. Geinig, maar verre van iets wat ook maar in de buurt komt van ChatGPT en consorten.

Als je 16GB VRAM hebt probeer gpt-oss.
En modellen van Qwen3 zijn ook zeer krachtig.

In de 3e week van deze maand zal ook DeepSeek weer een heel krachtig lokaal model lanceren (alleen via ollama, deze site of hun officiële huggingface downloaden, alle andere zijn vaak scamers - (data honger, advertenties of hacker).

Qwen3 heeft Llama3 zo goed als overal door Qwen3 vervangen.

[ Voor 28% gewijzigd door djwice op 07-02-2026 20:55 ]

[Hahn]

djwice schreef op zaterdag 7 februari 2026 @ 20:50:
[...]

Als je 16GB VRAM hebt probeer gpt-oss.
En modellen van Qwen zijn ook zeer krachtig.

Dit topic begon je als reactie op de review over Europese AI-alternatieven, maar wat hebben deze modellen met Europese alternatieven te maken? Beide zijn niet Europees.

[djwice]

.

[ Voor 99% gewijzigd door djwice op 07-02-2026 20:58 ]

[djwice]

Hahn schreef op zaterdag 7 februari 2026 @ 20:52:
[...]

Dit topic begon je als reactie op de review over Europese AI-alternatieven, maar wat hebben deze modellen met Europese alternatieven te maken? Beide zijn niet Europees.

Deze tools bieden beide de mogelijkheid om lokaal AI te draaien. Zowel Europese (Mistral bijvoorbeeld) als Aziatische als Amerikaanse als Arabische modellen. Evenals modellen uit India waar de EU recent een belangrijke handelsovereenkomst mee heeft gesloten.

Geen enkele data wordt naar buiten gestuurd.
En het werkt ook na een blokkade.

[ Voor 8% gewijzigd door djwice op 07-02-2026 20:59 ]

[djwice]

Oon schreef op zaterdag 7 februari 2026 @ 20:45:
Heel simpel; als het echt in je browser draait is het óf veel trager óf veel minder slim dan Claude of ChatGPT, en daarmee geen volwaardig alternatief. Dat is een beetje als de vele open source software lijstjes waar GIMP of Paint.NET als alternatief voor Photoshop op staat.

Kleine modellen zijn er, zo kwam Deepseek ook ineens met een model dat op een Raspberry Pi kan draaien, maar het is allemaal vrijwel nutteloos. De ouderwetse woordvoorspelling op je telefoon (waar alle LLM's op gebaseerd zijn) draaien ook lokaal maar daar wil je echt geen gesprek mee proberen te voeren..

Eind dit kwartaal zal Google in haar browser lokale LLM modellen beschikbaar maken die ook op je telefoon werken.
Een deel daarvan zijn nu al b schikbaar, bijvoorbeeld vertaal modellen die 50MB per taal zij en zeer bruikbaar zijn.
Ook een ASR model: spraak naar tekst.
En een model voor de taal van een getypte tekst herkennen.
Een model voor QR en streepjes code herkenning.
En modellen voor hand gebaar herkenning.

Zie ook https://ai.google.dev/edge/mediapipe/
Geen taal modellen wél lokale AI op je telefoon.

[Oon]

djwice schreef op zaterdag 7 februari 2026 @ 21:05:
[...]

Eind dit kwartaal zal Google in haar browser lokale LLM modellen beschikbaar maken die ook op je telefoon werken.
Een deel daarvan zijn nu al b schikbaar, bijvoorbeeld vertaal modellen die 50MB per taal zij en zeer bruikbaar zijn.
Ook een ASR model: spraak naar tekst.
En een model voor de taal van een getypte tekst herkennen.
Een model voor QR en streepjes code herkenning.
En modellen voor hand gebaar herkenning.

Zie ook https://ai.google.dev/edge/mediapipe/
Geen taal modellen wél lokale AI op je telefoon.

Ik denk dat het er maar net aan ligt wat je zoekt. Als je een beetje leuk wil chatten met een domme ruisgenerator, prima. Als je zelf geen woord Engels spreekt en met iemand wil communiceren, prima. Maar zelfs de beste vertaalmodellen zijn nog niet op het niveau dat ze toepasbaar zijn in een professionele setting, dus de lichtere modellen al helemáál niet.
Ik denk dat je sowieso veel dingen door elkaar gooit, maar ik denk ook dat binnen de vraag over onafhankelijke AI als alternatief voor Amerikaanse LLM's het lokaal draaien van een LLM nog heel lang niet interessant gaat zijn. LLM's zijn qua technologie vrijwel uitontwikkeld, en hoewel ze nog iets efficienter kunnen worden is de oplossing tot nu toe om er gewoon meer resources tegenaan te gooien, dat is lastig als je die resources niet hebt. Een model dat zonder die resources zijn werk doet kan nooit hetzelfde resultaat leveren in dezelfde tijd.

[djwice]

Oon schreef op zaterdag 7 februari 2026 @ 22:01:
[...]

Ik denk dat het er maar net aan ligt wat je zoekt. Als je een beetje leuk wil chatten met een domme ruisgenerator, prima. Als je zelf geen woord Engels spreekt en met iemand wil communiceren, prima. Maar zelfs de beste vertaalmodellen zijn nog niet op het niveau dat ze toepasbaar zijn in een professionele setting, dus de lichtere modellen al helemáál niet.
Ik denk dat je sowieso veel dingen door elkaar gooit, maar ik denk ook dat binnen de vraag over onafhankelijke AI als alternatief voor Amerikaanse LLM's het lokaal draaien van een LLM nog heel lang niet interessant gaat zijn. LLM's zijn qua technologie vrijwel uitontwikkeld, en hoewel ze nog iets efficienter kunnen worden is de oplossing tot nu toe om er gewoon meer resources tegenaan te gooien, dat is lastig als je die resources niet hebt. Een model dat zonder die resources zijn werk doet kan nooit hetzelfde resultaat leveren in dezelfde tijd.

Dat uit ontwikkeld met https://arxiv.org/pdf/2512.24880 en https://arxiv.org/pdf/2504.13173 en https://arxiv.org/pdf/2501.00663 gecombineerd gaat het wel een mooie kant op.

Ik ken tolk vertalers die het professioneel gebruiken. En heb ook grote Europese opdracht voor vertalen via AI, dus er is wellicht meer mogelijk dan je ziet.

Er komt ook een nieuwe aanpak afgeleid uit de Diffusion praktijk waarbij een factor 10 meer talen zullen worden ondersteund.

Dus uitontwikkeld, het is maar hoe je het bekijkt.

[ Voor 6% gewijzigd door djwice op 07-02-2026 22:18 ]