Home Assistant en LLM

[gwabber]

Hey allemaal,

Onlangs heb ik de Home Assistant voice gekocht om mijn smarthome aan te sturen zonder Google & Co. Nu werkt dit pirma via Home Assistant Cloud, maarja; BORING!

Ik wil dat natuurlijk met een lokaal draaiende LLM doen. Nu had ik dat in principe draaiend middels Ollama, maar het was geen doen omdat mijn kleine Elitedeskje natuurlijk geen krachtpatser is om een taalmodel te draaien.

Nu vroeg ik me af of er mensen zijn die thuis al een lokale LLM hebben draaien die met wat lichtere computers werkt en met Home Assistant, of wellicht een LLM speciaal voor Home Automation?

Ik hoor het graag

[Gizz]

Wat is je definitie van een lichtere computer? Voor zover ik weet heb je een vrij vlotte videokaart met flink wat videogeheugen nodig om lokaal een LLM te draaien dat niet het bloed onder je nagels vandaan haalt omdat je een minuut aan het wachten bent op een reactie. Zie ook deze tests: review: AI op AMD- en Nvidia-videokaarten - Taalmodellen, upscaling en imageg...

Zelf werk ik ook het liefst 100% lokaal, maar voor de assistant heb ik toch Google Gemini ingesteld (wel met de optie Prefer handling commands locally aan) omdat het met een zuinig thuisservertje niet te doen is om zelf vlot een LLM te draaien.

Misschien dat het met een erg klein taalmodel wel kan zonder lokaal zware hardware, ik laat me graag verbeteren door mensen die dat wel voor elkaar hebben.

[doltishDuke]

Als tussenoplossing zou je nog kunnen kijken naar het draaien van een LLM op een eigen Azure of AWS omgeving, of een in AI gespecialiseerde dienst. Dat kan interessant zijn als je behoefte hebt aan wat meer privacy (hoewel dat spul ook gewoon in de VS draait en daarmee onbetrouwbaar is) maar geen zin hebt om een videokaart met 24GB RAM aan te schaffen.

Ik weet er het fijne ook nog niet van, maar het schijnt mogelijk te zijn en ik ben wel van plan me daar in de toekomst in te verdiepen, want HomeAssistant aan een publieke dienst vastmaken zit me, ondanks de behoorlijk goeie controle vanuit HA, toch niet helemaal lekker. En mijn RX6600 gaat ook geen prettige ervaring leveren vermoed ik zo.

[gwabber]

Bedankt voor de reacties! In dat geval zal ik het moeten laten gaan denk ik. Mijn kleine Elitedeskje heeft niet eens een videokaart, laat staan eentje met een groot werkgeheugen...

[ZatarraNL]

Ik ben recent begonnen met het uitproberen van ollama. Ik gebruik een rtx 5060ti met 16gb vram. Het idle verbruik is ongeveer 10watt toegenomen met deze gpu. Kosten ca 450 euro voor aanschaf.

Ik gebruik nu:
- ollama op een separate vm met Piper en Whisper en web ui.
- home assistant op een andere vm
- home assistant voice preview
- diverse llms geprobeerd: gemma3, llama3, deepseek r1

Mijn ervaringen tot nu toe:
- snelheid is geen enkel probleem meer. De gpu is vlot. Ik merk geen merkbaar verschil met bijvoorbeeld chatgpt (qua snelheid). Dat is wel anders als de llm nog in de vram geladen moet worden. Dan moet je even wachten.
- het model llm dat je kan kiezen is zeer beperkt door de vram die je hebt. Ik gebruik bijv de llama3.1:8b en gemma3:12b. Deze passen in de vram van de gpu.
- deze modellen zijn wel veel dommer dan chatgpt. De antwoorden die ik van chatgpt krijg zijn accurater en completer. De lokale modellen rommelen soms maar wat aan.
- ik gebruik ook Whisper. Die heeft ook zo'n 3 gb aan vram nodig. Houdt daar rekening mee.
- ik heb nog ruzie met de lokale Piper. Nog niet goed aan de praat. Daarom gebruik ik hiervoor nog google translate.
- je kan prima meerdere modellen downloaden via ollama, maar als je wisselt tussen llms, dan moeten ze eerst worden ingeladen in de vram. Duurt een aantal seconden.
- niet alle llms zijn geschikt voor home assistant. Gemma3 is dat bijvoorbeeld niet. Heeft te maken met de mogelijkheid om de interpretaties te sturen.
- zo is Gemma3 beter als ik reguliere vragen wil stellen, zoals ik nu ook chatgpt gebruik, maar werkt llama3 beter met home assistant. Je moet kiezen.
- ook llama3 gaat nog vaak niet goed om met instructies. Text to speech gaat goed, evenals speech to text, maar de instructies naar home assistant niet. Als ik een scène will activeren, lukt dat soms wel en soms niet. Hier worstel ik nog mee. Tips zijn welkom.

Ik zie zojuist dat llama4 beschikbaar is in ollama. Die gaan we dus maar even uitproberen.

Edit: het basismodel van llama4 begint bij 55gb vram. Dat wordt hem niet op mijn 5060ti...

[sloth]

Wat zijn jullie usecases om een lokaal draaiende LLM te combineren met HA? Ook benieuwd naar echte ervaringen.

[ZatarraNL]

Mijn doel is tweeledig: 1. meer uit home assistant halen, oftewel een echt slimme assistent. En 2. een alternatief voor het toch wel dure chatgpt (ik wil graag alles zelf hosten).

Doel 1 is nog niet naar tevredenheid behaald, maar er zit veel potentie in. Doel 2 is min of meer wel behaald, al zie ik dat chatgpt echt beter is. Ook daar zie ik veel potentie in de toekomst.

Mijn belangrijkste twijfel nu nog: is 16gb vram wel echt genoeg... Als je een gpu overweegt, zou ik niet lager willen gaan. Liever hoger.

[Ernemmer]

ZatarraNL schreef op zaterdag 3 mei 2025 @ 10:17:
Mijn doel is tweeledig: 1. meer uit home assistant halen, oftewel een echt slimme assistent. En 2. een alternatief voor het toch wel dure chatgpt (ik wil graag alles zelf hosten).

Doel 1 is nog niet naar tevredenheid behaald, maar er zit veel potentie in. Doel 2 is min of meer wel behaald, al zie ik dat chatgpt echt beter is. Ook daar zie ik veel potentie in de toekomst.

Mijn belangrijkste twijfel nu nog: is 16gb vram wel echt genoeg... Als je een gpu overweegt, zou ik niet lager willen gaan. Liever hoger.

Chatgpt (plus) duur? Ik vind dat wel meevallen eigenlijk, als je het vergelijkt met zelf iets hosten wat net zo goed werkt.

[Gizz]

ZatarraNL schreef op zaterdag 3 mei 2025 @ 10:17:
En 2. een alternatief voor het toch wel dure chatgpt

Tip voor anderen die hiermee bezig zijn: Gemini kun je gratis gebruiken.

Edit: hier een filmpje hoe je dat instelt:

[ Voor 22% gewijzigd door Gizz op 03-05-2025 10:33 ]

[ZatarraNL]

Ernemmer schreef op zaterdag 3 mei 2025 @ 10:24:
[...]


Chatgpt (plus) duur? Ik vind dat wel meevallen eigenlijk, als je het vergelijkt met zelf iets hosten wat net zo goed werkt.

Zoals hierboven genoemd: Gemini is (nog) gratis. Geld is niet de belangrijkste reden, al was ik op jaarbasis toch zo'n 240 dollar kwijt. Dan heb je na zo'n 3 jaar de gpu terugverdiend, mits dit goed werkt. En dat laatste kan ik nog niet met zekerheid stellen.
Mijn belangrijkste reden is toch dat alles lokaal draait. Ik wil niet afhankelijk zijn van Google/Microsoft/Amerika/verlies van privacy/etc.... Dus vooral een beetje principieel.

[gwabber]

Voor mij is het vooral cloud onafhankelijkheid en gewoon meer willen leren over AI en het gebruik van taalmodell3n op een eigen server

[CSB]

Ik heb hier ook een beetje mee gespeeld maar merk dat er wel echt beperkingen zijn als ik het vergelijk met een Google Home bijvoorbeeld. De voice aansturing richting HA is wat dat betreft echt beroerd. (iig, dat was mijn ervaring maanden geleden)

Nu heb ik mijn HA in een Proxmox containertje op een mini pc-tje draaien en een Ollama in Docker op een Ubuntu server met een RX6650XT met 8GB vram. In principe draait die server redelijk en reageert ook wel vlotjes (voor mijn gevoel vergelijkbaar met een Google Home commando) maar echt lekker werkt het allemaal nog niet.

Mijn reden om dit werkend te krijgen is ook dat ik niet afhankelijk wil zijn van een bedrijf/land om mijn eigen domotica aan te kunnen sturen. Daarbij is het slimmer maken van de omgeving een hele grote plus.

Ik ga dit topic dan ook met interesse volgen om te zien of we hier als Tweakers een fatsoenlijk, local, open-source alternatief mee kunnen maken.

[DexterDee]

Seeed Studio maakt tegenwoordig kleine barebones op basis van het NVIDIA Jetson platform.
Waar een normale CPU zo'n 10 TOPS haalt, kan zo'n barebone bijvoorbeeld 100 TOPS halen. En dat met een acceptabel power budget (<30W) zonder dedicated videokaart (GPU) maar mét een dedicated NPU.

Ollama draait prima op dit soort apparaatjes en kan heel simpel aan Home Assistant gekoppeld worden. De benodigde hardware acceleratie werkt met Jetpack en wordt native ondersteund door Ollama.

Enige is dat deze apparaatjes nog niet echt goedkoop zijn. Hoe groter het model dat je wil draaien, hoe meer geheugen je nodig hebt. Ze starten vanaf ~250 euro en de écht krachtigere modellen kosten ook gewoon een paar duizend euro.

Zoekterm is reComputer

[CSB]

Interessant, wellicht beter dan een oude gamebak met sterk verouderde hardware inzetten (lees: lage performance hoog verbruik) inzetten en een net-niet gevoel te hebben bij het draaien van een LLM. Zeker i.c.m HA straks.Als je kijkt naar die J4011 dan haalt ie toch nog 70 TOPS.

Toch, 700+ euro is een best prijskaartje...

[chaoscontrol]

Er zijn gewoon piepkleine modellen die makkelijk in een paar MB ram draaien en vlot werken op een CPU. Deze zijn prima voor wat voice aansturing in HA daar heb je echt geen 8B parameter model voor nodig.

[gwabber]

chaoscontrol schreef op dinsdag 22 juli 2025 @ 11:37:
Er zijn gewoon piepkleine modellen die makkelijk in een paar MB ram draaien en vlot werken op een CPU. Deze zijn prima voor wat voice aansturing in HA daar heb je echt geen 8B parameter model voor nodig.

Heb je daar voorbeelden van? Dat klinkt interessant!

[chaoscontrol]

gwabber schreef op dinsdag 22 juli 2025 @ 11:46:
[...]

Heb je daar voorbeelden van? Dat klinkt interessant!

https://ollama.com/library/smollm

Maar er zijn er meerdere. Zou even benchmarks opzoeken welke tegenwoordig het beste werkt.

[CSB]

Op Reddit heeft men een discussie over een goede LLM voor HA: https://www.reddit.com/r/...using_for_home_assistant/

Over wat kleine modellen betreft: ja het werkt prima op CPU, maar je kunt niet meer verwachten dan het afhandelen van simpele commando's volgens mij. Dan kun je net zo goed de ingebouwde assist gebruiken.

Wat ik voor ogen heb is een "converstation agent" die ook mij HA fatsoenlijk kan aansturen.

[DexterDee]

chaoscontrol schreef op dinsdag 22 juli 2025 @ 11:47:
Maar er zijn er meerdere. Zou even benchmarks opzoeken welke tegenwoordig het beste werkt.

Spoiler alert: Geen enkele werkt "het beste" met HA. De kleine modellen leveren structureel slechtere prestaties op dan de ingebouwde intent engine van HA zelf. Commando's die niet begrepen worden, andere devices die herkend en aangezet worden, commando's met meerdere instructies werken niet. Veel heeft ook te maken met de slechtere ondersteuning voor Nederlands in kleinere modellen. In het Engels zijn de resultaten wel iets beter.

Als je van een oplossing als Google Assistant naar een lokale LLM overstapt (waar ik zelf ook mee bezig ben) dan kom je van een koude kermis thuis als je denkt dat kleine modellen je ongeveer on-par brengen omdat het toch maar "simpele" voice commando's zijn. Een assistent die je de helft van de keren niet goed begrijpt of hele andere dingen doet die je vraagt is behoorlijk frustrerend.

Mocht je een klein model hebben gevonden dat wel goed werkt dan hou ik me van harte aanbevolen en zou ik graag alle details horen.