Home Assistant en LLM

[gwabber]

Hey allemaal,

Onlangs heb ik de Home Assistant voice gekocht om mijn smarthome aan te sturen zonder Google & Co. Nu werkt dit pirma via Home Assistant Cloud, maarja; BORING!

Ik wil dat natuurlijk met een lokaal draaiende LLM doen. Nu had ik dat in principe draaiend middels Ollama, maar het was geen doen omdat mijn kleine Elitedeskje natuurlijk geen krachtpatser is om een taalmodel te draaien.

Nu vroeg ik me af of er mensen zijn die thuis al een lokale LLM hebben draaien die met wat lichtere computers werkt en met Home Assistant, of wellicht een LLM speciaal voor Home Automation?

Ik hoor het graag

[Gizz]

Wat is je definitie van een lichtere computer? Voor zover ik weet heb je een vrij vlotte videokaart met flink wat videogeheugen nodig om lokaal een LLM te draaien dat niet het bloed onder je nagels vandaan haalt omdat je een minuut aan het wachten bent op een reactie. Zie ook deze tests: review: AI op AMD- en Nvidia-videokaarten - Taalmodellen, upscaling en imageg...

Zelf werk ik ook het liefst 100% lokaal, maar voor de assistant heb ik toch Google Gemini ingesteld (wel met de optie Prefer handling commands locally aan) omdat het met een zuinig thuisservertje niet te doen is om zelf vlot een LLM te draaien.

Misschien dat het met een erg klein taalmodel wel kan zonder lokaal zware hardware, ik laat me graag verbeteren door mensen die dat wel voor elkaar hebben.

[MartijnGP]

Als tussenoplossing zou je nog kunnen kijken naar het draaien van een LLM op een eigen Azure of AWS omgeving, of een in AI gespecialiseerde dienst. Dat kan interessant zijn als je behoefte hebt aan wat meer privacy (hoewel dat spul ook gewoon in de VS draait en daarmee onbetrouwbaar is) maar geen zin hebt om een videokaart met 24GB RAM aan te schaffen.

Ik weet er het fijne ook nog niet van, maar het schijnt mogelijk te zijn en ik ben wel van plan me daar in de toekomst in te verdiepen, want HomeAssistant aan een publieke dienst vastmaken zit me, ondanks de behoorlijk goeie controle vanuit HA, toch niet helemaal lekker. En mijn RX6600 gaat ook geen prettige ervaring leveren vermoed ik zo.

[gwabber]

Bedankt voor de reacties! In dat geval zal ik het moeten laten gaan denk ik. Mijn kleine Elitedeskje heeft niet eens een videokaart, laat staan eentje met een groot werkgeheugen...

[ZatarraNL]

Ik ben recent begonnen met het uitproberen van ollama. Ik gebruik een rtx 5060ti met 16gb vram. Het idle verbruik is ongeveer 10watt toegenomen met deze gpu. Kosten ca 450 euro voor aanschaf.

Ik gebruik nu:
- ollama op een separate vm met Piper en Whisper en web ui.
- home assistant op een andere vm
- home assistant voice preview
- diverse llms geprobeerd: gemma3, llama3, deepseek r1

Mijn ervaringen tot nu toe:
- snelheid is geen enkel probleem meer. De gpu is vlot. Ik merk geen merkbaar verschil met bijvoorbeeld chatgpt (qua snelheid). Dat is wel anders als de llm nog in de vram geladen moet worden. Dan moet je even wachten.
- het model llm dat je kan kiezen is zeer beperkt door de vram die je hebt. Ik gebruik bijv de llama3.1:8b en gemma3:12b. Deze passen in de vram van de gpu.
- deze modellen zijn wel veel dommer dan chatgpt. De antwoorden die ik van chatgpt krijg zijn accurater en completer. De lokale modellen rommelen soms maar wat aan.
- ik gebruik ook Whisper. Die heeft ook zo'n 3 gb aan vram nodig. Houdt daar rekening mee.
- ik heb nog ruzie met de lokale Piper. Nog niet goed aan de praat. Daarom gebruik ik hiervoor nog google translate.
- je kan prima meerdere modellen downloaden via ollama, maar als je wisselt tussen llms, dan moeten ze eerst worden ingeladen in de vram. Duurt een aantal seconden.
- niet alle llms zijn geschikt voor home assistant. Gemma3 is dat bijvoorbeeld niet. Heeft te maken met de mogelijkheid om de interpretaties te sturen.
- zo is Gemma3 beter als ik reguliere vragen wil stellen, zoals ik nu ook chatgpt gebruik, maar werkt llama3 beter met home assistant. Je moet kiezen.
- ook llama3 gaat nog vaak niet goed om met instructies. Text to speech gaat goed, evenals speech to text, maar de instructies naar home assistant niet. Als ik een scène will activeren, lukt dat soms wel en soms niet. Hier worstel ik nog mee. Tips zijn welkom.

Ik zie zojuist dat llama4 beschikbaar is in ollama. Die gaan we dus maar even uitproberen.

Edit: het basismodel van llama4 begint bij 55gb vram. Dat wordt hem niet op mijn 5060ti...

[sloth]

Wat zijn jullie usecases om een lokaal draaiende LLM te combineren met HA? Ook benieuwd naar echte ervaringen.

[ZatarraNL]

Mijn doel is tweeledig: 1. meer uit home assistant halen, oftewel een echt slimme assistent. En 2. een alternatief voor het toch wel dure chatgpt (ik wil graag alles zelf hosten).

Doel 1 is nog niet naar tevredenheid behaald, maar er zit veel potentie in. Doel 2 is min of meer wel behaald, al zie ik dat chatgpt echt beter is. Ook daar zie ik veel potentie in de toekomst.

Mijn belangrijkste twijfel nu nog: is 16gb vram wel echt genoeg... Als je een gpu overweegt, zou ik niet lager willen gaan. Liever hoger.

[Ernemmer]

ZatarraNL schreef op zaterdag 3 mei 2025 @ 10:17:
Mijn doel is tweeledig: 1. meer uit home assistant halen, oftewel een echt slimme assistent. En 2. een alternatief voor het toch wel dure chatgpt (ik wil graag alles zelf hosten).

Doel 1 is nog niet naar tevredenheid behaald, maar er zit veel potentie in. Doel 2 is min of meer wel behaald, al zie ik dat chatgpt echt beter is. Ook daar zie ik veel potentie in de toekomst.

Mijn belangrijkste twijfel nu nog: is 16gb vram wel echt genoeg... Als je een gpu overweegt, zou ik niet lager willen gaan. Liever hoger.

Chatgpt (plus) duur? Ik vind dat wel meevallen eigenlijk, als je het vergelijkt met zelf iets hosten wat net zo goed werkt.

[Gizz]

ZatarraNL schreef op zaterdag 3 mei 2025 @ 10:17:
En 2. een alternatief voor het toch wel dure chatgpt

Tip voor anderen die hiermee bezig zijn: Gemini kun je gratis gebruiken.

Edit: hier een filmpje hoe je dat instelt:

[ Voor 22% gewijzigd door Gizz op 03-05-2025 10:33 ]

[ZatarraNL]

Ernemmer schreef op zaterdag 3 mei 2025 @ 10:24:
[...]


Chatgpt (plus) duur? Ik vind dat wel meevallen eigenlijk, als je het vergelijkt met zelf iets hosten wat net zo goed werkt.

Zoals hierboven genoemd: Gemini is (nog) gratis. Geld is niet de belangrijkste reden, al was ik op jaarbasis toch zo'n 240 dollar kwijt. Dan heb je na zo'n 3 jaar de gpu terugverdiend, mits dit goed werkt. En dat laatste kan ik nog niet met zekerheid stellen.
Mijn belangrijkste reden is toch dat alles lokaal draait. Ik wil niet afhankelijk zijn van Google/Microsoft/Amerika/verlies van privacy/etc.... Dus vooral een beetje principieel.

[gwabber]

Voor mij is het vooral cloud onafhankelijkheid en gewoon meer willen leren over AI en het gebruik van taalmodell3n op een eigen server