Home Assistant en LLM

[gwabber]

Hey allemaal,

Onlangs heb ik de Home Assistant voice gekocht om mijn smarthome aan te sturen zonder Google & Co. Nu werkt dit pirma via Home Assistant Cloud, maarja; BORING!

Ik wil dat natuurlijk met een lokaal draaiende LLM doen. Nu had ik dat in principe draaiend middels Ollama, maar het was geen doen omdat mijn kleine Elitedeskje natuurlijk geen krachtpatser is om een taalmodel te draaien.

Nu vroeg ik me af of er mensen zijn die thuis al een lokale LLM hebben draaien die met wat lichtere computers werkt en met Home Assistant, of wellicht een LLM speciaal voor Home Automation?

Ik hoor het graag

[Gizz]

Wat is je definitie van een lichtere computer? Voor zover ik weet heb je een vrij vlotte videokaart met flink wat videogeheugen nodig om lokaal een LLM te draaien dat niet het bloed onder je nagels vandaan haalt omdat je een minuut aan het wachten bent op een reactie. Zie ook deze tests: review: AI op AMD- en Nvidia-videokaarten - Taalmodellen, upscaling en imageg...

Zelf werk ik ook het liefst 100% lokaal, maar voor de assistant heb ik toch Google Gemini ingesteld (wel met de optie Prefer handling commands locally aan) omdat het met een zuinig thuisservertje niet te doen is om zelf vlot een LLM te draaien.

Misschien dat het met een erg klein taalmodel wel kan zonder lokaal zware hardware, ik laat me graag verbeteren door mensen die dat wel voor elkaar hebben.

[MartijnGP]

Als tussenoplossing zou je nog kunnen kijken naar het draaien van een LLM op een eigen Azure of AWS omgeving, of een in AI gespecialiseerde dienst. Dat kan interessant zijn als je behoefte hebt aan wat meer privacy (hoewel dat spul ook gewoon in de VS draait en daarmee onbetrouwbaar is) maar geen zin hebt om een videokaart met 24GB RAM aan te schaffen.

Ik weet er het fijne ook nog niet van, maar het schijnt mogelijk te zijn en ik ben wel van plan me daar in de toekomst in te verdiepen, want HomeAssistant aan een publieke dienst vastmaken zit me, ondanks de behoorlijk goeie controle vanuit HA, toch niet helemaal lekker. En mijn RX6600 gaat ook geen prettige ervaring leveren vermoed ik zo.

[gwabber]

Bedankt voor de reacties! In dat geval zal ik het moeten laten gaan denk ik. Mijn kleine Elitedeskje heeft niet eens een videokaart, laat staan eentje met een groot werkgeheugen...