Home Assistant; hoe waarborgen historische data?

[omweersbui]

Hallo,

Ik ben al een aantal jaren een trouwe gebruiker van home assistant.
Home assistant is een belangrijk onderdeel van mijn huis installatie geworden.
Nu vind ik het niet erg om home assistant af en toe opnieuw te configureren.
Maar eigenlijk is home assistant niet stabiel genoeg om historische data van mijn huis in te bewaren ik ben het al een aantal keren kwijt geraakt. Je hebt ook geen controle wat er onderwater met je data gebeurt.

Daarom ben ik op zoek naar een goede oplossing om al mijn huis data ergens anders op te slaan dan HA.

Zijn andere hier al tegenaan gelopen? En hoe heb je het opgelost?
Alvast bedankt,

[Osiris]

Ik heb gewoon een MySQL-database als recorder. Nu heb ik de purge_keep_days op 365 dagen, maar dat kun je vast ook wel somehow op oneindig zetten.

[loewie1984]

Wat ik iedere keer lees is dat je je data alleen maar goed veilig kan stellen in HA, als je HA OS gebruikt of toegang hebt tot de laag waarin HA geïnstalleerd is.

Ik snap nog steeds niet dat ze geen goede export functie hebben voor niet native HA gebruikers, ik draai het spul in docker, had een writeable volume en puntje bij paaltje toch geen data die ik kon exporteren voor ik HA ging updaten. Dus ben ook een jaar aan historische data kwijt.

[Gameboy]

Ik gebruik HomeAssistant ook al een tijd (als een Docker container), maar ik ben nog nooit data kwijtgeraakt, anders dan door overduidelijke eigen schuld (hernoemen van entities zonder dat ik wist wat dat deed en hoe dat werkte).

Maar ook Docker HA kun je simpelweg updaten zonder dat je iets moet exporteren? Als je de "/config" directory netjes als externe mount hebt opgegeven, blijft die data bewaard als je de container verwijdert en een nieuwe versie opstart.

En anders kun je het inderdaad bijvoorbeeld in een MySQL of Postgres database opslaan, en daar backups/dumps van maken? Of gebruik de gewone backup-functionaliteit in HA zelf?

Dus ik zie niet goed hoe je "zomaar" data kwijtraakt?

[jackorobot]

Recent heb ik de InfluxDB integratie van HomeAssistant opgezet met als idee dat deze database mijn lange termijn opslag verzorgt. Nog geen lange ervaring mee dus, maar deze database is gemaakt met de intentie voor lange termijn opslag van sensor data. De interne recorder schijnt niet super stabiel te zijn hierin.

Nadeel en voordeel tegelijk is dat deze historische data niet direct in home assistant te zien zijn, maar je daarvoor wel heel gemakkelijk een tool als Grafana kan gebruiken om mooie dashboards te maken.

Een combinatie van de recorder met mariadb/mysql op een 367 dagen termijn voor de interne grafiekjes en InfluxDB voor de langere termijn en externe grafiekjes zou misschien de oplossing kunnen zijn voor jouw situatie?

[Cyphax]

Ik heb ooit een PSQL-database opgezet om daar data in te plaatsen, maar intussen heb ik een container gemaakt met InfluxDB en eentje met Grafana, en die combinatie biedt opslag en inzicht in de gegevens, en (Grafana) integreert in HA. Iets meer werk om op te zetten wellicht (ik was er een middagje mee bezig denk ik) maar wel een systeem dat hier goed in is.

[alex3305]

Ik gebruik InfluxDB en MariaDB voor langdurige opslag. InfluxDB al enkele jaren en MariaDB sinds de Long Term Statistics zijn geïntroduceerd. Wat ik echter extreem vervelend vind is dat deze data gekoppeld zit aan entiteit-id's die niet altijd even stabiel zijn gebleken. Ik vind het waarborgen van deze data dus ook extreem moeilijk, maar aan de andere kant heb ik de data wel (in InfluxDB).

Ik heb het nog eens op mijn lijstje staan om een tool / script te maken om data uit MariaDB of InfluxDB te extraheren en gestructureerd op te zetten. Het liefste om te zetten naar de Long Term Statistics. Maar het datamodel van Home Assistant vind ik zo ontzettend ondoorzichtig dat ik daar nog steeds niet mee gestart ben. De laatste keer dat ik namelijk data in de Statistics tabel wijzigde, werkte dat namelijk niet. Maar geen idee waarom.

Hetzelfde probleem geldt overigens ook voor foutieve data. Soms komt er data door die niet klopt (bijvoorbeeld een Z-Wave of Zigbee sensor die 255 of 0 doorstuurt), maar die op geen enkele manier eenvoudig aan te passen is.

Dat vind ik wel echt een gemis van Home Assistant, want mijn data zou mij echt veel inzicht kunnen geven, maar ik kan er nu gewoon lastig bij. Dat was bijvoorbeeld bij Domoticz wel wat beter geregeld.

[Douweegbertje]

Wellicht een random/offtopic tip; ik lees hier twee keer dat de retentie op vrijwel 1 jaar wordt gezet. Als je de retentie niet oneindig wil hebben, doe dan op zijn minst het 1 jaar en 2-3 maanden maken. Je bedankt jezelf later om straks de optie te hebben om datums te vergelijken. Bijv. als je het exact 1 jaar maakt, kan je alleen dag/dag vergelijking doen op de dag zelf. De volgende dag ben je je geschiedenis kwijt

[!GN!T!ON]

loewie1984 schreef op maandag 11 september 2023 @ 19:46:
Wat ik iedere keer lees is dat je je data alleen maar goed veilig kan stellen in HA, als je HA OS gebruikt of toegang hebt tot de laag waarin HA geïnstalleerd is.

Ik snap nog steeds niet dat ze geen goede export functie hebben voor niet native HA gebruikers, ik draai het spul in docker, had een writeable volume en puntje bij paaltje toch geen data die ik kon exporteren voor ik HA ging updaten. Dus ben ook een jaar aan historische data kwijt.

Je kan je data toch gewoon versturen naar een MySQL of InfluxDB?

https://dev.to/admantium/...r-data-with-influxdb-3mfl

Heb al tijden zo al mijn data doorzoekbaar en los van home assistant.

[omweersbui]

Mijn kennis van databases is beperkt dat is wellicht een probleem. Ik denk dat een optie buiten HA de beste oplossing is, maar wat is een goed idee? Er is dus niet direct een eenvoudige oplossing.
Alle dank voor jullie reacties. Ik ga nog even verder zoeken.

[TommieW]

Ik heb HomeAssistant draaien als de appliance-variant, dus met ondersteuning voor plug-ins. Ik heb (zoals hierboven te lezen met vele anderen) hier InfluxDB en Grafana toegevoegd, waar een subset van de data wordt opgeslagen. Het stelt niet heel veel voor om 't te installeren en je data staat daarmee niet meer binnen HomeAssistant, maar in een container die ernaast draait.

omweersbui schreef op dinsdag 12 september 2023 @ 20:14:
Mijn kennis van databases is beperkt dat is wellicht een probleem. Ik denk dat een optie buiten HA de beste oplossing is, maar wat is een goed idee? Er is dus niet direct een eenvoudige oplossing.
Alle dank voor jullie reacties. Ik ga nog even verder zoeken.

Heb je het al überhaupt geprobeerd? Als je bij voobaat het al opgeeft kom je niet ver natuurlijk.

[omweersbui]

TommieW schreef op dinsdag 12 september 2023 @ 20:21:
Ik heb HomeAssistant draaien als de appliance-variant, dus met ondersteuning voor plug-ins. Ik heb (zoals hierboven te lezen met vele anderen) hier InfluxDB en Grafana toegevoegd, waar een subset van de data wordt opgeslagen. Het stelt niet heel veel voor om 't te installeren en je data staat daarmee niet meer binnen HomeAssistant, maar in een container die ernaast draait.


[...]

Heb je het al überhaupt geprobeerd? Als je bij voobaat het al opgeeft kom je niet ver natuurlijk.

Makkelijk te installeren als je een systeem hebt draaien met docker en je kan idd even een container maken met een losse database. Hier neem je al heel veel infrastructuur aan.

Ik heb een PI draaien met HASS.IO en daar heb ik mariaDB database gemaakt. Maar je hebt helemaal geen controle over deze database het zit helemaal weggestopt zit in HASS.IO. Dus dat was echt een slecht idee.

Ik moet vrij veel opzetten en omzetten om even InfluxDB en Grafana toe te voegen. Maar wellicht is dat helemaal geen slecht. Allleen wil ik eigenlijk niet te veel ICT infrastructuur in mijn huis hebben want dat moet allemaal onderhouden worden. Dat is dus ook een onderdeel van de afweging.

[Septillion]

Wat wordt er allemaal moeilijk gedaan... In de config staat gewoon de SQLite db file. Standaard zit daar alles voor 10 dagen in. Langer hoeft tegenwoordig eigenlijk ook niet meer (en zou ik zeker ook niet aanraden!) omdat er de long term statistics zijn. Dit is een samenvatting van de sensoren (indien deze goed ingesteld staan) per uur voor eeuwig. Bij meterstanden de som en standen en bij sensoren min, max en gemiddelde.

Draai je supervised of HA OS dan kan je als backup de ingebouwde functie pakken. Als je Core of Docker draait wordt er ook vanuit gegaan dat je capabel bent om dat te managen en daar dus een backup te draaien. De db-file is in ieder geval ook dan zo te benaderen.

Nu moet ik wel als side-note aangeven dat HA veeeeeeel stabieler is geworden qua database. 4-5 jaar geleden wilde het nog wel eens een corrupte database geven maar mijn huidige install draait al sinds begin '21 ofzo en heb dus ook nog alle long term stats vanaf midden 21 (= introductie).

[gomaster]

@Septillion bedankt voor deze uitleg. Daar was ik niet van op de hoogte. Is het ook mogelijk om deze data te migreren? Ik wil mijn meterstanden eigenlijk naar een nieuwe installatie verplaatsen, maar ben bang dat ik alles kwijtraak..

[alex3305]

@Septillion Ik vind het helemaal niet moeilijk doen. Home Assistant faciliteert momenteel nog te weinig in data analyse en inzicht in deze gegevens. Als ik bijvoorbeeld een entiteit weghaal of vervang (met een andere naam) dan is het onmogelijk om deze gegevens (eenvoudig) te exporteren. toe te voegen of aan te passen. Idem voor het aanpassen van de lange termijn data. Dat is gewoon een crime op het moment.

Ook vind ik het niet altijd even transparant welke data wel of niet als lange termijn data wordt opgeslagen. Vanmiddag keek ik bijvoorbeeld naar een van de temperatuursensoren in de woonkamer, maar die wordt dan blijkbaar wel opgeslagen als lange termijn, maar de foutieve data kan ik er niet uithalen of corrigeren.

Idem voor het toevoegen van data. Ik heb bijvoorbeeld nog meterstanden van voor Home Assistant, maar die kan ik (helaas) niet achteraf invoeren. Ook niet eenvoudig met SQL-statements. Dat heb ik geprobeerd en was een groot drama.

Ik vind dat echt heel erg jammer, want ik zou wel veel meer met deze data willen doen. Voor een tijd met alle machine learning ellende zou dit enorm waarde vermeerderend zijn voor HA. Je zou bijvoorbeeld zaken kunnen laten berekenen of voorspellen. Maar dat lijkt nu schier onmogelijk. Toen ik dat een tijdje terug op Reddit vroeg kreeg ik ook geen enkele reactie. Oh, en als klap op de vuurpijl om deze data eenvoudig in te zien moet ik een HACS component installeren, want ik weet nog steeds niet hoe ik dat in de vanilla interface zou moeten doen...

In ieder geval kan ik meeste van bovenstaande zaken wel met InfluxDB en eventueel Grafana. Althans daar is het sowieso mogelijk om data te manipuleren, te exporteren en importeren.

[Septillion]

@alex3305 Nouwja, dat valt bij mij niet echt onder veiligstellen, dat doet de suggestie dat het spontaan weg kan zijn. En backupen is ook de grote discussie hier.

Transfer en edit is wel een dingetje, dat geef ik toe Maar lijkt mij overigens sterk dat een item wel in long term zit maar niet te editen is. Tenzij die ook ergens in een config staat is de link in de db namelijk eenvoudig en eenduidig.

Maar goed, de db van HA kan je ook benaderen. Als je zelf wat opzet zal je daar ook queries voor moeten schrijven, zeker als je data wilt migreren. Dus niets houdt je tegen dat met de HA db ook te doen

En tuurlijk, het is WIP Als je extreem nieuwe / andere dingen wilt doen kan een extra db handig zijn. Maar dat is naar mijn idee niet de data veilig stellen.

[MsG]

alex3305 schreef op woensdag 13 september 2023 @ 22:09:
@Septillion Ik vind het helemaal niet moeilijk doen. Home Assistant faciliteert momenteel nog te weinig in data analyse en inzicht in deze gegevens. Als ik bijvoorbeeld een entiteit weghaal of vervang (met een andere naam) dan is het onmogelijk om deze gegevens (eenvoudig) te exporteren. toe te voegen of aan te passen. Idem voor het aanpassen van de lange termijn data. Dat is gewoon een crime op het moment.

Ook vind ik het niet altijd even transparant welke data wel of niet als lange termijn data wordt opgeslagen. Vanmiddag keek ik bijvoorbeeld naar een van de temperatuursensoren in de woonkamer, maar die wordt dan blijkbaar wel opgeslagen als lange termijn, maar de foutieve data kan ik er niet uithalen of corrigeren.

Idem voor het toevoegen van data. Ik heb bijvoorbeeld nog meterstanden van voor Home Assistant, maar die kan ik (helaas) niet achteraf invoeren. Ook niet eenvoudig met SQL-statements. Dat heb ik geprobeerd en was een groot drama.

Ik vind dat echt heel erg jammer, want ik zou wel veel meer met deze data willen doen. Voor een tijd met alle machine learning ellende zou dit enorm waarde vermeerderend zijn voor HA. Je zou bijvoorbeeld zaken kunnen laten berekenen of voorspellen. Maar dat lijkt nu schier onmogelijk. Toen ik dat een tijdje terug op Reddit vroeg kreeg ik ook geen enkele reactie. Oh, en als klap op de vuurpijl om deze data eenvoudig in te zien moet ik een HACS component installeren, want ik weet nog steeds niet hoe ik dat in de vanilla interface zou moeten doen...

In ieder geval kan ik meeste van bovenstaande zaken wel met InfluxDB en eventueel Grafana. Althans daar is het sowieso mogelijk om data te manipuleren, te exporteren en importeren.

Er staan 3 opties beschreven hier, die aansluit op vrijwel elke mogelijke situatie. https://hacs.xyz/docs/setup/download/

Vermoedelijk moet je in jouw geval de terminal addon installeren en vanaf daar het commando invoeren zoals op die website staat.

[Septillion]

@gomaster Niet makkelijk als stand alone, maar je kan je hele config gewoon overzetten. Zeker als je van een install met backup functie komt en gaat.

Als je handig bent met SQL zijn er ook wel mensen die alleen long term handmatig hebben overgezet.