Domotica Augmented Reality experiment

[damylen]

Onlangs heb ik een klein prototype gemaakt van een augmented reality domotica systeem. Een experiment om te kijken wat mogelijk is. Maak hier gebruik van een hololens en een aantal apparaten (hue, sonos, luchtkwaliteit sensoren, slimme meter, zonnepanel, weer data, wifi netwerk verbruik, z-wave sensoren voor energie, licht, beweging, etc.).

De interactie is nu nog simpel. Je kan naar een lamp of speaker kijken en vervolgens zijn 'turn on' of 'play'. In de volgende versie ga ik meer data, interactie vormen en andere systemen toevoegen (plex, alexa, deur sensoren).

Schat niet in dat ik (of iemand anders) dit binnen nu en een paar jaar echt ga gebruiken, maar ben toch benieuwd naar suggesties, ideeen hoe augmented reality gebruikt kan worden in de toekomst.

[Yucon]

Mooi gemaakt, heb je wat meer details over hoe je dit gebouwd hebt?

[damylen]

Aan de domotica kant heb ik een mqtt bus, waar ik met behulp van een aantal adapters sensor- en activiteit data op publiceer. Heb adapters voor hue, sonos, plex, zonnepanelen, weer data, slimme ketel, etc. Ik gebruik domoticz voor de koppeling met z-wave,433mhz sensoren en de slimme meter. Sommige adapters kunnen ook luisteren naar mqtt om acties te ontvangen, bv om de hue te besturen of via domoticz een scene te activeren. Vervolgens luistert er aan de andere kant een adapter die alle activiteit op de bus wegschrijft naar een influxdb timeseries database.

De hololens app heeft een configuratie bestand waar de verschillende apparaten worden benoemd, welke informatie ik wil tonen (inclusief mqtt gegevens) en welke interactie mogelijkheden zijn. Na het opstarten scant de hololens zijn omgeving ('spatial mapping') en creert intern een 3d kaart van de ruimte. Vervolgens kan je elke apparaat een fysieke lokatie gegeven door een soort 'drag-drop' mechanisme in 3d.