Domoticz / Google Home Assistant met meerdere mics

[Whuzz]

Zoals zovelen ben ik bezig met een thuis-domotica project. Het droombeeld is natuurlijk mijn eigen "Jarvis", maar we zien wel hoe ver we komen

Ik heb momenteel een Raspberry Pi 3 met Raspbian en Domoticz en ben van plan Google Home Assistant te installeren. De bedoeling is dat ik vanuit meerdere kamers met stemcommando's devices kan schakelen en de home assistant kan benaderen. Ik zou dus in meedere kamers een speaker+mic willen hebben. Als ik dan in de slaapkamer aan google vraag hoe laat het is, vertelt hij dat dan ook via de speaker in de slaapkamer.

Maar hoe dan? Ik zoek me al twee dagen suf naar manieren waarop anderen dat hebben opgelost en ik kom wel wat topics tegen, maar meestal zonder concreet resultaat.
Bijvoorbeeld dit topic lijkt te willen wat ik ook wil, maar zonder resultaat.
Uiteraard zijn er wel oplossingen om meerdere speakers te koppelen, bijvoorbeeld via chromecasts of een Sonos systeem. Maar meerdere "constant open" mics lijkt een ander verhaal.
Ik dacht aan bluetooth setjes, maar die lijken alleen bruikbaar als "Audio sink" en dus niet als mic.

Het liefst heb ik een "kant en klaar" Mic+Speaker hubje dat ik simpelweg in elke kamer kan plaatsen en dat naadloos met Google Home Assistant werkt, maar áls het er al is ben ik het nog niet tegengekomen.
Als het moet kan ik prima zelf solderen, iets bouwen en het programmeren, dus als er niets is wil ik zelf iets maken.
Ik sta nog aan het begin van mijn project, dus ik hang nergens aan vast en sta open voor alle suggesties. Als er echt niets blijkt te zijn, dan wil ik uiteindelijk een zelfgebouwde oplossing ook best delen met anderen

Zijn er tweakers die hier al ervaring mee hebben? Tips, tricks, valkuilen?

[ Voor 8% gewijzigd door Whuzz op 18-09-2017 18:49 ]

[willemoldemans]

Ik draai een Domoticz server (op windows server 2012) en een USB Zwave stick, daarnaast heb ik een Google Home in huis staan en ik kon via een HA-bridge ea bedienen met Google Home

Dit werkte door een Philips Hue lokaal te emuleren, Google Home vond deze lokale Hue bridge en je kon al je devices in de Home app zien en bedienen met je stem (in het Engels)

Echter sinds een paar weken is dit stuk. De laatste google home update (en app) probeert een cloud verbinding met Hue servers te maken, Daardoor kan hij de lokale ha-bridge niet meer vinden. hence, geen voice commands meer via google.
Harmony hub ziet hem nog wel, dus Harmony activities met lampen werkt wel, tevens kan Google Home overweg met Harmony Hub. je kan dus (als alles goed ingesteld is op US) vragen "ask Harmony to turn on the kitchen light"

anders kan je je toevlucht zoeken tot IFTTT maar dat vind ik nogal omslachtig.

[wautah91]

Kun je niet een (oude/Goedkope Chinese) smartphone gebruiken en dit instellen:

https://www.domoticz.com/forum/viewtopic.php?t=14947

Ik heb hier pasgleden mee geexperimenteerd, maar je moet wel erg precies zijn in je commando. Google wil zelf ook nog wel eens hoofdletters toepassen als je bijvoorbeeld het commando: "Zet de verlichting aan in de woonkamer" roept, dan maakt Google daar soms "zet" van, met een kleine letter Z en voert dan gewoon een zoekopdracht uit. Ik vraag mij dan af hoe bruikbaar het is.

[ Voor 58% gewijzigd door wautah91 op 17-10-2017 11:28 ]

[Bartoz]

Iets via een speaker lijkt mij de mooiste oplossing:

Magpi 57 google voice kit raspberry

http://webwereld.nl/hardw...Webwereld+%28Webwereld%29

[TheFes]

willemoldemans schreef op dinsdag 17 oktober 2017 @ 11:20:
Ik draai een Domoticz server (op windows server 2012) en een USB Zwave stick, daarnaast heb ik een Google Home in huis staan en ik kon via een HA-bridge ea bedienen met Google Home

Dit werkte door een Philips Hue lokaal te emuleren, Google Home vond deze lokale Hue bridge en je kon al je devices in de Home app zien en bedienen met je stem (in het Engels)

Echter sinds een paar weken is dit stuk. De laatste google home update (en app) probeert een cloud verbinding met Hue servers te maken, Daardoor kan hij de lokale ha-bridge niet meer vinden. hence, geen voice commands meer via google.
Harmony hub ziet hem nog wel, dus Harmony activities met lampen werkt wel, tevens kan Google Home overweg met Harmony Hub. je kan dus (als alles goed ingesteld is op US) vragen "ask Harmony to turn on the kitchen light"

anders kan je je toevlucht zoeken tot IFTTT maar dat vind ik nogal omslachtig.

Ik heb dezelfde opzet, en mijn HA-bridge werkt nog prima hoor.
Kan gewoon mijn lampen en dergelijke bedienen.

@Whuzz
Is het niet gewoon het makkelijkst om een aantal Google Home mini's aan te schaffen? Dat lijkt me min of meer wat je zoekt..

[ Voor 5% gewijzigd door TheFes op 17-10-2017 11:44 ]

[Lennyz]

- Zorg dat alle devices bestuurbaar zijn dmv MQTT. Gebruik indien nodig Node-Red hiervoor. Met Node-Red kan je heel gemakkelijk allerlei systemen aan elkaar koppelen.
- Plaats in ieder vertrek waar je Google Assistant wil gebruiken een Raspberry met microfoon.
- Gebruik deze library:

https://developers.google.com/assistant/sdk/develop/python/

Als je nu "Hello Google" zegt dan wordt de Assistant geactiveerd. Daarna kan je een voice commando geven.

Door middel van deze python code krijg je als een string terug wat Google heeft begrepen:

event.args['text']

Vervolgens vergelijk je de string met een vooraf ingestelde string en indien deze overeenkomt stuur je een MQTT commando om hetgeen te schakelen wat jij wilt.

[ Voor 5% gewijzigd door Lennyz op 17-10-2017 11:47 ]

[Whuzz]

Ik heb inmiddels een Matrix Creator aangeschaft en ben van plan er als ik alles werkend heb nóg 3 aan te schaffen. En zoals @Lennyz suggereert ga ik inderdaad met de Google Assistant SDK aan de slag, maar in combinatie met Snowboy, zodat ik custom wakeword activation kan gaan doen.

In totaal ongeveer net zo duur als meerdere google homes aanschaffen, maar met het voordeel dat ik zélf mijn wakeword kan kiezen (ik wil niet constant Hey Google hoeven te roepen) én ik heb zelf volledige controle over wanneer het apparaat luistert en data verstuurt. Niet dat ik extreem paranoïde ben over de Google Home ofzo, maar ik vind het wel een prettigere gedachte

[Herman1981]

Hoi,

Ik vroeg me eigenlijk af of je al resultaat geboekt had en zo ja, of de werking je bevalt. Ik kwam deze post tegen en was getriggerd door het idee dat je de GA met een custom wakeword wou personaliseren.

Op dit moment ben ik me aan het oriënteren op een domotica systeem. Dit wil ik gefaseerd aanschaffen. Ergens rond stap 5 in mijn stappenplan komt pas voice-input aan de orde. Nou ben ik ook niet vies van wat zelfbouw en programmeren, maar ben wel benieuwd of deze stap een bevalling of een walk-in-the-park wordt.

Please, share....

[Whuzz]

Herman1981 schreef op maandag 15 januari 2018 @ 20:26:
Hoi,

Ik vroeg me eigenlijk af of je al resultaat geboekt had en zo ja, of de werking je bevalt.

Geen concreet resultaat, maar dat ligt aan de software voor de Matrix.
Er zijn mogelijkheden voor GA + Custom wakeword. Bijvoorbeeld door middel van Snowboy

Daar heb ik wat tests mee gedaan en ik heb Snowboy prima aan de praat gekregen. Er zijn ook implementaties van Snowboy+GA op de Raspberry.
De matrix software heeft echter geen goede ondersteuning voor PyAudio. Wel een basisimplementatie met Alsa en die werkt dan ook prima met Snowboy, maar níet met GA.

Ik zou hier zelf een workaround voor kunnen coden, door een PyAudio implementatie voor Matrix te schrijven, óf door een Alsa workaround voor GA te maken. Daar ben ik door tijdgebrek echter niet aan toegekomen. Matrix werkt aan een PyAudio implementatie die al een half jaar lang "binnenkort" uit zou moeten komen

[Whuzz]

Update:

Inmiddels een eerste versie van Matrix + Google Assistant + Domoticz aan de praat. Ik kan dus via de matrix aan de google assistant vragen om een domoticz-switch of sensor uit te lezen / te schakelen.

Next step: Smart light switches. Weet alleen nog niet welke. Fibaro? Qubino? KAKU? choices....

[j1nx]

Whuzz schreef op donderdag 22 maart 2018 @ 11:46:
Update:

Inmiddels een eerste versie van Matrix + Google Assistant + Domoticz aan de praat. Ik kan dus via de matrix aan de google assistant vragen om een domoticz-switch of sensor uit te lezen / te schakelen.

Next step: Smart light switches. Weet alleen nog niet welke. Fibaro? Qubino? KAKU? choices....

Hey @Whuzz, still running strong?

Ik zit in het zelfde traject / doel, al moet ik de hardware nog wel aanschaffen;
[DiY] Home (Personal AI) Assistant (HASS/GA/Alexa/MyCroft)

Hoe ver ben jij? Heb je wellicht pointers / valkuilen waar ik rekening mee moet houden?

[Whuzz]

j1nx schreef op dinsdag 15 mei 2018 @ 08:56:
[...]


Hey @Whuzz, still running strong?

Ik zit in het zelfde traject / doel, al moet ik de hardware nog wel aanschaffen;
[DiY] Home (Personal AI) Assistant (HASS/GA/Alexa/MyCroft)

Hoe ver ben jij? Heb je wellicht pointers / valkuilen waar ik rekening mee moet houden?

Ik heb het grootste deel "up and running", maar wel met een Aeon Z-wave stick en niet met de Z-Wave van Creator. Op het moment dat ik écht de Z-wave wilde gaan gebruiken, waren die drivers niet fatsoenlijk klaar en heb ik dus voor de "quick way out" gekozen.

Ik kan dus via de google assistant mijn smart devices bedienen, zowel via de telefoon (android, google assistant) als via de pi+creator.

Ik zit momenteel echter met een vervelende bug in de Assistant SDK (gRPC service).
Het probleem begon bij de audio-jack van de Pi. Zoals bekend geeft die vrij slecht geluid, met static ruis als gevolg. Meestal is dat niet zo'n issue, maar aangezien er ook één in de slaapkamer komt, waar het 's nachts natuurlijk stil is, hoor je die ruis behoorlijk.

Goed. Andere opties bekeken:
- Pi DAC hat: Gaat niet, want vrijwel alle Pi-IO pinnen zijn al in gebruik door de creator
- USB Sound device: Steken te ver uit, past niet in mijn formfactor
- HDMI-VGA+jack converter: zelfde als USB stick, maar dan aan de onderkant.
- Bluetooth speaker: Moet kunnen werken.

Bluetooth speaker werkt prima, behálve met de google assistant. Steeds als ik die gebruik valt de eerste 0.5 seconden audio weg. Dus élke respons van de assistant mist het eerste woord, of halve woord.
Als ik zélf de speaker aanstuur is er geen probleem, zelfs niet als ik dat via sounddevice doe, wat dezelfde driver is die google gebruikt.

Ik ben nu zelf de hele service aan het herschrijven om direct via ALSA te werken, ipv via portaudio / sounddevice.

To be continued...

[Verwijderd]

Mensen, waarom allemaal zo moeilijk doen. Weet er nu écht niemand meer hoe een soldeerbout en een beetje electronica werkt

Ik ben even aan het meedenken hoe je in elke ruimte stemcommando's kan geven met slechtes één Google Home systeem.
Iedere ruimte waar je commando's wil geven moet je voorzien van een condensatormicrofoon en een speaker met hieraan gekoppeld een "microfoonversterker" zodat het commando ook over een wat langere afstand door Google Home kan worden "verstaan". Je kan er ook nog voor kiezen om er een speaker versterker tussen te zetten, maar ik zou het eerst eens zonder proberen.
Vanuit bijvoorbeeld je slaapkamer, lus je door naar de volgende slaapkamer, badkamer etc. etc.. tot je uitkomt bij je Google Home. Om de weerstand zo laag mogelijk te houden gebruik je voor de communicatiedraden slechts 0,5mm2 met een beschermde mantel om storingen te voorkomen. Je Google Home dien je open te schroeven (weg garantie) om vervolgens de verbinding te kunnen leggen met de speaker en microfoon. Et voila!
LET OP!!!! Zorg ervoor dat iedere hub die je hebt gemaakt voorzien is van de juiste diodes om spanningen de juiste richting op te laten gaan

[ Voor 15% gewijzigd door Verwijderd op 30-10-2018 14:59 ]

[Whuzz]

Verwijderd schreef op dinsdag 30 oktober 2018 @ 14:53:
Mensen, waarom allemaal zo moeilijk doen. Weet er nu écht niemand meer hoe een soldeerbout en een beetje electronica werkt

Ik ben even aan het meedenken hoe je in elke ruimte stemcommando's kan geven met slechtes één Google Home systeem.
Iedere ruimte waar je commando's wil geven moet je voorzien van een condensatormicrofoon en een speaker met hieraan gekoppeld een "microfoonversterker" zodat het commando ook over een wat langere afstand door Google Home kan worden "verstaan". Je kan er ook nog voor kiezen om er een speaker versterker tussen te zetten, maar ik zou het eerst eens zonder proberen.
Vanuit bijvoorbeeld je slaapkamer, lus je door naar de volgende slaapkamer, badkamer etc. etc.. tot je uitkomt bij je Google Home.

Uh, mooi idee, maar dan moet ik nieuwe draden trekken door mijn hele huis
En met maar één Google Home kun je hem dus nooit in meerdere kamers tegelijk gebruiken. Je kunt dan niet in de ene kamer muziek afspelen en in de andere kamer wat anders doen.

Inmiddels heb ik in de woonkamer mijn eerste "Whuzz home" draaien. Google Assistant + snowboy (custom wakeword) + Home Assistant (met o.a. 433 Mhz en Zwave en een touch screen). Ook heb ik zelf een "pod" gemaakt (3D printer) met daarin een speaker, een mic-array en een Pi. (En jawel hoor, ik weet prima hoe een soldeerbout en electronica werkt )
Als het prototype eenmaal goed werkt, maak ik er daar 4 van. Dan is elke kamer voorzien van zijn eigen "pod" en de woonkamer van een soort "command unit".

[BHeremans]

Inmiddels heb ik in de woonkamer mijn eerste "Whuzz home" draaien. Google Assistant + snowboy (custom wakeword) + Home Assistant (met o.a. 433 Mhz en Zwave en een touch screen). Ook heb ik zelf een "pod" gemaakt (3D printer) met daarin een speaker, een mic-array en een Pi. (En jawel hoor, ik weet prima hoe een soldeerbout en electronica werkt )
Als het prototype eenmaal goed werkt, maak ik er daar 4 van. Dan is elke kamer voorzien van zijn eigen "pod" en de woonkamer van een soort "command unit".

Hoe roep je google assistant op na het snowboy hotword ?
Als ik goed lees zijn er twee manieren. Audio process snowboy stoppen en google assistant starten. Ofwel audio verder opnemen en daarna naar google assistant sturen.
Ik had ook graag mijn eigen hotword gehad op mijn rpi.

[Whuzz]

BHeremans schreef op woensdag 14 november 2018 @ 22:41:
[...]


Hoe roep je google assistant op na het snowboy hotword ?
Als ik goed lees zijn er twee manieren. Audio process snowboy stoppen en google assistant starten. Ofwel audio verder opnemen en daarna naar google assistant sturen.
Ik had ook graag mijn eigen hotword gehad op mijn rpi.

Het is niet zo zeer "stoppen en starten" maar meer "redirecten". Je hebt een constante audiostream die je naar snowboy stuurt, totdat er een hotword gehoord wordt, waarna je het naar google assistant gaat sturen. De stream zelf blijft dus continue doorlopen.

Dat heeft als grote voordeel dat je nooit te maken krijgt met "audio device already in use", wanneer je door een timing-issue vanuit twee punten je microfoon probeert te benaderen.

[BHeremans]

Kan je het python script delen dat je gebruikt hebt of de howto die je gebruikt hebt ?
thx

[Whuzz]

BHeremans schreef op donderdag 15 november 2018 @ 11:09:
Kan je het python script delen dat je gebruikt hebt of de howto die je gebruikt hebt ?
thx

Het geheel is geschreven in C++, ik maak dan ook gebruik van de C++ Assistant SDK. Ik heb geen howto gebruikt, ik heb zelf de Snowboy en Assistant code (beide C++) uit elkaar gesloopt en gecombineerd in een eigen pakket.

Terzijnertijd zal ik de boel waarschijnlijk wel openbaar maken, maar momenteel is er van alles "hardcode" en er zitten ook nog veel zaken in verweven die alleen voor mijn systeem van toepassing zijn die ik liever níet wil delen.

Timeline? Geen idee.
Het is een hobby project en gaat daardoor niet heel snel.