MyCroft AI - Open Source Voice Assistant

[j1nx]

Wat is MyCroft AI

MyCroft AI - Is werelds eerste open source voice assistant gemaakt en gelanceerd door een startup met dezelfde naam. Het bedrijf MyCroft was opgezet in 2015 met als doel; "AI voor iedereen" en omdat het open source is installeerbaar op elke hardware van computers, tot koelkasten, wearables, Televisies, auto's enzovoort.

Wat is er dan precies Open Source;


Half 2015, lanceerde het bedrijf een kickstarter campagne voor de ontwikkeling van de software te samen met hun eerste hardware versie, de Mark-I (gebaseerd op een Raspberry Pi.

Hieronder een video over de introductie van de Mark-I;

Ondertussen zijn er al verschillende releases geweest van de software en timmert het bedrijf hard aan de weg. Ze hebben ze onlangs een nieuwe Kickstarter campagne gelanceerd voor de Mark-II die zijn doel behaalde in de eerste 7 uur. Uiteraard is dit meer een marketing ding als wel een reel doel. Daarop volgend kwam een tweede run, dit keer op IndieGoGO

De laatste grote release van de software stack was op 18 Februari en er staat een grote update te wachten voor 18 Augustus.

Om een beter beeld te scheppen over de visie van MyCroft en wat er daarvan al in de 18.08beta release zal zitten, raad ik je aan onderstaande video te bekijken. Het is wel een zit van 50 minuten, maar naar mijn mening meer als waard.

De hardware

Op dit moment zijn er twee opties voor een "out-of-the-box" ervaring type hardware. De eerste is de Mark-I die nu alweer een tijdje uit is, maar nog steeds verkrijgbaar. Later zal deze vervangen worden voor de Mark-II die je nu kunt pre-orderen via een van de Crowdfunding campagnes.

Hier onder wat meer informatie over deze twee opties;

Mark-I

De MyCroft Mark 1 is via de MyCroft website verkrijgbaar voor $179,99 De Mark-I is een geavanceerd prototype voor ontwikkelaars, hackers, Tweakers, etc.

Onder de motorkap zit de volgende hardware;

• Raspberry Pi 3; built-in speaker
• RCA audio output ports
• 8x32 LED display
• Dual NeoPixel "eyes"
• Built-in WiFi (802.11B/G/N)
• 10/100 Ethernet port, HDMI debug port, 4 USB ports, 40 pin GPIO connector,
• Integrated Arduino Mini
• Enclosure with side-mount ports
• US Power Adapter

Als remark op bovenstaande word gegeven; dat de 40-pin connector een andere pinout heeft en dat de interne ingebouwde bluetooth is uitgezet.

Mark-II

De nieuwe(re) Mark-II is nog niet verkrijgbaar anders dan hem via hun IndieGoGo capagne te bestellen voor $189,- inclusief verzendkosten. De tweede versie van hun hardware ziet er mooier uit en heeft nu ook een front display waar informatie op te zien zal zijn naast de oogjes en mond die ook al in zekere mate bij de Mark-I aanwezig waren.

De hardware voor de Mark-II bestaat uit;

• Xilinx quad-core processor
• Far-field 6-microphone array
• Hardware AEC, beamforming and noise reduction
• Stereo sound with dual 2" drivers (10W)
• 4" IPS LCD touchscreen
• ,-USB Type A
• MicroSD card slot
• Bluetooth in
• Wifi
• 3.5mm audio out
• 18W power supply with international adapters

Buiten de Mark-II zijn er via dezelfde IndiGoGO campagne ook nog andere (hardware) opties te bestellen, zoals;
Een Mark-II Dev Kit voor $109,- wat eigenlijk de hardware is zonder enclosure.
Een Mark-I en Mark-II tegelijkertijd voor $249,-
Of een Mark-II 3- Pack voor $329,-

De software stack

Omdat de eerste proto-type Mark-I gebaseerd is op een Raspberry Pi 3, is de volledige software stack daar in eerste instantie ook op / voor ontwikkeld. Als jezelf een linux computer hebt, daar een speaker en microfoon aan toevoegt, dan kun je de software zelf ook installeren en gebruiken.

PiCroft

De gemakkelijkste manier om eens zelf te spelen met MyCroft AI is om de PiCroft images te flashen op eenSD kaart en deze in je RPi 3 met speaker / microfoon te stoppen.

Verdere informatie en downloads zijn op hun GitHub pagina te vinden;
https://github.com/MycroftAI/enclosure-picroft

Linux

Iets moeilijker als de PiCroft image, maar met de mogelijkheid MyCroft AI op vrijwel elke Linux distributie te installeren inclusief bijvoorbeeld Raspbian is gebruik te maken van hun automatische install script. Verder informatie over hoe dat het beste te doen, wederom weer op hun GitHub account;
https://github.com/MycroftAI/mycroft-core/blob/dev/README.md

Als je KDE Plasma 5 Desktop hebt, dan is er ook een manier om MyCroft inclusief de nodige desktop widgets te installeren.
https://github.com/Mycrof...aster/kde_plasmoid_debian

Android

Ook voor Android is een versie beschikbaar, echter zul je die zelf moeten compilen met de nodige SDK kennis. Ikzelf heb die kennis niet, maar als iemand er mee aan de slag wil, hier staat hoe of wat;
https://github.com/MycroftAI/MycroftCore-Android

Bovenstaande installeerd dezelfde MyCroft als op Linux en kun je zien als standalone versie. Wellicht handig om Android-TV boxen van een nieuw / ander leven te voorzien. Er is echter ook een APP die soort gelijk is als de Google Assistent op je telefoon. Meer informatie daarover hier;
https://github.com/MycroftAI/Mycroft-Android

Ook daar geld, je zult zelf aan de bak moeten met de SDK van google. Wie het voor elkaar krijgt om een APK te compileren, laat het ons weten en hopelijk maak je dan de APK ook ter download beschikbaar voor de andere.

Onder de "motorkap"

De MyCroft AI core stack bestaat uit meerdere software pakketten die aan elkaar geknoopt worden door de core stack. Zo word elk deel van de voice assistent afgehandeld door zijn eigen stukje "expertise". Hier onder een kleine uitleg van de verschillende belangrijkere delen van de core stack.

Precise - Wake word spotting

In het begin maakte MyCroft AI gebruik van PocketSphinx. Al was phocketSphinx opensource en paste het prima in de filosofie van MyCroft, echt accuraat was het niet. Daarom heeft het team besloten zelf dit deel van de stack te programmeren. Precise was de uitkomst daarvan en is sinds midden Maart 2018 de default wake-word spotter.

Precise is een Wake Word-luisteraar. Zoals zijn naam suggereert, is het de taak van een Wake Word Listener om voortdurend naar geluiden en spraak rond het apparaat te luisteren en te activeren wanneer de geluiden of spraak overeenkomen met een Wake Word.

Meer informatie over Precise kun je vinden op de documentatie pagina;
https://mycroft.ai/documentation/precise/

De github pagina;
https://github.com/MycroftAI/mycroft-precise

En hoe je zelf Precise kan trainen op je eigen stem en wake-word;
https://github.com/Mycrof...-train-your-own-wake-word

Google SST -> OpenSTT -> DeepSpeech - Speech To Text

Adapt - Natural language understanding

Adapt is een intentie-parser - wat betekent dat het een bibliotheek is voor het converteren van natuurlijke taal in machine leesbare datastructuren, zoals JSON. De Adapt Intent Parser is open source software. Het is ontworpen om te worden uitgevoerd op apparaten met beperkte computer resources, zoals embedded hardware.

De volgende video legt beter uit wat Adapt precies is;

Padatious - Machine-learning, neural-network based intent parser

Padatious is een machine lerende, op neuraal netwerk gebaseerde intentie-parser. Het is een alternatief voor de Adapt intentie-parser. In tegenstelling tot Adapt, dat kleine groepen unieke woorden gebruikt, wordt Padatious getraind op de zin als geheel.

Padatious heeft een aantal belangrijke voordelen:

• Met Padatious zijn intenties eenvoudig te maken
• Het machine-leermodel in Padatious vereist een relatief kleine hoeveelheid gegevens
• Machine learning-modellen moeten worden opgeleid. Het model dat Padatious gebruikt, is snel en gemakkelijk te trainen.
• Intenties lopen onafhankelijk van elkaar. Hierdoor kun je snel nieuwe vaardigheden installeren zonder alle andere vaardigheden te hoeven omscholen.
• Met Padatious kun je gemakkelijk entiteiten uitpakken en deze vervolgens gebruiken in Skills. Bijvoorbeeld: "Vind het dichtstbijzijnde tankstation" -> {"plaats": "tankstation"}

Mimic - Speech synthesis

Mimic is een snelle, lichtgewicht Text to Speech (TTS) engine ontwikkeld door Mycroft.AI en VocaliD. Mimic is gebaseerd op de FLITE-software van Carnegie Mellon University. Mimic gebruikt tekst als invoer en voert spraak uit met de gekozen stem.

De volgende video legt uit wat Mimic precies is;

Sinds April-2018 is Mimic 2 uitgebracht met een nieuwe vrouwelijke stem die echt een heel stuk beter klinkt. Omdat MyCroft A.I. toch ook rekeningen moet betalen, zit die nieuwe stem nu achter een verdien model van $1,99 maandelijkse donatie, maar ik verwacht dat zodra dat er nog meer stemmen komen er waarschijnlijk andere achter het verdienmodel komen en je standaard uit of een mannelijke of wel vrouwelijke stem kunt kiezen.

Hoe dan ook; Je kunt de TTS ook geheel aanpassen naar andere TTS engines. Op dit moment kun je via home.mycroft.ai standaard al kiezen tussen Mimic en Google.

Hier onder kun je de verschillende stemmen met elkaar vergelijken;
https://mycroft.ai/blog/available-voices/

Functionaliteit

Vertaald van de MyCroft documentatie: Skills bieden Mycroft functionaliteit. Skills zijn wat Mycroft toestaat om je het weer op jouw locatie te vertellen, de tijd in een andere tijdzone weer te geven, een liedje te spelen of je een grap van Chuck Norris te vertellen.

Mycroft bepaalt welke Skill gebruikt moet worden om er een intentie / handeling aan te koppelen door een intentie-parser zoals "Adapt" of "Padatious" te gebruiken om de intentie van de gebruiker te identificeren.

Als de intentieparser bijvoorbeeld bepaalt dat de gebruiker vraagt ​​naar het weer, dan zal Mycroft de intentiegegevens doorgeven aan de Weather Skill.

Mycroft wordt geleverd met verschillende Skills ingebouwd. Dit worden kernvaardigheden genoemd. Het is gemakkelijk om meer Skills aan Mycroft toe te voegen.

Vaardigheden worden zowel door medewerkers van Mycroft.AI, als door onze ontwikkelaars community ontwikkeld. Management van Skills - bestaande uit activiteiten zoals code-evaluatie, planning en beveiliging - is gedelegeerd aan het team voor Skill management. Het Skills Management Team bestaat uit zowel Mycroft.AI-medewerkers als ervaren leden van de ontwikkelaars community en zorgt ervoor dat de productontwikkeling van Mycroft stevig gericht blijft op de behoeften van de gemeenschap.

Skills

De volgende Skill zijn standaard aanwezig binnen MyCroft;
https://mycroft.ai/documentation/skills/#core-skills

Als je nieuwe Skills voor Mycroft wilt ontwikkelen, moet je de programmeertaal Python kennen, aangezien alle Skills in Python zijn ontwikkeld.

De onderstaande Skills zijn door de community gemaakt en vrijgegeven;
https://mycroft.ai/docume...ommunity-developed-skills

Hoe kan ik/jij helpen?

Precise - Wakeword tagging

DeepSpeech

Handige links

De MyCroft AI website
De download pagina
De officiele MyCroft documentatie
Het MyCroft forum voor verdere hulp en feedback

TS - Revisie tabel

11 Mei 2018 : Eerste initieele opzet van TS, zeer sterke "Work In Progres..."
16 Mei 2018 : Aanvulling met; Adapt, Padatious, Mimic en Skills.

[ Voor 90% gewijzigd door j1nx op 16-05-2018 09:50 ]

[Room42]

Heb je er al ervaring mee? Ik heb een testopstelling gemaakt op basis van een Raspberry Pi 3 maar ik werd erg slecht verstaan. Ik heb uiteraard gecontroleerd of m'n geluid wel goed was maar ik kon mezelf wel goed verstaan. Het was ook mijn headset-microfoon die ik gebruikte.

Ik vond vooral de communicatie naar mij als gebruiker erg minimaal als hij me niet verstond. In de logging kwam het neer op "Ah ik hoor mijn naam" .... "en weer in de idle modus". Geen melding wat er niet duidelijk was.

Het was wel echt makkelijk om op te zetten. Je hebt enkel een Pi, een USB-geluidskaart, microfoon en speakertje nodig voor de basisfunctionaliteit.

Ik vind het een erg interessant project, zeker door het open karakter! Ik hoop dat het een groot succes zal zijn waar meer bedrijven aan mee gaan ontwikkelen. Maar ik vrees dat ik geen early adopter zal zijn. Zeker met niet-directe input ben ik altijd erg snel geïrriteerd als het niet goed werkt.

edit:

Ohja, wat me ook irriteerde was dat je voor andere stemmen dan weer de betaalde Mycroft Supporter moest worden, terwijl de standaard stem soms erg slecht verstaanbaar is.

^{Disclaimer: Bovenstaande ervaring is op basis van een goede week testen in januari van dit jaar}

[ Voor 21% gewijzigd door Room42 op 12-05-2018 02:04 ]

[j1nx]

@Room42 Ik heb het nu een aantal weken draaien op mijn laptop en moet zeggen, werkt best goed. Tuurlijk, ze zijn nog niet zo ver als Google / Alexa, maar zeker niet verkeerd.

Het word een feitelijke onderdeel van mijn eigen "Home (Personal) Home Assistant" projectje.

Wel een paar kanttekening voor jou;
- Jij zegt dat je laatste keer testen in januari was. Ik raad je dan aan nogmaals te kijken met de laatste versie van Februari.
- De standaard mannelijke stem is inderdaad niet zo'n beste. Heb die nieuwe vrouwelijke stem nog niet geprobeerd, maar die klinkt wel erg goed. Beter als Google en Alexa. Voor nu heb ik hem op Google TTS staan, wat je vrij simpel kan doen in de advanced settings op home.mycroft.ai (of als je niet gelinked hebt, via de config file). Hier kun je de verschillende stemmen vergelijken;
https://mycroft.ai/blog/available-voices/

- Over het verstaanbaar zijn. Als je daar op googled, voor vrijwel alle Voice Assistants, dan gaat 90% over de microfoon. Voor een goede experience heb je echt een mic-array nodig. Geen idee welke mic er in mijn laptop zit, maar die hoort mij op 2 a 3 meter afstond nog goed. En dat terwijl ik gebruik maak van een custom wake-word; "Hey Gideon", die dus eigenlijk helemaal nog niet goed getrained is.

[endness]

Kan MyCroft ook conversaties aan? Ik heb ervaring met Snips, en daar kan je bijvoorbeeld vragen wat een vlucht kost van Nederland naar Engeland, waarbij hij vraagt welk(e) vliegveld(en) je bedoelt.

Ik ben nog niet helemaal overtuigd ten opzichte van Snips, aangezien je bij Snips naar mijn idee meer vrijheid hebt in de zinnen/woorden die 'ie snapt. Het nadeel is wel dat je deze zinnen zelf aan Snips moet leren.

[ Voor 8% gewijzigd door endness op 15-05-2018 19:20 ]

[j1nx]

endness schreef op dinsdag 15 mei 2018 @ 19:19:
Kan MyCroft ook conversaties aan? Ik heb ervaring met Snips, en daar kan je bijvoorbeeld vragen wat een vlucht kost van Nederland naar Engeland, waarbij hij vraagt welk(e) vliegveld(en) je bedoelt.

Ik ben nog niet helemaal overtuigd ten opzichte van Snips, aangezien je bij Snips naar mijn idee meer vrijheid hebt in de zinnen/woorden die 'ie snapt. Het nadeel is wel dat je deze zinnen zelf aan Snips moet leren.

MyCroft kan (nog) geen doorlopende conversaties voeren, maar dat staat wel hoog op de development lijst.

Je zal ze dan in ieder geval niet geheel zelf moeten aanleren.

Ik raad je aan om die lange visie video van de CEO toch even door te worstelen. Die legt goed uit hoe ze het AI neurale netwerk zien / willen opbouwen.

Daarna / Daarnaast is het een kwestie van skills die ontwikkeld moeten / zullen worden.

Ik heb in de TS het stukje over skills nog niet uitgewerkt, maar hier vind je de skills die nu default zijn en door de community zijn ontwikkeld;
https://mycroft.ai/documentation/skills/


Ik heb ook nog even naar Snips gekeken, maar daar kun je geen wake-word aanpassen en inderdaad zoals jij zegt: je moet de meeste intents en utterances zelf leren.

MyCroft bouwd aan een AI neural network waarbij de community uiteindelijk de intents en utterances steeds verder zal "leren". Daarbij spreekt de CEO ook over iets van derde wereld landen helpen met werk, met juist precies dat soort "werk".

Met een groeiende community en gebruikers, zal het leren van intents en utterances exponentieel toenemen.

Je kan in home.mycroft.ai een "opt-in" aanzetten om je spraak geanonimiseerd te doneren. Hierdoor kan de community helpen met wake-word detectie en Mozilla kan in verhoogd tempo (DeepSpeech) verder uitbouwen. (TS over wat jij/wij kunnen bijdragen, die ik ook nog moet aanvullen)

Uiteindelijk heeft mijn vertrouwen in de toekomst van MyCroft mij daarvoor laten kiezen.

[ Voor 10% gewijzigd door j1nx op 15-05-2018 20:26 ]

[j1nx]

note for self: geen posts editten op je mobiel

[ Voor 94% gewijzigd door j1nx op 15-05-2018 20:28 . Reden: Doh ]

[Anoniem: 317307]

Interessant. Blijf dit volgen.

[j1nx]

Zal snel weer met de TS verder gaan en een update geven over de 18.02.6 release.

Gebroken voet opgelopen vorige week, dus ik ga even niet zo snel...

[voorstad]

Room42 schreef op zaterdag 12 mei 2018 @ 01:57:

edit:

Ohja, wat me ook irriteerde was dat je voor andere stemmen dan weer de betaalde Mycroft Supporter moest worden, terwijl de standaard stem soms erg slecht verstaanbaar is.

Dat viel mij ook direct op. Geef dan op zijn minst een vrouwenstem. Heb Alexa nu een jaar in gebruik, en we (de hele familie) zijn er erg content mee. Maar ja, Amazon en privacy.....tja. Vandaar toch maar eens naar dit project gekeken. Maar als ik als niet eens met een andere stem kan testen (lees vrouwenstem), gaat het snel tegenstaan ben ik bang. Ik zal me verbijten...

[j1nx]

Holy crap, time flies...

Nog niet aan verdere aanvulling voor de TS gekomen. Poot gebroken, daardoor achter lopen op werk, rete druk, 3 weekjes vakantie, weer 3 weekjes achter lopen, etc etc.

Hoe dan ook. Langzaam weer opgang. Mijn blog al weer beetje kunnen oppakken (daarover later meer in mijn project-topic). Paar dingen nog die ik moet afhandelen. Dan kan ik de TS verder uitwerken. Er zijn ook weer wat leuke ontwikkelingen gaande op Mycroft gebied, dus....


Maar waar ik voor kwam; De CEO van Mycroft is volgende week in Amsterdam om te praten over Mycroft en taal support (dus ook Nederlands).

Voor wie in de buurt is denk, zeer intressant.

https://mycroft.ai/blog/mycrofts-world-tour/

[The Chosen One]

Zit nu ook even naar de website en de indiegogo website te kijken. (enige plek om te "kopen" is de Indie site right?)

Benieuwd naar de gebruiksvriendelijkheid en de skills voor Nederland als het apparaat uitkomt. Dat het Engels spreken is is me minder belangrijk.

[ Voor 28% gewijzigd door The Chosen One op 30-08-2018 18:57 ]

[j1nx]

The Chosen One schreef op donderdag 30 augustus 2018 @ 17:46:
Zit nu ook even naar de website en de indiegogo website te kijken. (enige plek om te "kopen" is de Indie site right?)

Benieuwd naar de gebruiksvriendelijkheid en de skills voor Nederland als het apparaat uitkomt. Dat het Engels spreken is is me minder belangrijk.

Je hebt het denk over de Mark-II die straks uit komt? Ja, pre-order via Indiegogo inderdaad.

Als die uit komt dan zit de software op versie 18.08, dus als je wilt weten wat die versie allemaal kan of in ieder geval moet kunnen kun je denk beter de roadmap posts en videos bekijken van de 18.08 versie.

Theoretisch kijk hij alles aangezien iedereen Skill kan schrijven / ontwikkelen. Praktisch kan hij natuurlijk aleen dat waar bij lancering Skills voor zijn.

[Dennis]

Hey, wat een leuk topic! Ik kende de MyCroft nog niet, totdat ik er net in een artikel op de Tnet homepage op werd gewezen.

Ga vanavond eens even verder verdiepen en denk zo'n Mark II pre-orderen. Skills maken kan met Python zag ik, kon alleen zo snel niets vinden of je straks ook skills kunt maken die iets op het display toveren. Dat zou erg leuk zijn.

Het eerste nuttige gebruik zou voor mij zijn een NS skill die ik in de ochtend kan vragen of mijn trein vertraging heeft. En de fart skill is ook handig natuurlijk . En ik wil integreren met OpenHAB als ik eindelijk eens de tijd vindt om die weer up en running te krijgen...

[j1nx]

Dennis schreef op donderdag 11 oktober 2018 @ 13:26:
Hey, wat een leuk topic! Ik kende de MyCroft nog niet, totdat ik er net in een artikel op de Tnet homepage op werd gewezen.

Een nieuw artikel? Want kan hem niet vinden.

Dennis schreef op donderdag 11 oktober 2018 @ 13:26:
Ga vanavond eens even verder verdiepen en denk zo'n Mark II pre-orderen. Skills maken kan met Python zag ik, kon alleen zo snel niets vinden of je straks ook skills kunt maken die iets op het display toveren. Dat zou erg leuk zijn.

Ja, skills kunnen nu ook al (additionele) info sturen naar een scherm. De KDE Plasma variant van Mycroft doet dat zelfs nu ook al. Wellicht straks ook naar een HDMI full screen. En zeker naar het scherm van de Mark-2

[Dennis]

j1nx schreef op vrijdag 12 oktober 2018 @ 14:51:
Een nieuw artikel? Want kan hem niet vinden.

Er werd in de reacties door een Tweaker naar verwezen in het topic over de Google Home.

Top van dat scherm, dat opent leuke mogelijkheden. Misschien moet ik maar eens Python gaan leren . Een ns.nl webservices account heb ik al.

[j1nx]

Dennis schreef op vrijdag 12 oktober 2018 @ 15:10:
[...]
Misschien moet ik maar eens Python gaan leren .

Hier idem, al valt het met de MSK ook wel weer mee. In jouw geval denk hooguit een klein stukje API toevoegen en je NS skill is klaar

[Isniedood]

j1nx schreef op woensdag 22 augustus 2018 @ 09:53:
Holy crap, time flies...

Nog niet aan verdere aanvulling voor de TS gekomen. Poot gebroken, daardoor achter lopen op werk, rete druk, 3 weekjes vakantie, weer 3 weekjes achter lopen, etc etc.

Hoe dan ook. Langzaam weer opgang. Mijn blog al weer beetje kunnen oppakken (daarover later meer in mijn project-topic). Paar dingen nog die ik moet afhandelen. Dan kan ik de TS verder uitwerken. Er zijn ook weer wat leuke ontwikkelingen gaande op Mycroft gebied, dus....


Maar waar ik voor kwam; De CEO van Mycroft is volgende week in Amsterdam om te praten over Mycroft en taal support (dus ook Nederlands).

Voor wie in de buurt is denk, zeer intressant.

https://mycroft.ai/blog/mycrofts-world-tour/

Ik heb de mycroft gebacked via kickstarter, maar begin te twijfelen of het zo'n goede keus was, zeker nu google home al Nederlands ondersteund. Enig idee of de Nederlandse taal concreet op de roadmap staat?

[RudolfR]

Op de site van Mycroft lees ik over een samenwerking met Mozilla Voice.
https://mycroft.ai/docume...-support/adding-language/

Daar is ook ondersteuning voor Nederlands, maar het aantal (gevalideerde) uren blijft achter.
https://voice.mozilla.org/nl/new

[j1nx]

Isniedood schreef op woensdag 31 oktober 2018 @ 11:12:
[...]


Ik heb de mycroft gebacked via kickstarter, maar begin te twijfelen of het zo'n goede keus was, zeker nu google home al Nederlands ondersteund. Enig idee of de Nederlandse taal concreet op de roadmap staat?

Als het je puur en alleen gaat om het Nederlands spreken, dan ben je wellicht nu en in de nabije toekomst beter uit met de Google Home. Als het gehele privacy / big data gebeuren je zorgen maakt, blijf dan hangen...

Over NL als voertaal.

1) Een paar Tweakers zijn bezig / waren bezig met vertalen / helpen met "Common Voice", het taal gebeuren achter DeepSpeech, de STT backend van Mycroft A.I. (https://github.com/mozilla/voice-web/pull/1100) Ze hebben mij ook gevraagd te helpen, maar kom er maar niet aan toe echt potten te breken voor die jongens.

2) Toevallig "liep" ik vorige week tegen een 14:06:40 single user datapack aan (https://github.com/Kyubyong/css10) en vroeg op de Mycroft Chat of dat gebruikt kon worden om een Mimic2 voice te trainen. Antwoord daarop was in princiepe ja, echter ethisch moet ik de persoon in kwestie nog contacteren of hij dat erg vind. Dit staat voor mijzelf heel laag op de lijst aangezien ik niet de beefy server met GPU kracht heb om die 14 uur in redelijke tijd om te zetten in een Mimic2 stem. (https://github.com/MycroftAI/mimic2)

Deze persoon heeft nog VEEL meer boeken ingesproken op het LibriVox platform, dus die 14 uur kunnen gemakmelijk zelfs een 10-tal daarvan worden. Als je dan nog niet genoeg "data" hebt om van een robot stem tot natuurlijk stem te komen dat weet ik het niet. (en voor ons Nederlanders, nog gratis ook )

3) Je roadmap vraag: Jazeker is er een roadmap, echter staat NL er niet echt expliciet op. (https://docs.google.com/d...it#heading=h.ck6l3z2vlex4)

[jfdaniels]

RudolfR schreef op woensdag 31 oktober 2018 @ 11:57:
Op de site van Mycroft lees ik over een samenwerking met Mozilla Voice.
https://mycroft.ai/docume...-support/adding-language/

Daar is ook ondersteuning voor Nederlands, maar het aantal (gevalideerde) uren blijft achter.
https://voice.mozilla.org/nl/new

Ja inderdaad. Jammer genoeg heb je gelijk en is common voice in het Nederlands wat stilgevallen. Ik draag nog vaak bij maar heb het gevoel dat ik de enige ben. Er is vooral nood aan validaties. Uren gesproken tekst lijken nog steeds toe te nemen.

De laatste versie van Deepspeech is een maand geleden uitgekomen. Deze staat bijna op gelijke voet met Google en Amazon (gemeten in WER). Een extra voordeel van de manier waarop Common Voice data verzamelt - via mensen hun micro thuis - is dat je setup bij mycroft ook minder gevoelig is aan kleine storingen.

Mycroft is ondertussen ook begonnen met het vertalen van Mycroft maar het Nederlands. Dit zijn de utterances. Zodra die klaar zijn kan je Mycroft alvast gebruiken met geanonymiseerde calls naar de Google API.

https://translate.mycroft.ai/nl/

[ Voor 4% gewijzigd door jfdaniels op 31-10-2018 23:28 ]

[j1nx]

jfdaniels schreef op woensdag 31 oktober 2018 @ 23:24:
[...]
Ja inderdaad. Jammer genoeg heb je gelijk en is common voice in het Nederlands wat stilgevallen. Ik draag nog vaak bij maar heb het gevoel dat ik de enige ben. Er is vooral nood aan validaties. Uren gesproken tekst lijken nog steeds toe te nemen.
[...]

Zoals ik al zei, kan niet echt potten breken. Maar het is goed te horen dat het vooral de validaties zijn, want dat is goed te doen in dode uurtjes.

Ik ga mijn best weer doen om her en der in de week toch weer eens het een en ander te valideren.

(koffie/lunch pauzes, op de bank met oordopjes als ik thuis weer eens niet in de buurt kan komen van de afstandsbediening, etc...)

[Room42]

Ik heb er gister ook een groot stel gevalideerd. Grappig om, volgens mij, vooral 3 stemmen te horen. Maar volgens mij mogen er nog wel wat sterkere accenten tussen. Die Limburger is al vaak aan het woord maar ik denk dat het goed is om ook Groningers en Utrechtenaren in te leren.

D'r zit er ook een met een pompoen op zijn hoofd te praten. Die is zo zacht dat ik hem nauwelijks versta. Moet je die dan goedkeuren of afkeuren?

[ Voor 21% gewijzigd door Room42 op 01-11-2018 08:42 ]

[j1nx]

Room42 schreef op donderdag 1 november 2018 @ 08:41:
Ik heb er gister ook een groot stel gevalideerd. Grappig om, volgens mij, vooral 3 stemmen te horen. Maar volgens mij mogen er nog wel wat sterkere accenten tussen. Die Limburger is al vaak aan het woord maar ik denk dat het goed is om ook Groningers en Utrechtenaren in te leren.

D'r zit er ook een met een pompoen op zijn hoofd te praten. Die is zo zacht dat ik hem nauwelijks versta. Moet je die dan goedkeuren of afkeuren?

Ik zeg goedkeuren. Hoe meer verschillende volumes/gains des te beter hij ook bij de goedkopere microfoons de boel op kan oppakken.

[jfdaniels]

Room42 schreef op donderdag 1 november 2018 @ 08:41:
Die is zo zacht dat ik hem nauwelijks versta. Moet je die dan goedkeuren of afkeuren?

Inderdaad goedkeuren. Het neurale netwerk heeft hier minder problemen mee. Er is een update onderweg die het volume normaliseert. Deze was tijdelijk teruggedraaid omwille van problemen met Safari, maar zou snel terug moeten komen.

[jfdaniels]

Room42 schreef op donderdag 1 november 2018 @ 08:41:
Maar volgens mij mogen er nog wel wat sterkere accenten tussen. Die Limburger is al vaak aan het woord maar ik denk dat het goed is om ook Groningers en Utrechtenaren in te leren.

Wat vooral ook nog mist zijn vrouwelijke stemmen. Ik denk dat er maar grofweg één op twintig opnames vrouwelijk zijn. Als het er niet minder zijn.

[jfdaniels]

Je kan het verschil tussen opgenomen en gevalideerd trouwens zien op hun nieuwe home page.

https://voice.mozilla.org/nl/new

Beetje naar beneden scrollen en Nederlands selecteren.

[RudolfR]

Ik zag deze release van een Android Companion App:
https://github.com/MycroftAI/Mycroft-Android/releases

This app version and release requires a seperate mycroft instance to work.
And you may have to install the google app.

Thanks,
The Mycroft Android Team.

Het lijkt alsof ik deze kan koppelen met een bestaande MyCroft-instance (ergens op een server/docker).
Is voor mij wel een leuke manier om met bestaande hardware aan de slag te gaan, 'ns kijken of ik dat in de benen krijg.

Oh, wacht:

The Android companion app. The app works by opening a websocket connection to the mycroft-core messagebus, and sending and receiving messages from there. It implements voice recognition and Text to Speech (TTS) via Google APIs at the moment

Via Google's API voor TTS, dat was nou precies niet de bedoeling.

Werkt wel goed! Ik kan mezelf prima verstaanbaar maken; alleen heb ik regelmatig ruzie met de skills. HomeAssistant doet 't heel goed, maar een alarm instellen of naar het weer vragen is niet zo eenvoudig.
Ook een simpele Chuck Norris grap is teveel gevraagd.

tell me a Chuck Norris Joke
>> Please rephrase your request.

[ Voor 42% gewijzigd door RudolfR op 01-11-2018 16:11 ]

[jfdaniels]

RudolfR schreef op donderdag 1 november 2018 @ 11:38:
Via Google's API voor TTS, dat was nou precies niet de bedoeling.

Ja dat is de standaard optie bij Mycroft. De data loopt dan wel eerst via hun servers en ze garanderen anonimiteit op die manier.

Je kan het ook via andere APIs laten lopen.

[j1nx]

RudolfR schreef op donderdag 1 november 2018 @ 11:38:

[...]

Werkt wel goed! Ik kan mezelf prima verstaanbaar maken; alleen heb ik regelmatig ruzie met de skills. HomeAssistant doet 't heel goed, maar een alarm instellen of naar het weer vragen is niet zo eenvoudig.
Ook een simpele Chuck Norris grap is teveel gevraagd.

[...]

Wellicht een overbodig stomme vraag maar; Heb je wel de specifieke skills geïnstalleerd voor die "vragen"?

[RudolfR]

@j1nx Zeker! Die kan ik ook gewoon opvragen met 'What can I ask you?' gevolgd door een 'yes (please)'

Here are the installed skills:
>> mycroft-playback-control, mycroft-speak, mycroft-support-helper, mycroft-alarm, mycroft-singing,
mycroft-timer, mycroft-reminder, mycroft-spelling, mycroft-personal, mycroft-naptime, mycroft-
version-checker, mycroft-pairing, mycroft-volume, what-can-you-do, mycroft-stop, fallback-unknown,
mycroft-hello-world, btotharye-home-assistant, mycroft-stock, mycroft-audio-record, mycroft-joke,
fallback-wolfram-alpha, mycroft-ip, mycroft-configuration, mycroft-date-time, mycroft-installer,
mycroft-npr-news, mycroft-wiki, mycroft-weather, mycroft-fallback-duck-duck-go,

Wel is mijn docker-image een beetje verouderd; Travis is bezig met een nieuwe, want ik heb niet genoeg diskspace.

https://market.mycroft.ai/skills
Want zelfs een aantal skills die hiertussen staan als 'installed', doen 't bij mij niet lekker. IP bijvoorbeeld. Wordt prima verstaan, maar geen zinnig antwoord.

what's your IP address
>> Huh, I don't understand.

@jfdaniels Das voor de core misschien een optie, maar voor de androidcompanion volgens mij niet.
Ik heb die config file nog helemaal niet aangeraakt. Hij bestaat zelfs niet eens, zal eens kijken.

Edit: Nieuwe container staat klaar @ https://hub.docker.com/r/rudolfrendier/docker-mycroft/tags/
maar hij is een stuk groter dan eerst, hoop dat 't gaat passen....

[ Voor 5% gewijzigd door RudolfR op 01-11-2018 21:54 ]

[jfdaniels]

Als je een oude Docker hebt is het misschien een python issue. Ze zijn naar 3.6 overgegaan en dat heeft een impact gehad op sommige skills.

[j1nx]

jfdaniels schreef op donderdag 1 november 2018 @ 23:15:
Als je een oude Docker hebt is het misschien een python issue. Ze zijn naar 3.6 overgegaan en dat heeft een impact gehad op sommige skills.

^ Dit inderdaad.

Ontwikkeling gaat in rap tempo. Mycroft A.I. is momenteel op versie 18.08.4 en raad ook aan om er zeker van te zijn dat je ook die versie draait. In ieder geval een 18.08.x versie gezien het python 2 -> python 3 verhaal.

Loop je dan nog steeds vast, dan hoor ik het graag....

[RudolfR]

Ik geloof dat ik al wel 3.6 had (image was 3 maanden oud), maar de nieuwe doet 't stukken beter!

Iemand een idee waar deze melding vandaan komt:

12:37:18.949 - mycroft.skills.settings:_send_settings_meta:214 - ERROR - [{'key': 'skill.schema.invalid'}]

Inmiddels een aantal nieuwe light groups aangemaakt met Engelse namen, dat klinkt een stuk beter.
Mycroft begreep me prima met 'Overloop', maar in het Engels uitgesproken klinkt dat toch wat vreemd.

Wat nog niet lekker werkt is het koppelen van custom intents in Home Assistant, de skill lijkt ze niet (goed) door te geven; ook al staat de fallback aan in de settings.

Hopelijk binnenkort aan de gang met een Jabra S410; kijken of dat een beetje werkt op een 3B+...

Edit: Ik wil aan HA vragen 'What is the current temperature in the living room'? Maar die utterance wordt opgegeten door de weather-skill... En die gaat dan rustig opzoek naar de stad 'Living Room'

[ Voor 90% gewijzigd door RudolfR op 05-11-2018 20:16 ]

[jfdaniels]

Er is op dit moment een AmA gaande op Reddit over Mycroft.

https://www.reddit.com/r/...utm_source=reddit-android

[j1nx]

jfdaniels schreef op donderdag 8 november 2018 @ 00:10:
Er is op dit moment een AmA gaande op Reddit over Mycroft.

https://www.reddit.com/r/...utm_source=reddit-android

Leuke vragen hier en daar

[RudolfR]

Stuitte vandaag op een repo met een hass.io-addon voor Mycroft (icm PulseAudio).
https://gitlab.com/ndarilek/hassio-mycroft

Komt perfect op tijd, want vandaag ook m'n Jabra S410 ontvangen!

[j1nx]

RudolfR schreef op vrijdag 9 november 2018 @ 19:13:
Stuitte vandaag op een repo met een hass.io-addon voor Mycroft (icm PulseAudio).
https://gitlab.com/ndarilek/hassio-mycroft

Komt perfect op tijd, want vandaag ook m'n Jabra S410 ontvangen!

Intressant, zeker ook dat eac in pulse geconfigureerd is.

Ga ik eens goed bekijken, bedankt.

[RudolfR]

Mijn 3B+ loopt uit z'n RAM als ik die addon start. Ik zal eens kijken of ik dat kan voorkomen door andere addons uit te schakelen (Unifi bijv.).

Maar mijn hele hass.io-install wordt unresponsive, helaas. Kom niet eens aan pairen toe.

Ik geloof wel dat het image espeak gebruikt voor TTS, helaas.
mimic2 is ook wel heel groot, maar 't klinkt niet bijzonder goed. (maar dat kan ook het gebrek aan RAM zijn...)

[RudolfR]

Er is vrij recent een nieuwe blog gepost over de voortgang van de ontwikeling van Mark II
https://mycroft.ai/blog/m...ign-updates-gui-progress/

Mark II is iets veranderd t.o.v. de concept-plaatjes van indiegogo en het lijkt erop dat ze niet voor iedereen in december kunnen leveren (als ze dat al halen...)

[j1nx]

Ja, ik zag de blog ook al. Dat ze December niet gingen halen dat schemerde er overal al wel een beetje doorheen. Geen nieuws is meestal slecht nieuws in dit soort zaken. Overigens is het voor dit soort kickstart projecten niet geheel vreemd. Zijn er maar weinig die het halen.

Ik vind de behuizing zo een heel stuk lelijker. Ik heb er geen eentje gekocht, dus mag niet klagen, maar ik vind de plastic achter kant hem zo een "goedkopere" uitstraling geven. Bah, als je het mij vraagt.

[RudolfR]

Eindelijk weer een blogpost van Mycroft, maar geen concrete planning of ETA's, helaas.

https://mycroft.ai/blog/m...ry-2019-current-progress/

't Display ziet er wel goed uit en een Qt-schil voor de graphics spreekt me wel aan, maar ik vind 'm niet meer zo leuk om te zien en er zijn ook nog wat problemen met de microfoon en warmteontwikkeling.

Ik zie mezelf niet zosnel een Mark II kopen, misschien een Mark III, maar voorlopig probeer ik nog wel wat uit met bestaande hardware.

[Dennis]

Voorlopig lijkt alles weer flink uitgesteld te zijn... . Jammer dat dit soort projecten altijd zo mis loopt. Soms denk ik ook wel eens dat het komt omdat men het altijd weer anders of beter wil doen.

[FunFair]

Ik ben aan het expirimenteren met een RaspberryPi en Mycroft. Het wil wel draaien en standaard input werkt prima om het weer e.d. op te vragen. Maar ik probeer het nu te integreren in Domoticz.

Echter loop ik er tegen aan dat alle skills die hiermee zouden moeten functioneren gewoon niet werken.
Of de skills geven diverse foutmeldingen, of willen helemaal niet installeren met de git die ik heb gevonden.
Zo is er een specifieke skill voor domoticz, maar die doet het niet meer. En er is er ook één voor MQTT, maar die doet dus ook niets. Laat staan dat de documentatie om de skills te configureren echt minimaal is. Een soort 'zoek het zelf maar uit'.

Is het, het dan nog wel waard om verder tijd te investeren in Mycroft? Of is dit project eigenlijk gewoon dood?

[spank_mojoo]

of het dood is durf ik je niet te zeggen, maar de blogposts op hun website gaan de afgelopen tijd voornamelijk over nieuwe managers, testplatforms/procedures en patentrechtzaken. het lijkt er dan ook niet op dat de V2 dit jaar nog komt

[ Voor 5% gewijzigd door spank_mojoo op 25-05-2020 14:02 ]

[RudolfR]

Volgens mij is het bedrijf nog wel gewoon actief, ik zie met regelmaat nieuwe releases uitkomen.
Dit was bijv. vorige maand nog:
https://www.reddit.com/r/...roft_core_v2022_released/

Ik vrees dat het probleem wat hierboven beschreven is, wordt veroorzaakt doordat community-developers interesse verliezen? Sommige links in de skills-repo zijn al maanden oud.

Ikzelf hou het project nog wel in de gaten, maar ik heb het nergens draaien op dit moment.

[j1nx]

Mycroft A.I. ontwikkelingen gaan gestaag door, maar dan met de nadruk op "gestaag". Ze hebben het denk ik gewoon zwaar. Het team word ook kleiner en kleiner. Het momentum wat ze hadden is voorbij en daarbij komt dat ze het afgelopen jaar gewoon een aantal verkeerde keuzes hebben gemaakt, met daar overheen ook nog wat pech.

Het hardware pad dat ze voor de Mark-2 ingeslagen waren, liep uiteindelijk dood. Geld hebben ze wel terug gekregen, maar tijd kost geld dus verlies.

Ze hebben de afgelopen tijd ook nog te maken met recht zaken en dergelijke.


Hoe dan ook, het project is open source dus de ontwikkelingen lopen wel door. Het vervelende is dat veel Skills niet geaccepteerd kunnen/konden worden omdat het veel werk vergt om alle code te checken en te testen. Daardoor zijn ook weer veel Skill ontwikkelaars afgehaakt. De nieuwe CEO heeft dit goed door en focussed daarom eerst om een geheel test-suite pakket er doorheen te krijgen. Hierdoor kost het veel minder tijd en dus geld om Skills en Pull Requests te reviewen en accepteren.

Hopelijk zal de ontwikkelaars groep hierdoor weer snel uitbreiden.


Verder heb ik zelf geen idee meer waar ze staan met de Mark-2. Ik heb er geen eentje gebacked, maar kan mij goed voorstellen dat mensen hier niet echt gelukkig mee zijn. Komt ie nog? Komt ie nooit? En wat krijg ik dan. De laatste ontwikkelingen laten toch een heel wat minder "sexy" apparaat zien.


Ikzelf ben al die tijd, op en aan wel blijven door ontwikkelen van; MycroftOS als zijnde een linux distributie speciaal voor Mycroft A.I. gebruik makend van de Buildroot tool(s).

Maak leuke progressie en mijn 8ste "alpha" versie is om de hoek, die ook de GUI ondersteund. De ontwikkelingen daarvan kun je eventueel volgen op de Mycroft A.I. forums;
https://community.mycroft...s-based-on-buildroot/4708

Aangezien het een vrij lange thread is, hieronder wat youtube materiaal wat de laatste status beter laat zien zonder de hele thread door te lezen;

[RudolfR]

Gisteren OpenVoiceOS eens uitgeprobeerd.
Had eerst alpha 7, de laatste van github en daar had ik wat problemen met m'n Jabra S410.
Ik vermoed dat audio via HDMI uitgestuurd werd, maar ik hoorde weinig tot niets.
Ook slaagde ik er niet in om mycroft te updaten, ik kon de git checkout nergens vinden.

Terwijl ik Picroft aan het downloaden was las ik toch goede ervaringen met OVOS, en uiteindelijk vond ik de alpha 8 (met GUI) op een aparte downloads pagina:
https://www.j1nx.nl/downloads/, dus vervolgens toch die maar geflasht.

Helaas heeft die versie (bekende) problemen met de HA-skill.
Zelf het image maken met buildroot is me nog niet gelukt, door een gebrek aan diskspace. Iemand een idee hoeveel ik nodig heb voor een rpi4-gui build?

[j1nx]

Dit is een shared folder waar ik de meeste images nog heb staan;

https://j1nx.stackstorage.com/s/6vIDwIIIlvYH3Vw

De laatste versie is alpha10 al gerebrand naar OpenVoiceOS; (Nog niet gecommuniceerd als zijnde release omdat we nog met de OVOS rebranding bezig zijn.
https://j1nx.stackstorage.com/s/faCWeKKlo3UgAq0W


Probeer die eens en mocht het toch niet werken dan hoor ik het graag om je uit de brand te helpen.

Wifi setup is waar we momenteel aan werken en nog wonky. Ik raad een LAN kabel aan om mee te beginnen.

[ Voor 23% gewijzigd door j1nx op 28-12-2020 16:53 ]

[RudolfR]

Thanks. Ik merk dat de wifi-setup steeds mooier wordt, maar voor mij werkt het steeds prima, ook in alpha8 en 9 al.

Helaas nog steeds problemen met de HA-skill (denk ik)

code:

You can (re)start the mycroft CLI by typing 'mycroft-cli-client'
Traceback (most recent call last):
  File "/usr/lib/python3.9/site-packages/pkg_resources/__init__.py", line 583, i                                                                                                                               n _build_master
    ws.require(__requires__)
  File "/usr/lib/python3.9/site-packages/pkg_resources/__init__.py", line 900, i                                                                                                                               n require
    needed = self.resolve(parse_requirements(requirements))
  File "/usr/lib/python3.9/site-packages/pkg_resources/__init__.py", line 791, i                                                                                                                               n resolve
    raise VersionConflict(dist, req).with_context(dependent_req)
pkg_resources.ContextualVersionConflict: (urllib3 1.26.2 (/usr/lib/python3.9/sit                                                                                                                               e-packages), Requirement.parse('urllib3<1.25,>=1.21.1'), {'requests'})

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "/usr/bin/mycroft-cli-client", line 6, in <module>
    from pkg_resources import load_entry_point
  File "/usr/lib/python3.9/site-packages/pkg_resources/__init__.py", line 3252,                                                                                                                                in <module>
    def _initialize_master_working_set():
  File "/usr/lib/python3.9/site-packages/pkg_resources/__init__.py", line 3235,                                                                                                                                in _call_aside
    f(*args, **kwargs)
  File "/usr/lib/python3.9/site-packages/pkg_resources/__init__.py", line 3264,                                                                                                                                in _initialize_master_working_set
    working_set = WorkingSet._build_master()
  File "/usr/lib/python3.9/site-packages/pkg_resources/__init__.py", line 585, i                                                                                                                               n _build_master
    return cls._build_from_requirements(__requires__)
  File "/usr/lib/python3.9/site-packages/pkg_resources/__init__.py", line 598, i                                                                                                                               n _build_from_requirements
    dists = ws.resolve(reqs, Environment())
  File "/usr/lib/python3.9/site-packages/pkg_resources/__init__.py", line 786, i                                                                                                                               n resolve
    raise DistributionNotFound(req, requirers)
pkg_resources.DistributionNotFound: The 'urllib3<1.25,>=1.21.1' distribution was                                                                                                                                not found and is required by requests

[j1nx]

Kan ik voor je fixen, maar nog geen keyboard in de buurt. Ik zal je via DM op weg helpen.

[j1nx]

Hmmm, het heeft wat meer voeten in de aarde. Ik zal een nieuwe image maken. Laat het je weten waar en wanneer je die kan downloaden.

[Gwaihir]

De update van vandaag geeft me 't gevoel dat de Mark II nu dan toch echt nog maar net over de horizon is.. Hopelijk klopt dat. Ik stof hierbij dit topic graag alvast wat af .

[RudolfR]

Inderdaad, kan nooit meer lang duren.
Ook maar weer eens gekeken hoe het er voorstaat met OpenVoiceOS.

Eerst per abuis het image van 09-06 geinstalleerd, dat ging goed en ook het koppelen met wi-fi werkte.
Ik liep een beetje vast toen ik na het koppelen met de online backend (Selene) geen configuratie zag verschijnen voor m'n geinstalleerde Home Assistant skill.

Toen zag ik dat er nieuwere images beschikbaar waren en dus die maar geflasht.
Helaas lukt het me niet om die te koppelen aan Selene (error in pairing skill?)
Met de "No backend" optie kom ik wel verder, maar ik heb geen idee hoe het dan verder werkt.

OVOS vind ik veelbelovend, maar de de documentatie is vooral nog een entry op de roadmap.
Begrijp me niet verkeerd, ik snap dat dat bij 'early adopting' hoort, maar jammer is 't wel.

[ Voor 6% gewijzigd door RudolfR op 01-07-2022 17:56 ]

[XiMMiX]

Het jammere van MyCroft is dat ze zeggen dat ze privacy focused zijn. En vergeleken met de 4 andere voice assistants zijn ze dat misschien ook. Maar hun speech-to-text vindt nog altijd niet lokaal plaats en daardoor is het gebruik van MyCroft voor mij geen optie.

Toen ik er een paar jaar geleden naar keek was een eigen STT backend draaien niet echt een optie. Aan de ene kant omdat open source STT engines nog niet goed genoeg zijn. Aan de andere kant omdat het vanuit MyCroft nauwelijks aandacht kreeg.

Of is dit inmiddels verbeterd?

In plaats daarvan hebben ze wel tijd en geld gestoken in de ontwikkeling van hun eigen TTS engine. Wat erg jammer is, want in de vorm van Festival bestaat een privacy veilige TTS engine natuurlijk al erg lang. Tuurlijk, de kwaliteit ervan is gruwelijk in vergelijking met de grote 4, maar in combinatie met een privacy veilige STT engine is het wel functioneel. Een goede en privacy veilige TTS had dan later wel ontwikkeld kunnen worden.

[ Voor 4% gewijzigd door XiMMiX op 14-07-2022 15:19 ]

[spank_mojoo]

er is in een jaar tijd veel gebeurd.
lees de laatste twee blogs even op mycroft.ai

https://mycroft.ai/blog/introducing-mimic-3/

https://mycroft.ai/blog/mark-ii-manufacturing-and-production-update/

[spank_mojoo]

Ik had hier intussen al wat meer activiteit verwacht. Zijn er hier zo weinig mensen die een Mark II hebben besteld?

[j1nx]

Laatste informatie is dat de eerste Mark2 productie modellen op 19 September verstuurd worden.

[j1nx]

En weer een onbekend aantal weken vertraging...

[spank_mojoo]

Inderdaad ja, mijn bestelling heeft nu een verwachtte verzenddatum van 28 november.

[Gwaihir]

@j1nx @spank_mojoo Zijn dat bestellingen voor NL / Europa?

Ik was nog bij tot

Mycroft is now working on completing the other requirements in order to ship to countries in the European Union.

Dat er al verzending ingepland wordt, vind ik al een mooie verrassing .

[spank_mojoo]

Gwaihir schreef op maandag 26 september 2022 @ 18:08:
@j1nx @spank_mojoo Zijn dat bestellingen voor NL / Europa?

Ik was nog bij tot
[...]
Dat er al verzending ingepland wordt, vind ik al een mooie verrassing .

Mijn bestelling wordt inderdaad afgeleverd in NL.
Voor zover ik weet heeft het land van het afleveradres geen invloed op de verzenddatum.
Prioriteiten schijnen voornamelijk te liggen op pre orders en backers.

[j1nx]

De focus voor nu ligt echt bij de pre-orders die eind vorig jaar / begin dit jaar deze productie unit gekocht hebben voor 299,-

Met dat geld zullen de units gemaakt worden voor de backers die een aantal jaar geleden het idee gebacked hebben met een reward; een unit voor 249,-

[spank_mojoo]

Ik heb de mijne inmiddels een paar weken binnen.
Hier kan je mooi een paar avonden in kwijt zeg.
Lang verhaal kort: het brengt mij niet wat ik ervan had verwacht.
Ik heb hem dus alweer op marktplaats staan.

[mithras]

spank_mojoo schreef op woensdag 4 januari 2023 @ 11:22:
Lang verhaal kort: het brengt mij niet wat ik ervan had verwacht.

Kan je hier wat meer over delen? Ik ben wel benieuwd wat er tegenvalt. Ook ik zit er lang op te wachten en ben wel hoopvol. Is het te complex, zijn er mogelijkheden gehint die niet waar gemaakt zijn, of is het bijv zo dat de Google's en Alexa's ondertussen al veel verder doorontwikkeld zijn dan MyCroft?

[spank_mojoo]

Het is eigenlijk niet goed te vergelijken met een commerciële voice assistant. Bij google en alexa koop je toegang tot een ecosysteem, bij Mycroft ontbreekt dit ecoysteem volledig. Dit lijkt erg voor de hang liggend, maar zorgt er wel voor dat de beleving en integratie in huis erg stroef gaat.
Omdat de retail versie van de mark2 geleverd wordt met Dinkum bij release is het niet mogelijk om skills uit de store te installeren. Hiervoor zal je ander OS moeten flashen. in deze 'sandbox image' zit standaard niet eens een wifi setup. voordat je dan eindelijk de taal en listener op nederlands weet te krijgen ben je een paar avonden verder (maar dat kan ook aan mijn kunde liggen). Ongeacht de taal lukte het mij ook niet om consequent bij iedere poging reactie te krijgen bij het zeggen van het wakeword. Één van de grootste tegenvallers is wel dat Spotify er niet op draait.
Dan de prijs. De mark2 werd verkocht voor $299, hier komen dan nog verzendkosten en uiteindelijk ook inklaringskosten en btw bij. Uiteindelijk kost het ding ongeveer €410. Ik vindt dat persoonlijk veel geld voor een raspberry Pi met wat custom pcb's en een scherm in een behuizing die obv je stem eenvoudige opdrachten uit kan voeren. En last but not least, voor een open source project als deze is de (developer) community het belangrijkste aspect.
Vragen op het forum worden schaars beantwoord door medewerkers van Mycroft. Reactietijden zijn lang en antwoorden zijn zelden oplossingsgericht.
Al deze zaken samen zorgen samen met de lange levertijd voor een behoorlijke teleurstelling bij mij.

Nu ik dit teruglees besef ik me dat dit behoorlijk op een rant begint te lijken, dat is echter niet de bedoeling.
Ik begrijp ook wel dat het niet gemakkelijk is om een project als mycroft te laten slagen. Dat is echter geen reden voor mij om er €400+ op stuk te slaan.
De consessies die gedaan zijn om de mark2 in productie te krijgen en de tekortkomingen van het bedrijf en de community zorgen er voor dat ik hier geen heil meer in zie.

Mocht dus iemand niet willen wachten op de levering van hun mark2, of niet de nieuwe prijs willen betalen, er staat slechts 1 mark2 op marktplaats momenteel

[j1nx]

Het is heel jammer dat ik te krap zit om hem van je over te nemen anders had ik het gedaan voor development.

[Gwaihir]

spank_mojoo schreef op donderdag 5 januari 2023 @ 08:16:
Omdat de retail versie van de mark2 geleverd wordt met Dinkum bij release is het niet mogelijk om skills uit de store te installeren. Hiervoor zal je ander OS moeten flashen.

Dat klinkt wel knap off.. Mag toch aannemen dat de verschillende skills makers stevig aangemoedigd worden een bijgewerkte versie van de skills aan te bieden?

[spank_mojoo]

Gwaihir schreef op donderdag 5 januari 2023 @ 19:30:
[...]

Dat klinkt wel knap off.. Mag toch aannemen dat de verschillende skills makers stevig aangemoedigd worden een bijgewerkte versie van de skills aan te bieden?

Hier kunnen de Skill developers niets aan doen. Het is gewoon niet mogelijk op de retail versie van het meegeleverde OS. de oplossing hiervoor ligt puur bij de consument.

Edit: het is iets genuanceerder, zie de post van @j1nx hieronder.

[ Voor 7% gewijzigd door spank_mojoo op 06-01-2023 11:19 ]

[Gwaihir]

spank_mojoo schreef op vrijdag 6 januari 2023 @ 07:36:
Hier kunnen de Skill developers niets aan doen. Het is gewoon niet mogelijk op de retail versie van het meegeleverde OS. de oplossing hiervoor ligt puur bij de consument.

Dat is gelukkig niet helemaal wat ik lees, nu ik enigszins geschrokken ben gaan snuffelen. Ik las vanaf hier, inclusief opvolgen van daar aangehaalde zaken (via Reddit naar Github).

Ik begrijp dat Dinkum, de 'retail proof' versie van het OS, een recente ontwikkeling is en dat daardoor de vervolgstappen nog moeten komen. Het leest niet als een zijsprong, maar als een zover zijn we nu gekomen. Onder hier werken we nu aan staat vervolgens: "Improved documentation and tools for porting existing Classic Core Skills". En onderweg naar het vinden van deze info las ik dat die documentatie hard nodig is, om de skill developers op gang te helpen.

Gaat nog (te) langzaam dus, en ligt inderdaad nog niet bij de skill development community, maar gelukkig ook zeker niet bij de consument.

[j1nx]

Het grootste probleem voor de Skill developers is dat Mycroft A.I. zondere enige vorm van communicatie hun code base 2 jaar terug gespoeld heeft en eigenlijk een harde fork heeft gemaakt van hun eigen software.

Skills voor de oude software werken niet voor Dinkum en vica versa.

Skill developers willen geen twee versie onderhouden en voor Dinkum teld niet meer; A.I voor iedereen op overal installeerbaar.

Tel daarbij op dat de Mark2 heel veel geld kost en dus een hele hoge drempel heeft voor mensen om aan te haken en dan blijft er vrijwel geen reden over voor de skill developers om Dinkum te ondersteunen.

Hier is meer informatie over Dinkum en de verschillen zo ver we kunnen achter halen;
https://openvoiceos.github.io/community-docs/dinkum/

[Okidoki4u]

Ik heb ook een Mark II hier, maar als niet Linux gebruiker is het lastig om zelf te beginnen om hem in te stellen voor wat ik ermee wil doen.
Ik ben vooral een gevorderde gebruiker van Home Assistant en daarvoor wilde ik ook deze Mycroft Mark II gaan gebruiken. Om op die manier mijn huis nog meer Google vrij te maken (maar toch nog de luxe hebben van een "smart home" met voice besturing). Ik wil dus lampen kunnen bedienen, radio/muziek aan en uit kunnen zetten en notificaties krijgen van apparaten en services uit home assistant. Zowel met een knop op het scherm als met stem bediening. En niet het minste....de vrouw moet het ook kunnen bedienen.
Mijn Google Home Max moet uiteindelijk verdwijnen.

Net zoals in Home Assistant wil ik bestaande skills eenvoudig aan kunnen passen. (zelf maken is voor mij een lastige optie).
Maar iets eenvoudigs als een radio station toevoegen/kiezen die niet standaard voorgeprogrammeerd staat in de lijst lukt me nog niet. Er is nog te weinig kennis/documentatie online te vinden.
Maar ik ben pas net begonnen, dus we geven nog niet op !
En anders wordt de Mark II een hele dure bureau klok.

[Okidoki4u]

Als aanvulling op bovenstaande heb ik gisteren ook een USB Stick gemaakt met daarop Neon OS.
Dat ziet er wel al iets meer gevorderd uit dan de Dinkum software.
Maar ik zal die USB Stick vanavond eens overschrijven met het door @j1nx genoemde OpenVoiceOS.
Dat ziet er op zich ook goed uit (sowieso beter dan Mycroft Dinkum).

Op zich wel jammer dat er al verschillende community's onstaan door doordat het origineel niet goed werkt.
Ik hoop niet dat er heel veel spin-offs ontstaan....

[Okidoki4u]

Zojuist even een USB stick met Ovos (van 16 december) geprobeerd. Er zitten wat leuke dingen in verwerkt, maar nog niet alles werkt op de Mark II. De fysieke knoppen bijvoorbeeld.
Er zit een HomeAssistant optie ingebouwd , maar om die te gebruiken moet je een HomeAssistant API invullen. De token die je krijgt in HA is ongeveer 60 karakters lang. Die ga je niet even over typen. Er is ook de mogelijkheid om via Linux een config bestand aan te passen.
OpenVoiceOS heeft via het scherm meer opties dan de Dinkum software, maar het blijft nog altijd puzzelen.

Heb ook nog even de Dinkum software geladen en zowaar mijn HomeAssistant kunnen bedienen. Dat is nog wel in het engels wat het weer lastig maakt want al mijn entiteiten in HA hebben uiteraard een nederlandse naam.

1 van de dingen die het voor mij een stuk makkelijker zou maken is volledige SMB toegang in Windows (sorry....Linux is nog echt te lastig om erbij te ontdekken, heb al te veel andere hobbies).

Maar we prutsen rustig verder, steeds een heeeeeel klein stapje verder.
Ik wil uiteindelijk ook druk knopjes op mn scherm net als in deze youtube video:
YouTube: OFFLINE Home Voice Assistant

[j1nx]

Voor de mensen die het (nog) niet weten, ik ben de oprichter van OpenVoiceOS wat begonnen is als MycroftOS wat ik in het verleden al eens op GoT heb gecommuniceerd maar nooit heb doorgepakt aldaar.

[DiY] Home (Personal AI) Assistant (HASS/GA/Alexa/MyCroft)

Sinds dien is er veel veranderd en hebben andere developers zich aangesloten binnen het project en is OVOS niet langer alleen een afkorting van OpenVoiceOS maar staat OVOS voor het gehele framework waar OpenVoiceOS op is gebaseerd.

Langzaam maar zeker komt de documentatie van de grond. Nog steeds verre van wat benodigd is maar we komen er wel. (Hulp is altijd welkom). De beste uitleg over hoe en/of wat kun je daar dan ook vinden, al is het in het Engels.

https://openvoiceos.github.io/community-docs/faq/


Met dat uit de weg als introductie / uitleg, kan ik wel wat zeggen over de verschillende vragen van Okidoki4u.

Okidoki4u schreef op dinsdag 10 januari 2023 @ 00:16:
Zojuist even een USB stick met Ovos (van 16 december) geprobeerd. Er zitten wat leuke dingen in verwerkt, maar nog niet alles werkt op de Mark II. De fysieke knoppen bijvoorbeeld.
Er zit een HomeAssistant optie ingebouwd , maar om die te gebruiken moet je een HomeAssistant API invullen. De token die je krijgt in HA is ongeveer 60 karakters lang. Die ga je niet even over typen. Er is ook de mogelijkheid om via Linux een config bestand aan te passen.
OpenVoiceOS heeft via het scherm meer opties dan de Dinkum software, maar het blijft nog altijd puzzelen.

Heb ook nog even de Dinkum software geladen en zowaar mijn HomeAssistant kunnen bedienen. Dat is nog wel in het engels wat het weer lastig maakt want al mijn entiteiten in HA hebben uiteraard een nederlandse naam.

1 van de dingen die het voor mij een stuk makkelijker zou maken is volledige SMB toegang in Windows (sorry....Linux is nog echt te lastig om erbij te ontdekken, heb al te veel andere hobbies).

Maar we prutsen rustig verder, steeds een heeeeeel klein stapje verder.
Ik wil uiteindelijk ook druk knopjes op mn scherm net als in deze youtube video:
YouTube: OFFLINE Home Voice Assistant

Rolling development releases van de embedded buildroot versie van OpenVoiceOS kun je momenteel vinden in een shared folder op GDrive.
https://drive.google.com/...TlaAk1AfU2?usp=share_link

De laatste versie heeft volledige SMB toegang. Een drietal standaard directories voor de standaard user worden gedeeld, zoals muziek. Verder heeft de laatste versie ook een file browser die je op het schermpje kan bedienen.

YouTube: OpenVoiceOS (Mycroft A.I. Edition) - file browser

en

YouTube: OpenVoiceOS (Mycroft A.I. Edition) - folder playlist

De filebrowser is nog hevig in ontwikkeling alwaar de voice control nog toegevoegd moet worden.

Het zelfde geld voor de Home Assistant integratie. Ook daar word momenteel hard aan gewerkt. Op dit moment de gehele backend en frontend, daarna de voice integratie zoals met de oude plugins.

YouTube: OpenVoiceOS (Mycroft A.I. Edition) - homeassistant phal plugin demo ...

en

YouTube: OpenVoiceOS (Mycroft A.I. Edition) - homeassistant updates 2

Neem gerust een kijkje naar de andere show case videos op Youtube. Dat geeft wel een redelij beeld wat er in zit en waar aan gewerkt word.

Neem ook gerust een kijkje in de gehele documentatie zoals hierboven gelinkt voor de FAQ. Daar staat ook een vergelijking tabel over de verschillende images, al is die moeilijk te bekijken in het huidige thema van die site. Hieronder de link naar die pagina op Github, die makkelijker leest.
https://github.com/OpenVo...master/docs/comparison.md


EDIT: Die laatste versie, heeft ook de fixes voor de knopjes, Fan en LED ring van de retail Mark2.

[ Voor 5% gewijzigd door j1nx op 12-01-2023 09:44 ]

[Okidoki4u]

Kijk, dat is een post waar ik vanavond zeker mee vooruit kan. Thanks @j1nx
De youtube filmpjes zien er veelbelovend uit.
Ik kom er vanavond/morgen op terug (ligt er aan hoe laat het wordt ).

Als ik ergens bij kan helpen of testen hoor ik dat uiteraard graag.

Hoeveel mensen in Nederland/België zouden een Mark II hebben ?
Het zou natuurlijk mooi zijn als we een Nederlands pratende en begrijpende mark II krijgen.

[Okidoki4u]

j1nx schreef op donderdag 12 januari 2023 @ 09:32:
Voor de mensen die het (nog) niet weten, ik ben de oprichter van OpenVoiceOS wat begonnen is als MycroftOS wat ik in het verleden al eens op GoT heb gecommuniceerd maar nooit heb doorgepakt aldaar.

[DiY] Home (Personal AI) Assistant (HASS/GA/Alexa/MyCroft)

Sinds dien is er veel veranderd en hebben andere developers zich aangesloten binnen het project en is OVOS niet langer alleen een afkorting van OpenVoiceOS maar staat OVOS voor het gehele framework waar OpenVoiceOS op is gebaseerd.

Langzaam maar zeker komt de documentatie van de grond. Nog steeds verre van wat benodigd is maar we komen er wel. (Hulp is altijd welkom). De beste uitleg over hoe en/of wat kun je daar dan ook vinden, al is het in het Engels.

https://openvoiceos.github.io/community-docs/faq/


Met dat uit de weg als introductie / uitleg, kan ik wel wat zeggen over de verschillende vragen van Okidoki4u.


[...]


Rolling development releases van de embedded buildroot versie van OpenVoiceOS kun je momenteel vinden in een shared folder op GDrive.
https://drive.google.com/...TlaAk1AfU2?usp=share_link

De laatste versie heeft volledige SMB toegang. Een drietal standaard directories voor de standaard user worden gedeeld, zoals muziek. Verder heeft de laatste versie ook een file browser die je op het schermpje kan bedienen.

YouTube: OpenVoiceOS (Mycroft A.I. Edition) - file browser

en

YouTube: OpenVoiceOS (Mycroft A.I. Edition) - folder playlist

De filebrowser is nog hevig in ontwikkeling alwaar de voice control nog toegevoegd moet worden.

Het zelfde geld voor de Home Assistant integratie. Ook daar word momenteel hard aan gewerkt. Op dit moment de gehele backend en frontend, daarna de voice integratie zoals met de oude plugins.

YouTube: OpenVoiceOS (Mycroft A.I. Edition) - homeassistant phal plugin demo ...

en

YouTube: OpenVoiceOS (Mycroft A.I. Edition) - homeassistant updates 2

Neem gerust een kijkje naar de andere show case videos op Youtube. Dat geeft wel een redelij beeld wat er in zit en waar aan gewerkt word.

Neem ook gerust een kijkje in de gehele documentatie zoals hierboven gelinkt voor de FAQ. Daar staat ook een vergelijking tabel over de verschillende images, al is die moeilijk te bekijken in het huidige thema van die site. Hieronder de link naar die pagina op Github, die makkelijker leest.
https://github.com/OpenVo...master/docs/comparison.md


EDIT: Die laatste versie, heeft ook de fixes voor de knopjes, Fan en LED ring van de retail Mark2.

Gisterenavond even tijd gehad om de laatste versie van Ovos te installeren op de Mark II.
Ik moest eerst even een kleine hardware aanpassing doen vanwege een ratelende ventilator, maar gelukkig was dat snel verholpen. Nu weet ik ook meteen hoe de binnenkant eruit ziet

Voor de mensen die nieuw in deze materie zijn, het is niet ingewikkeld om andere software te installeren:
- Download Raspberry Pi Imager https://www.raspberrypi.com/software/
- Download image die je wil installeren (in mijn geval de laatste versie van Ovos die @j1nx hierboven omschrijft)
- Raspberry Pi Imager heeft niet veel opties, kies je image, kies de locatie waarop je wil installeren en druk op schrijven (duurt nog geen 5 minuten).
- Ik zou de originele USB Stick NIET gebruiken, maar een andere USB stick gebruiken. Dan kun je altijd weer terug naar de originele software.
- Verwijder de aanwezige USB Stick uit de Mark II en plug je nieuwe stick er in (zou hetzelfde USB poortje gebruiken, dan weet je dat het zou moeten werken).
- Stekker erin en het Ovos splash screen verschijnt al snel.

Mocht je nu langzaam knipperend kleurtje op je scherm krijgen dan is er iets niet goed met de de USB Stick of het schrijven van de software, probeer dan bovenstaande nogmaals met een andere stick. (uit eigen ervaring....ik had een defecte oude USB Stick).

De eerste keer installeren op de Mark II duurde vrij lang, op zich niet erg maar gewoon wat info voor andere testers (heeft volgens mij te maken dat de bestanden nog uitgepakt moeten worden).
Het pairen (met Mycroft backend) ging vlot.
De knopjes werken inderdaad, maar de LED Ring deed bij mij niks.
Filebrowser ziet er al goed uit en werkt erg vlotjes
SMB heb ik nog niet getest (had maar even de tijd)
Ik kon muziek afspelen via de ingebouwde speler (nog niet geprobeerd of dat ook lukt vanaf USB via Filebrowser).
HA skill was in deze versie niet aanwezig, maar dat is een W.I.P. (Work In Progress) zoals @j1nx hierboven omschrijft.

Wat me opvalt is dat het luisteren van de Mark II nog niet altijd even goed verloopt. Heb nog niet gekeken of dat ligt aan de hardware of aan de software (ik spreek volgens mij best een aardig woordje Engels Amerikaans).
Op dit moment denk ik dat Ovos de meest actieve community heeft voor Mark II software.
Later meer.....

[j1nx]

Goed nieuws!

https://community.mycroft...k-ii-neon-core-os/12917/3

Voice control lijkt er aan te komen.

@Okidoki4u Ik zal de phal hass plugin meenemen in de volgende release die er zo aankomt. Daarin is tevens KDEConnect gefixed.

[Gwaihir]

Dinkum, OpenVoiceOS, Neon AI OS..

Dat behoeft meer uitleg dan me lief is. Kan er in elk een standaard skill komen: "Mycroft, download & install the best OS there is for you."

Ach.. voorlopig ligt het tempo van verzenden zo laag dat over 14 jaar alle backers 'm hebben.. dus wellicht hoef ik me er niet druk over te maken.

[ Voor 28% gewijzigd door Gwaihir op 14-01-2023 19:10 ]

[j1nx]

Nieuwste development firmware is beschibaar;

https://drive.google.com/...QP1c2/view?usp=share_link

All packages bumped
Setup skill fixed and a quick default setup route added for no backend selection
Fixed windows fileshares
Fixed KDEConnect
Added the file browser for testing
Added the Home Assistant phal WIP plugin for testing

[Okidoki4u]

Vanavond weer even updaten !

[j1nx]

Er schijnt een fout te zitten in de default youtube skill. Wellicht dat er snel weer een up to date image aankomt. Zodra we weten waar het zit.

Meer info in de development matrix channel.

[j1nx]

Snell copy en paste actie voor het gemak.


New development release available;

https://drive.google.com/...51eBw/view?usp=share_link

OCP error with youtube fixed
OCP - QTAV VideoPlayer support (for testing). Video playback is still buggy. We are working on that but for small screen devices not that much of an issue. However as Plasma Bigscreen uses the same codebase there that might be an issue.
Other packages are bumped since the last release

[Okidoki4u]

j1nx schreef op dinsdag 17 januari 2023 @ 18:09:
Snell copy en paste actie voor het gemak.


New development release available;

https://drive.google.com/...51eBw/view?usp=share_link

OCP error with youtube fixed
OCP - QTAV VideoPlayer support (for testing). Video playback is still buggy. We are working on that but for small screen devices not that much of an issue. However as Plasma Bigscreen uses the same codebase there that might be an issue.
Other packages are bumped since the last release

Ik zal deze morgenavond even testen op de Mark II.
Ik had je vorige versie wel op een stick gezet maar niet heel uitgebreid kunnen testen.
Had alleen even gespeeld met KDE connect.
Ben nog even aan het stoeien wat de eenvoudigste manier is voor mij om de Home Assistant API op de Mark II te krijgen zodat ik die werkend krijg. Die API is een code van 184 karakters. Copy paste via KDE connect werkt niet. Heb geprobeerd een txt bestand te sturen , maar deze wordt niet zichtbaar in de File Browser op de Mark II. Ik heb KDE op m'n Windows laptop en op m'n Android telefoon.
Verder sprong na een tijdje de ventilator aan van de Mark II en deze ging niet meer uit. Hier heb ik verder nog geen details van.

Ik kan helaas alleen mn ervaringen delen omdat mn echte technische kennis niet voldoende is. Anders had ik je graag geholpen @j1nx

[j1nx]

Zoals vermeld is de HomeAssistant support nog werk in progress, echter vers van de pers. Momenteel word er gewerkt aan OAuth support dmv QR-code.

YouTube: OpenVoiceOS (Mycroft A.I. Edition) - OAuth (QRcode) Home Assistant s...

Het stukje op de telefoon is niet zichtbaar, echter je scanned de code met je mobiel waarop je vervolgens inlogt met je HASS account. Daarna word je Mark2 automagisch geauthoriseerd dmv OAuth. (ps. de oauth plugin is ontwikkeld om ook skills zoals spotify en dergelijke makkelijk te voorzien van credentials)

Voice support word nog aan gewerkt, dus aansturing is voor nu nog niet anders als elke ander schermpje waar je HASS op gebruikt via het web.

[j1nx]

Onze GUI ontwikkelaar die voor KDE werkt heeft een aantal maanden geleden een presentatie gegeven over OpenVoiceOS. Deze is onlangs ge-upload door de KDE Academy:

https://tube.kockatoo.org/w/sYbcQB1ThnYWCR1gYS2UdV

Dit jaar is de KDE Academy in Griekenland wat weer wat dichter bij huis is. We gaan kijken of we daar ook weer aanwezig kunnen zijn. Dit keer weer physiek.

https://dot.kde.org/2023/...-2023-will-be-held-greece

[j1nx]

Wist het al iets langer maar kan dit nu ook hier delen gezien de CEO het naar buiten heeft gebracht.

https://community.mycroft...from-the-ceo-part-1/13268

[Gwaihir]

Het is niet het meest duidelijke bericht..

Hij lijkt zo'n beetje te zeggen dat de 'dinkum' software is opgegeven, maar dat Mycroft zich weldra vrij formeel achter een van de open source alternatieven schaart?

[j1nx]

Part 2 zal vast meer duidelijkheid geven, maar het is meer een; ter informatie, alvorens zij faillissement aanvragen. Wellicht dat ze nog even door gaan als hardware company, maar ook dat is vrijwel niet haalbaar meer zonder additionele investering zodra ze de al ingekochte onderdelen als producten hebben uitgeleverd.

Maar goed dat laatste is een aanname van mijn kant.

[ Voor 60% gewijzigd door j1nx op 01-02-2023 17:13 ]

[Freeaqingme]

Ik ben wel benieuwd wat er gaat volgen. Ik heb ooit wat aandelen van ze gekocht (geen significant bedrag). Maar normaliter ozu je verwachten dat dit soort updates als eerste aan de aandeelhouders verteld worden.

De laatste investor update die ik heb gehad is van 4 mei 2022:

Dear Mycroft Community,

It is with the utmost respect and regard that I announce Joshua Montgomery and Kris Adair’s resignation from Mycroft AI.

[...]

[mithras]

The End of the Campaign

I have some unfortunate news to share and there’s no easy way to say it, so here it is. We will not be able to fulfill any remaining Mark II rewards.

Is zojuist rondgemaild naar alle campagne funders. Ik vind het wel jammer, maar het was te verwachten. Ik was wel bereid om met mijn investering nog wat aan te klooien met de software om er wat leuks van te maken, nu komt de hardware niet meer.

Ze geven met name de patent rechtzaak de schuld:

So what went wrong? The single most expensive item that I could not predict was our ongoing litigation against the non-practicing patent entity that has never stopped trying to destroy us. If we had that million dollars we would be in a very different state right now.

Al met al denk ik ook dat ze in ontwikkeling & shipping wat verkeerde keuzes hebben gemaakt waardoor het zo extreem lang duurde. Als projecten zo lang duren is de kans helaas alleen maar groter dat ze uiteindelijk niet slagen.

[Gwaihir]

De wijze waarop dit nu wordt doorgezet doet pijn. Ik dacht in 'the moral high ground' geïnvesteerd te hebben, maar nee, toch niet. Kickstarter heeft weinig regels. Dat elders verkopen vóór uitlevering aan je backers niet mag is eigenlijk zo'n beetje de enige. Mycroft deed het. En nu kiezen ze om aangegane verplichtingen volledig naast zich neer te leggen, maar nog wel nieuwe, lucratieve aan te nemen.. dat kan gewoon niet.

Extra jammer hieraan m.i.: daar gaat de doorstart. Gingen ze opgegeven hoofd ten onder, dan had ongetwijfeld die hardware nog opgepakt kunnen worden - hij is nu immers af. Maar zo.. bleh..


En ik snap 't ook nog 'ns niet. @j1nx is het zo onmogelijk iets te bereiken, bijv. als open source community, zonder custom hardware die je in volume kunt slijten? Is dit het einde van het concept privacy vriendelijke voice assistant, of wijs je ons zo wat ideeën aan om zelf een "Mark 1.8" te bouwen?

[j1nx]

Er zal van het weekend anders uiterlijk Maandag nog wat meer duidelijk worden. Het is niet netjes dan nu al hier te doen.

Het is zeker niet onmogelijk maar daar kom ik straks op terug.

[j1nx]

Beter laat dan nooit!

In mijn laatste forum post in dit topic was ik nogal vaag met mijn antwoord op

Gwaihir schreef op vrijdag 10 februari 2023 @ 10:05:
En ik snap 't ook nog 'ns niet. @j1nx is het zo onmogelijk iets te bereiken, bijv. als open source community, zonder custom hardware die je in volume kunt slijten? Is dit het einde van het concept privacy vriendelijke voice assistant, of wijs je ons zo wat ideeën aan om zelf een "Mark 1.8" te bouwen?

Ondanks dat bepaalde zaken achter de schermen nog steeds verder uitgewerkt worden, kan ik hier nu toch al het meeste delen en wil ik (we als in OpenVoiceOS team) jullie ook allemaal om jullie hulp vragen.


Vraag: Is dit het einde van het concept privacy vriendelijke voice assistant?
Antwoord: Nee, zeker niet. Eerder het begin.


OpenVoiceOS was al de voortgang van wat voorheen Mycroft was alvorens zij besloten zich terug te trekken en verdere ontwikkeling en communicatie achter gesloten te laten plaats vinden met volledig focus op de Mark2.

Nu zij zich dan ook nog verder terug trekken, bied dat uiteraard ook kansen. Onderstaande Announcement zal zeer binnen kort naar buiten gebracht worden;

We, the new moderators of this developers forum, are pleased to announce that Neon AI and OpenVoiceOS open source contributors are taking the lead on future development.
Under Neon’s management, expect to see many enhancements and more engagement with code contributions. We're committed to maintaining the framework which allows compatibility with many valuable community-created skills.
We know there are quite a few community skills projects that Mycroft wasn't able to support and we hope that the community will renew their development.

Our first community goal is to make sure Mycroft Core users benefit from all of the skill work and backend server abilities put into Neon and ovos-core over the past 2 years.
OVOS and Neon have implemented several substantial community requested features, such as support for offline operation, configurable backend services and servers (i.e. Neon Diana, Mycroft Selene, Local), while retaining compatibility with the myriad Mycroft community skills.

The Neon AI and OVOS teams are excited to work with the Mycroft open source conversational AI community to continue the development of the best privacy-first personal assistant, and create exciting new conversational applications.

Thank you for being a member of the Mycroft developers community. We look forward to sharing product announcements from our community members,

Neon AI & OpenVoiceOS

Als open source organisatie vraagt dit uiteraard wel om professionalisering van onze OpenVoiceOS groep van ontwikkelaars, vandaar dat wij ook besloten hebben om die volgende stap te zetten on onder de Nederlandse wetgeving een officiële status aan te nemen als; "Vereniging zonder winstoogmerk".

En daar kunnen wij jullie hulp zeer goed bij gebruiken

Wij hebben voor deze stap een GoFundMe campagne opgestart, alwaar wij de benodigde financieren om dat op de juiste manier te doen mee proberen op te halen;

Support OpenVoiceOS as Nonprofit Association

Anders als een stichting, die nog steeds bestuurd worden zoals een bedrijf echter zonder het winst oogmerk, word een vereniging bestuurd door bestuursleden die door leden gekozen worden. Dit geeft een meer democratisch beleid aan de de entiteit.

Een goed voorbeeld van een ander FOSS project wat op een soort gelijke manier opereert is KDE

Mochten er vragen en/ of opmerkingen zijn dan horen wij die uiteraard graag.

Hoe dan ook ziet de toekomst voor de "privacy vriendelijke voice assistant" er zeker niet slecht uit. Het tegenover gestelde zelfs.

[Gwaihir]

Cool!

@j1nx, fijn dat je dat ook hier deelt.

Zit ik nog wel allereerst met de andere helft van mijn vraag:

Gwaihir schreef op vrijdag 10 februari 2023 @ 10:05:
is het zo onmogelijk iets te bereiken, [..] zonder custom hardware die je in volume kunt slijten?

Ik had ingetekend op Mycroft's concept, dat dit (primair) goede, nader te ontwikkelen hardware nodig heeft. Dus mijn eerste reactie is dat er niets voor me is om te ondersteunen, als er niets (zinnigs) voor me is om die software op te draaien.

Mocht dat lullig klinken: zo is het niet bedoeld. Ik ben simpelweg zoekende: is geschikte hardware wel / niet duidelijk? In het eerste geval: wat schaf ik aan dan? (Linkje naar een getting started tekstje ergens is prima.) In het tweede geval: wat is het pad daarheen en hoe draag ik specifiek dáár eventueel aan bij?

(En daarbij vraag ik me eerlijk gezegd nog steeds af hoe ik dit huis-breed opzet. Een microfoon in elke kamer, of een pi in elke kamer, of..? We plannen een flinke verbouwing. Als er gerede kans op succes is, wil ik zeker de voorbereidingen treffen (leidingen, lege voldoende grote inbouwdozen, dat soort zaken), opdat ik ergens kan beginnen en dan later over m'n huis uit kan rollen.)

Mijn eerste gok is dat dit wellicht het meest kansrijk is met een aanpak zoals Tasmota die kent voor ESP devices: pak een bepaalde klasse betaalbaar goed beschikbare devices (zoals van Amazon of Google) en overschrijf de originele firm- & software volledig.. (Niet zo goed voor mijn wens van onzichtbare inbouw .)

[j1nx]

@Gwaihir Geheel begrijpelijk en zeker niet "lullig". Ik snap precies wat je bedoelt.

We hebben er voor nu expres voor gekozen om hardware nog even buiten beschouwing te laten. Echter voor de software zelf ontwikkelen wij nog steeds met dezelfde filosofie die Mycroft zelf heeft laten varen;

"For everyone, on everything"

Onze ontwikkelingen zijn momenteel gefocussed op de Raspberry Pi 3 & 4 omdat dat goede referentie hardware is om op te ontwikkelen. Je kunt de huidige images dus dan ook op die hardware al uitproberen. De SJ-201 hat die Mycroft ontwikkeld heeft is mooi, maar zeker niet benodigd. We hebben een "Show & Tell" matrix channel waar al een aantal mensen hun creaties hebben getoond.

https://matrix.to/#/#openvoiceos-show-and-tell:matrix.org


Als het gaat om "domme" integratie van verschillende satelliet microfoons, hebben wij ook al ondersteuning ingebouwd voor zowel Snapcast als wel ROC-toolkit. Hiermee kun je een rpi0 met een heel klein operatie systeem booten die dan echt allen maar dient als microfoon (en als je dat wilt geluid uitgang) voor een moeder assistent. Echter zit dit nog onder de motorkap en vergt nog de nodige manuele instellingen.

Voor de nabije toekomst zal de Hivemind een essentieel onderdeel worden van het framework.

Je kunt dan de kleine microfoon satellietjes plaatsen in je huis die zich registreren bij de moeder assistent en ook bijhoud wie / wat zegt in welke kamer als onderdeel van het gehele protocol.

Die satellietjes zijn zo klein dat het geheel wellicht op een ESP device gedraaid kan worden.


Maar eerlijkheids gehalve, de verdere ontwikkeling daarvan ligt wat verder in de toekomst. We zijn nu met 5 man binnen OpenVoiceOS, echter eentje daarvan is een ontwikkelaar van Neon Gecko die de support van de Mark2 overneemt en een tweede, onze GUI ontwikkelaar werkt voor Blue Systems Die laatste werkt dus ook aan Plasma Mobile en Plasma Bigscreen. Plasma Bigscreen draait onder de motorkap ook al OpenVoiceOS voor een tijdje.


Hoe dan ook. Door deze stap te zetten als offcieel rechtspersoon kunnen we ook nieuwe fondsen aanwerven en daarmee ook extra ontwikkelaars. Zowel op vrijwillige basis als wel eventueel betaalde basis.

Lang verhaal kort: Wellicht nu nog niet, maar we komen er wel.

[Gwaihir]

j1nx schreef op dinsdag 28 februari 2023 @ 13:57:
Onze ontwikkelingen zijn momenteel gefocussed op de Raspberry Pi 3 & 4 omdat dat goede referentie hardware is om op te ontwikkelen. Je kunt de huidige images dus dan ook op die hardware al uitproberen. De SJ-201 hat die Mycroft ontwikkeld heeft is mooi, maar zeker niet benodigd. We hebben een "Show & Tell" matrix channel waar al een aantal mensen hun creaties hebben getoond.

https://matrix.to/#/#openvoiceos-show-and-tell:matrix.org

Hmm.. die 'showcase' showt zichzelf al niet heel graag (ondanks de woorden 'preview' krijg ik niets in m'n browser). Wellicht een teken aan de wand voor hoeveel ingewikkelder het nu is om erin te duiken.

Mycroft had 't steeds over een microfoon array (als essentieel) en ook de Google's e.d. lijken daar toch wat speciaals te doen. Dus ik hoop dat daar wat 'redelijk kant en klare' adviezen voor naar boven komen.

Voor de nabije toekomst zal de Hivemind een essentieel onderdeel worden van het framework.

Je kunt dan de kleine microfoon satellietjes plaatsen in je huis die zich registreren bij de moeder assistent en ook bijhoud wie / wat zegt in welke kamer als onderdeel van het gehele protocol.

Die satellietjes zijn zo klein dat het geheel wellicht op een ESP device gedraaid kan worden.

Wat je schrijft en wat ik daar lees klinkt wel als een logische aanpak. Met allemaal losse 'full' devices is het bijwerken al snel teveel gedoe en het stroomverbruik ook een te zeer optellende factor. Centraal kun je veel makkelijker opstellen wat er nodig is.

[Freeaqingme]

Ik zit inderdaad ook met de microfoon. Heb wel eens gekeken om zoiets zelf te maken, maar die microfoon array die ook stemmen van een paar meter afstand goed kan registreren (ook als er bijv. muziek op de achtergrond draait) is juist het lastige met dit soort apparaten.

Verder jammer van het lot van MyCroft. Ik hoorde bij de batch die ook wat aandelen van ze gekocht had. Heb me sindsdien wel verbaasd over hoeveel werk er dan gaat zitten in het ontwerpen & fabriceren van de hardware. De prijzen van het apparaat dat er uiteindelijk stond was mij ook net iets te gortig.

[j1nx]

Een snelle update: Binnen enkele dagen hadden wij onze initiële fundraising doelen al behaald. Dat is goed nieuws en verteld ons dat de vraag naar een goede transparante organisatie er dus zeker wel is.

Wij zijn nu druk in de weer om de vereniging vorm te geven en de wettelijke statuten op te stellen.

Totdat wij zo ver zijn om de statuten bij de notaris neer te leggen voor verdere toetsing en opzetting van de vereniging hebben wij er voor gekozen wat secundaire doelen te stellen en de Fundraising campagne door te laten lopen.

Voor wie nog mee wil doen, dat kan dus nog steeds.

Support OpenVoiceOS as Nonprofit Association


Over de SJ-201 hardware. Dat is inderdaad een mooie HAT al is echter ook daar nog niet de volle potentie uitgehaald. De firmware die naar de XMOS chip gestuurd word is vanuit Mycroft nog niets mee gedaan en daar kan nog veel gewonnen worden. Ook de linux drivers zijn direct copy en paste gedaan vanuit XMOS en zijn gebaseerd op het oude 4.19 systeem. Daarmee heb ik persoonlijk al een eerste start gemaakt om die te verbeteren en door middel van DTC overlays te laden ipv de module zelf te injecteren in de kernel.

https://github.com/OpenVoiceOS/VocalFusionDriver

NEON en OpenVoiceOS maken allemaal al gebruik van deze kernel driver.


Een vogeltje heeft mij verteld dat Mycroft A.I. eindelijk toegeeft aan het verzoek van de communitie om die HAT eventueel los te verkopen. Wellicht als strohalm voor nieuwe cashflow, maar om eerlijk te zijn. Ik zou er direct nog een of twee aanschaffen.

[j1nx]

Al hoewel de Notaris niet zo snel is, is de fondsenwerving dat echter wel! Vandaar dat we er voor gekozen hebben een derde doel in te stellen en het fonds door te laten lopen terwijl de Notaris nog bezig is met de statuten.

Er is dus nog tijd als je nog niet hebt kunnen doneren maar dat wel wilt.

------
New target, new goal: Robo-Personality

We did it! We've hit our most recent target, meaning we'll enter our new life with a budget for a buildserver and boards. Next on the list, it's time to show the software some love!

One of the great things about coming into our own is our newfound ability to pursue lofty development goals. We've rediscovered some old proposals to give the Assistant its first, rudimentary version of a configurable personality. If you've been longing to threaten your Assistant with a reduction in its humor parameter, this is the stretch goal for you!

This first version, to set clear expectations, would not necessarily teach the Assistant to crack its own jokes on the fly, which would be a roadmapped extension. This initiative, the groundwork, would teach the Assistant how to choose between a funny response, a flippant response, a flattering response, and so forth, and how to vary these responses to reflect a nuanced personality. It will be up to skill developers and the community to equip the Assistant with things to say, but the same initiative will expand the community's ability to help with that.

Our next fundraising target is €6500. If this is achieved, the Robo-Personality Initiative will be an early priority after incorporation.


https://gofund.me/649bb779


The beginnings of the Robo-Personality Initiative - which will stay on the back burner until Someday, if this stretch goal is not reached, rather than being cancelled entirely - can be followed on GitHub, where the relevant fallback is being designed. Next would be a design period for the needed extensions to dialog files and the skill framework.

We would like to take this opportunity to once again thank our donors, our early adopters, and especially our user-devs for a touching display of confidence. The OVOS team is excited to be expanding and incorporating, even under these somber circumstances, and we take heart in the knowledge that others are interested. We hope our Assistant, once we round the edges, will support you as gracefully and generously as you have supported us.
------

[Gwaihir]

Sinds de laatste post alhier, lees ik gister via de homepage een tweede artikel over non-cloud voice.

OpenVoiceOS wordt in geen van beide genoemd. Hoe verhoudt het zich tot die initiatieven die momenteel de flinke tractie lijken te hebben?

[Zit het onderin de stack daarvan? Of kan het zelf juist meeprofiteren? Of probeert het er 'head on' mee te concurreren? En zo ja, is dat zinnig of verspilling van energie (= join them is handiger)? Etc..]