DIY Home Automation systemen

[nephilimcrt]

Hey iedereen,

Zelf ben ik al een tijdje met een vrij ambitieus 'home automation' systeempje bezig. M'n inspiratie komt uit de film Iron Man, waar de computer 'Jarvis' zo'n beetje alles kan en doet en af en toe een bijdehandte opmerking maakt.

Ik ben niet elektrotechnisch aangelegd en ook geen superprogrammeur, maar met hulp van wat (overigens fantastische) topics hier op Tweakers en de rest van het internet ben ik al zover dat ik stemgestuurd m'n licht aan en uit kan doen en om tijd/datum of het weer kan vragen.
Er staat nog heel veel op de planning, maar momenteel werk ik eraan om m'n computer de controle over m'n TV en media player, etc. te geven door middel van het nabootsen van m'n afstandsbedieningen.

Lang verhaal kort; Ik ben benieuwd wat andere Tweakers zoal aan home automation hebben gebouwd/geknutseld. Wie weet kunnen we inspiratie van elkaar opdoen en elkaar helpen om het nog mooier en beter te maken!

[ddajantje]

Zou je eens willen opsommen welke software/ en hardware je allemaal gebruikt om wat je nu hebt voor elkaar te krijgen?

Zelf begonnen aan een start, een micro controller met een webpagina, deze doet nu voornamelijk dienst om elke 30 sec google te pingen en als deze na een aantal keer niet reageert de spanning van mijn router te onderbreken. ( en terug te zetten na 10 seconde natuurlijk).

maar er zitten nog I/O mogelijkheden genoeg op, dus in de toekomst gaat meer geautomatiseerd worden.
Vorige zomer zat er een water pomp op aangesloten om mijn plantjes vanaf afstand water te kunnen geven )

[nephilimcrt]

Het hoofdprogramma is geschreven in VB.NET en draait op een Windows 7 machine. Dit omdat ie gebruik maakt van de Microsoft Speech API. Dit programma herkent de spraak, doet alle logica en praat terug (text-to-speech). Speech recognition en text-to-speech is wel helemaal in het Engels, daar is helaas (nog) niks aan te doen.

Ook communiceert dit programma met een op de USB poort aangesloten Arduino UNO die op dit moment alleen nog de lichten kan bedienen waarop een KlikAan KlikUit ontvanger is aangesloten, maar in de nabije toekomst zowel RF als IR moet gaan kunnen zenden en ontvangen.
Ik zou dan ook moeten kunnen zeggen 'Turn on CNN'. M'n TV moet dan aanspringen en vanzelf naar CNN zappen, bijvoorbeeld.

De Arduino 'denkt' zelf niet na, maar dient dus puur voor de input/output van het VB programma.

Verder maakt het programma gebruik van een RSS feed om het weer op te halen als ik vraag 'What's the weather'. Als antwoord kan ik dan bijvoorbeeld krijgen 'The weather is 18 degrees and light rain'.

Ik ben nog heel veel van plan. Zo zou ik via RSS TV programma's in de gaten kunnen houden en het systeem me laten attenderen wanneer mijn favorieten erop zijn. Zo ben ik bijvoorbeeld gek op Top Gear.
Mocht ik nog niet zitten te kijken, dan kan het systeem zeggen 'Top Gear is on, would you like to watch it?'. Als ik dan 'Yes' zeg, springt de TV aan en zapt naar Top Gear.

Maar dat is voorlopig nog toekomstmuziek.

[Thrillseekah]

Gaaf project dit. Wil je je programmatuur delen met ons of dat liever niet?

[nephilimcrt]

Momenteel hangt het van probeersels aan elkaar. Ik sta eigenlijk aan het begin van een complete rewrite.
Daarbij ben ik geen programmeur en doe ik dingen waarschijnlijk niet volgens het boekje. Ook is veel code 'geleend' van diverse bronnen op het internet.

Ik ga dus in dit vroege stadium nog niet m'n hele source hier neerzetten, maar als mensen hulp of advies of voorbeeldjes nodig hebben bij het werken met bijvoorbeeld SAPI, dan ben ik graag bereid te helpen waar mogelijk.
Voor een beginner is er namelijk heel weinig 'instapmateriaal' voor SAPI te vinden. Ik heb me vaak genoeg de haren uit m'n hoofd willen trekken. Terwijl als je het éénmaal aan de praat hebt, de code eigenlijk helemaal niet zo ingewikkeld is.

En...ik ben zelf ook op zoek naar inspiratie, tips en voorbeelden. Dus het is een beetje quid pro quo, zeg maar

Overigens heb ik mijn KlikAan KlikUit besturing voor Arduino rechtstreeks uit een ander topic hier gehaald. Het enige dat ik tot nu toe heb toegevoegd is de seriële communicatie met de PC.

[MisterData]

Ik heb een tijdje terug een systeem gebouwd waarmee ik allerlei hardware kan integreren en op verschillende manieren kan bedienen, alles over Ethernet en met zo min mogelijk configuratie. Zo heb ik een LED-strip en een amBX-set aangesloten via een kleine Linux/ARM-plugcomputer, en ook wat dingen via een Arduino. Op de plugcomputer draait een programma dat de lichten bekend maakt in het netwerk; een applicatie op m'n iPhone kan die vervolgens automatisch vinden en vindt vanzelf uit welke commando's er te sturen zijn. Een ander programma kan weer gebruik maken van Bluetooth en commando's versturen zodra mijn telefoon 'in range' is (bijvoorbeeld om de lichten aan te doen). Een andere toepassing die ik ooit heb gemaakt is een plug-in voor VLC die automatisch kleur-informatie uit de videostream plukt en die doorstuurt naar de LEDs (custom Ambilight dus ).

Het leuke is dat de koppelingen tussen apparaten automatisch worden gelegd; wordt er een nieuwe lamp in het netwerk aangesloten dan doet die meteen mee met het aan-uitschakelen via Bluetooth, bijvoorbeeld. Je hoeft geen IP-adressen in te stellen of wat dan ook (sterker nog, zelfs zonder DHCP-server zou het moeten werken).

Ik heb er de laatste tijd niet meer veel aan gewerkt, maar de broncode en uitleg staan nog steeds op doip.org

[nephilimcrt]

Klinkt leuk, ik zal zeker even op de site voorbijwaaien. Zelf ben ik helemaal Microsoft georiënteerd en als Arduino niet had bestaan dan was ik ook niet eens aan de electronica begonnen.

Voor mij is het wel belangrijk dat ik niet het ene knopje door het andere ga vervangen. Licht aan doen met een iPhone is voor mij gewoon niet spannend genoeg. Spraakherkenning is de sleutel...de spraak moet zo natuurlijk mogelijk kunnen, geen vaste commando's. "Doe es effe het licht aan" moet net zo goed kunnen als "Zou je alsjeblieft even het licht aan willen doen" of doodgewoon "Licht aan".

De grootste uitdaging gaat denk ik intelligentie en adaptatie worden. Uiteindelijk moet het systeem me aan dingen herinneren, suggesties doen (op basis van mijn gedrag in het verleden bijvoorbeeld) en weet ik wat al niet meer.

Momenteel ben ik heel geïnteresseerd in VB voorbeelden voor connectie met Twitter en/of Facebook, om het geheel met de 'grote boze wereld' te kunnen verbinden.

[Rhapsody]

Je hebt ook Netduino, Nephilimcrt. maar helaas is daar hier bijna niets over te vinden.
Met Arduino kun je geen .NET Micro Framework gebruiken he?

Edit: * Rhapsody moet wel lézen...

[Voor 36% gewijzigd door Rhapsody op 22-06-2011 17:24]

[nephilimcrt]

Ik gebruik geen .NET Micro Framework om de simpele reden dat ik er nog nooit van had gehoord. Zoals eerder gezegd doe ik misschien niet alles op de meest efficiënte manier, maar de manier die ik snap en voor mij haalbaar is. De Arduino ontvangt nu alleen nog maar bytes van de PC die voor een bepaalde opdracht staan.

Binnenkort moet deze code overhoop en moet er fatsoenlijke tweewegcommunicatie tussen PC en Arduino mogelijk worden en hoe ik dat oplos zien we dan wel weer.

[nephilimcrt]

Ik heb een filmpje online gezet die de basics van wat ik nu heb laat zien. Het beeld is niet superduidelijk, maar je ziet MS Speech Recognition, VB code en een Arduino met een breadboard met onderdeeltjes.

YouTube: ‪TFNE quick demo‬‏

[T.E.C.H.N.O]

gaaf gemaakt,
hoelang heb je er over gedaan?

[nephilimcrt]

Wat je in het filmpje ziet is een paar weken hier en daar wat uurtjes erin steken. Valt erg mee. Verreweg de meeste tijd ging zitten in het uitzoeken hoe die **** SAPI werkt. Daar zijn geen goeie tutorials voor te vinden. Niet op mijn niveau, in ieder geval.

De afgelopen maanden heb ik vooral zitten nadenken over welke functionaliteit ik wil en hoe ik dat eventueel zou kunnen uitvoeren. Ik ben nu weer zover om er mee aan de slag te gaan.

Zo was het commando in het filmpje "please turn on the desk light", maar sinds deze week kan ze (Tiffany) ook flexibele zinnen begrijpen zoals "can you please turn on the desk light", "turn on the desk light please" of "switch on the desk light".

[creon]

dit is wel heel erg gaaf

ik heb nu in huis bijna alle verlichting aangesloten met FS20 van conrad
en ook een kastje gekocht dat FS20 aan de PC koppelt
dit is natuurlijk wel een hele leuke aanvulling

ik blijf dit in de gaten houden

(nadeeltje wat ik zo snel zie is, dat ik straks in elke kamer een microfoon moet hebben)

nephilimcrt schreef op woensdag 22 juni 2011 @ 22:23:
Zo was het commando in het filmpje "please turn on the desk light", maar sinds deze week kan ze (Tiffany) ook flexibele zinnen begrijpen zoals "can you please turn on the desk light", "turn on the desk light please" of "switch on the desk light".

moet je voor elke versie van licht aan opnieuw inspreken?

[Rhapsody]

Super gaaf om te zien.

Dus als ik het goed begrijp:

1. Commando inspreken op Arduino
2. Commando wordt doorgestuurd naar VB programma en 'ontcijferd'
3. Uit te voeren actie wordt teruggestuurd naar Arduino
4. Arduino voert actie uit (bijv. die lamp uit/aan doen)

[nephilimcrt]

Rhapsody schreef op donderdag 23 juni 2011 @ 08:21:
Super gaaf om te zien.

Dus als ik het goed begrijp:

1. Commando inspreken op Arduino
2. Commando wordt doorgestuurd naar VB programma en 'ontcijferd'
3. Uit te voeren actie wordt teruggestuurd naar Arduino
4. Arduino voert actie uit (bijv. die lamp uit/aan doen)

Nee, dat is niet helemaal het geval. Op de Windows machine is een microfoon aangesloten. SAPI regelt het omzetten van de gesproken audio naar tekst, op basis van 'grammars' die ik heb aangemaakt. Dit zijn XML bestanden die aangeven welke combinaties van zinnen er mogelijk zijn binnen mijn programma.
Elke 'grammar' of zinscombinatie heeft een semantische 'tag' die wordt doorgespeeld aan het VB programma, zodat ik weet welke opdracht er zojuist is uitgesproken en ik daar actie op kan ondernemen.

Heeft die actie te maken met aansturen van hardware (nu alleen nog licht) dan stuurt het VB gedeelte een opdracht via de seriële poort naar de Arduino, die vervolgens het juiste commando via de RF transmitter uitstuurt naar de betreffende KlikAan KlikUit ontvanger.

Ook hoeft er, zoals Creon vraagt, niks ingesproken te worden. SAPI herkent stemmen zonder training (hoewel mét training beter is) en pas als er een zin herkend is, wordt deze doorgestuurd naar VB.
De reden dat flexibele zinnen nu wel mogelijk zijn en eerder niet is omdat ik eindelijk het werken met semantische tags aan de praat heb gekregen. Eerder gebruikte ik de letterlijk gesproken tekst als input ("turn on the lights"). Nu geeft elke mogelijke zin die met 'licht aan' te maken heeft gewoon de tag 'lights_on' ofzo terug naar m'n programma en hoef ik niet te weten wat er precies gezegd is.
Een hele verbetering voor zowel programmeergemak als gebruikersgemak.

[Rhapsody]

Ah, natuurlijk :-) Wel enorm mooi systeem. Ik zat al een paar weken wat dingen te bekijken over Arduino, FEZ, Netduino etc etc;
Zojuist besteld en hopelijk van het weekend beginnen met spelen met behulp van de tutorials.

[Sandertje03]

nephilimcrt schreef op donderdag 23 juni 2011 @ 09:58:
[...]


Nee, dat is niet helemaal het geval. Op de Windows machine is een microfoon aangesloten. SAPI regelt het omzetten van de gesproken audio naar tekst, op basis van 'grammars' die ik heb aangemaakt. Dit zijn XML bestanden die aangeven welke combinaties van zinnen er mogelijk zijn binnen mijn programma.
Elke 'grammar' of zinscombinatie heeft een semantische 'tag' die wordt doorgespeeld aan het VB programma, zodat ik weet welke opdracht er zojuist is uitgesproken en ik daar actie op kan ondernemen.

Heeft die actie te maken met aansturen van hardware (nu alleen nog licht) dan stuurt het VB gedeelte een opdracht via de seriële poort naar de Arduino, die vervolgens het juiste commando via de RF transmitter uitstuurt naar de betreffende KlikAan KlikUit ontvanger.

Ook hoeft er, zoals Creon vraagt, niks ingesproken te worden. SAPI herkent stemmen zonder training (hoewel mét training beter is) en pas als er een zin herkend is, wordt deze doorgestuurd naar VB.
De reden dat flexibele zinnen nu wel mogelijk zijn en eerder niet is omdat ik eindelijk het werken met semantische tags aan de praat heb gekregen. Eerder gebruikte ik de letterlijk gesproken tekst als input ("turn on the lights"). Nu geeft elke mogelijke zin die met 'licht aan' te maken heeft gewoon de tag 'lights_on' ofzo terug naar m'n programma en hoef ik niet te weten wat er precies gezegd is.
Een hele verbetering voor zowel programmeergemak als gebruikersgemak.

Ik ga je volgen,
zit zelf in de professionele domotica maar vindt dit soort projecten echt geweldig.

Misschien een idee om je TV AV apparatuur te bedienen als deze geen seriele poort hebben, IR inleren vanaf de afstandbediening.
weet nog niet goed wat mogelijk is met een Arduino. maar als jij de RF code van je klik-aan-klik-uit hebt kunnen inleren dan moet je ook de IR van je origele afstandbedieningen kunnen inleren met een IR oogje?!
en dan uitsturen met een simpel IR ledje wat je voor je IR-ontvanger van de TV plaatst.

Maar als je TV hebt met serieel kun je dat beter gebruiken, seriele protocollen van TV en AV apparatuur zijn wel op internet te vinden, meeste TV's van LG hebben wel een bruikbare seriele poort voor sturing.

[nephilimcrt]

Ik heb al een leuke library gevonden die de Arduino uitgezonden IR signalen kan 'leren' en vervolgens weer kan laten uitzenden. Ik zal deze library moeten ombouwen omdat ik de ontvangen codes naar m'n PC wil sturen voor beheer. VB moet namelijk weten welke code er bij 'Discovery Channel' hoort.

Dit had ik al aan de praat willen hebben (of in ieder geval mee begonnen zijn), maar het blijkt dat ik de verkeerde IR ontvanger heb gekocht. Dus zaterdag maar weer 'ns langs de electronicaboer om de goeie op te pikken.

Ik hou voorlopig vast aan IR en RF omdat ik wil voorkomen dat ik straks struikel over alle kabels. Bovendien kan ik met IR -alle- afstandsbedieningen na-apen en beperk ik me niet tot 1 apparaat.

[Sissors]

Ik zou inderdaad gewoon het met IR doen, scheelt kabels en dat protocol is toch redelijk simpel, kan je probleemloos namaken, ook gewoon standaard libraries die dat doen inderdaad. (Heb het zelf ook nog een keer in AVR ASM gedaan, bij zon simpel protocol is dat geen probleem)

[vandeGerrit]

furby-killer schreef op donderdag 23 juni 2011 @ 11:06:
Ik zou inderdaad gewoon het met IR doen, scheelt kabels en dat protocol is toch redelijk simpel, kan je probleemloos namaken, ook gewoon standaard libraries die dat doen inderdaad. (Heb het zelf ook nog een keer in AVR ASM gedaan, bij zon simpel protocol is dat geen probleem)

Niet geheel mee eens. Het probleem van IR is dat deze geen feedback geeft. Ik weet dus niet of de TV aan staat. Ik kan het volume niet in een keer op 3 zetten als deze vanaf de 24 komt. De computer weet ook niet waar dit staat. Het serial protocol biedt wel ondersteuning hiervoor, en ik kan aan de TV vragen wat de huidige state is. Ook kan ik in een keer naar Input Channel 3, in een keer naar Volume 2. Ook TV Modus kan je in een klap omzetten. Heb je dit zelfs 'virtueel' namaken, aangezien je vaak wel helderheid en degelijke kan sturen.

[Sandertje03]

vandeGerrit schreef op donderdag 23 juni 2011 @ 15:52:
[...]


Niet geheel mee eens. Het probleem van IR is dat deze geen feedback geeft. Ik weet dus niet of de TV aan staat. Ik kan het volume niet in een keer op 3 zetten als deze vanaf de 24 komt. De computer weet ook niet waar dit staat. Het serial protocol biedt wel ondersteuning hiervoor, en ik kan aan de TV vragen wat de huidige state is. Ook kan ik in een keer naar Input Channel 3, in een keer naar Volume 2. Ook TV Modus kan je in een klap omzetten. Heb je dit zelfs 'virtueel' namaken, aangezien je vaak wel helderheid en degelijke kan sturen.

precies, een grote reden waarom wij het seriele protocol gebruiken. soms gaat het helaas niet anders.
serieel protocol heeft vaak meer discrete code ten opzichte van IR.
soms heb je geluk en heeft de fabrikant ook de gehele IR bibliotheek online staan (zeker bij logitech harmony).

[nephilimcrt]

Dat seriële verhaal begint wel interessant te klinken...Ik vond het inderdaad al jammer dat ik geen manier had om de huidige staat van de TV te bepalen. Zijn er mensen die al een library hiervoor hebben rondslingeren? Zoiets zelf schrijven kan ik helaas niet,

Ik ga me hoe dan ook toch eerst storten op het IR verhaal, omdat daar nog veel meer leuke dingen mee mogelijk zijn dan alleen je TV besturen.

Heeft er iemand toevallig ervaring met van die driepotige (ja, excuseer m'n lekentaal) IR ontvangers? Zijn er bepaalde types die ik wel of juist niet moet hebben?...

[creon]

welke tv's en versterkers kun je dan allemaal seriëel aansluiten
of op welke aansluiting moet ik filteren om zo'n tv of versterker te vinden

[nephilimcrt]

creon schreef op vrijdag 24 juni 2011 @ 10:13:
welke tv's en versterkers kun je dan allemaal seriëel aansluiten
of op welke aansluiting moet ik filteren om zo'n tv of versterker te vinden

Zelf heb ik een Panasonic Viera 42" plasma (het exacte type weet ik niet). Heb er gisteren even vluchtig omheen gekeken, maar kwam geen aansluiting tegen die het zou kunnen zijn. Maar waarschijnlijk moet ik beter zoeken. Ik was op zoek naar een soort van 9 pins RS232 aansluiting, maar misschien ziet ie er wel heel anders uit...?

Als je onderstaande link mag geloven, zijn Panasonic en LG de favorieten...

http://www.remotecentral....ouch/thread.cgi?4163,last

[Sandertje03]

nephilimcrt schreef op vrijdag 24 juni 2011 @ 10:27:
[...]

Zelf heb ik een Panasonic Viera 42" plasma (het exacte type weet ik niet). Heb er gisteren even vluchtig omheen gekeken, maar kwam geen aansluiting tegen die het zou kunnen zijn. Maar waarschijnlijk moet ik beter zoeken. Ik was op zoek naar een soort van 9 pins RS232 aansluiting, maar misschien ziet ie er wel heel anders uit...?

Als je onderstaande link mag geloven, zijn Panasonic en LG de favorieten...

http://www.remotecentral....ouch/thread.cgi?4163,last

Wij gebruiken veel LG in ons vak, omdat deze momenteel goed werken met smart TV enzo. en omdat deze goed zijn aan te sturen. wij zijn wel hard opzoek naar samsung modellen, maar nog niets gevonden.

Je moet inderdaad een 9 pins Dsub hebben, waarbij pin 2 Rx, pin 3 Tx, en pin 5 GND is voor het RS232. (sommige modellen moet je pin 2 en 3 omdraaien)

creon schreef op vrijdag 24 juni 2011 @ 10:13:
welke tv's en versterkers kun je dan allemaal seriëel aansluiten
of op welke aansluiting moet ik filteren om zo'n tv of versterker te vinden

Er is geen duidelijke lijst hiervan. omdat er iedere dag een x aantal modellen bij komen. zoek in de handleiding naar een RS232c poort op het toestel.

[vandeGerrit]

Sandertje03 schreef op vrijdag 24 juni 2011 @ 10:32:
Er is geen duidelijke lijst hiervan. omdat er iedere dag een x aantal modellen bij komen. zoek in de handleiding naar een RS232c poort op het toestel.

creon schreef op vrijdag 24 juni 2011 @ 10:13:
welke tv's en versterkers kun je dan allemaal seriëel aansluiten
of op welke aansluiting moet ik filteren om zo'n tv of versterker te vinden

Bij LG staat het inderdaad goed in de handleiding. En ik moet ook zeggen, dat alle LG televisie die ik ben tegen gekomen ook een RS232 aansluiting hebben. LG is alleen ook een van de weinige die het netjes in de handleiding heeft staan.

Bij bijvoorbeeld Panasonic staat het niet in de handleiding, en moet ook zeggen dat veel TV's het niet heeft van ze. Op dit ogenblik ben ik aan het kijken voor de VT30 serie, en die 'zou' het moeten hebben.

Wat ze tegenwoordig ook doen is het vaak via Netwerk. Het commando is vaak ook nog hetzelfde.

Qua AV-Receivers heeft Pioneer het vanaf model VSX-920-K (weet niet zeker of deze ook al (via LAN)) iig vanaf VSX-2020-K serie. Bij Onkyo vanaf de TX-NR708. Bij Denon denk ik vanaf AVR-1912 (LAN). iig vanaf de AVR-3312 serie.

Veel producten die je kan bedienen via de Ipad of iets dergelijks werken via het netwerk. Deze commandos kan je dus ook zelf versturen.

Zoek maar is op google op bijv 'denon rs232', of welk ander product. Vaak vind je wat op forums. Het hoeft ook niet specefiek jou model te zijn, aangezien de meeste fabrikanten de RS232 codes 1 keer ontwerpen, en dit voor al hun producten toepassen.

[aegis]

ga dit topic zeker volgen is zeer interessant.
@vandeGerrit, is het alleen mogelijk om TV's aan te sturen vanaf RS232 of zou het ook via netwerk kunnen want na genoeg elke moderne LCD/plasma/led TV heeft toch een netwerk poort in gebouwd.

[pimNH]

al heb je je arduino in een andere kamer dan je computer kan je dit gebruiken: http://www.dealextreme.co...-transceiver-module-80711 kan je makkelijk aansluiten, en dan gaat je seriële communicatie over bluetooth.

[nephilimcrt]

na genoeg elke moderne LCD/plasma/led TV heeft toch een netwerk poort in gebouwd.

Oh? Dan ga ik daar ook eens naar op zoek. Dat zou ideaal zijn.

[Voor 8% gewijzigd door nephilimcrt op 24-06-2011 16:39]

[Sandertje03]

aegis schreef op vrijdag 24 juni 2011 @ 12:01:
ga dit topic zeker volgen is zeer interessant.
@vandeGerrit, is het alleen mogelijk om TV's aan te sturen vanaf RS232 of zou het ook via netwerk kunnen want na genoeg elke moderne LCD/plasma/led TV heeft toch een netwerk poort in gebouwd.

maar vaak is deze netwerk poort enkel voor youtube of andere toepassingen, bijna niet voor sturingen.

zoals hierboven ook aangegeven is een receiver met netwerk aansluiting soms wel te sturen,
wij gebruiken de nieuwe modelen van Integra (onkyo) graag.

[nephilimcrt]

Ok. Na het aanschaffen van de juiste IR sensor en een paar uurtjes klooien, heb ik m'n Arduino zover gekregen dat ie signalen van m'n afstandsbedieningen oppikt en weer uitzendt.

M'n TV reageert er niet op, gek genoeg. De ontvangen signalen van de afstandsbediening van m'n TV zijn ook steeds anders, op de één of andere manier.
Echter, de signalen van m'n afstandsbediening voor m'n WDTV Live worden herkend als 'NEC' en m'n WDTV reageert netjes op de signalen die de Arduino uitzendt. Dus dat is toch weer een kleine stap vooruit.

Plaatje van het geheel:



Ik zal eens proberen uit te zoeken wat er met m'n TV signalen aan de hand is (Panasonic Viera)...

[Voor 6% gewijzigd door nephilimcrt op 26-06-2011 23:45]

[Stoney3K]

nephilimcrt schreef op woensdag 22 juni 2011 @ 22:02:
Ik heb een filmpje online gezet die de basics van wat ik nu heb laat zien. Het beeld is niet superduidelijk, maar je ziet MS Speech Recognition, VB code en een Arduino met een breadboard met onderdeeltjes.

YouTube: ‪TFNE quick demo‬‏

Lolwut, you actually programed it to be polite?

Nu moet ik zelf zeggen dat de Microsoft Speech API een aardig eind gekomen is, maar ik ben benieuwd hoe de hele constructie zich gaat houden in een omgeving waar meer herrie is en je verder van de microfoon af zit. Zoals een film kijkend op de bank en je moet brullen 'PAUSE PLAYBACK!!'

Zelf denk ik dat het meer naar een Star Trek-achtige computer gaat (die zich wel netjes in het Engels verstaanbaar maakt, maar gestructureerd is) dan een bijdehante Hollywood-computer. Ik denk namelijk dat dat best lastig te programmeren valt.

De Microsoft-feature van 'Start Listening' zit in de Speech API zelf en kun je weinig aan doen, maar ik zou er zelf veel blijer mee zijn als ik zoiets gewoon aan kan spreken met 'Computer...' (*bliep*) waarna ik mijn commando in kan spreken.

Overigens krijg je de originaliteitsprijs voor de naam van het project (TFNE, Tiffany die lampen aandoet... ), al zou ik zelf mijn computer niet echt zo personificeren. En vergeet de privacy-mode niet in te bouwen voor het geval je je hele huis vol met microfoons hebt hangen.

[nephilimcrt]

Stoney3K schreef op maandag 27 juni 2011 @ 15:12:
Lolwut, you actually programed it to be polite?

Ja, en niet alleen beleefd. Het uiteindelijke doel is wel degelijk om Tiffany ook een soort van karakter te geven. Dat ze af en toe een beetje bitchy is of een sarcastische opmerking maakt. Naast functioneel moet het ook gewoon leuk en grappig zijn.

Nu moet ik zelf zeggen dat de Microsoft Speech API een aardig eind gekomen is, maar ik ben benieuwd hoe de hele constructie zich gaat houden in een omgeving waar meer herrie is en je verder van de microfoon af zit. Zoals een film kijkend op de bank en je moet brullen 'PAUSE PLAYBACK!!'

Ook hier heb ik aan gedacht. Ik ga gebruik maken van tenminste 2 actieve omnidirectionele microfoons. Ook zal Tiffany pas op commando's reageren wanneer ze eerst haar naam heeft gehoord, zodat de kans op misverstane commando's (door TV of radio of gesprekken) geminimaliseerd wordt.
Commando's geven terwijl ik net wat fijne muziek op heb staan is lastig, maar ook hiervoor heb ik al wat oplossingen in m'n hoofd. Deze zijn nog te vaag om er iets concreets over te kunnen roepen.

Zelf denk ik dat het meer naar een Star Trek-achtige computer gaat (die zich wel netjes in het Engels verstaanbaar maakt, maar gestructureerd is) dan een bijdehante Hollywood-computer. Ik denk namelijk dat dat best lastig te programmeren valt.

Dat het meer werk is dan saaie standaardantwoorden programmeren, spreekt voor zich. Maar het is zeker niet onmogelijk. Ik heb al een paar leuke ideeën in deze richting.

De Microsoft-feature van 'Start Listening' zit in de Speech API zelf en kun je weinig aan doen, maar ik zou er zelf veel blijer mee zijn als ik zoiets gewoon aan kan spreken met 'Computer...' (*bliep*) waarna ik mijn commando in kan spreken.

Dit ga ik omzeilen door, zoals ik al zei, de 'listening mode' standaard aan te zetten en Tiffany pas te laten reageren als iemand haar roept. Easy peasy lemon squeezy. Of het dan "computer" of "Tiffany" is, maakt dan geen zak meer uit.

Overigens krijg je de originaliteitsprijs voor de naam van het project (TFNE, Tiffany die lampen aandoet... ), al zou ik zelf mijn computer niet echt zo personificeren.

Thanks! En dat is een kwestie van smaak. Voor mij is het idee van een huiscomputer met een eigen willetje precies wat het zo leuk maakt!

[Voor 1% gewijzigd door nephilimcrt op 27-06-2011 16:50. Reden: link added]

[Sypher]

Gaaf projectje, smart homes (SARAH anyone?) zijn wel gaaf. Dit is dan ook een mooi begin voor verdere domotica. Het is dat ik niet veel soldeer/electronica ervaring heb anders had ik ook zoiets in elkaar gezet (maar dan niet met Windows natuurlijk )..

[nephilimcrt]

Sypher schreef op maandag 27 juni 2011 @ 17:57:Het is dat ik niet veel soldeer/electronica ervaring heb anders had ik ook zoiets in elkaar gezet (maar dan niet met Windows natuurlijk )..

Mijn ervaring op dat gebied is ook nul. Ik leer gaandeweg en dat is best leuk. Daarbij is spelen met een Arduino net zo makkelijk als spelen met Lego. Ik zeg: Doen!

[Sandertje03]

nephilimcrt schreef op maandag 27 juni 2011 @ 16:16:
[...]


Thanks! En dat is een kwestie van smaak. Voor mij is het idee van een huiscomputer met een eigen willetje precies wat het zo leuk maakt!

lees: midden in de nacht TV en lampen aan?

Het idee is zeker goed, maar je moet wel tegen een grapje kunnen.
Ik zal het in ieder geval nooit toepassen bij een klant van mij.

[loewie1984]

En nog vooruitgang geboekt? Ik las net een nieuwsbericht op de FP: nieuws: 'Menselijke' Cleverbot doorstaat Turing-test en moest eigenlijk meteen aan jou denken. Zou sjiek zijn als je gewoon interactie geïmplementeerd krijgt.

[Bravo51]

Ik vind het een super project. Zelf wil ik ook graag zoiets maken.

Zou je me op weg kunnen helpen met SAPI? Ik gebruik zelf ook veel VB.NET

[nephilimcrt]

Hey iedereen,

Mijn projectje ligt al een tijdje stil, hoofdzakelijk omdat ik toch tegen een paar obstakels ben aangelopen. Om deze te overkomen zou ik een investering moeten doen waar ik nu even geen zin in heb. Voordat ik er meer geld in ga steken wil ik eerst concrete vooruitgang boeken.

Wel heb ik er veel over nagedacht en wil ik eigenlijk gaan voor een nieuwe, modulaire opzet. Deze zou bestaan uit een aantal (VB.NET) applicaties die elk een eigen functie hebben en die met elkaar communiceren, in plaats van één grote chaotische berg code. Dit heeft niet alleen als voordeel dat het allemaal wat gestructureerder wordt, maar ook dat het ineens hapklare brokken worden die ik stuk voor stuk onder handen kan nemen.

Een aantal 'modules' waar ik nu aan zit te denken zijn:

- Praatmodule: Doet niks anders dan de toegestuurde tekst uitspreken. Makkie.

- Luistermodule: Dit is een moeilijke, moet contextgevoelige spraakherkenning afhandelen en hierdoor veel communiceren met andere modules.

- Knowledgebase: Moet kennis kunnen verzamelen, opslaan en opvragen. Als ik zeg "Piet is 20 jaar oud" en ik de volgende dag vraag "Hoe oud is Piet?"...nouja, je snapt het. Wordt best pittig, denk ik.

- Arduinocontrol: Moet kunnen communiceren met een Arduino. De Arduino moet zowel IR als RF opdrachten kunnen ontvangen en versturen. Het begin is er al.

- Webinterface: ASP webinterface die, naast de spraakherkenning, als input fungeert. De ASP code moet kunnen communiceren met de VB applicaties.

- Webcammodule: Bewegingsdetectie, gezichtsdetectie en wie weet nog andere leuke dingetjes.

Ik heb al aardig wat zoekwerk gedaan, maar heb nog geen manier gevonden om applicaties met elkaar te laten praten die voor mij begrijpelijk is. Ik ben ook maar een amateurprogrammeur... Als iemand hier kaas van gegeten heeft, hoor ik het graag.

Het zou me op zich erg leuk lijken om met andere geïnteresseerden er samen iets leuks van te maken. Verschillende mensen zouden een 'module' voor hun rekening kunnen nemen, als we kunnen afspreken hoe deze met elkaar moeten praten.

Nouja, mocht iemand dit aanspreken, laat 't dan maar even weten.

[DJF3]

Ben vrij actief in de Domotica / Home automation en heb de meeste projecten documented:
http://www.domoticaworld.com

Het 'huis' kan Twitteren en Push Notifications sturen, controle via IVR, Web, Native iOS app, TV, etc.etc.etc.. Monitoring: deuren, ramen, power, gas, electricity, car & people presence, etc.etc.etc.

[Anoniem: 350643]

hallo,

weet niet of je nog actief ben op dit foum maar wou vragen of je het SDK pakket voor me hebt. krijg het niet gedownload

mvg. Tom

[mojo81]

Aan de hand van de poll op de front page keek ik hier ook eens. Ik ben zelf ook met een DIY Home Automation systeem bezig. C# en hier en daar wat C++ en C voor low level (ik ben niet zo heel sterk in dat low level gedoe, dus dat is veel jat werk). Ook delen van de elektronica doe ik, mits het allemaal bestaande circuitjes zijn, want verder dan een schema volgen en het inelkaar solderen gaat mijn kunde niet.

Ik ben ooit eens voor de lol begonnen met een simpel projectje om een radiografisch bestuurd speelgoed spinnetje te besturen via de PC en dit te ontsluiten via een web server, inclusief camera beeld. De grap was dat als ik dan in het buitenland was (moest veel voor werk) ik op afstand mijn kat kon lokken naar de voor mij zichtbare plaats in huis. Door tijdsverschil was het vaak donker, dus ook maar een schakelbare lamp (klik aan klik uit) toegevoegd. In eerste instantie allemaal door de knopjes van een afstandsbediening te kortsluiten via de PC (K8055 Velleman kitje). Later door een kastje genaamd Telldus Live (zoiets als rfxComm, maar goedkoper en redelijk open sourced).

Dat was allemaal zo vermakelijk dat ik steeds meer begon te willen. Daarom eerst maar eens het systeem op de schop gedaan en modulair en configurabel gemaakt. En toen verder. Nieuwe dingen toevoegen

Een wilde greep van de hardware:
- Raam Contacten,
- Kinect (incl. sturen van motor en depth sensor),
- Zonnescherm (gaat automatisch omhoog ter bescherming van regen a.d.h.v. de verwachtingen)
- TV (LG TV had een seriele poort, dus ik kon het niet laten)

En ik zal nog wel wat dingetjes vergeten.

Wat software zaken:

- Spraak (geen spraak herkenning)
- Twitter, mail, mobile push modules
- P2000 waarschuwingen bij meldingen in mijn straat
- Neerslag detectie (nodig voor eerder genoemde zonnescherm).
- Een android app (nog druk mee bezig, werkt nu deels) en een Windows Phone app die ik niet meer gebruik. Media center via Media portal, ook heel fijn vanaf de bank te bedienen met de android app op tablet of phone. De PC schakelt zelf het tweede beeldscherm dan uit, start Media Portal en zet de TV aan en het beeld van PC door naar de TV

De koorts is nog lang niet over. Ik wil zo ook stapje voor stapje wat dieper in de elektronica en embedded wereld. Het is een compleet uit de hand gelopen hobby geworden. Op dit moment ook bezig met aansturing voor cerntrale verwarming; hardware is klaar (aangesloten op een Raspberry Pi) maar nog geen software.

[Voor 15% gewijzigd door mojo81 op 23-04-2013 08:18]

[mojo81]

nephilimcrt schreef op dinsdag 01 november 2011 @ 12:37:
Hey iedereen,

Wel heb ik er veel over nagedacht en wil ik eigenlijk gaan voor een nieuwe, modulaire opzet. Deze zou .......

Een aantal 'modules' waar ik nu aan zit te denken zijn:

- Praatmodule: Doet niks anders dan de toegestuurde tekst uitspreken. Makkie.

- Luistermodule: Dit is een moeilijke, moet contextgevoelige spraakherkenning afhandelen en hierdoor veel communiceren met andere modules.
etc.

Geen idee of je nog actief bent, maar dit is heel goed haalbaar. Meest voor de hand liggende is dat je losse DLL's maakt (projecten in je solution in Visual Studio) voor iedere module en die dan overerfen uit een plugin dll/project. Dit is ook wat ik grofweg heb gedaan. Ik zou je er eventueel wel een beetje mee kunnen helpen.

[Unstable_Rat]

.

[Voor 100% gewijzigd door Unstable_Rat op 25-04-2013 22:45]