Keyboard besturen met Spraakmodule

[laurensv123]

Beste allemaal,

Ik ben HBO-student Gezondheidszorg Technologie en voor mijn 3e jaars stage doe ik onderzoek naar 'Game Accessibility'. Ik onderzoek of het mogelijk is om games (Tetris) te besturen door middel van een 'draagbare' CUI (conversational user interface - spraakbesturing). Uiteindelijk moet een persoon met een meervoudige beperking (amputaties of verlamming) op elke PC Tetris kunnen spelen. Het is een experiment dus vandaar even de simpele game Tetris.

Het komt er op neer dat ik wanneer ik 'Links' zeg het object in Tetris 1 hokje naar links gaat (de KEY_LEFT_ARROW zou geactiveerd moeten worden - 0xD8). Ik heb zelf al geëxperimenteerd met LED'jes aan en uit te zetten door middel van spraak (Geeetech Voice Recognition Module). Dit is mij inmiddels gelukt. Ik weet ook dat je door middel van buttons hexadecimale waarde naar je PC/laptop kunt sturen waardoor je als het ware kunt typen in een tekstverwerker. Hiervoor kun je Keyboard.write gebruiken.

Wat ik dus probeer uit te vogelen is;

- Door middel van spraak je toetsenbord kunnen gebruiken
- Dit door middel van de Geeetech Voice Recognition Module

Tijdens mijn opleiding heb ik kennis gemaakt met Arduino en ik vind het daarom ook erg leuk om er mee aan de slag te gaan. Ik heb er redelijk verstand van maar ik ben geen Arduino PRO. Vandaar mijn rondvraag of iemand tips heeft of suggesties hoe ik dit het beste kan doen.

Met vriendelijke groet,

Laurens Verkamman

YouTube: Arduino keyboard emulator - video over het Keyboard.write principe
YouTube: How to Talk with Arduino Board | Voice Recognition Module | Mert Ard... - video over de Geeetech Voice Recognition Module

[memphis]

Zou voor spellen niet een simpele joystick besturig makkelijker zijn?

Voor een project waarvoor ik een extern bediende F5 toetsdruk nodig had had ik een toetenbord uit elkaar gehaald en over de juiste punten een CD4066 schakelaar gezet.

[laurensv123]

De doelgroep zijn mensen die verlamd zijn of amputaties aan de armen hebben. Er vanuit gaande dat deze personen niet met de voeten kunnen gamen doe ik onderzoek naar CUI

[SA007]

Het is niet de bedoeling om huiswerkvragen op GoT te vragen.

Je mag best specifieke vragen stellen of een discussie beginnen, maar 'ik wil dit gaan maken voor school, kan iemand mij uitleggen hoe ik dat stap voor stap doe' is absoluut niet de bedoeling.
De vraagstelling is vrij sterk gericht op de 2e optie.

Daarom sluit ik dit topic, je bent vrij om als je tegen specifieke subproblemen aanloopt om hier vragen over te stellen maar verwacht niet dat je huiswerk door anderen gedaan wordt.