ECG signalen>MIDI>Max4Live/Ableton

[Abletonlive]

Hallo allemaal,

Ik wil met een vriend een project gaan starten waarbij wij via een ECG emoties willen omzetten in het triggeren van midi clips in Ableton/Max4Life. Aangezien het over meerdere soorten hard/software gaat, heb ik even voor overige gekeken.

In principe gaat het om de volgende hardware:

https://www.researchgate....cognitionprovide_datasets

Nu snap ik dat dit een vrij algemene vraag is, maar ben benieuwd of er iemand is die wellicht met een gedeelte van het proces bekend is, of eventueel van advies kan voorzien, hoe basaal dan ook.

Dank!

[PageFault]

Wat wil je exact bereiken? Dat bij een bepaald hartslag patroon een MIDI deuntje wordt verstuurd naar Ableton? Of dat Ableton een MIDI deuntje start?

[Rmg]

Abletonlive schreef op donderdag 4 januari 2024 @ 14:53:
Hallo allemaal,

Ik wil met een vriend een project gaan starten waarbij wij via een ECG emoties willen omzetten in het triggeren van midi clips in Ableton/Max4Life. Aangezien het over meerdere soorten hard/software gaat, heb ik even voor overige gekeken.

In principe gaat het om de volgende hardware:

https://www.researchgate....cognitionprovide_datasets

Nu snap ik dat dit een vrij algemene vraag is, maar ben benieuwd of er iemand is die wellicht met een gedeelte van het proces bekend is, of eventueel van advies kan voorzien, hoe basaal dan ook.

Dank!

Wil je nou eeg of ecg? Dat is nogal een verschil.

Anyways, openBCI is leuk spul, maar alles is aan de prijs. Je zit zo op 2k voor hardware en dan is er nog geen regel code geschreven..


Weet je al wat je nodig hebt? Hoeveel kanalen? Hoe ga je de classificatie doen etc etc.

Als ik zo de beknopte start lees zou ik vooral richting de emotiv spullen gaan, die hebben een sdk die al war classificatie kan. Dan hoef je je niet veel bezig te houden met de eeg kant.


Edit: sowieso is get goed om nu al na te denken over verwachtingen, hoeveel emoties wil je herkennen? Boos/neutraal/blij (een paar) is makkelijker dan boos/blij/geschokt/verrast/walging/bang(veel).

Moet de gebruiker eerst het algoritme trainen, bijv door plaatjes te kijken of te denken aan een serie emotie of moet het zitten en gaan zijn (bij goed trainen word je classificatie beter en sneller)

Opstelling: meerdere headsets voor grote en kleine hoofden, goed passend, betere signalen en betere differentiatie tussen brein regios, werkt je algoritme beter.

Droge of natte elektroden, nat is geklooi met gels enzo maar beter signaal, droge is gemakkelijk, zeker bij korte sessies.

Bedraad of draadloos? Draadloos kan maar bedraad meestal hogere resolutie en data acquisitie (en lagere latency) sowieso reken niet op bewegingsvrijheid, ook met een draadloze headset is het stilzitten.

Zoveel vragen

[ Voor 35% gewijzigd door Rmg op 04-01-2024 22:29 ]

[br00ky]

Schopje naar MME.

[Abletonlive]

@PageFault In principe willen we de EEG emotieherkenning laten doen, en deze onderscheiding van emotionele signalen voorgeprogrameerde composities laten triggeren in Ableton.

@Rmg Het gaat idd om een EEG!

Het uiteindelijke idee is om op festivals een kleine sidestage/tent te hebben die helemaal donker is, waar 1 iemand tegelijkertijd in kan, en zo eigen emoties auditief kan ervaren. In een later stadium moet daar ook een visuele ervaring bij die vanuit Ableton getriggered wordt en naar een beamer gestuurd wordt, maar da's vrij simpel vanwege Link in Ableton en het brede scala aan VJ software dat daarmee samenwerkt.

Het is op dit moment denk ik in eerste instantie proberen consistent een binaire classificatie te realiseren (blij/boos), deze om te zetten in de bijpassende compositie die die emotie onderstreept, om wellicht vanuit daar dingen zoals hoopvol, melancholisch, met weemoed terugdenkend etc te onderscheiden.

Het doel is dus om zelf emoties te creeëren door middel van er aan te denken, om te kijken of we op die manier een classificatie kunnen realiseren. Als ik het goed begrijp, is dat je de EEG/SDK dus moet trainen op het herkennen van deze emoties, zodat het algoritme zich ontwikkelt deze beter kan herkennen. Als deze dan goed getraind is, kost het configureren bij 'nieuwe' mensen dan bijvoorbeeld minder tijd? Ik heb namelijk wel eens iets gelezen over dat iedereen zijn brein op net een ander voltage functioneert, valt daar iets over te zeggen, en of dat de configuratie moeilijker maakt/langer laat duren bij nieuwe personen?

Zouden externe triggers van emoties (zoals je aangeeft het laten zien van plaatjes) bij nieuwe personen de configuratie bij versnellen, waarbij je wellicht handmatig een bepaald signaal/waardes kan afbakenen als een specifieke emotie, om die waardes te gebruiken als trigger richting Ableton, en dat je dus bij elk persoon die waardes opnieuw zou kunnen instellen?

Het gaat idd om vrij korte sessies, bij voorkeur draadloos, met bewegingsvrijheid, maar als ik jou zo hoor is dat sowieso geen optie .

Aan iedereen, thanks voor de reacties! Ik dacht, ik ga gewoon even kijken of er iemand is die hier iets over zou zeggen op Tweakers, ik ben niet teleurgesteld!