Brain-Computer Interaction Bram van de Laar

2 Brain-Computer Interaction?

3 Input Zichtbaar maken van hersenactiviteit Neuronen vuren elektrische impulsen af – Meetbaar door het afvuren van groepen – Regelmaat in het afvuren: typische golfbewegingen Verschillende technieken om te meten – Elk met eigen voor- en nadelen – Elk met eigen toepassingsgebieden

4 (f)MRI Meet bloeddoorvoer en geen ‘echte’ hersenactiviteit Redelijke spatiële resolutie (~1 mm) Lage temporele resolutie – 1 scan per ~2 seconden: <0,5Hz Niet bepaald draagbaar Het sterke magneetveld kan voor problemen zorgen Duur: > €2M Niet liegen – Liegen Zichtbaar in fMRI

5 MEG Magnetoencephalografie – Meet magnetische velden als gevolg van hersenactiviteit Matige spatiële resolutie Goede temporele resolutie Vereist magnetisch afgeschermde ruimte Duur: ~€2M

6 EMG Elektromyografie Geen Brain maar ‘Muscle Computer Interaction’ – Meet direct op een spier Hoge temporele resolutie Geen lokalisatie problemen Veel werk om op te zetten – Veel draden die in de weg zitten – Plakkertjes laten makkelijk los

7 EEG (1) Hoge temporele resolutie  4 KHz en hoger Niet invasief  Geen operaties of gezondheidsrisico’s Relatief goedkoop Gemakkelijk Draagbaar

8 EEG (2) Vatbaar voor ruis afhankelijk van omgeving Oppervlakte meting Slechte spatiële resolutie Opzetten neemt tijd in beslag

9 ECoG Electrocorticografie: elektrische sensoren direct op de cortices Hoge sensor dichtheid (100 sensoren op 16mm 2 en meer) Invasief: (gevaarlijke) operatie nodig Beperkt toepasbaar Eigenlijk (nu nog) enkel voor bv. ALS of Parkinson patiënten

10 Signalen (1) P300 – Aandachtssignaal: 300ms na stimulus zichtbaar – Geen training nodig ERS/ERD: Event Related (De)Synchronization – Verandering in ‘Band Power’ – Te zien in tijd/frequentie diagrammen

11 Signalen (2) SSVEP: Steady State Visually Evoked Potentials – Laat heel snel twee verschillende plaatjes zien – De frequentie waarmee dit gebeurt zorgt voor verhoogde activiteit SSSEP: Steady State Somatosensory Evoked Potentials – Beweging (trilling) is in je motorcortex te zien. – Een Wiimote zou hiervoor gebruikt kunnen worden

12 Problemen Lokalisatie, waar komt een signaal vandaan? – Elk deel van de hersenen heeft een eigen functie – Lastig vanwege slechte spatiële resolutie – Cocktail party effect Ruis – Invloeden van buitenaf – Mobiele telefoons, TL-verlichting, spierinvloeden Artefacten – Oogbewegingen (knipperen, draaien, dichthouden) – Spieractiviteit Hoge variabiliteit in performance – Tussen mensen onderling maar ook over tijd en ruimte

13 Lokalisatie (1) Cocktail-party probleem: – Midden in een feestje hoor je van alle kanten stemmen komen. – Een gesprek volgen is voor mensen redelijk makkelijk – Maar probeer een computer maar eens zo ver te krijgen!

14 Lokalisatie (2) Blind Source Separation – Stel je hebt 4 verschillende signalen – Je meet op 4 verschillende punten middels EEG Aapo Hyvärinen, Helsinki University of Technology

15 Lokalisatie (3) De bedoeling is zoveel mogelijk de originele karakteristieken te kunnen zien. De schaal en het teken zijn moeilijk te reconstrueren De karakteristieke vormen zijn echter goed terug te zien ICA

16 Ruis (1) Weinig signaal, heel veel ruis – Bv: spierinvloed als je bijt is keer groter Invloeden van buitenaf – GSM – TL-verlichting – Netspanning – Hoog inductieve apparaten

17 Ruis (2) Actieve electroden – Versterker in de sensor – Hoog signaal over de kabel, dus geen ruis versterken CAR: Common Average Reference – Trek het gemiddelde van alle kanalen van elk kanaal af – Effectief: enorme verbetering van het signaal

18 Artefacten Oogbewegingen – Filteren mbv extra sensoren? – ‘Slim’ filteren met Machine Learning technieken Spieractiviteit – Kaken, nekspieren (bij spanning) en ledematen – Invloed op signaal verschilt erg

19 Training en Classificatie Signalen zijn ontdaan van ruis en artefacten (preprocessing) Tijdens de training worden verschillende taken meerdere keren uitgevoerd Het classificatie algoritme probeert een patroon te herkennen De ‘classifier’ herkent na de training de signalen en geeft via het systeem feedback

20 Classificatie Classificatie is het indelen van EEG- data in bepaalde groepen – Bijvoorbeeld linker- of rechterhand bewegingen De classifier is het stukje software dat bepaalt in welke klasse de bekeken data hoort – Soort classifier hangt af van het probleem en van de data

21 Machine Learning (1) Verschillende manieren om naar de hersensignalen te kijken – De rauwe signalen – Tijd/frequentie diagrammen – Middelen over meerdere trials – Per kanaal of per gebied (meerdere kanalen) – Afhankelijk van anatomie – Etc. Afhankelijk van het gebruikte paradigma zijn er verschillende Machine Learning technieken toepasbaar

22 Machine Learning (2) Voorbeeld van preprocessing & classificatie voor (imagined) movement: – Common Average Reference (ruis filteren) – Bandpass tussen 8 en 30Hz (nuttige informatie filteren) – Common Spatial Patterns over 32 kanalen (zoekt naar de meest relevante kanalen) – Een LDA classifier op variantie (Zoekt in de relevante kanalen naar maximale verschillen tussen klassen) De ‘uitspraak’ van de classifier wordt teruggestuurd naar de gebruiker middels een apparaat als feedback

23 Feedback Feedback hangt sterk af van de toepassing – Rolstoel besturen of karakter in WoW besturen? – Een speller-systeem voor patiënten of een woordspelletje voor 14 jarigen? Feedback is belangrijk voor gebruikerservaring – Beïnvloed direct de aandacht van de gebruiker – Kan helpen of juist tegenwerken – Moet motiverend zijn maar geen afleiding worden

24 Toepassingen (1) Feedback moet realtime en continu zijn: – Pas na 10 minuten weten hoe je iets gedaan hebt is niet Inter-Actief – Continue feedback kan voor motivatie van gebruiker zorgen Toepassingen moeten slim omgaan met huidige beperkingen van BCI

25 Toepassingen (2) Emotiv is bezig met betere headsets P300-speller-systemen voor gehandicapten Aansturen van een rolstoel mbv BCI

26 Toepassingen (3) Echte bewegingen in combinatie met BCI (zie afstudeerverslag) BCI Gaming mbv SSVEP’s

27 Toepassingen (4) BrainBasher Online en realtime – Directe en continue feedback Robuust – Werkt ook buiten afgeschermde laboratoria Breed toepasbaar: – 2 of meer klassenparadigma’s – Werkt met allerlei soorten ERD/ERS activiteit

28 HMI (1) BrainMedia BCI bij HMI richt zich op gamen voor gezonde gebruikers Op dit moment 4 PhD’s en 2 afstudeerders Niet alleen preprocessing en classificatie: – Adaptive User Interfaces – Multimodal games – Affective computing

29 HMI (2) Mijn onderzoek: “Actual and Imagined Movement in BCI Gaming” submitted voor AISB’09 te Edinburgh Wat is het verschil tussen echte en imaginaire beweging? – Is het één beter herkenbaar dan het ander? – Is er verschil in user experience?

30 HMI (3) Veel mogelijkheden voor leuke opdrachten – Innovatieve games – User experience en BCI – Betere classificatiemethoden – Serious gaming – Neurofeedback – Multiplayer Games? Zie handouts!

31 Nu is het tijd om te bashen! :)