Mobiele EEG en tensor-gebaseerde methoden voor het bestuderen van auditieve aandacht in realistische omstandigheden

Het gebruik van mobiele EEG voor het bestuderen van de hersenen in natuurlijke omstandigheden heeft recentelijk veel aandacht gekregen. De hardware is beschikbaar om deze mobiele metingen uit te voeren. Echter is het aantal studies dat daadwerkelijk mobiel meet tot op heden erg beperkt. Dit zet vraagtekens bij de haalbaarheid van deze mobiele EEG metingen. Bovendien is het cognitief functioneren van mensen in natuurlijke omgevingen waarschijnlijk anders dan in een gecontroleerde laboratoriumomgeving. Als we mobiele EEG metingen in natuurlijke omgevingen en situaties willen uitvoeren zullen bestaande signaalanalysemethoden herzien moeten worden. Daarnaast dienen nieuwe elementen in de experimenten te worden geëvalueerd: de wijze van gebruik, het omgaan met verlaagde cognitieve respons, hogere ruisniveau's, hogere mentale werkdruk en oncontroleerbare afleidingen door de open omgeving. 

In deze thesis onderzoeken we de mogelijkheid om signalen van hoge kwaliteit te verkrijgen bij het toepassen van mobiele EEG in natuurlijke omgevingen. Hiervoor concentreren we ons op drie belangrijke aspecten: de classificatie, experimentele opstelling en het trainen van mentale processen gerelateerd aan auditieve aandacht. Auditieve aandacht is een fenomeen dat bij de mens een belangrijke rol inneemt bij de verwerking van auditieve informatie. Het is onlosmakelijk verbonden met de situatie waar de persoon zich in bevindt. Dit maakt het zeer relevant om te bestuderen met mobiele EEG in natuurlijke omgevingen. We bestuderen de reacties in het EEG op akoestische stimuli in de auditieve 'oddball'-taak en auditieve aandachtsdetectie (AAD). De oddball-taak maakt gebruik van event-related-potentials, te weten de P300, in het EEG om auditieve aandacht te meten, en is een van de meest bestudeerde eigenschappen van het EEG, in het bijzonder voor brein-computer-interfaces (BCI). De AAD-taak is gebaseerd op het interpreteren van EEG-respons in relatie tot natuurlijke spraak. Dit heeft veel potentieel voor het verbeteren van de werking van gehoorapparaten. Het bestuderen van aandacht voor natuurlijke spraak versterkt het natuurlijke karakter van de experimenten.

Bestaande classificatietechnieken gebruiken vaak niet optimaal de structuur in het EEG. Door het ontbinden van de EEG-data met tensormethoden verkrijgen we nieuwe en effectieve eigenschappen en classifiers voor het EEG. We bekijken de natuurlijke structuren aanwezig in het EEG en maken gebruik  van de a priori-kennis van paradigma en verwachte resultaten om zo betere en snellere methoden te ontwikkelen die bijvoorbeeld bij BCIs kunnen worden toegepast. We introduceren het concept van de canonical polyadic decomposition (CPD) en decompositie in multi-lineaire (Lr,Lr,1) termen (LL1) van hogere-orde EEG data. We tonen de effectiviteit van deze methoden om zonder supervisie EEG data te onbinden in taak relevante componenten. Daarnaast tonen we de mogelijkheid om directe classificatie van EEG data uit te voeren door CPD en LL1-decomposities zonder aparte trainingsperiode. De resultaten hiervan zijn gelijkaardig aan die van persoon-specifiek getrainde modellen en maken het mogelijk sneller door middel van een BCI te communiceren. Tot slot tonen we alternatieve manieren om hogere-orde EEG-data te structureren en analyseren. De tensor-gebaseerde methoden hebben het potentieel om als basis te dienen voor volledig data-gedreven classificatiemethoden en het verkrijgen van additionele informatie ten opzichte van bestaande gesuperviseerde classificatiemethoden.

Er is een groot verschil in prestatie wanneer subjecten een bepaalde taak in een 'echte wereld'-omgeving doen vergeleken met sessies in een afgeschermd laboratorium. Om meer inzicht te krijgen in het hoe en waarom hiervan doen we onderzoek naar de factoren die deze prestatie kunnen beïnvloeden. Dit kan zowel cognitief zijn alsmede signaal-gerelateerd, doordat er bijvoorbeeld extra ruis in het signaal optreed in EEG-metingen die buiten plaatsvinden. In deze thesis hebben we naast het classificeren van EEG ook inzicht verkregen in zulke factoren in realistische metingen die de neurofysiologische processen, zoals de P300, beïnvloeden. We bestuderen ERP-karakteristieken op single-trial-niveau bij een auditieve oddball-taak opgemeten terwijl de proefpersoon fietst op een stationaire fiets alsmede terwijl deze volledig vrij rondfietst. Daarnaast bekijken we de invloed van bewegingsverstoringen en spieractiviteit-verstoringen op het EEG-signaal. Ons experiment is het eerste dat deze methoden combineert. Onze bevindingen suggereren dat cognitieve taken in realistische omgevingen worden beïnvloed door een hogere mentale druk door alle impulsen die men in zulke omgevingen te verwerken krijgt. In een gecontroleerde laboratoriumomgeving zijn zulke impulsen minimaal en kan alle aandacht aan de taak worden besteed. Onze bevindingen zijn recentelijk door een gelijkaardige studie bevestigd. Al met al suggereren deze resultaten dat een verminderde neurofysiologische respons in actieve aandachts-BCI's vaak een beperking vormt in de accuraatheid, en dat het monitoren van de aandachtsprocessen van de proefpersoon daarom van grote waarde kan zijn.

Om meer inzicht te verkrijgen in de bewuste aandacht voor spraak in de AAD-taak hebben we een online analaysesysteem voor mobiele EEG geïmplementeerd. Vervolgens hebben we de mogelijkheid van gepersonaliseerde training door middel van neurofeedback onderzocht. Deze experimenten vonden plaats in een kantoor- en thuisomgeving. De resultaten tonen dat AAD mogelijk is op plekken buiten laboratoria, wat belangrijk is voor toekomstige toepassingen in dagelijkse situaties. De grote verschillen in accuraatheid voor verschillende proefpersonen tonen het belang om te onderzoeken of auditieve aandacht getraind kan worden. Preliminaire resultaten suggereren dat verbeteringen  in accuraatheid tussen sessies in de AAD mogelijk zijn door herhaaldelijk oefenen van de taak met neurofeedback. Verdere studies zijn noodzakelijk om meer details te verkrijgen over deze (mogelijke) effecten. Tot slot geven de bevindingen in AAD aan dat het meten van diverse modaliteiten naast EEG belangrijk is voor de interpretatie van AAD in natuurlijke omgevingen.

Deze doctoraatsthese bevat zowel aspecten van signaalverwerking alsook mobiele EEG-data acquisitie. Zodoende trachten we de juiste balans te vinden tussen het ontwikkelen en testen van nieuwe methoden voor mobiele EEG toepassingen enerzijds, en het meten van innovatieve nieuwe datasets anderzijds. We hebben vooral naar auditieve processen gekeken met mobiele EEG. Echter, de resultaten en conclusies zijn breed toepasbaar in het hele mobiele EEG-onderzoeksdomein. Onze bevindingen stimuleren toekomstig onderzoek in natuurlijke omgevingen, en adviseren een holistische benadering om de huidige kennis van de mentale cognitieve processen verkregen in laboratoria tevens in natuurlijke omgevingen te toetsen