Neurobotics: gezamelijke hersen-machine controle voor humane assistentie met slimme hybride systemen

Hersenen verbinden met machines zal het leven veranderen van duizenden patiënten die lijden aan hersen- of ruggenmergaandoeningen. Het aansturen van de vele inputs van een scharnierende arm of rolstoel door middel van hersensignalen alleen is echter onpraktisch gebleken en omgekeerd hebben kunstmatige controlesystemen nog niet een punt bereikt waarop ze op betrouwbare wijze de complexiteit van de echte wereld alleen aankunnen1. Als we patiënten met hersen- of ruggenmergletsel willen helpen hun autonomie in hun dagelijks leven terug te krijgen door middel van robotica-proxy's, is het cruciaal om de hersensignalen van de proefpersoon te integreren met de kunstmatige-intelligentielagen van hun robothelpers. Daarom willen we neurale activiteit die is vastgelegd in menselijke en niet-menselijke primaten decoderen door middel van een invasieve brain-machine interface (BMI) en deze signalen met computervisie en robotsystemen mengen tot 'hybride' intelligente systemen, met gedeelde controle tussen mens en robot als een leidend principe. We zullen de intenties van de gebruiker herstellen van neurale activiteit en deze neurale activiteit gebruiken om gebruikersbegeleiding te krijgen bij vragen waarvan bekend is dat kunstmatige intelligentie worstelt, met name met betrekking tot het semantische begrip van een scène door de robot en de relatie met de taak2 (bijv. objecten of het vermijden van botsingen met gedeeltelijk afgesloten obstakels). Deze synergie tussen brein en machine stelt patiënten in staat om controle te krijgen over en efficiënte hulp te krijgen van een slimme robot in hun thuisomgeving. Tegelijkertijd willen we bestuderen hoe het eigen actiemonitoringsysteem van de proefpersoon in de (pre)motorische cortex codeert en zich aanpast aan deze gedeelde controleacties. Onze multidisciplinaire aanpak op het gebied van neurofysiologie, neurochirurgie en robotica maakt de weg vrij voor herstel van de zelfstandigheid door middel van slimme robothulp bij patiënten met onbehandelbare hersenaandoeningen.Ondanks opmerkelijke vooruitgang op het gebied van invasieve hersen-machine-interfaces 3-5, blijft er een groot aantal uitdagingen bestaan. Praktijksituaties zoals naar de koelkast gaan, openen en een biertje pakken zijn nog steeds (letterlijk) onbereikbaar voor verlamde patiënten met een BMI. In ons vorige project bereikten we zeer nauwkeurige online 3D-cursorcontrole op basis van neurale activiteit in de premotorische en primaire motorische cortex bij apen. Belangrijk was dat de tijd die nodig was om de decoder te trainen opmerkelijk kort was (1-2 minuten), wat essentieel is voor realistische toepassingen bij verlamde patiënten. Hier willen we de volgende stap zetten door blended brain-robot control6 te implementeren in complexe real-world en gesimuleerde omgevingen, zoals het grijpen van objecten met verborgen obstakels, het uitvoeren van verschillende grijpacties op hetzelfde object, afhankelijk van de intentie, en het integreren van grijpen commando's aan een robot met rolstoelbesturing. We zullen continu neurale activiteit decoderen om het beoogde handtraject van de gebruiker in de 3D-ruimte te extraheren. De robot zal de neurale trajectgegevens gebruiken in combinatie met contextuele (op visie gebaseerde [9]) informatie over de scène en taak om te anticiperen waar/wat de gebruiker van plan is te grijpen, en de hand dienovereenkomstig vooraf oriënteren/voorvormen. De voorspelling van de grijpintentie uit neurale trajectgegevens en contextuele informatie, evenals de autonome pre-oriëntering/pre-shaping van de robothand, zijn AI-functies die we in ons onderzoek zullen ontwikkelen, gebaseerd op recente studies van soortgelijke problemen [6,10]. Verder gaan we manieren bestuderen om gebruikers- en AI-commando's te combineren, zodat de gebruiker zijn AI-metgezel kan helpen bij taken waar de AI worstelt. Deze gebruikerscommando's zijn stuursignalen op hoog niveau (start en stop, context van de grijpactie) afgeleid van de hersenen, en semantische informatie over de objecteigenschappen (bijv. kwetsbaarheid van een object). Gemengde besturing stelt de gebruiker in staat om taken uit te voeren die momenteel de mogelijkheden van puur autonome systemen te boven gaan, tegen een fractie van de mentale inspanning van een oplossing waarbij de gebruiker de assen van de robot individueel bestuurt. Deze experimenten zullen worden uitgevoerd bij makaken die werken in een gesimuleerde omgeving met een avatar-robot, en bij verlamde patiënten met Utah-arrays geïmplanteerd in de premotorische en primaire motorische cortex. In een tweede populatie van (epilepsie)patiënten met Utah-arrays in de visuele cortex (zoals in onze vorige studie7), willen we onderzoeken of de neurale representatie van objecten in een scène kan worden geïntegreerd met een kunstmatig computervisiesysteem. Wanneer zowel de patiënt als de computer naar dezelfde scène kijken, willen we de verborgen aandacht van de patiënt 8 gebruiken om een object uit die scène te selecteren, waarop vervolgens door een robot kan worden gereageerd, onder voortdurende hersencontrole. Een dergelijke synergie tussen hersensignalen en computervisie zou buitengewoon nuttig zijn bij patiënten die niet meer kunnen communiceren (zoals opgesloten patiënten). Tegelijkertijd willen we doorgaan met het succesvol in kaart brengen van hogere visuele gebieden bij mensen op basis van enkelvoudige reacties in en rond het laterale occipitale complex (Decramer et al., J Neurosci, in pers en persbericht op 1 november). Om tot een performant en flexibel hybride systeem te komen, is het tot slot essentieel om te begrijpen hoe het netwerk van hersengebieden dat acties controleert, zich gedraagt terwijl proefpersonen een robot besturen. Daartoe willen we vastleggen van grote populaties neuronen die spiegelactiviteit vertonen in de premotorische, primaire motorische en pariëtale cortex van de mens en makaak tijdens robotbesturing. Bovendien zullen deze opnames duidelijk maken hoe ons brein de intenties van onszelf en anderen codeert, een belangrijke beperking in AI-toepassingen zoals de zelfrijdende auto.

Trefwoorden:brain-machine interface, artificial intelligence, mirror system, motor control, robotics, vision

Disciplines:Neurofysiologie, Adaptive agents en intelligente robotica, Kennisrepresentatie en redenering