Neuromorfe sensorfusie en continu leren voor drone-navigatie en radarsensing

Vandaag de dag is er een steeds grotere vraag naar het inbouwen van
geavanceerde intelligentiecapaciteiten in energie- en gebiedsarme apparaten
op batterijen, zoals geavanceerde wearables, gezondheidscontrolesystemen op
het lichaam, AR / VR-headsets en kleine robots zoals drones. Daarom is er een
toename in onderzoek dat zich richt op het gebruik van diepe neurale netwerken
(DNN’s) en hun versnelling in gespecialiseerde hardware. Deze DNN-oplossingen
lopen echter nog steeds ver achter op de opmerkelijke efficiëntie van biologische
hersenen, zoals bijvoorbeeld in de honingbij, die in staat is een groot aantal
complexe taken uit te voeren terwijl ze slechts 10 μW aan energie verbruiken.
Daarom heeft de studie van event-driven Spiking Neural Networks (SNN’s) en
lokale Hebbiaanse plasticiteitsregels (zoals Spike-Timing-Dependent Plastity of
STDP) de afgelopen jaren veel aandacht getrokken als een meer bio-plausibel,
neuromorf rekenmodel, dat de biologische neurale mechanismen in de hersenen
op een meer getrouwe manier probeert na te bootsen. Dit opkomende AI-gebied,
dat Spiking Neuromorphic Computing wordt genoemd, probeert rechtstreeks
inspiratie te halen uit de biologie om een zeer nauwkeurige uitvoering van
complexe AI-taken mogelijk te maken met de krapste budgetten voor energie
en chipruimte, waar conventionele DNN’s aanzienlijk meer energie en ruimte
nodig zouden hebben.
Op dit moment wordt een massale toepassing van SNN’s en lokale STDP voor
online leren echter in gevaar gebracht door een gebrek aan hoognauwkeurige,
grootschalige demonstraties in de echte wereld op andere taken dan traditionele
patroonherkenning met behulp van kleinschalige databases en door het beperkteaantal toepassingen met andere zintuiglijke modaliteiten dan beeldgegevens.
Om deze huidige problemen aan te pakken, richt dit proefschrift zich op
het algoritmische aspect van SNN’s en hun praktische toepassing voor zowel
radarverwerking als de navigatie van kleine drones via radar-beeldsensor fusie,
en online leerbenaderingen met behulp van STDP. Als zodanig worden er
significante bijdragen geleverd aan zowel het theoretische begrip van SNN’s en
STDP, als aan innovatieve neuromorfische toepassingsparadigma’s.
In dit opzicht levert dit proefschrift de volgende bijdragen. Ten eerste
wordt het nieuwe gebruik van SNN’s met radarsignalen bestudeerd met
een diepgaande vergelijking tussen SNN- en DNN-prestaties. Er wordtaangetoond dat SNN-implementaties niet simpelweg vervangen kunnen worden
door zwaardere DNN-implementaties. In het bijzonder wordt het cruciale 

belang van voorbewerking voor signaal-naar-spike codering aangetoond voor de
radargebaartoepassing door te experimenteren met meer dan 10 verschillende
coderingsbenaderingen. Aangetoond wordt dat de invloed van de radar
voorbewerking op de taaknauwkeurigheid veel belangrijker is bij het gebruik
van SNN’s dan bij het gebruik van DNN’s. Door een geschikte voorbewerking
te gebruiken, wordt aangetoond dat een SNN met 4-bits gewichten dezelfde
nauwkeurigheid kan bereiken (93%) in vergelijking met een DNN met volledige
precisiegewichten.
Ten tweede wordt de ervaring die is opgedaan met radar pre-processing
gebruikt om een uniek drone-platform op te zetten met een op het netvlies
geïnspireerde, op gebeurtenissen gebaseerde camera en een 79 GHz radarsensor
voor het bestuderen van navigatietaken voor drones, zoals SLAM (Simultaneous
Localization and Mapping) en detectie van mensen in een magazijncontext, met
behulp van een aangepaste radardetector in de MCU aan boord van de radar.
Ten derde biedt dit proefschrift een nieuw theoretisch kader voor de studie van
SNN-STDP leersystemen. In tegenstelling tot eerdere werken die SNN-STDP
onderzoeken vanuit een bottom-up perspectief, door willekeurig verbonden
netwerken op te zetten volgens directe biologische inspiratie, onderzoekt deze
dissertatie SNN-STDP vanuit een top-down perspectief, door eerst het op te
lossen optimalisatieprobleem wiskundig te formuleren (gebaseerd op Dictionary
Learning and Basis Pursuit) en vervolgens de onderliggende SNN-STDP
substraatarchitectuur af te leiden die dit optimalisatieprobleem aantoonbaar
oplost door middel van de neurale en gewichtsdynamica. Aangetoond wordt
dat de voorgestelde top-down benadering significant beter presteert dan eerdere
bottom-up werken in termen van nauwkeurigheid voor veelvoorkomende event
camera benchmark datasets.Ten vierde, na de validatie van de voorgestelde SNN-STDP-theorie met behulp
van benchmark-taken, stelt dit proefschrift, voor zover wij weten, het eerste
SLAM-systeem voor drones voor, waarbij gebeurteniscamera- en radargegevens
worden samengevoegd met behulp van een SNN-STDP-architectuur die continu
leert om zichzelf aan te passen aan de onbekende omgeving op een onbewaakte
manier en zonder de noodzaak van een offline pre-trainingfase. In plaats daarvan
begint de drone te vliegen in een onbekend binnenpakhuis dat niet is vastgelegd
in het SNN tijdens een voorafgaande offline trainingsfase; tijdens de vlucht
haalt het SNN kenmerken uit zijn sensorische gegevens door de structuur van
de omgeving tijdens de vlucht te leren met behulp van STDP. Opmerkelijk is
dat het voorgestelde systeem beter presteert dan offline SNN-training in termen
van SLAM-nauwkeurigheid.
Ten vijfde wordt de toepasbaarheid van het voorgestelde SNN-STDP-
ontwerpkader op andere grootschalige echte taken onderzocht door het continu
leren van mensdetectie door drones te bestuderen met behulp van de voorgestelde
top-down SNN-STDP-theorie in een convolutioneel netwerk. Er worden
experimenten uitgevoerd om de prestaties van het voorgestelde systeem voor
continu leren te vergelijken met conventionele CNN-modellen die offline zijn
getraind. Hieruit blijkt dat het voorgestelde SNN-STDP-systeem beter presteert
dan het gebruik van een CNN van dezelfde grootte door een winst van meer dan
19% te behalen op de piekscore van F1 (gebruikt als een conventionele maatvoor detectieprestaties).

Om de weg vrij te maken voor het gebruik van continu lerende SNN-STDP voor
de besturing van dynamische agenten, onderzoekt deze dissertatie ten slotte
hoe continu lerende Hebbiaanse netwerken kunnen worden gebruikt binnen
een Active Inference (AIF) schema om de besturing van agenten te leren op
basis van sensorische observaties. Experimentele studies worden uitgevoerd met
behulp van de Mountain Car omgeving uit de OpenAI gym suite, om het effect
van de verschillende Hebbiaanse netwerkparameters op de taakprestaties te
bestuderen. Er wordt aangetoond dat de voorgestelde Hebbian AIF-benadering
beter presteert dan het gebruik van Q-learning (zoals populair gebruikt omMountain Car op te lossen), terwijl er geen replaybuffer nodig is, in tegenstelling
tot typische versterkingsleersystemen.
Op deze manier levert deze dissertatie een belangrijke bijdrage aan het
algoritmische aspect van SNN’s en STDP-leertechnieken, wat bijdraagt aan
een bredere toepassing van neuromorfisch computergebruik voor geavanceerde
AI-toepassingen.