Interpreteerbare en Verklaarbare Deep Learning voor Video Verwerking (FWOSB97)

Diepe neurale netwerken halen indrukwekkende resultaten in signaalverwerking. Echter worden deze netwerken vaak ontworpen als een black box. Hierdoor is er een groeiende vraag naar zowel interpreteerbare modellen als methodes die modelkeuzes verklaren. Dit was succesvol voor tekst- en beeldverwerking maar videoapplicaties zijn gering. Met dit project presenteren we een framework voor zowel interpreteerbare als verklaarbare deep learning voor video’s. Eerst bestuderen we de laag-complexe data structuur van video’s in het spatiale en temporele domein om video voorstellingen te leren. Onze aanpak is gebaseerd op het ‘deep unfolding’ framework dat door ontwerp interpreteerbaarheid brengt. Bestudeerde applicaties omvatten inverse problemen, voorgrond isolatie en frame voorspelling. Ten tweede presenteren we een nieuw recurrent model, gebaseerd op state-space model assumpties en deep Kalman filtering, zodat interpreteerbare video dynamiek en semantiek worden geleerd. Applicaties zijn inverse problemen en object tracking. Ten derde stellen we betrouwbare post-hoc methodes om model beslissingen te verklaren voor. Input saliency technieken zullen worden gebruikt om ontwarde visuele en temporele verklaringen te genereren. We gebruiken de door de netwerken verkregen structuren en dynamieken om interpreteerbaarheid en verklaarbaarheid te verbinden, via de interpreteerbare latent space. We verwachten voor de voorgestelde applicaties state-of-the-art resultaten te behalen.

Trefwoorden:Verklaarbaar, AI interpreteerbaar, AI Diep leren, Videoverwerking

Disciplines:Signaalverwerking, Computer vision, Beeld- en taalverwerking, Patroonherkenning en neurale netwerken, Multimediaverwerking niet elders geclassificeerd