Samen de structurele representatie in beeld en taal verkennen

Het doel van dit doctoraat is om de structuur in zowel afbeeldingen/video's als natuurlijke talen te onderzoeken, met name in zwak-gesuperviseerde of niet-gesuperviseerde settings. Grafe-structuren in afbeeldingen spelen een cruciale rol bij het begrijpen van visuele scènes, met toepassingen in zoekmachines en beeldarchivering. Anderzijds bevordert het induceren van een boom-grammatica voor natuurlijke taal het taalbegrip, met toepassingen in sentiment-analyse en dialoogsystemen. Uit recent onderzoek is gebleken dat visuele informatie zorgt voor extra regularisatie bij de inductie van taalgrammatica, wat aantoont dat de twee modaliteiten gemeenschappelijke structuren delen. Gemotiveerd door deze observatie, zal mijn doctoraat zich richten op het gezamenlijk ontleden van de structuren in zowel beeld als taal en het zoeken van correspondenties over de modaliteiten heen, in zwak-gesuperviseerde of niet-gesuperviseerde settings. Op die manier willen we een gedeelde structuur voor beide modaliteiten verkrijgen, die toegepast kan worden in allerlei gerelateerde taken rond beeld en taal.