< Terug naar vorige pagina

Project

Multimodale Leermethoden voor Gezond Verstand Verrijkend Leren

Machinaal begrijpen van natuurlijke taal is een moeilijke taak in het huidige onderzoek in natural language processing. Een veelvoorkomend struikelblok op dit gebied is hoe we wereldkennis en gezond verstand in onze modellen kunnen verwerken, aangezien deze vaak impliciet aanwezig zijn in natuurlijke taal. Dit doctoraatsonderzoek onderzoekt nieuwe technieken om gezond verstand te integreren in het leren van representaties voor natuurlijke taal door informatie uit verschillende modaliteiten zoals afbeeldingen en video te integreren in het leerproces. Dit komt overeen met hoe mensen kennis verwerven en taal begrijpen. Wij begrijpen taal vaak door te kunnen visualiseren wat er in natuurlijke taal wordt bedoeld. De belangrijkste focus van dit doctoraatsonderzoek ligt op het leren van cross-modale representaties van natuurlijke taal en visuele data. Dit onderzoek zal generatieve methoden onderzoeken die gebruik maken van kunstmatige neurale netwerken en attentie mechanismen om dit doel te bereiken. De aangeleerde kennis van gezond verstand in de verkregen representaties kan het machinebegrip van natuurlijke taal verbeteren. Dit wordt geëvalueerd in taken zoals het genereren van 3D-modellen op basis van taal. Deze resultaten kunnen bijdragen aan toepassingen zoals het automatisch genereren van video op basis van geschreven scripts, maar het onderzoek zelf is fundamenteel onderzoek. Aan de andere kant kunnen we door de aangeleerde, met gezond verstand verrijkte representaties van visuele gegevens terug te vertalen naar natuurlijke taal, de aangeleerde kennis van gezond verstand in natuurlijke taal verklaren en beschrijven. Dit zal bijdragen aan de interpreteerbaarheid van de aangeleerde neurale representaties. Deze doctoraatsstudie maakt deel uit van het DEEPTEMPL-project (FWO-SNSF G078618N) en het CALCULUS-project (Horizon 2020, ERC-2017-ADG, 788506).

Datum:1 sep 2021 →  Heden
Trefwoorden:Natural Language Processing, Computer Visions, Multimodal, Artificial Neural Networks, Generative Models, Common Sense
Disciplines:Datavisualisatie en beeldvorming, Modellering en simulatie, Natuurlijke taalverwerking, Kennisrepresentatie en redenering
Project type:PhD project