Een camera waarmee je kunt praten

Met de ontwikkeling van de computerwetenschappelijke gemeenschap krijgen intelligente agenten meer connotaties. Mensen zijn niet langer puur tevreden met een machine die alleen de invoerinstructie kan begrijpen. We verwachten dat de machine door zijn 'ogen' kan begrijpen wat hij ziet en als een natuurlijk persoon met ons kan communiceren. In dit project willen we dergelijke intelligente agenten bestuderen door een nieuw schema te ontwikkelen voor het begrijpen van beeld- / videoscènes. De agent observeert de scène, objecten en mensen daarin door een camera. Vervolgens verwerkt het de ingangssignalen en construeert het zijn interne representaties. De agent houdt de belangrijkste gebeurtenissen in de loop van de tijd bij. Een gebruiker kan via een dialoogsysteem vragen stellen over de huidige en eerdere video-inhoud. Dit onderwerp behoort tot het gebied van ‘multimodaal leren van representaties’.