< Terug naar vorige pagina

Project

Computer visie technieken voor de automatische analyse van mobiele eye-tracking data

In de voorbije veertig jaar heeft eye-tracking zichzelf ontwikkeld als een krachtige methode om menselijk kijkgedrag te analyseren. Traditioneel werden eye-tracking experimenten echter enkel toegepast in beperkte, sterk gecontroleerde omstandigheden. Tegenwoordig wordt er meer aandacht besteed aan het uitbreiden van het applicatiedomein van eye-trackers om meer realistische experimenten toe te laten. Zo hebben bijvoorbeeld onderzoek naar kijk- en koopgedrag van klanten of menselijke interactie zeker baat bij de mogelijkheden van dergelijke realistische experimenten.

In 1999 werd het concept van mobiele eye-tracking geïntroduceerd. Hierbij wordt gebruik gemaakt van een geavanceerde bril waarop meerdere camera’s zijn bevestigd. Eén camera is voorwaarts gericht, en filmt dus het gezichtsveld van de persoon die de bril draagt. Een tweede camera wordt naar het oog gericht en filmt de oogbewegingen. Door beide beelden te combineren weet men naar waar de desbetreffende persoon kijkt.

Deze mobiele eye-trackers worden steeds vaker toegepast in zeer diverse domeinen. Hun opmars wordt enkel tegengehouden door het feit dat de toestellen zeer veel en complexe data genereren die moet verwerkt worden. Het verwerken van dergelijke data kan men bijvoorbeeld definiëren als ‘bepalen hoe vaak en hoe lang iemand naar een relevant object keek’. Afhankelijk van het doel van het specifieke experiment kunnen de relevante objecten heel divers zijn. In het geval van een marktonderzoek bijvoorbeeld kan het gaan om specifieke producten in een winkelrek. Bij experimenten rond menselijke interactie daarentegen kunnen dan weer de handen of bijvoorbeeld het gezicht van een andere persoon bekeken worden.

In de voorbije tien jaar heeft men heel wat pogingen ondernomen om de analyse van mobiele eye-tracking data te vergemakkelijken. Jammer genoeg leggen bestaande systemen veel eisen op aan de experimenten. Marker-gebaseerde analyse maakt het bijvoorbeeld mogelijk de analyse (deels) te automatiseren, maar deze techniek beperkt de flexibiliteit van mobiele eye-trackers sterk. Andere oplossingen zoals de recente automatische semantische analyse, zijn slechts toepasbaar voor de analyse van specifieke opnames. Hierdoor zijn veel onderzoekers die werken met data van een mobiele eye-tracker genoodzaakt om de analyse manueel uit te voeren, wat een frustrerende en tijdrovende taak is. In dit doctoraat presenteren wij daarom een alternatieve, computervisie-gebaseerde methodologie om dergelijke opnames automatisch te analyseren.

Het doel van dit doctoraat is dus om computervisietechnieken te gebruiken voor de analyse van mobiele eye-tracker opnames. Door gebruik te maken van dergelijke technieken zijn we in staat om automatisch relevante objecten te detecteren in de beelden die werden opgenomen door de mobiele eye-tracker. Hierdoor zijn we onder andere in staat te bepalen of ze al dan niet werden bekeken gedurende de opname, alsook het vaak en hoe lang men keek naar de betreffende objecten.

Het ontwikkelen van een dergelijk systeem is niet triviaal, en omvat verschillende uitdagingen. We mikken namelijk op een automatisch analyse-systeem dat zo accuraat mogelijk werkt. Ook is het belangrijk dat de automatische analyse sneller verloopt dan een volledig manuele analyse. Verder verwerken we opnames die worden gemaakt in ongecontroleerde omstandigheden en hebben we -- omwille van de mobiele eye-tracker -- vaak te maken met onscherpe en onderbelichte afbeeldingen, wat de analyse significant bemoeilijkt. Bovendien trachten we het kijkgedrag naar bewegende objecten te analyseren, bijvoorbeeld de gebaren van een andere persoon. Het automatiseren van dergelijke analyses kan zonder twijfel bijdragen aan de stijgende populariteit van mobiele eye-tracking in verscheidene toepassingen.

Doorheen dit doctoraat werden vier grote pijlers uitgewerkt. We hebben systemen ontwikkeld om automatisch het kijkgedrag naar objecten, mensen, handen en gebaren te analyseren. Bovendien hebben we een methodologie ontwikkeld waarbij automatische analyse en manuele input optimaal met elkaar werden geïntegreerd om een maximale nauwkeurigheid te behalen, zelfs in extreme omstandigheden.

Om het potentieel van ons systeem ten volle te valideren hebben we verschillende, zeer diverse opnames gemaakt met een mobiele eye-tracker, in uiteenlopende toepassingsgebieden. Onze diepgaande analyses hebben de praktische relevantie en toepasbaarheid van ons systeem bevestigd. 

Datum:2 jul 2012 →  18 nov 2016
Trefwoorden:Eye-tracking, Object recognition, Person detection, Hand detection, Gesture detection, semi-automatic analysis
Disciplines:Nanotechnologie, Ontwerptheorieën en -methoden
Project type:PhD project