Get the picture? Perceptuele organisatie aan de basis van de onthoudbaarheid van natuurlijke beelden

Hoeveel afbeeldingen heb je vandaag gezien (bv. op je smartphone, op een reclamebord, in een magazine)? Wellicht een heel aantal. Welke daarvan zou je nog herkennen als je ze nu opnieuw zag? Dat hangt af van talrijke factoren, waaronder de afbeelding zelf. Afbeeldingen verschillen namelijk consistent in hun herinnerbaarheid of memorabiliteit. In dit doctoraatsproject beoogden
we bij te dragen, soms indirect, aan ons inzicht in wat een afbeelding memorabel maakt. We focusten daarbij op de visuele eigenschappen van afbeeldingen, eerder dan enkel op de inhoud die erin wordt afgebeeld.

In Chapter 2 toonden we aan dat de memorabiliteitsranking van een afbeelding niet afhangt van de manier waarop de memorabiliteit bepaald wordt: a.d.h.v. een online geheugenspel, versus een traditionelere langetermijngeheugentaak. Evenmin hangt het af van de tijd tussen het de eerste aanbieding van een afbeelding en de geheugentest. Deze bevindingen zetten het concept van memorabiliteit als eigenschap van een afbeelding kracht bij, net als de resultaten beschreven in Chapter 3, die daarenboven tot haar ecologische validiteit spreken. Daaruit bleek dat wanneer mensen geen geheugentest anticiperen, er nog steeds een grote onderlinge overeenkomst is wat betreft de afbeeldingen die ze onthouden en degene die ze vergeten. Meer specifiek toonden we onze deelnemers een serie van afbeeldingen onder het mom van een studie over oogbewegingen en verrasten we ze later met een onaangekondigde geheugentest. De aldus bekomen memorabiliteitsrangorde vertoonde verder veel overlap met wat men bekomt wanneer mensen wel intentioneel de afbeeldingen memoriseren. In Chapter 4 was onze hypothese dat afbeeldingen met een goede organisatie (d.w.z. de verschillende onderdelen vormen een coherent geheel) vaak ook meer memorabel zijn. Omdat deze organisatiekwaliteit moeilijk te meten is, focusten we op twee van haar kenmerken: snelle, efficiënte verwerking en robuustheid tegen een verkleintransformatie. Het eerste kenmerk werd geoperationaliseerd a.d.h.v. een ultrasnelle categorisatietaak, waarin we heel kort een afbeelding toonden, gevolgd door een masker en dan een label. Deelnemers gaven aan of het label paste bij de afbeelding. Voor het tweede kenmerk gebruikten we een miniatuurzoektaak, waarin deelnemers de miniatuurversie van een normale afbeelding moesten terugvinden tussen miniatuurafleiders. Na controle voor distinctiviteit vonden we dat memorabele afbeeldingen significant meer waarschijnlijk juist gecategoriseerd werden en sneller gevonden werden in de zoektaak. Deze resultaten vormen een eerste aanwijzing dat perceptuele “goedheid” bijdraagt tot de memorabiliteit van een afbeelding. Chapter 5 presenteert MemCat: een grote, nieuwe dataset die moet helpen ontdekken wat een afbeelding memorabel maakt naast haar semantische categorie. Zorgvuldig selecteerden we 10,000 afbeeldingen behorende tot vijf bredere, memorabiliteitsrelevante categorieën (dier, eten, landschap, sport en voertuig), verder verdeeld in subcategorieën. M.b.v. een online geheugenspel kreeg elke afbeelding een memorabiliteitsscore, gebaseerd op de responsen van gemiddeld 99 deelnemers. Zoals verwacht, kenden de afbeeldingen nog steeds consistente verschillen in memorabiliteit, zelfs binnen semantische categorieën. Ten slotte ontwikkelden we GANalyze (Chapter 6): een framework om cognitieve beeldeigenschappen, zoals memorabiliteit, te onderzoeken, gebaseerd op generatieve adversaire netwerken (GANs). GANs laten toe om een spectrum van natuurlijk ogende afbeeldingen te genereren met gedetailleerde verschillen in hun visuele kenmerken. Door dit spectrum te verkennen in een richting die de memorabiliteit verhoogt, visualiseren we wat het betekent als een GAN-afbeelding meer memorabel wordt. De resulterende “visuele definities” brengen kenmerken (zoals objectgrootte) aan het licht die mogelijk bijdragen tot memorabiliteit. Tot slot toonden we ook hoe GANalyze kan gebruikt worden om zulke kenmerken te manipuleren in GAN-afbeeldingen en zo hun effect op memorabiliteit te toetsen.

De bevindingen gerapporteerd in dit proefschrift vormen een belangrijke stap naar een beter inzicht in de memorabiliteit van afbeeldingen.