< Terug naar vorige pagina

Project

Achterhalen van compressiegeschiedenis door decodering van videobereik toegepast op detectie van nepvideo

Stel je een video voor van Zelenskyy waarin hij valse verklaringen aflegt. Is het echt de president, of is het een deepfake? Om manipulatie te detecteren, maken we gebruik van “vingerafdrukken van de compressiegeschiedenis”. Dit concept gaat ervan uit dat nepregio's doorgaans een verschillend aantal compressiestappen ondergaan, bv. als een nepgezicht aan een video is toegevoegd, dan worden echte regio's twee keer gecomprimeerd, terwijl nepregio's slechts één keer. Manipulaties worden dus onthuld door inconsistenties in de compressiegeschiedenis te detecteren. Vooral de laatste videocompressiestap heeft het potentieel om meer informatie over de oorsprong van de video te onthullen dan wat in de literatuur wordt aangehaald. In dit project stellen we een videodecoder voor die niet alleen de laatste compressiestap decodeert, maar ook het waardebereik waarin de originele video zich bevond. We willen twee belangrijkste beperkingen in de literatuur overwinnen: gebrek aan generalisatie en robuustheid. Ten eerste is het voorstel niet beperkt tot een enkel type vervalsing, maar generaliseert het naar een brede waaier aan vervalsingen. Ten tweede wordt een betere robuustheid tegen recompressie-aanvallen bereikt door gebruik te maken van een verscheidenheid aan strategieën, namelijk de nieuwe videodecoder, deep learning en multi-task learning. Ons onderzoek toonde grote robuustheid aan in compressie-artefacten, wat wijst op een groot potentieel voor de voorgestelde aanpak.

Datum:1 jan 2023 →  Heden
Trefwoorden:Detectie van videovervalsing, video compressie
Disciplines:Video communicatie, Analoge en digitale signaalverwerking, Patroonherkenning en neurale netwerken, Beeld- en taalverwerking