Gecombineerde audio- en videoverwerking voor “Augmented Listening” dankzij Machinaal leren

De extractie van een gewenst audiosignaal uit een vervormde opname is een onderdeel van "Augmented Listening". Net als bij menselijk gehoor, waarbij visuele informatie de herkenning bevorderdt, willen wij die extractie verbeteren door het combineren van audio met video. Een neventoepassing is de detectie van inconsistentie tussen audio en video, die kan duiden op deepfakes of gecompromitteerde data.