Microsoft Research Asia heeft zijn VASA-1 AI-model voorgesteld. Daarmee kan je een geanimeerde video maken van een persoon, op basis van een enkele foto en een stuk audio.
Het model wordt voorgesteld als een manier om realistische avatars te maken, denk daarbij bijvoorbeeld aan videoboodschappen. ‘Het opent de deur voor real-time afspraken met levensechte avatars die menselijke gespreksgedragingen emuleren’, aldus het bijhorende onderzoeksrapport. Hetzelfde model zou natuurlijk ook gebruikt kunnen worden om zowat eender wie te laten zeggen wat je wil.
Het VASA framework gebruikt machine learning om een statisch beeld te analyseren en daar vervolgens realistische videobeelden van te maken. Het AI-model kloont geen stemmen, maar animeert op basis van bestaande audio input. In een mogelijk scenario zou je dus een audiobericht kunnen inspreken, en dat vervolgens realistisch laten animeren voor een avatar. Het AI-model voegt realistische hoofdbewegingen, tics en andere gedragingen toe.
Deepfakes
Op zich is het maken van deepfakes niet nieuw. De meeste bestaande technologieën baseren zich echter op meerdere foto’s of langere videobestanden. Het gebruiken van een enkele foto om daar vervolgens emoties en andere gedragingen op te zetten, is wel vrij nieuw. Het VASA-1 model lijkt ook best goed te zijn in het synchroniseren van lippen en het tonen van (generische) tics en hoofdbewegingen. Voor zijn training baseerde Microsoft Research zich op de VoxCeleb2 dataset, een reeks van zo’n miljoen videoclips van meer dan zesduizend celebrities, die uit verschillende YouTube video’s werden gepuurd.
De code van het model wordt voorlopig niet vrijgegeven, deels omdat VASA-1 zou kunnen worden misbruikt. Zeker in combinatie met een gekloonde stem, zouden onverlaten ze kunnen gebruiken om videovergaderingen te vervalsen en zo bijvoorbeeld geld te proberen ontfutselen. Ook het gevaar op desinformatie is nooit ver af.
Fout opgemerkt of meer nieuws? Meld het hier