De Amerikaanse startup ElevenLabs is bezig aan een universele AI-dubbingmachine. Het system vertaalt dialogen van acteurs met hun eigen stem. Momenteel werkt het in 20 talen, waaronder het Nederlands.
Binnenkort hoor je in de bioscoop misschien Samuel L. Jackson of Scarlett Johansson in het Nederlands in de cinema, steeds met hun eigen stem. Laat ons hopen van niet, maar Frans- of Duitstaligen bijvoorbeeld zijn het altijd al gewend geweest dat Amerikaanse acteurs worden gedubd in hun eigen taal. En dan kan een nieuw AI Dubbing-systeem van de Amerikaanse startup ElevenLabs een ruim verschil maken.
Emotie en intonatie
Met AI Dubbing kunnen filmstudio’s hun producties snel en makkelijk localiseren naar andere talen (in het Nederlands gebeurt dat bijvoorbeeld ook voor kinderproducties) met een gekloonde stem van de acteur zelf. Het systeem werkt momenteel in 20 talen, waaronder het Nederlands, Hindi, Portugees, Spaans, Japans, Oekraïens, Pools and Arabisch.
Volgens ElevenLabs is het systeem in staat om gesproken inhoud binnen luttele minuten naar een andere taal te brengen, inclusief de emotie en intonatie van de originele opname. Maar het kan ook nieuwe gesproken dialogen genereren in een gekozen doeltaal, op basis van de eerdere opnames van de acteur in kwestie.
‘Het zal het publiek helpen genieten van alle inhoud die het wilt, ongeacht de taal die men spreekt,’ zei ElevenLabs CEO Mati Staniszewski. ‘En het betekent dat contentmakers gemakkelijk en authentiek toegang hebben tot een veel groter publiek over de hele wereld.’
Voice cloning
De technologie waarop het systeem is gebaseerd heet Voice Cloning, en is al eventjes een opmars aan het maken. De techniek staat al zo ver dat een stemsample van een paar minuten volstaat om haast identieke nieuwe gesproken tekst te creëren in diezelfde stem waarin het origineel was opgenomen. Dat kan zelfs worden gebruikt om de doden weer te doen spreken: vorig jaar kloonde Resemble AI, een concurrent van ElevenLabs, al de stem van wijlen kunstenaar Andy Warhol voor de Netflix-documentaire The Andy Warhol Diaries.
Stem-deepfakes
Voice cloning staat al zo ver dat de eerste misbruiken van de technologie al werden gemeld. ElevenLabs heeft een gratis probeermodule op zijn website, die eenieders stem kloont op basis van een audiosample van twee minuten. Maar in januari van dit jaar moest het bedrijf optreden toen leden van onlinecommunity 4Chan, de endeldarm van het internet, de stemmen van actrice Emma Watson en presentator Joe Rogan hadden gekloond via de ElevenLabs-site, en hen racistische, transfobe of haatdragende dingen hadden doen zeggen.
