Bollywoodster of deepfake? AI overspoelt sociale media in Azië

In Azië worden steeds meer vrouwen en holebi’s op de korrel genomen in deepfake-video’s, realistisch ogende vervalsingen gemaakt met AI. Het zijn de ‘kanaries in de koolmijn van de snel oprukkende technologie’, zeggen experts. ‘Uiteindelijk zal niemand eraan ontsnappen.’

Zo was er een Bollywoodster in een strak latexpakje, een Bengalese politica in bikini en een jonge Pakistaanse vrouw die met een vreemde man gefotografeerd werd. Geen van de beelden was echt, maar ze waren alle drie geloofwaardig genoeg om lust en woede op te wekken. Naar verluidt lagen zulke beelden zelfs aan de basis van een moord.

De generatieve kunstmatige intelligentie maakt op korte tijd grote sprongen voorwaarts, maar bovenstaande voorbeelden belichten de risico’s van de snel oprukkende technologie. De twee video’s en de foto waren deepfakes. In het levendige Aziatische sociaal medialandschap heeft de technologie, die levensechte kopieën kan maken, het vermogen om echte levens kapot te maken.

‘Identiteitsdiefstal’

‘We moeten dit met spoed aanpakken voordat meer mensen worden getroffen door dergelijke identiteitsdiefstal’, zei de Indiase actrice Rashmika Mandanna in een bericht op X dat al meer dan 6,2 miljoen keer is bekeken. Ze is niet de enige Bollywoodster die wordt gekloond en geviseerd op sociale media. Andere topacteurs als Katrina Kaif, Alia Bhatt en Deepika Padukone zijn ook het doelwit van deepfakes.

Digitaal gemanipuleerde foto’s en video’s van vrouwen waren ooit makkelijk als dusdanig te herkennen. Meestal trof men ze ook uitsluitend aan in de donkere krochten van het internet. Maar de explosie van generatieve AI-tools zoals Midjourney, Stable Diffusion en DALL-E heeft het makkelijk en goedkoop gemaakt om overtuigende deepfakes te maken en te verspreiden. Meer dan 90 procent van de online deepfakevideo’s zijn pornografisch, volgens technische experts, en de meeste zijn van vrouwen.

Er zijn geen aparte cijfers voor Zuid-Aziatische landen, maar deskundigen op het gebied van digitale rechten zeggen dat het vooral een probleem is in conservatieve samenlevingen. Daar worden vrouwen al langer online lastiggevallen, en blijft misbruik grotendeels onbestraft.

Sociale mediabedrijven hinken achterop

YouTube en Meta (eigenaar van Facebook, Instagram en WhatsApp) hebben hun beleid aangepast en vereisen dat makers en adverteerders alle AI-gegenereerde inhoud labelen. Maar te vaak wordt vooral van de slachtoffers – meestal meisjes en vrouwen – verwacht dat ze actie ondernemen, zegt Rumman Chowdhury. In een vorig leven deed hij aan schadebeperking bij het voormalige Twitter, momenteel is hij AI-expert aan de Universiteit van Harvard.

‘Generatieve AI zal online intimidatie en kwaadaardige content helaas nog verder versterken, en vrouwen zijn de kanaries in de kolenmijn. Zij zijn degenen die het eerst worden getroffen, degenen op wie de technologieën worden getest’, aldus Chowdhury op een recente briefing van de Verenigde Naties. ‘Het is een waarschuwing voor de rest van de wereld om op te letten, want uiteindelijk zal niemand eraan ontsnappen.’

Deepfakes en de wet

Terwijl deepfakes wereldwijd steeds vaker voorkomen, groeit de bezorgdheid – en het aantal gevallen – dat ze worden gebruikt voor intimidatie, oplichting en sextortion (chantage met naaktbeelden). Doeltreffende regelgeving volgt slechts langzaam. Een Amerikaans presidentieel besluit gaat in op de gevaren van deepfakes, en de AI-wet van de Europese Unie vereist meer transparantie van ontwikkelaars.

Vorige maand sloten achttien landen waaronder de VS en Groot-Brittannië een niet-bindende overeenkomst om het grote publiek te beschermen tegen misbruik met AI, waaronder deepfakes. In Azië eist China van ontwikkelaars dat ze watermerken gebruiken en illegale deepfakes rapporteren. In Zuid-Korea is het sinds kort illegaal om deepfakes te verspreiden die het ‘openbaar belang’ schaden, met mogelijke gevangenisstraf of boetes tot gevolg.

India is volop nieuwe regels aan het opstellen en neemt daarbij een strenge houding aan. De Indiase IT-minister Ashwini Vaishnaw heeft gezegd dat sociale mediabedrijven deepfakes binnen 36 uur na ontvangst van een melding moeten verwijderen. Zo niet, dan lopen ze het risico dat ze hun gerechtelijke status kwijtraken die hen beschermt tegen aansprakelijkheid voor inhoud van derden. Maar de focus moet liggen op ‘het beperken en voorkomen van incidenten in plaats van achteraf te reageren’, aldus Malavika Rajkumar van de ngo IT for Change.

Vrouwen als doelwit

Deepfakes van vrouwen en andere kwetsbare groepen zoals lgbtq+-mensen kunnen bijzonder gevaarlijk zijn in diepreligieuze of conservatieve samenlevingen, zeggen mensenrechtenactivisten. Het gaat namelijk in een meerderheid van de gevallen over seksuele beelden en video’s. In Bangladesh zijn in de aanloop naar de verkiezingen op 7 januari deepfake-video’s opgedoken van vrouwelijke oppositiepolitici. Rumin Farhana was te zien in bikini en Nipun Roy in een zwembad.

En vorige maand werd een 18-jarige vrouw naar verluidt doodgeschoten door haar vader en oom in een eremoord in de afgelegen Pakistaanse provincie Kohistan, nadat een foto van haar met een man viraal was gegaan. Volgens de politie was de foto vervalst. Shahzadi Rai, een transgender lid van de gemeenteraad van de Pakistaanse stad Karachi, is dan weer het doelwit van beledigende trolling met deepfake-foto’s. Volgens haar kunnen zulke afbeeldingen online gendergerelateerd geweld verergeren en haar carrière ‘ernstig in gevaar brengen’.

Zelfs als het publiek in staat is om onderscheid te maken tussen een echte foto en een deepfake, wordt de integriteit van de vrouw in twijfel getrokken en kan haar geloofwaardigheid worden aangetast, zegt Nighat Dad, oprichter van de Pakistaanse ngo Digital Rights Foundation. ‘De bedreiging voor de privacy en veiligheid van vrouwen is zeer reëel’, zegt ze, vooral nu desinformatiecampagnes steeds vaker voorkomen in de aanloop naar de verkiezingen die op 8 februari gepland zijn. ‘Deepfakes creëren een onveilige online omgeving voor vrouwen, zelfs voor niet-publieke figuren, en kunnen vrouwen ontmoedigen om deel te nemen aan de politiek of om online te gaan’, zegt ze.

Dit artikel werd oorspronkelijk gepubliceerd door Thomson Reuters News Foundation.