Meer dan 150 wetenschappers hebben een open brief ondertekend waarin ze hun zorgen uiten over een nieuw voorstel van de Europese Commissie. Dat zou techplatformen vragen om automatisch alle toestellen van gebruikers te scannen op onder meer kinderporno.
Aanleiding van de brief is een voorstel van de Europese Commissie om kinderporno of ‘Child Sexual Abuse Material’ (CSAM) tegen te gaan. De voorgestelde verordening bevat onder meer de eis dat diensten als WhatsApp hun berichten scannen op zoek naar verboden materiaal. Ook voorzien de nieuwe regels een kunstmatige intelligentie die automatisch nieuwe CSAM en zogeheten ‘groominggedrag’ moet detecteren.
De regels zijn niet haalbaar en hebben een belangrijke negatieve impact op cyberveiligheid, schrijven de wetenschappers, waaronder de Belgische professor Bart Preneel. De wet gaat uit van scanningtechnologie die vandaag nog niet bestaat en die onveilig is vanuit een cybersecurity- en privacystandpunt, zo meldt de brief.
Hashes en machine learning
Zo vraagt de verordening dat techbedrijven hun content gaan scannen op beelden van kindermisbruik. De wetenschappers merken op dat de belangrijkste manier om kinderporno te detecteren momenteel is om al in beslag genomen beelden om te zetten in hashes en die te gaan vergelijken met alle beelden op het netwerk. Dat systeem valt te omzeilen, zo merkt de brief op, door kleine aanpassingen aan de beelden te maken.
De verordening eist echter ook dat er wordt gescand op nieuwe beelden en gezocht voorbeelden van grooming, waarbij een volwassene een relatie opbouwt met minderjarige in een poging hen te manipuleren of uit te buiten. Dan wordt er vooral gekeken naar machine learning: een algoritme dat bepaalde patronen kan leren herkennen. Deze algoritmes kunnen erg precies werken, zo schrijven de wetenschappers, maar gaan wel altijd fouten maken en ‘false positives’ geven. Gerekend op het berichtenvolume van bepaalde app providers kunnen dat tot duizenden of miljoenen valse positieven per dag zijn. En al die beelden moeten worden gerapporteerd, waardoor ook een hele resem legale en soms erg intieme beelden zullen worden doorgegeven, met gevolgen voor de privacy van gebruikers.
End-to-end encryptie
Daarnaast maken de briefschrijvers zich zorgen over de gevolgen van de voorstellen voor end-to-end encryptie. Dat systeem, dat onder meer in WhatsApp zit, versleutelt berichten vanop het toestel van de verzender, en ontsleutelt ze pas bij de ontvanger, zodat niemand op het netwerk ze kan lezen. Het systeem wordt steeds vaker gebruikt om privacy te beschermen over het netwerk. Om dat te omzeilen wil de verordening van de Europese Commissie ‘client-side scanning’ (CSS) inzetten. Dat kom in principe neer op een soort software die alles wat je doet op je telefoon meevolgt.
De briefschrijvers vrezen hier onder meer voor misbruik door criminelen, maar ook voor ‘scope creep’, waarbij de CSS door beleidmakers niet alleen wordt gebruikt om te zoeken naar CSAM, maar ook naar terroristen en in een later stadium andere vormen van criminaliteit, tot dissidente meningen toe.
Controversieel
In het algemeen vrezen de wetenschappers in de brief dat de maatregelen tot een stevige knauw in privacy en cyberveiligheid voor EU-burgers zelf zullen leiden, met weinig efficiënte gevolgen voor de makers van kinderporno. De kans is namelijk vrij groot dat zij elders zullen gaan, zo merkt de brief op.
CSAM is een van de ernstiger online misdaden, die bovendien bijzonder veel nuance vergt om te herkennen. Pogingen om ze tegen te gaan lopen dan ook steevast samen met erg verregaande wetgeving. De huidige verordening van de Europese Commissie is dan ook al controversieel sinds het begin, omdat ze volgens critici de weg openzet voor massasurveillance. In mei kwam al boven water dat de verordening mogelijk onwettig is omdat het specifiek het recht op privacy overtreedt door in essentie te eisen dat alle content gescand wordt, zonder voorafgaand vermoeden van schuld.
Fout opgemerkt of meer nieuws? Meld het hier