Vergis je niet: Technologie is nooit neutraal

Het debat rond discriminatie slaat ook over op het gebruik van gezichtsherkenning door ordediensten. Volgens juriste en filosofe Nathalie Smuha is die technologie niet neutraal, maar hoeven we ook niet te kiezen tussen veiligheid of privacy.

De afgelopen weken hebben we een van ‘s mensen mooiste capaciteiten in actie mogen zien; iets zeer bedroevend omtoveren tot iets zeer krachtig. De dood van George Floyd wakkerde niet enkel het debat rond discriminatie aan in de VS, maar zorgde ervoor dat – latente of minder latente – discriminatie over de hele wereld onder de loep kwam. Het mag dan wel al 2020 zijn, van bepaalde vooroordelen raakt men blijkbaar maar moeilijk af.

Een van de middelen die steeds vaker worden inzet om aan menselijke beslissingen en vooroordelen voorbij te gaan, betreft Artificiële Intelligentie (AI). Deze slimme systemen zouden in staat zijn om tot objectievere resultaten te leiden, inclusief in gevoelige domeinen zoals rekrutering, de huurmarkt of het politiekantoor, gezien ze vrij zouden zijn van onze typisch menselijke vooroordelen. AI-systemen kunnen immers geen persoonlijk voordeel halen door mensen van een bepaalde afkomst of geslacht te discrimineren, gezien ze enkel gebaseerd zijn op objectieve data.

Dit beeld is echter verkeerd. Data is niet objectief, en technologie is nooit neutraal. De manier waarop data worden verzameld en gepresenteerd, evenals de manier waarop machines worden ontwikkeld en gebruikt, weerspiegelt wel degelijk bepaalde waarden – die ook discriminerend kunnen zijn. Dit groeiende besef leidde ertoe dat drie grote spelers in gezichtsherkenningssoftware – IBM, Amazon en Microsoft – vorige week inperkingen aankondigden op het gebruik van hun technologie door de politie.

Hoe kan gezichtsherkenningssoftware tot discriminatie leiden?

Gezichtsherkenningssoftware is de afgelopen jaren aanzienlijk verbeterd, vooral dankzij successen geboekt met machine learning, een specifieke AI-toepassing waarbij het algoritme grote hoeveelheden data gevoed krijgt en op basis daarvan zelf een mathematisch model bouwt. Dat model zal het dan gebruiken om voorspellingen te doen of beslissingen te nemen wanneer het met nieuwe data wordt geconfronteerd.

Om gezichtsherkenningssoftware te ontwikkelen worden datasets gebruikt die voorbeelden van gezichten bevatten. Het probleem is echter dat de meeste van deze datasets (vaak samengesteld uit materiaal dat in de media of online gevonden wordt) vooral foto’s van witte mensen bevat, en dan vooral witte mannen. Hierdoor bouwt het algoritme een model op dat slechts gebaseerd is op een sub-gedeelte van de samenleving, en leert het gezichten van vrouwen of mensen met een donkerdere huidskleur minder goed herkennen.

Dat bepaalde groepen hierdoor meer problemen ondervinden om vrienden te taggen op sociale media lijkt misschien een “klein onrecht”, maar dit is slechts het tipje van de ijsberg. Gezichtsherkenningssoftware wordt immers ingezet voor tal van toepassingen, niet enkel in de privé maar ook in de publieke sector, zoals bijvoorbeeld het opsporen van criminelen door de politie. Als deze technologie sommige personen systematisch verkeerd inschat, kan dit een onrechtvaardige situatie creëren.

Bovendien zijn zij die meestal door AI-systemen worden benadeeld vaak ook net degenen die sowieso al kwetsbaarder zijn, waardoor bestaande discriminatie wordt bestendigd.

Ook andere grondrechten spelen mee

Niet enkel het recht op non-discriminatie, maar ook andere grondrechten kunnen in het gedrang komen. Gezichtsherkenningssoftware is erg privacy-invasief, gezien het de identificatie van personen aanzienlijk vergemakkelijkt en het risico op (massa-)surveillance gevoelig kan uitbreiden, zowel in privé-omgevingen (denk maar aan het werk) als in de publieke ruimte (bijvoorbeeld op straat).

Identificatie kan ook gebeuren zonder toestemming, of zelfs zonder dat men zich ervan bewust is. Ik weet bijvoorbeeld goed wanneer ik mijn vingerafdruk afgeef bij de douane, maar ik weet niet altijd of een camera aanwezig is en al dan niet op gezichtsherkenningssoftware aangesloten is.

Ook wanneer ik via een uitdrukkelijk paneel op de hoogte wordt gesteld van het feit dat ik gefilmd word en mijn gezicht geïdentificeerd wordt (in Europa in principe de norm dankzij de GDPR), kunnen er nog steeds spanningen optreden. Zo kan mijn keuze om rechtsomkeer te maken bij het zien van zo’n paneel mij op zich al verdacht doen lijken, en zo onrechtstreeks mijn vrijheid beknotten.

In Europa creëerde de GDPR een algemeen kader dat aangeeft onder welke voorwaarden persoonsgegevens verwerkt mogen worden. Een soortgelijke regulering werd opgesteld voor de verwerking van zo’n gegevens in politie-context. Dit kader is echter op vele punten abstract, waardoor EU-lidstaten de regels soms op verschillende manieren interpreteren – vooral wat betreft de noodzakelijkheid en proportionaliteit van de technologie om het beoogde doel te bereiken en de inperking op grondrechten te rechtvaardigen.

België kan deze kans grijpen om een krachtig signaal te geven

Deze vragen zijn ook in ons land cruciaal. Zo kwam de Belgische veiligheidsdienst enkele maanden geleden in opspraak omdat het gebruik zou maken van de gezichtsherkenningssoftware van het controversiële Amerikaanse bedrijf Clearview AI. Men speelt ook nog steeds met het idee om zo’n software (opnieuw) te introduceren, bijvoorbeeld in de luchthaven, op voorwaarde dat er een wettelijke grondslag komt die dit mogelijk maakt.

De Europese Commissie bekijkt momenteel of er nieuwe regelgeving moet komen voor Artificiële Intelligentie en, zoja, hoe die eruit zou moeten zien. Toch hoeft België niet te wachten op Europa. Het heraangewakkerde discriminatiedebat kan de perfecte gelegenheid zijn voor België om een krachtig signaal te geven dat dit probleem serieus wordt genomen.

Zo zou België kunnen opteren voor een tijdelijk moratorium op bepaalde toepassingen van gezichtsherkenningssoftware, tot er een meer specifiek regelgevingskader wordt uitgewerkt om te verzekeren dat het gebruik ervan ethisch verloopt en in lijn met grondrechten.

Ook kan alvast een brede discussie worden gevoerd over de voorwaarden waaraan deze software moet voldoen wanneer het wordt aanbesteed en ingezet door de overheid of gebruikt in gevoelige privé-toepassingen – inclusief controles op de accuraatheid ervan voor verschillende bevolkingsgroepen.

‘En-en’ in plaats van ‘of-of’: aan ons de keuze

Technologie kan een oplossing bieden voor tal van problemen, maar als de ontwikkeling en het gebruik ervan onze fundamentele waarden niet reflecteert, zal het enkel een bron van verdere problemen zijn. Dit geldt niet enkel voor gezichtsherkenningssoftware, maar voor vrijwel alle technologische toepassingen.

De discussie wordt vaak ten onrechte gereduceerd tot een simplistische trade-off. Bij gezichtsherkenning word je voor de keuze gesteld tussen veiligheid of privacy. Bij de corona-app, tussen privacy of gezondheid. Deze trade-offs zijn echter misleidend, want het kan een ‘én-én’ verhaal zijn in plaats van ‘óf-óf’.

België telt genoeg talentvolle onderzoekers die op een multidisciplinaire manier technologie kunnen ontwikkelen waar iedereen beter wordt in plaats van enkel een geprivilegieerde groep. Zeker als belangrijke beslissingen gedelegeerd worden aan AI-systemen, is het onze plicht om verantwoording voor deze systemen af te dwingen.

Dit vereist een grondige reflectie over de ethische, juridische, sociale en economische impact van technologie alvorens ze wordt uitgerold in de samenleving. De vraag is niet of we er waarden in moeten opnemen – daar kunnen we niet onderuit. De vraag is welke waarden.

Rechten als privacy en non-discriminatie moeten vanaf de design-fase van het systeem worden geïmplementeerd als we het ‘én-én’ verhaal willen verwezenlijken. En als een ‘én-én’ oplossing toch onmogelijk blijkt, moeten we onthouden dat het niet is omdat we een bepaalde technologie kunnen ontwikkelen, dat we dit ook behoren te doen. Aan ons de keuze.