‘Artificiële intelligentie is vatbaar voor discriminatie en schendingen van de mensenrechten’

Artificiële intelligentie (AI) kan niet alleen ingezet worden om processen te automatiseren, maar ook voor besluitvorming. Daarbij moet zorgvuldig worden omgegaan met mensenrechten en gewaakt worden voor discriminatie, schrijft Erica Kochi, hoofd Innovatie bij Unicef.

De mogelijkheden die kunstmatige intelligentie deze wereld biedt, van het ontdekken van geneesmiddelen tot het verminderen van de CO2-uitstoot, groeien met verbazingwekkende snelheid.

Computers kunnen leren van grote hoeveelheden data en die gebruiken om voorspellingen te doen. Bij machine learning (ML), een onderdeel van AI, wordt al gewerkt aan manieren om toegankelijke financiële dienstverlening, betrokkenheid van burgers, betaalbare gezondheidszorg en allerlei soorten diensten te verbeteren.

Elke dag ontdekken we nieuwe manieren om via machine learning de levens van mensen te verbeteren. Vaak kunnen die ontdekkingen in slechts enkele dagen of weken tijd vertaald worden in toepassingen die invloed hebben op het dagelijks leven van mensen. Machine learning is een van de meest krachtige middelen die de mensheid ooit ontwikkeld heeft – en het is nog veel belangrijker om te leren die kracht ten goede in te zetten.

Veel opwinding over AI heeft te maken met automatisering: wat gebeurt er als robots onze banen en ons leger gaan vervangen, of als ze auto’s voor ons gaan besturen? Een dimensie van automatisering die meestal minder aandacht krijgt, is de automatisering van besluitvorming.

Via machine learning worden nu al beslissingen genomen die het leven van mensen veranderen. In New York City worden dergelijke systemen ingezet om te bepalen waar het afval opgehaald moet worden, hoeveel politieagenten naar welke buurt moeten en of een docent zijn baan mag houden.

Ondoorzichtig

Als we machines de macht geven kritieke beslissingen te nemen over wie wel of niet actief mag blijven binnen een bepaalde, vitale gemeenschap, moeten we waakzaam zijn voor discriminatie.

Machine learning is tenslotte alleen een middel en de verantwoordelijkheid ligt bij de mensen die dit middel op ethische wijze gebruiken. Met andere woorden – deze applicaties moeten ontwikkeld worden op een manier die de efficiëntie vergroot, maar tegelijkertijd de mensenrechten beschermt.

Het automatiseren van beslissingen via technologie is niet nieuw. Maar het karakter van ML – de alomtegenwoordigheid, complexiteit, exclusiviteit en ondoorzichtigheid – kan oude problemen met betrekking tot ongelijke kansen versterken.

Niet alleen kunnen discriminatoire effecten de mensenrechten ondermijnen, ze kunnen ook leiden tot uitholling van het publieke vertrouwen in bedrijven die ML-technologie gebruiken.

Discriminerende machines

De meeste verhalen over discriminatie op het gebied van machine learning komen uit een Amerikaanse of Europese context. Het gaat dan bijvoorbeeld om foto-tagging door Google, waarbij een mechanisme een foto van twee zwarte vrienden per ongeluk categoriseerde als gorilla’s. Ook zijn er gevallen bekend van voorspellende beveiligingstools die vooroordelen ten opzicht van bepaalde groepen versterkten.

In veel delen van de wereld, met name in midden- en lageinkomenslanden, kunnen de gevolgen van ML verstrekkende gevolgen hebben voor het dagelijks leven van mensen, als er geen adequate garanties zijn om discriminatie te voorkomen. We weten nu al enigszins hoe dat eruit kan zien. Verzekeringsmaatschappijen kunnen bijvoorbeeld voorspellingen doen over de gezondheidsrisico’s van individuen. Minstens twee multinationale verzekeringsbedrijven in Mexico maken gebruik van ML om erachter te komen hoe ze hun efficiëntie en winst kunnen optimaliseren. Het is duidelijk dat een van de manieren om dit te doen, is om zoveel mogelijke klanten de krijgen die gezond zijn (en dus weinig kosten met zich meebrengen). En klanten te weren die minder gezond zijn, en dus hogere kosten meebrengen.

Het is niet moeilijk om je voor te stellen dat deze bedrijven, in Mexico en elders, ML kunnen gebruiken om een grote hoeveelheid verzamelde data te analyseren (variërend van online aankopen tot publieke en demografische data) om patronen te herkennen die geassocieerd worden met ‘hoogrisicoklanten’. Die klanten kunnen vervolgens worden uitgesloten of gedwongen worden een hogere premie te betalen. Een deel van de bevolking, de armsten en zieken, kan zich dat niet veroorloven en dreigt zo uitgesloten te worden van zorg.

Banken

In Europa gebruiken diverse banken al modellen die voorspellen wie mogelijk in de toekomst zijn rente en aflossing niet meer kan betalen, en hoe daarbij het beste kan worden ingegrepen. Je kunt je voorstellen dat een programmeur in India een applicatie bouwt die aanvragers van een hypotheek beoordeelt op een aantal variabelen gerelateerd aan inkomen, waaraan meer belang wordt gehecht dan aan het feit dat iemand in het verleden altijd tijdig betaald heeft.

De kans bestaat dat zo’n applicatie vrouwen (vooral degenen die al gemarginaliseerd zijn op basis van kaste, religie of opleidingsniveau) systematisch categoriseert als minder kredietwaardig omdat ze historisch gezien een lager inkomen hebben. Zelfs als ze in het verleden betere betalers bleken dan mannen.

Het algoritme mag dan “accuraat” zijn in het bepalen wie het meeste geld verdient, maar het ziet cruciale, context-specifieke informatie over het hoofd die leidt tot een meer accurate en eerlijker benadering.

Wat bedrijven kunnen doen

Deze scenario’s laten ons zien dat ML veel goede dingen kan doen voor de mensheid, maar dat die uitkomst niet vanzelfsprekend is. Bedrijven kunnen een aantal dingen doen om de mensenrechten te beschermen:

• Binnen de betreffende industrie standaarden opstellen die moeten garanderen dat ML op eerlijke wijze en niet-discriminatoir werkt;

• Interne gedragscodes opstellen en beloningsmodellen introduceren voor gedrag dat bijdraagt aan het respecteren van de mensenrechten;

• Nadenken over de bredere impact en risico’s in kaart brengen voordat een systeem op basis van AI wordt geïntroduceerd;

• Bij het ontwerp een inclusieve benadering hanteren, diversiteit garanderen in ontwikkelingsteams en ontwerpers bewust maken van hun verantwoordelijkheid op dit gebied;

• Modellen optimaliseren op het gebied van eerlijkheid, verantwoording, transparantie en bewerkbaarheid, o.m. door gebruik van open source data en het delen van algoritmes;

• Algoritmes monitoren en verfijnen – ze moeten werken in verschillende situaties en relevant blijven voor hun context;

• Meten, evalueren en rapporteren;

• Kanalen openen om de impact van ML transparant te maken en te delen met representatieve groepen binnen de bevolkingsgroep die gevolgen ondervindt van het systeem.

Deze nieuwe technologieën zijn in de eerste plaats een middel gemaakt door mensen en voor mensen. Machine learning moet zo ontworpen en gebruikt worden, dat iedereen er maximaal van profiteert, terwijl de risico’s op mensenrechtenschendingen zo veel mogelijk worden geminimaliseerd.