Het gebruik van algoritmes en machine learning om beslissingen te nemen voor de overheid komt in het Verenigd Koninkrijk steeds meer onder vuur. De voorbije maanden zijn een twintigtal algoritmes alweer geschrapt.
Het Verenigd Koninkrijk was een van de meer enthousiaste landen om een deel van zijn overheidsapparatuur te vervangen door algoritmes. De kritiek daarop wordt, mede door enkele erg publieke schandalen, met de dag luider. Veel van de algoritmes die (iets te snel) werden ontwikkeld, worden nu ook weer afgeschaft.
Het waren dan ook geen goede weken voor de reputatie van AI in het land. Begin augustus schrapte de overheid een algoritme dat het gebruikte in de aanvraag van verblijfsvergunningen, omdat die zou discrimineren tegen bepaalde bevolkingsgroepen.
De beslissing om examenresultaten in coronatijd te laten bepalen door een algoritme in plaats van examens of leerkrachten werd ook teruggedraaid, nadat de leidde tot straatprotesten. De examensresultaten in kwestie bepalen voor een groot deel welke universiteiten de studenten kunnen binnengeraken en hebben dus een invloed op hun toekomst. Het algoritme in kwestie zou echter discrimineren tegen studenten van bepaalde scholen, vaak in armere woonwijken.
Vooral die examencrisis heeft ertoe geleid dat burgers het gebruik van haastig in elkaar gestoken AI in vraag beginnen stellen. Nu blijkt bovendien dat een twintigtal lokale overheden (councils) in het land de voorbije maanden besloten te stoppen met verschillende algoritmes die ze gebruiken om beslissingen uit handen te nemen van ambtenaren. Het gaat dan bijvoorbeeld om het opsporen van fraude bij het aanvragen van uitkeringen. Dat schrijft de Britse krant The Guardian. Volgens de krant gebruiken ongeveer een derde van de regionale overheden algoritmes om werk uit handen van de ambtenaren te nemen.
Het Data Justice Lab, een organisatie die gevestigd is aan de Cardiff Universiteit bekeek de algoritmes die werden geschrapt, en waarom. Zij zagen bijvoorbeeld dat een algoritme geschrapt werd nadat het aanvragen met laag risico foutief aanduidde als hoog risico, terwijl een ander algoritme amper invloed had op het werk van de council. Ook nog gevoeliger algoritmen, waaronder eentje die moest voorspellen welke kinderen een hoger risico liepen op misbruik, werden na een tijd weer afgevoerd.
“De redenen om ze te schrappen gaan van problemen met hoe deze algoritmes werken, tot vragen over negatieve effecten en vooroordelen”, zegt Dr Joanna Redden from the Data Justice Lab aan de krant. “We proberen nu patronen te identificeren, maar één factor die we vaak zien terugkomen is dat het publiek niet werd geconsulteerd.” Vooral de mensen waarop het algoritme de meeste impact zou kunnen hebben, werden in dezen niet gehoord, zegt Redden.
In veel gevallen klinkt het falen van deze algoritmes als haastwerk, of alvast als het soort machine learning waarbij weinig aandacht werd gegeven aan bestaande structurele sociale problemen, zoals kinderen uit armere gezinnen die moeilijker aan de universiteit geraken. Een weldoordacht algoritme zou daar rekening mee moeten houden, maar veel van deze algoritmes nemen een bestaande, vaak onrechtvaardige situatie, en verankeren ze in automatismen. Iets wat extra gevoelig ligt voor sociale hete hangijzers zoals welvaart en de examens die de toekomst van een hele generatie studenten kunnen bepalen. De experten vragen dan ook meer transparantie om vaak dure fouten in de toekomst te vermijden.
Fout opgemerkt of meer nieuws? Meld het hier