Het Home Office, het Britse Ministerie van Binnenlandse Zaken, gaat voorlopig geen computeralgoritme meer gebruiken om te beslissen wie in aanmerking komt voor verblijfsvergunningen. Het algoritme zou racistisch zijn.
Dat zegt althans Foxglove, een activistische groepering die samen met de Joint Council for the Welfare of Immigrants (JCWI) een rechtszaak tegen de software heeft aangespannen. Volgens Foxglove is het algoritme “snel instappen voor blanken”. De Home Office is het niet eens met die vergelijking.
De rechtszaak draait om een geautomatiseerd systeem dat door het ministerie wordt gebruikt om visa-aanvragen te filteren. Het systeem bestaat al jaren en het verwerkt een deel van de informatie van aanvragers van een verblijfsvergunning, waaronder bijvoorbeeld land van herkomst. Daarna geeft het hen een kleurcode: groen, oranje of rood. Mensen met een rode kleurcode worden vervolgens grondiger gecontroleerd. Foxglove zegt dat het systeem een lijst heeft met landen die automatisch een rode code krijgen, waardoor het algoritme discrimineert op basis van nationaliteit. En gezien het om een AI gaat, is er nog een tweede probleem van een ‘feedback loop’. De uiteindelijk resultaten van de aanvragen voor verblijfsvergunningen worden namelijk terug in het systeem gevoed. Maar omdat mensen uit bepaalde landen veel grondiger worden gecontroleerd, worden ze ook vaker afgekeurd, waardoor het algoritme nog strenger wordt jegens hen. “Deze tool nam tientallen jaren van institutioneel racistische praktijken, zoals het doelgericht uitkiezen van specifieke nationaliteiten voor immigratie-invallen, en maakte er software van”, aldus Chai Patel van JCWI aan de BBC.
De Home Office zegt dat het de tool heeft bekeken en dat het programma een redesign krijgt. De automatische verwerking wordt voorlopig stopgezet en in de herfst zou er een nieuwe versie moeten komen.
In het VK, zoals in veel andere landen met onder meer de Black Lives Matter beweging, is er veel discussie rond discriminatie die in overheden en procedures zit ingebakken. De Home Office is daarbij een vaak terugkerend doelwit, omdat het ministerie verantwoordelijk is voor immigratie. Twee jaar geleden raakte dit ministerie bijvoorbeeld verwikkeld in het Windrush schandaal, waarbij het ten onrechte een reeks zwarte Britten oppakte en het land uitzette. De meesten onder hen waren in het Verenigd Koninkrijk geboren waren, of woonden al sinds de jaren zeventig wettelijk in het land.
Fout opgemerkt of meer nieuws? Meld het hier