Zwarte gezichten worden door AI-systemen vaker verkeerd geïdentificeerd dan blanke gezichten. Dat bevestigt een onderzoek van NIST, waarin 189 verschillende algoritmes getest werden.
Hoe nauwkeurig identificeert software voor gezichtsherkenning mensen van verschillend huidskleur, leeftijd en geslacht? Dat onderzocht het National Institute of Standards and Technology (NIST). De studie keek naar 189 algoritmen van 99 verschillende ontwikkelaars (waaronder Microsoft en Intel), die volgens de onderzoekers samen het grootste deel van de gezichtsherkenningsindustrie vertegenwoordigen.
Huidskleur bleek de grootste factor van bias te zijn. In sommige gezichtsherkenningssytemen bleek de nauwkeurigheid tot honderd keer beter voor blanken. De onderzoekers merkten ook dat Aziatische gezichten beter herkend werden door algoritmes die in Azië ontworpen werden. Of dergelijke bias het gevolg is van een gebrek aan variatie in de datasets waarmee de algoritmes getraind werden of aan de ontwikkelaars zelf die er misschien hun eigen vooroordelen in reflecteren, werd niet onderzocht.
Gezichtsherkenning had al geen al te beste reputatie als het gaat om het herkennen van mensen met een donkere huidskleur. Het rapport komt uit op een moment van groeiende onvrede over de technologie in de Verenigde Staten, waarbij critici waarschuwen dat ze kan leiden tot discriminatie.
Interessant aan deze studie, die bedoeld is om beleidsmakers en softwareontwikkelaars beter te informeren, is dat ze een onderscheid maakt tussen valse positieven en valse negatieven. Door valse positieven herkent een systeem het target niet, wat vooral tot ongemakken leidt (bijvoorbeeld omdat je een tweede poging nodig hebt om je smartphone te ontgrendelen). Door valse negatieven denkt de gezichtsherkenning onterecht het target gezien te hebben, wat veel ingrijpendere gevolgen kan hebben (bijvoorbeeld een onterechte arrestatie). De raciale bias in valse positieven werd systematisch in alle algoritmes teruggevonden, de bias in valse negatieven enkel in sommige algoritmes. Het aantal valse positieven bleek ook hoger voor foto’s van vrouwen dan voor foto’s van mannen, al was dat effect kleiner.
