Zorgen om het gebruik van algoritmes en AI in de zoektocht naar nieuwe medewerkers hebben hun weg gevonden naar de politiek, met een eerste wetsvoorstel in de stad New York.

Vacaturesoftware is een groeiende markt en veel van deze bedrijven bieden algoritmes aan om HR-medewerkers te helpen CV's automatisch te classificeren en beelden of video's van kandidaten te analyseren. Dat moet het werk van de personeelsafdeling verlichten, maar de vraag is hier of die algoritmes discriminerend zijn tegenover bevolkingsgroepen.

Ingebakken 'bias'

Volgens experten kan zo'n AI bestaande vooroordelen repliceren of zelfs versterken, omdat het algoritme vaak getraind wordt op databases waarin soms hele bevolkingsgroepen ondervertegenwoordigd zijn. Denk bijvoorbeeld aan de ondertussen beruchte CV-tool van Amazon, die vrouwen automatisch weerde in techfuncties omdat het bedrijf in het verleden weinig vrouwen in dienst had genomen. De fout in die tool werd gevonden voordat ze effectief in de praktijk werd ingezet, maar het voorval toont wel dat 'bugs' in de software zware gevolgen kunnen hebben.

In de VS is het sinds 1964 onwettig om te discrimineren op basis van geslacht of ras bij het invullen van vacatures (een gelijkaardige wet bestaat ook in ons land). Via een nieuw wetsvoorstel wil de gemeenteraad van New York City nu ook discriminatie in dit soort algoritmes vermijden. Als de wet er komt, moeten bedrijven publiek maken dat ze software gebruiken om hen te helpen bij de keuze van kandidaten. De softwarebedrijven zelf zullen jaarlijks een audit moeten uitvoeren die moet kijken of hun tool discrimineert.

Zorgen om het gebruik van algoritmes en AI in de zoektocht naar nieuwe medewerkers hebben hun weg gevonden naar de politiek, met een eerste wetsvoorstel in de stad New York. Vacaturesoftware is een groeiende markt en veel van deze bedrijven bieden algoritmes aan om HR-medewerkers te helpen CV's automatisch te classificeren en beelden of video's van kandidaten te analyseren. Dat moet het werk van de personeelsafdeling verlichten, maar de vraag is hier of die algoritmes discriminerend zijn tegenover bevolkingsgroepen. Volgens experten kan zo'n AI bestaande vooroordelen repliceren of zelfs versterken, omdat het algoritme vaak getraind wordt op databases waarin soms hele bevolkingsgroepen ondervertegenwoordigd zijn. Denk bijvoorbeeld aan de ondertussen beruchte CV-tool van Amazon, die vrouwen automatisch weerde in techfuncties omdat het bedrijf in het verleden weinig vrouwen in dienst had genomen. De fout in die tool werd gevonden voordat ze effectief in de praktijk werd ingezet, maar het voorval toont wel dat 'bugs' in de software zware gevolgen kunnen hebben. In de VS is het sinds 1964 onwettig om te discrimineren op basis van geslacht of ras bij het invullen van vacatures (een gelijkaardige wet bestaat ook in ons land). Via een nieuw wetsvoorstel wil de gemeenteraad van New York City nu ook discriminatie in dit soort algoritmes vermijden. Als de wet er komt, moeten bedrijven publiek maken dat ze software gebruiken om hen te helpen bij de keuze van kandidaten. De softwarebedrijven zelf zullen jaarlijks een audit moeten uitvoeren die moet kijken of hun tool discrimineert.