Een erg gesmaakte gastspreker op het voorbije She Goes ICT-event was Rumman Chowdhury, verantwoordelijk voor kunstmatige intelligentie bij Accenture. Data News sprak met haar over rekruteringsstrategieën, ethiek, en hoe u dat toepast op wereldwijde schaal.
Van opleiding is Rumman Chowdhury kwantitatieve sociale wetenschapper, wat er kort op neerkomt dat ze, naast de economische waarde, ook vanuit menselijk en ethisch standpunt naar algoritmes en gegevens kijkt. “Als we praten over AI, dan gaan we er vaak van uit dat we ons aan de technologie moeten aanpassen, maar mijn standpunt is dat AI ons in de plaats daarvan moet helpen. Dat de macht bij de mensheid ligt. Op dit moment volgen we de technologie een beetje te veel.”
Als we het hebben over ethiek en AI, dan denken veel mensen aan bijvoorbeeld robots die onze jobs overnemen, of nog erger, moordende robots. Is dat een gegronde angst?
RUMMAN CHOWDHURY: Nou, nee. Een heel groot deel van ons perspectief op deze technologie wordt gevormd door de media, door wat we in films en boeken zien, en daar is het meestal een verhaal van HAL, van Terminator en zo meer. Maar het echte gezicht van kunstmatige intelligentie ziet er heel anders uit. Maar het is veel moeilijker te begrijpen omdat het geen fysieke vorm heeft, en als mensen willen wij dat iets tastbaar of zichtbaar is.
Waarom houden mensen zo veel van chatbots? Zij geven ons een manier om te communiceren met AI-technologie. Een chatbot is echter niet meer dan een interface, de eigenlijke AI is een hoop code die in de cloud draait. Maar als een concept is dat moeilijk voor ons om te begrijpen, dus maken we een verhaal rond fysieke voorwerpen, terwijl de kern van AI net draait rond het niet hebben van fysieke vormen. Dat zit in de cloud en is van overal te wereld bereikbaar via bijvoorbeeld een smartphone. Een van de redenen waarom we zo bang zijn is omdat we ons moeilijk kunnen inbeelden hoe je zo bestaat.
Kan dat ook te maken hebben met big data? Het idee dat er heel veel gegevens verzameld worden waarvan we niet meteen begrijpen hoe het wordt gebruikt?
CHOWDHURY: Mensen hebben een zeker idee van onze relatie met data, met technologie, en hoe bedrijven die gebruiken. Maar we gaan er daarbij vaak van uit dat data een transactie is. Heel lineair. Stel, je wil tien procent korting op een kledingwebsite, je geeft hen je mailadres, en je zal wel spam krijgen, maar je hebt ten minste je korting. Maar zo werkt het eigenlijk niet. Als men zegt dat data de nieuwe olie is, dan gaat dat uit van die lineaire ervaring: ‘ik geef je mijn mail en jij spamt’, maar het is meer ‘ik gebruik je gps-informatie om te bekijken hoe gezond je bent’. En hoe doe je dat: ik weet waar je gaat lunchen, wanneer, en of een van je haltes onderweg naar huis een gym is, of je naar je werk rijdt met de auto of wandelt, enzovoort. Ik vergelijk data liever met een periodieke tabel, we gebruiken rauwe gegevens en combineren die eindeloos.
Data wordt vaak vergeleken met olie, maar het is meer een periodieke tabel: we gebruiken rauwe gegevens en combineren die eindeloos
Je ziet zo wel meer voorbeelden. In de VS heb je de DNA-dienst 23andme, die werkt met politie om moordenaars te identificeren. Of kan je bij Spotify een genetisch gedetermineerde playlists opvragen, wat een beetje bizar is. Maar het is allemaal onontgonnen terrein en daar wordt veel in geëxperimenteerd. Vaak denkt men daarbij ook niet aan de gevolgen. Dat is mijn job, om na te denken over de gevolgen.
Een van de problemen die we al wel gezien hebben is ‘bias’, of vooringenomen data. Groeit daar het bewustzijn over?
CHOWDHURY: Bias is een probleem, maar daarbij zijn er twee soorten bias. De eerste is kwantificeerbare bias, die in je data zit ingebakken. Dat is ook meestal de bias waar wij als datawetenschappers over praten. Dat gaat om metingen. Als ik een vragenlijst uitstuur en om een of andere reden werkt de link niet voor iemand wiens telefoonnummer op 9 eindigt, dan is dat systematische bias. Daar denken datawetenschappers aan.
Maar die andere bias is maatschappelijke bias, en dat is wat de rest zorgen baart. Die is een pak moeilijker te berekenen. Soms geeft de data gewoon een misleidend resultaat. Denk bijvoorbeeld aan zwarte Amerikanen die aan een veel grotere ratio in de gevangenis terechtkomen dan blanke Amerikanen. Dat heeft vaak te maken met racisme. Je kan daar geen systeem op bouwen en dan doen alsof je data zuiver is.
Je zou daarbij een vertaalslag moeten maken tussen de wetenschappers en de niet-kwantitatieve mensen, zodat er met beide wordt rekening gehouden. Datawetenschappers kijken naar gegevens en proberen te zorgen dat de namen, adressen enzovoort juist staan, maar ze denken niet aan de fundamentele sociale problemen die de data plagen. Dat is moeilijk te meten, maar je weet al op voorhand dat er fouten in zo’n systeem zitten. En hoe zorg je dan dat het systeem eerlijk is? In enkele gevallen is het antwoord: je zou zo’n systeem niet mogen bouwen. Als je bouwt bovenop een maatschappij of sociale structuur die fundamenteel problematisch is, dan zie ik niet hoe je daar een automatisch systeem voor kan bouwen.
Wat kan je dan wel doen?
CHOWDHURY Beter is om je AI te ontwerpen in de vorm van interventies op verschillende punten in de pipeline. En hoewel we waarschijnlijk AI niet mogen gebruiken om te beslissen of iemand naar de gevangenis moet, zijn er wel nuttige toepassingen, bijvoorbeeld om te zien of iemand vervroegd vrij mag komen, of er een risico is dat ze op de vlucht slagen enzovoort. Dat wordt al gebruikt en vaak is het controversieel, maar er zijn manieren om dit te gebruiken die geen volledige geautomatiseerd proces zijn. Dat is waarschijnlijk het laatste dat we willen doen, een automatisch systeem laten beslissen over iemands leven.
We kunnen niet doen alsof onze acties geen gevolgen hebben. Dan omzeil je je verantwoordelijkheid als een goed bedrijf
Een van de problemen is natuurlijk dat de data is wat ze is. Wetenschappers zien zichzelf meestal als neutraal. Als Google zinnen vertaalt als ‘zij is verpleegster, hij is dokter’, dan is dat gebaseerd op hoe de wereld vaak in elkaar zit. Is het dan aan een bedrijf om daar veranderingen in te maken die zo’n situatie rechttrekken?
CHOWDHURY Laten we beginnen met te zeggen dat er geen neutrale partijen zijn. Als je geen actie onderneemt, dan ga je akkoord met de status quo. Tenzij je denkt dat we in een volledig eerlijke wereld leven, ga je dus akkoord met een vorm van oneerlijkheid. We gaan niet doen alsof we de goeien zijn door niets te doen. Je bestendigt de huidige situatie, die niet altijd eerlijk is.
Google is hier ook niet de enige met dat probleem. Ook Netflix en Facebook hebben al aanpassingen gemaakt, op vraag van overheden. “We volgen de wetten van het land”, zeggen ze dan. Maar bepaalde landen hebben ook wetten die het legaal maken om iemand die homoseksueel is te doden. We kunnen niet doen alsof onze acties geen gevolgen hebben. Dan omzeil je je verantwoordelijkheid als een goed bedrijf.
Daar komt bij dat bedrijven als Google wel degelijk impact willen hebben. Het ‘AI For Social Good’-department van het bedrijf wil wel degelijk de wereld verbeteren met technologie. Maar dat mag niet beperkt blijven tot het departement van ‘corporate social responsibility’. Dat zou in de eigenlijke waarden van het bedrijf moeten terugkomen. Daarom vind ik mijn job zo goed: ik ben zelf deel van de business. Als je bij bedrijven gaat kijken waar ze hun ethici zetten, dan zal je zien dat er daar weinig van in de eigenlijke zakentak zitten. Zelfs bedrijven als Google, die best veel ethici in dienst hebben, zetten die in research, of in ‘AI For Social Good’, want dat zijn veilige plekken voor hen. Op zo’n plek gaat een ethicus het bedrijf niet dwingen om beslissingen te nemen die misschien op korte termijn minder winstgevend zijn. Op lange termijn zou zoiets wel beter zijn voor het bedrijf, zo zie ik het toch.
Hoe ziet ethisch handelen er uit voor een bedrijf?
CHOWDHURY Ethiek is gebaseerd op culturele en maatschappelijke normen, en die verschillen wereldwijd. Het is niet aan ons, met onze westerse normen, om anderen een ethiek op te dringen. Een voorbeeld: in het westen en vooral in de EU hechten we veel belang aan privacy, en we zien dat als iets universeels. Maar er zijn bijvoorbeeld erg patriarchale landen waar dat wordt gebruikt als een manier om te onderdrukken. Denk bijvoorbeeld aan landen waar vrouwen en meisjes weinig mobiliteit hebben. Daar is de vrije toegang tot iets als Instagram een vorm van rebellie. Of protest. En als die strikte privacywetten hebben, dan kan een man het privacyrecht van zijn vrouw gebruiken om te zorgen dat ze niet online mag gaan. Dat was een van de problemen met de Abshar app. Dan heb je privacy als een restrictie, waar wij privacy meestal zien als bescherming.
Ons globaal doel met AI is om landen, bedrijven en mensen te tonen hoe ze hun waarden en prioriteiten kunnen, en moeten, verwerken in de technologie die ze bouwen. Welke die waarden ook mogen zijn. Als ik met een klant praat, zeg ik niet iets als ‘deze vijf dingen moet je doen om ethisch te bouwen’. Ik geef ons framework bij Accenture, hoe wij daarover denken, en ik gebruik die om het bedrijf te laten nadenken over hoe zij dat gaan doen.
Elk bedrijf heeft kernwaarden, meestal in een mission statement, en hun technologie moet die reflecteren op een heel directe manier. Als jij als bedrijf zegt dat je diversiteit belangrijk vindt, dan moet je naar elk algoritme kijken om te zien of het eerlijk is. Dat moet je hoe dan ook doen maar, als je zegt dat je divers bent, dat het een prioriteit is, dan neem je maar beter actie, want steeds vaker moeten bedrijven verantwoording afleggen voor wat ze doen.
Ziet u een groeiende vraag naar regels rond het verantwoordelijk gebruik van AI en technologie?
CHOWDHURY:Verschillende delen van de wereld zitten nu in zo’n boog richting verantwoordelijk gebruik van AI. En dat volgt vaak dezelfde pad. Het begint met iedereen die zich zorgen maakt over jobs en killer robots, want dat is het verhaal dat we kennen van de geschiedenis. Daarna gaan ze zich bewust worden over privacy, eerlijkheid, gerechtigheid, verantwoording, transparantie enzovoort. Daar komen de culturele normen op de proppen. Privacy is bijvoorbeeld belangrijker in Europa dan in de VS. Terwijl de discussies over algoritmische ‘bias’ in de VS dan weer veel sterker naar boven komen. In de EU spreekt men minder over discriminatie, tenzij een beetje over genderdiscriminatie. Als het gaat om raciale discriminatie, dan worden bijna alle discussies daarover gevoerd in de VS. Dat land is daar ook cultureel en historisch meer mee bezig. Dit soort gesprekken zijn een uiting van de gevechten die we gevoerd hebben, en die we nog altijd voeren.
Er zijn geen neutrale partijen
Ik wil in dezen ook zien hoe dat in India gaat verlopen. Dat land heeft een streng kastesysteem, zelfs al is dat officieel afgeschaft. Er is nog altijd een soort culturele hiërarchie. En India wil ook sterk digitaliseren. Ze gaan richting digitale munten, ze willen biometrische gegevens van mensen gaan opslaan in het Adhar-systeem enzovoort. Maar hoe doe je dat als een deel van de populatie onaantastbaar is, in de letterlijke zin dat je ze niet mag aanraken omdat ze ‘vuil’ zijn? Want zo wordt die laagste kaste nog vaak gezien. Veel technologie heeft een vereffenend effect, het is net de bedoeling dat het niet hiërarchisch is. Als ik een biometrisch datasysteem gebruik, ga ik ervan uit dat iedereen dezelfde toegang heeft tot technologie, maar we weten dat dat niet is hoe de maatschappij in mekaar zit. Dus hoe verenig je die verschillende structuren? Dat wordt nog interessant.
Fairness tool gelanceerd in Belux
Een van de projecten waar Chowdhury vorig jaar aan werkte, was een interne Fairness Tool. “Dat is een product dat bias detecteert in gegevens en algoritmes”, zegt Chowdhury. “Dat bestond daarvoor nog niet.” Dit voorjaar wordt het werktuig gelanceerd bij Accenture-klanten, eerst in België en Luxemburg.
“Data, en toegang tot data, komt met verantwoordelijkheid,” zegt Ozturk Taspinar, Digital Lead BeLux bij Accenture. “Daar geloven we sterk in en met die tool kunnen we vroeg in het proces detecteren of de data voldoet aan uitdagingen rond bijvoorbeeld gender.”
Taspinar geeft het voorbeeld van het Centrum voor Gelijkheid van Kansen, dat in de analoge wereld al dit soort checks uitvoert. “Maar steeds meer organisaties, zoals banken en de overheid, voeren automatische processen in, en ze gaan ook in die digitale wereld die vragen naar fairness moeten stellen. Je kan makkelijk mystery shoppers uitsturen in de analoge wereld, maar veel van de beslissingen worden nu digitaal gemaakt.”
In uw job werkt u aan diversiteit bij het aanwerven. Hoe pakt u dat aan?
CHOWDHURY: We willen bij Accenture de helft mannen en vrouwen aan boord hebben tegen 2025. En daarbij is het ook de bedoeling dat die vrouwen niet allemaal juniors zijn, terwijl de top nog altijd helemaal mannelijk is.
We werken daarvoor op human resources met AI op verschillende punten. We beginnen bijvoorbeeld bij sourcing, waar je de kandidaten vindt. Als je daar niet kijkt naar bias-problemen, of als je dingen maar neemt zoals ze komen, dan kan je daar later op geen enkel punt nog iets aan doen. Dat is meestal het probleem. Want ethici komen op het einde. Die worden niet binnengebracht bij de eerste selectie. Iemand zegt op het einde: “We hebben nu deze kandidaten, en ik wil een algoritme gebruiken om te zien of ze goed in die rol passen, kom mij nu helpen, ethicus.” Maar al die beslissingen zijn al vooraf gemaakt, en het veld is al zoveel kleiner. Als je mij de vijf vrouwen geeft die je gevonden hebt, en dan zegt ‘zorg dat dit werkt’, dan is dat al je probleem.
Vaak krijgen we te horen dat er een pipeline-probleem is. Er zijn weinig vrouwen met een diploma computeringenieur bijvoorbeeld.
CHOWDHURY: Het is een netwerkprobleem, geen pipeline-probleem. Vaak gaat het om wie je vraagt en waar je je prioriteiten legt. Iets als opleiding is een signaal, en het is een verkeerd signaal. Je gaat ervan uit dat iemand met zo’n diploma de juiste skills heeft, maar meestal is het een illustratie van privilege. Misschien werkte dat vroeger, toen je buiten dat stuk papier geen andere informatie had over kandidaten, maar ondertussen hebben we zoveel andere manieren om kwaliteiten en skills na te gaan. Waarom steun je dan nog altijd op die ouderwetse notie van diploma’s? En ik zeg dat als iemand die naar een goede universiteit is gegaan, dus het is niet dat ik gewoon kwaad ben ofzo. Je moet veel geluk hebben, of bij de juiste familie geboren zijn om in bepaalde landen in een goede universiteit te geraken.
Daar komt bij dat het ook niet zo is dat die mensen aangenomen worden met zo’n diploma meteen geweldig zijn in hun job. De meeste nieuwe aanwervingen die beginnen bij grote bedrijven gaan door zes maanden of een jaar training. Als je iemand van een minderheid een jaar training geeft, zal die het even goed doen. Het is een mythe dat een persoon met de juiste skills die je in je bedrijf dropt meteen uitblinkt. We vergeten vaak hoeveel opleiding je krijgt eens je daar bent.
Elk bedrijf heeft kernwaarden, en hun technologie moet die reflecteren op een heel directe manier
Hoe ziet dat er in de praktijk uit?
CHOWDHURY: Intern zijn we bezig aan een AI voor ons HR-departement. Dat gaat onder meer over sourcing, het neutraler maken van job-aanbevelingen enzovoort. Accenture is uniek omdat het een erg beweeglijk personeelsbestand heeft. Onze mensen worden naar projecten gestuurd, komen terug en gaan naar het volgende. Elke dag matchen wij mensen met jobs en prospecten, en het is dus belangrijk dat je dat in het oog houdt en dat je je bewust bent van het traject waarop je iemand zet, en of dat eerlijk is.
Dus werken we aan verschillende interventies daarrond. We hebben bijvoorbeeld een algoritme dat nakijkt of jobomschrijvingen qua toon neutraal zijn. Voor ons is de moeilijkheid ook dat we die diversiteit wereldwijd moeten bewaken. Wat op de ene plek als een minderheid geldt, is dat ergens anders misschien niet. In de VS denk je bij minderheden bijvoorbeeld aan zwarten en hispanics, terwijl je in Singapore een onderscheid maakt tussen verschillende Aziatische mensen. We denken bijvoorbeeld niet aan mensen van Indonesische of Maleisische oorsprong als een subcategorie waar we rekening mee moeten houden als we zo een algoritme willen maken voor de UK, want daar speelt dat minder mee. Maar het is wel belangrijk in Singapore en India. Daar zit veel nuance in, en we komen steeds tot het besef dat je het niet alleen kan doen met algoritmische fixes, we moeten een mens hebben. Als je wil weten of iemand een goede werknemer zal zijn, waar je dan naar zoekt, dat zijn geen dingen die je makkelijk kan omschrijven of meten. Bedrijfscultuur, veerkracht, kritisch denkvermogen, leervaardigheid, daar zijn geen magische cijfers voor. Dus moeten we daar frameworks voor bouwen en nadenken hoe we die gaan inzetten op een manier waarbij we hopelijk geen vooroordelen introduceren.
Fout opgemerkt of meer nieuws? Meld het hier