Stel, u vraagt een hypotheek aan om een huis te kopen. Het huis lijkt perfect voor u, en u denkt genoeg te verdienen om het te betalen. Alleen krijgt u plots een nee van de bank. Het algoritme wees uw aanvraag af. Waarom? Dat weet de bank niet. En niet omdat het algoritme geheim is, of omdat de bank uw gevoelens wil sparen. Ze weten gewoon niet wat er omgaat binnenin het algoritme.

Vandaag werken AI-algoritmes nog heel vaak op deze manier. Ze zijn een soort black box of zwarte doos, waarvan we niet weten wat er zich binnenin afspeelt. Op basis van een hele reeks variabelen, zoals uw inkomen of schuldgraad, voorspellen ze bijvoorbeeld hoe waarschijnlijk het is dat u zal wanbetalen. Maar hoe het algoritme tot dat resultaat kwam, blijft een mysterie, wat allerhande ethische problemen kan opleveren. Wat als dat algoritme bijvoorbeeld ongewenst etnische minderheden discrimineert?

Daarom kijken onderzoekers en beleidsmakers steeds vaker naar explainable AI. Dat zijn een nieuw soort statistische technieken die als doel hebben om de keuzes van algoritmen te verklaren. Zo openen ze de black box die AI nog te vaak is, en maken ze het misschien zelfs ethischer.

Black box, white box

"Neem bijvoorbeeld deep learning", stelt Bart Baesens, professor aan de KU Leuven met specialisatie in big data en analytics. "Dat zijn een verzameling van wiskundige technieken die toelaten om complexe patronen uit data te halen. Maar deeplearningtechnieken zijn vaak niet explainable, ze zijn dus erg moeilijk te verklaren. Je kan deep learning bijvoorbeeld gebruiken om kredietbeslissingen te nemen, maar de getallen die eruit komen zijn niet transparant en we weten niet hoe ze hun redenering opbouwen."

Dat zorgde al voor heel wat vooruitgang, dit soort technieken zijn namelijk statistisch erg krachtig, maar het brengt ook risico's met zich mee. "Dit soort modellen zijn erg gevaarlijk op bepaalde gebieden. Denk maar aan kredietrisico-modellering, want algoritmen reproduceren mogelijk discriminatie", stelt Baesens. Een algoritme zou bijvoorbeeld personen met een specifieke etnische achtergrond kunnen discrimineren wanneer ze een lening aanvragen, zonder dat de bank het weet. "Daarom gebeurt er nu erg veel onderzoek naar explainable AI. AI-modellen moeten niet enkel statistisch goed presteren, ze moeten ook transparant zijn."

Er zijn zo een reeks technieken die algoritmen meer transparant maken. Sommigen zijn complexe statistische spitstechnologie, maar anderen hebben een verrassend makkelijke basis. "Je kan bijvoorbeeld heel simpele als-dan regeltjes verwerken in de formules waarop algoritmen steunen", stelt Baesens. "Als de schuldengraad van een persoon bijvoorbeeld hoger is dan een specifiek percentage, dan weiger je een lening. Zo'n regels verwerken in een algoritme zorgt voor meer transparantie."

Europese Unie

En dat heeft heel wat ethische voordelen. "Een black box algoritme kan makkelijk bepaalde demografische kenmerken, zoals sociale achtergrond, correreleren met pakweg criminaliteitsgraden", stelt Evgeni Aizenberg, een researcher aan de TU Delft die zich specialiseert in mensenrechten-gebaseerd ontwerp van AI. "Maar sociale achtergrond is duidelijk geen reden om die persoon als crimineel te labelen. Dat gaat recht in tegen het principe van onschuld tot het tegendeel is bewezen. Het schendt het recht van individuen om zichzelf te definiëren, want de data doet het voor hen."

Daarnaast blijkt explainable AI ook gewoon nodig vanuit legaal perspectief. "De GDPR stelt vandaag dat je een geautomatiseerde beslissing in vraag moet kunnen stellen als consument", vertelt Aizenberg. "Als een kredietaanvraag dus geweigerd wordt, moet je die beslissing bij de kredietinstelling kunnen aanklagen. Maar je moet de beslissing eerst begrijpen voor je dat kan doen, wat onmogelijk is bij sommige AI-modellen."

Dat is trouwens één van de redenen waarom politieke spelers steeds meer inzetten op explainable AI. De High-Level Expert Group on AI van de Europese Unie, een adviesgroep voor het AI-beleid van Europa, publiceerde in april van dit jaar haar richtlijnen voor ethische AI. En 'explicability' (verklaarbaarheid) was één van de voorwaarden daarvoor, alhoewel de groep erkende dat dit niet in alle gevallen mogelijk was.

No free lunch

Want ondanks de voordelen van zo'n explainable algoritmen, heeft de techniek ook een groot nadeel: het verzwakt de statistische kracht van een algoritme. Een explainable model is dus minder goed in het voorspellen van bepaalde uitkomsten dan een black box algoritme. "In statistiek bestaat er het zogenaamde 'no free lunch'-principe", stelt Baesens. "Wat betekent dat als je iets wil, je daarvoor iets anders moet opgeven. Complexe deeplearningmodellen zijn zeer krachtig, en ze kunnen moeilijke patronen in data opsporen. Maar tegelijk zijn ze zeer moeilijk te interpreteren. Je kan natuurlijk die algoritmen deels interpreteerbaar maken, maar wanneer je dat doet, verlies je een deeltje van de statistische kracht. Die balans moet je in stand houden. Je moet kiezen tussen pure statistische kracht, of het opofferen van een beetje van die kracht om interpreteerbaarheid ervoor in de plaats te krijgen."

Participatie is cruciaal in het ontwerpen van explainable AI

Die afweging is zowat de voornaamste uitdaging van explainable AI vandaag, en ook het object van het voornaamste onderzoek. "We willen het verlies van kracht zoveel mogelijk minimaliseren", vertelt Baesens. "De technieken zijn er. Maar je moet er iets voor opofferen. In de toekomst behouden we hopelijk de kracht van de black box, maar combineren we dat met de interpreteerbaarheid van een white box."

Dat is meteen ook de reden waarom explainable AI waarschijnlijk niet in alle contexten nuttig zal zijn. Voor sociaal gevoelige procedures, zoals justitie of financiën, is explainability erg belangrijk. Maar voor pakweg een model dat onze weersvoorspellingen verbetert zal zoiets minder nodig zijn.

Participatie

Niettemin lijkt het er wel op dat onze algoritmen in de toekomst steeds meer verklaarbaar zullen worden. "Explainable AI is absoluut nodig om AI ethischer te maken", stelt Aizenberg. "Het is op zichzelf niet voldoende, maar het is een voorwaarde om AI te bouwen die onze waarden en mensenrechten ondersteunt. Het is direct verbonden met vrijheid, autonomie en transparantie. Maar daarnaast zijn er natuurlijk andere elementen en vraagstukken, denk maar aan gelijkheid, privacy of de vraag wat AI zal doen met onze jobmarkt."

Ook moeten we verschillende groepen beter betrekken bij het ontwerpen van algoritmen volgens Aizenberg. "Participatie is cruciaal in het ontwerpen van explainable AI", stelt hij. "We moeten vanaf het begin alle stakeholders hierin betrekken, van de personen die gevolgen ondervinden van de AI tot ingenieurs en wetgevers. Want explainability zal verschuiven afhankelijk van de context. Een algoritme dat rond criminaliteit werkt zal waarschijnlijk andere criteria voor explainability moeten hanteren dan een algoritme dat werkt in de gezondheidszorg."

"Explainable AI is niet de enige oplossing voor onethische AI", besluit Baesens. "Maar het helpt zeker om problemen te identificeren. Het is een tool om ethische problemen grondig in kaart te brengen."