De nationale Britse regulator voor statistiek gaat het algoritme nakijken dat werd gebruikt om scores toe te kennen in de A level examens voor studenten dit jaar. Dat algoritme is na stevige kritiek afgevoerd. Het zou discriminerend zijn.
De Britse regulator gaat zich mengen in een examencrisis die al enkele weken aansleept in het Verenigd Koninkrijk. Een algoritme dat door de overheid werd gebruikt om automatisch punten toe te kennen aan studenten in de zogeheten A levels, zorgt daar voor stevige controverse. De A levels zijn een belangrijke maatstaf voor studenten en bepalen onder meer waar ze hoger onderwijs kunnen volgen. Nu het land echter in de greep is van een pandemie, werden de examens vervangen door een automatische puntentoekenning. En die, zo zeggen leerlingen en criticasters, heeft de neiging rijkere studenten te bevooroordelen.
In essentie zou het algoritme hebben ‘valsgespeeld’. Het kreeg de opdracht om de uitslagen zo dicht mogelijk te laten aanleunen bij die van 2019, waardoor het leerlingen van ‘goede’ scholen sneller de hoogste graad zou geven dan leerlingen met misschien een betere puntengeschiedenis, die echter naar een school gaan met minder begaafde medeleerlingen (vaak in armere wijken). Het Office for Statistics Regulation, de bevoegde Britse regulator, gaat nu een noodreview uitvoeren van de aanpak die Ofqual, de examencommissie, heeft gevolgd.
“Er zijn verschillende fouten gemaakt, waaronder technische vergissingen”, zegt Tom Haines, die machine learning geeft aan de University of Bath, aan de Britse nationale omroep BBC. Hij geeft aan dat de methode waarbij het algoritme werd gebouwd, niet de standaarden van machine learning volgt. Ofqual testte 11 verschillende algoritmes en gaf hen de opdracht om de resultaten te voorspellen voor de examens in 2019. Het algoritme dat daar het dichtst bij zat, werd uiteindelijk gekozen. Volgens Haines zat er echter een fout in de procedure. “Ze deden het verkeerd en hebben uiteindelijk de algoritmes de resultaten van 2019 gegeven. Het algoritme dat ze kozen was dus datgene dat het beste was in valsspelen.” Over het algemeen lijkt het erop dat er veel te weinig toezicht was op het algoritme en waarom het bepaalde beslissingen neemt.
De regering heeft ondertussen, na straatprotesten, besloten om de A levels die automatisch werden gegenereerd niet te gebruiken. In plaats daarvan worden de voorspellingen gebruikt die de leerkrachten eerder hadden opgesteld. Elk jaar maken leerkrachten een balans op van hun leerlingen en geven ze aan hoe goed ze verwachten dat de leerlingen het zullen doen in de verschillende A level vakken. Die voorspellingen waren in veel gevallen rooskleuriger dan wat het algoritme uiteindelijk toewees. De punten voor de GCSE, een tweede nationale examenreeks die het algoritme moest bepalen, en waarvan de uitslag normaliter deze week zou worden bekendgemaakt, worden uitgesteld.
Fout opgemerkt of meer nieuws? Meld het hier