Het Amerikaanse standaardeninstituut ontwikkelde de test om te zien hoe AI-modellen met sommige aanvallen omgaan.
Het NIST, het National Institute of Standards and Technology in de VS, heeft Dioptra opnieuw uitgebracht. Het gaat om een test die moet zien of een AI-model veilig is. De test bekijkt onder meer hoe goed een AI-model omgaat met aanvallen om de trainingdata van het model te ‘vergiftigen’, zodat het foute of kwaadaardige informatie geeft.
Dioptra kwam eerst uit in 2022 maar heeft nu een update gekregen. ‘Het testen van aanvallen op machine learning modellen is een van de doelen van Dioptra’, schrijft het NIST in een persbericht. ‘Deze openbron software is een gratis download en kan de gemeenschap – van overheidsinstanties tot kmo’s – helpen om hun AI-systemen te evalueren.’
Zwarte doos
Nu meer organisaties met AI-modellen komen of ze inzetten voor hun werking, groeit ook de vraag naar veiliger AI. Onder meer in het Verenigd Koninkrijk bracht de overheid al ‘Inspect’ uit, een toolset die moet testen of een AI-model kan weerstaan aan bepaalde aanvallen, of gebruikt kan worden om bijvoorbeeld desinformatie of wraakporno te genereren.
De meeste geavanceerde AI-modellen zijn echter moeilijk te testen, omdat ze een soort ‘zwarte doos’ vormen. Daarbij is het niet helemaal duidelijk, ook niet voor de ontwikkelaars, hoe ze tot hun output komen. Tools als Dioptra en Inspect kunnen dan ook niet garanderen dat een AI-model na de test veilig is, maar moeten wel bepaalde aanvalspaden belichten.
Fout opgemerkt of meer nieuws? Meld het hier