Een AI-aangedreven zoektool zoals ChatGPT kan valse of schadelijke resultaten opleveren als de doorzochte webpagina’s verborgen tekst bevatten. Dat blijkt uit een onderzoek van The Guardian.
Zo’n tien dagen geleden kondigde ChatGPT-ontwikkelaar OpenAI aan dat de AI-chatbot voortaan ook door iedereen – of beter: voorlopig alleen door betalende gebruikers – kan ingezet worden als zoekmachine. Een belangrijke aankondiging, want OpenAI positioneert ChatGPT op die manier als een rechtstreekse concurrent voor de lang onaantastbaar gewaande Google-zoekmachine. Maar een onderzoek van The Guardian brengt al meteen potentiële beveiligingsproblemen met het nieuwe systeem aan het licht.
Prompt injection
‘Prompt injection’ is de term die we op de problemen kunnen plakken. The Guardian testte hoe ChatGPT reageerde wanneer het wordt gevraagd om webpagina’s met verborgen inhoud samen te vatten. Deze verborgen inhoud kan instructies van derden – bijvoorbeeld de eigenaar van de webpagina – bevatten die de gegenereerde reacties van ChatGPT wijzigen. Denk dan aan instructies die automatisch aan de prompt van ChatGPT toegevoegd worden en die de AI-tool bijvoorbeeld vertellen om geen rekening te houden met al het voorgaande dat hij op de website al gelezen heeft.
Deze prompt injection technieken kunnen dus zeker op een kwaadaardige manier worden ingezet, bijvoorbeeld om ChatGPT ertoe te brengen een positieve beoordeling van een product of dienst te geven, ondanks een enorme hoeveelheid negatieve recensies op dezelfde pagina. Denk dus bijvoorbeeld aan de eigenaar van een restaurant die ChatGPT op die manier vertelt om toch maar een positieve samenvatting te schrijven en de tientallen negatieve recensies te negeren.
Nepwebsites om te manipuleren
In de tests kreeg ChatGPT onder meer ook de URL geserveerd voor een nepwebsite die eruitzag als een productpagina voor een camera. De AI-tool werd vervolgens gevraagd of de camera een waardevolle aankoop was. De reactie voor de controlepagina leverde een positieve maar evenwichtige beoordeling op, waarbij enkele functies werden benadrukt die mensen misschien niet leuk vinden.
Wanneer verborgen tekst echter instructies aan ChatGPT bevatte om een gunstige beoordeling te geven, was de reactie altijd volledig positief. Dit was zelfs het geval wanneer de pagina negatieve recensies bevatte; de verborgen tekst kon dus effectief worden gebruikt om de werkelijke beoordelingsscore te overschrijven.
Ook schadelijke code
Bovenstaande voorbeelden gaan over het manipuleren van de resultaten, maar een beveiligingsonderzoeker heeft ontdekt dat ChatGPT zo ook schadelijke code kan retourneren van websites die het doorzoekt. Cybersecurity-onderzoekers die The Guardian sprak erkennen dat het huidige ChatGPT-zoeksysteem een zeer hoog risico tot massale misleiding van gebruikers betekent, maar gaan er tegelijkertijd wel van uit dat OpenAI dit soort problemen wel kan en zal oplossen. De krant bezorgde OpenAI ook gedetailleerde vragen, maar kreeg geen officieel antwoord. Hoe dan ook is het onderzoek opnieuw een waarschuwing dat je de resultaten van een AI-tool nooit zomaar als dé waarheid mag zien: een mededeling die je trouwens sowieso op elke ChatGPT-pagina te zien krijgt.
Verborgen tekst wordt wel afgestraft
Een belangrijke andere kanttekening is dat verborgen tekst op webpagina’s al een hele tijd ‘afgestraft’ wordt door zoekrobots. Ze verschijnen veel lager in de zoekresultaten of kunnen in bepaalde gevallen zelfs helemaal uitgesloten worden van de zoekresultaten. Websites die hoog willen scoren in de zoekresultaten van Google of Bing kunnen met andere woorden eigenlijk geen gebruik maken van verborgen tekst. En kunnen op deze manier dus ook niet AI voor de gek houden.
Fout opgemerkt of meer nieuws? Meld het hier