Goed nieuws voor studenten: ChatGPT-detectietools, waarmee bijvoorbeeld professoren en leerkrachten kunnen achterhalen of een tekst werd geschreven met ChatGPT, kunnen makkelijk worden omzeild. Het volstaat vaak om teksten die het achterliggende GPT-3-taalmodel produceert wat ‘literairder’ te maken.
Studenten of leerlingen die zo laat aan hun paper of boekbespreking beginnen dat ChatGPT de enige optie lijkt, kunnen weer gerust ademhalen. Niet lang nadat de chatbot gekoppeld aan OpenAI’s geavanceerde taalmodel publiek ging, verschenen er ook detectietools om te achterhalen of een bepaalde tekst door een machine werd geschreven in plaats van een mens. Maar die detectietools blijken verre van waterdicht, zo blijkt uit een studie van de Californische Stanford-universiteit.
Literaire taal
In een experiment lieten Stanford-onderzoekers ChatGPT een reeks opstellen maken volgens de normen van schrijfwerkjes die Amerikaanse scholieren in 2022 en 2023 indienden om toe te worden gelaten aan een universiteit. Ze gooiden die vervolgens door zeven GPT-detectors, waaronder een plagiaatdetectietool die OpenAI eerder dit jaar zelf lanceerde en het door veel leerkrachten gebruikte GPTZero. De detectoren bleken in 70 procent van de gevallen te ontdekken dat de tekst was geschreven door OpenAI. Maar toen ze dezelfde nepteksten lieten opstellen met wat meer, zoals ze in hun ChatGPT-prompt vroegen, ‘literaire taal’, bleek de plagiaatsoftware veel minder goed zijn werk te doen: de zeven detectoren wezen nog maar 3,3 procent van de werken aan als geschreven door een machine.
Niet-Engelstaligen in het nadeel
In een ander experiment joegen de Stanford-vorsers een tweehonderdtal effectief door menselijke studenten ingediende werkjes die ze online aantroffen door de zeven detectoren. Van 88 opstellen van Amerikaanse middelbare scholieren werd er van slechts vier stuks aangegeven dat ze met ChatGPT zijn geschreven. Maar van 91 opstellen die Chinese scholieren moeten indienen als een gestandaardiseerde test voor hun kennis van het Engels, en die eveneens door de zeven detectietools werden gehaald, gaven er liefst 18 een detectie-alarm af bij alle zeven detectors. Een Engelse tekst geschreven door een ‘non-native’ heeft dus een gevoelig hoger risico om te worden aangewezen als geschreven door een machine, ook al is dat niet zo.
Tekstperplexiteit
Door die achttien aangewezen essays van naderbij te bekijken, ontdekten de onderzoekers ook waar het om draait: hoe lager de ‘tekstperplexiteit’ (kort gezegd: onvoorspelbaarheid, door een grotere afwisseling van woorden), hoe hoger de kans dat een tekst door de tools wordt aangegeven als geschreven door kunstmatige intelligentie. Wie een machinegeschreven tekst eventjes pimpt door hem wat breedvoeriger en ‘literairder’ te maken, verkleint dus aanzienlijk de kans dat hij zal worden betrapt. En ja, ook dat kan gewoon aan ChatGPT worden gevraagd.
