Heeft ChatGPT te kampen met seizoensgebonden depressies?

Als gebruiker heb je het misschien al gemerkt: ChatGPT lijkt sinds eind november minder ijverig te zijn geworden. De chatbot weigert geregeld om simpele opdrachten uit te voeren of laat jou het gros van het werk doen. Wat is er aan de hand?

ChatGPT werd net iets meer dan een jaar geleden op de wereld losgelaten. De chatbot werd in een mum van tijd razend populair. In minder dan twee maanden bereikte ChatGPT honderd miljoen gebruikers, een ongekende prestatie in de wereld van technologie. De tool dankt zijn populariteit aan de vele taken die hij kan uitvoeren. Of het nu gaat om het schrijven van tekst, het genereren van code of het invullen van een spreadsheet: ChatGPT is voor veel mensen een onmisbaar hulpmiddel geworden op de werkvloer.

Maar de afgelopen weken is de chatbot begonnen met het vertonen van enigszins eigenaardig gedrag. Gebruikers op X, het voormalige Twitter, melden steeds vaker dat ChatGPT hun vragen niet of slechts gedeeltelijk beantwoordt. In plaats van code te genereren, legt de tool gebruikers bijvoorbeeld uit hoe ze deze eigenhandig moeten schrijven. Een CSV-bestand (een specificatie voor tabelbestanden) invullen? Doe het maar zelf.

OpenAI weet het zelf niet

Het probleem nam al snel zodanig grote proporties aan dat OpenAI zelf genoodzaakt was om te reageren. ‘We hebben het model sinds 11 november niet meer bijgewerkt, en er is zeker geen opzet in het spel. Het gedrag van het model kan onvoorspelbaar zijn en we kijken of we dit kunnen verhelpen’, zei het bedrijf achter de chatbot. Met andere woorden, OpenAI heeft zelf geen idee wat er aan de hand is.

Het is dan maar aan de gebruikers om te achterhalen wat er scheelt. Sommigen kwamen met het opmerkelijke idee dat dit te maken heeft met de tijd van het jaar. Meer bepaald zou ChatGPT last hebben van een soort seizoensgebonden depressie. De logica hierachter is dat het model uit de datasets waarop het is getraind, zou hebben geleerd dat mensen het rustiger aan doen in december, en dat het dit gedrag zou kunnen kopiëren.

Michiel Vandendriessche, medeoprichter van de Leuvense AI-startup Raccoons, nuanceert. ‘Er zijn mensen die het issue hebben onderzocht en die spreken van een statistisch significant resultaat.’ Als je bijvoorbeeld in mei een opdracht invoert, krijg je volgens die onderzoekers complexere antwoorden dan in december. ‘OpenAI zelf vond echter geen verband’, zegt Vandendriessche.

Zelf acht hij het eerder onwaarschijnlijk dat het winterseizoen invloed heeft op het gedrag van ChatGPT. ‘Mij lijkt het heel straf dat dit effectief de reden is’, klinkt het. Een andere mogelijke verklaring, volgens experts binnen Raccoons waarmee Vandendriessche sprak, is dat energie eenvoudigweg duurder is tijdens de wintermaanden, wat OpenAI bewust zou kunnen doen besluiten om de output korter te maken. Aan de andere kant zou OpenAI zichzelf dan wel tegenspreken door te stellen dat het de oorzaak zelf niet kent, geeft Vandendriessche toe.

Een andere mogelijke verklaring is dat de belasting op de servers eenvoudigweg te zwaar is geworden door de enorme populariteit van ChatGPT. Midden november moest OpenAI bijvoorbeeld tijdelijk stoppen met het aannemen van nieuwe abonnementen. Dit gebeurde kort na de eerste OpenAI DevDay, waar enkele nieuwe tools werden aangekondigd, waaronder de mogelijkheid om je eigen op maat gemaakte GPT-chatbot te creëren. Midden december plaatste CEO Sam Altman het volgende op X: ‘We hebben de ChatGPT+ abonnementen weer ingeschakeld! Bedankt voor jullie geduld terwijl we meer GPU’s hebben gevonden’. Toch zijn er sindsdien nog steeds gebruikers die klagen over een minder performant ChatGPT.

‘Black box’

Hoewel het nog steeds niet helemaal duidelijk is wat er aan de hand is en of ChatGPT last heeft van de winterblues, is één ding wel zeker. Technologie begint zich steeds meer te gedragen als een ‘black box’. Dit betekent dat we alleen de in- en outputs kennen, maar eigenlijk geen idee hebben van wat er zich binnenin een systeem afspeelt.

‘Zelfs een toponderzoeker binnen OpenAI kan op geen enkele manier voorspellen, zelf niet door naar de achterliggende code te kijken, wat de output exact zal zijn’, zegt Vandendriessche. LLM’s oftewel large language models (algoritmen die inhoud kunnen genereren met behulp van zeer grote datasets; bij ChatGPT vrijwel het hele internet) werken immers door complexe berekeningen uit te voeren om tot een antwoord te komen. ‘Die berekeningen gaan het begrip van mensen gewoon te boven’, aldus de Raccoons-medeoprichter.

‘Naarmate systemen complexer worden, zal het steeds vaker gebeuren dat we simpelweg niet weten wat er aan de hand is’, zegt Vandendriessche. ‘Dat hoeft echter niet per se een probleem te zijn. Zolang we kunnen controleren dat de outputs niet te buitensporig zijn, moeten we ons afvragen hoe kwalijk het is dat we niet altijd inzicht hebben in hoe een AI tot een bepaald antwoord komt’.

Haal eens diep adem

Maar zelfs als we niet altijd weten waarom een chatbot een bepaald antwoord geeft, kunnen we in de tussentijd wel manieren vinden om toch de gewenste output te genereren. Ook hier lijkt het er soms op dat ChatGPT menselijke gedragingen overneemt.

Een gebruiker op X ontdekte bijvoorbeeld dat de chatbot diepgaande antwoorden geeft wanneer je eenvoudigweg een fooi belooft te geven. Hoe groter de fooi, hoe langer het antwoord bovendien wordt. Anderen moeten ChatGPT naar eigen zeggen dan weer een beetje aanmoedigen om door te gaan, zoals een coach die een atleet dat extra duwtje geeft. Ook wanneer je de chatbot vraagt om eens diep adem te halen alvorens een antwoord te geven, lijkt deze beter te presteren. Zelfs alles in hoofdletters typen lijkt een effect te hebben.

Dus de volgende keer dat ChatGPT je een teleurstellend antwoord geeft, blijf je best even geduldig. Misschien moet je gewoon wat meer empathisch zijn en heel lief vragen of de chatbot het nog eens wil doen. En als dat niet werkt, kan je de tool altijd proberen om te kopen.