GPT-4 geeft een productiviteitsboost tot 40 procent, zegt academische studie

Generatieve AI gebaseerd op OpenAI’s taalmodel GPT-4 helpt bedrijfsmedewerkers hun taken vaker, sneller en kwaliteitsvoller af te werken dan zij die het AI-hulpje niet gebruiken, zo blijkt uit een studie van drie Amerikaanse universiteiten.

Ze waren er snel bij. In november 2022 had generatieve AI zijn zogeheten ‘iPhone-moment’ met de publieke lancering van chatbot ChatGPT. En in januari van dit jaar gingen onderzoekers van de Amerikaanse Harvard-universiteit, samen met collega’s van het nabije Massachusetts Institute of Technology (MIT) de Wharton-handelshogeschool in Philadelphia, al aan de slag om te onderzoeken hoe deze nieuwe technologische doorbraak de productiviteit van bedrijfsmedewerkers kan boosten. Ze werkten daarvoor samen met de Boston Consulting Group (BSG), een wereldwijd adviesbureau met 21.000 medewerkers uitgestrooid over de hele wereld.

Onmiddellijke winst

Daarvan werden er 758 gevolgd in de uitvoering van 18 dagelijkse taken die ze moesten uitvoeren in advieswerk voor een fictieve schoenenfabrikant. Die taken werden in vier categorieën opgedeeld: creatieve (‘Stel ten minste 10 ideeën voor om een nieuwe schoen te richten op een onderbediende markt of sport’), analytische (‘Segmenteer de schoenenindustriemarkt op basis van gebruikers’), productieve (‘Stel een persbericht op’) of op overtuiging gerichte (‘Leg in een inspirerende memo aan werknemers uit waarom dit product de concurrentie overtreft’) taken.

Een deel van de groep moest zonder machinehulp verder, een ander kreeg assistentie van GPT-4. Bij die laatste ontdekten de onderzoekers dat ze gemiddeld 12,2 méér taken konden afwerken dan diegenen zonder AI. Die consultants met AI-hulp kregen hun taken 25 procent sneller afgewerkt. En de kwaliteit waarmee ze zich van hun opgaven kweten ging met 40 procent vooruit.

‘Dat we de prestaties van deze goed betaalde, hoogopgeleide consultants kunnen verbeteren, taken die zeer gerelateerd zijn aan het dagelijkse werk van deze mensen die van elite MBA-onderwijsinstellingen komen, dat is echt indrukwekkend’, vertelde Harvard-professor Fabrizio Dell’Acqua, hoofdauteur van de studie, tegen technieuwssite VentureBeat.

Centauren en cyborgs

Nog een opsteker is dat de consultants die doorgaans het minst sterk presteerden zonder AI-hulp (wat bij aanvan van de studie voor de hele groep werd gemeten) ook de stevigste boost kregen nadat ze generatieve AI gingen gebruiken. AI is dus een skill leveler, zegt de studie. Verder gebeurden er merkwaardige dingen met de vaardigheden van die consultants uit de groep die sterker waren in het gebruik van technologie. De onderzoekers ontwaarden daar twee groepen in. ‘Centauren’ wipten taak per taak van AI naar eigen arbeid, afhankelijk van de capaciteiten die werden vereist. Dat in tegenstelling tot de ‘cyborgs’, die een eerder gemengde benadering gebruikten: ze deelden hun taken op in dingen die ze zelf konden doen en die ze konden overlaten aan de machine.

Opgelet voor overschatting

Daarbij waarschuwde de studie wel voor een overschatting van de capaciteiten van AI. Een courante vergissing die de meewerkende consultants over de hele lijn maakten was dat ze kunstmatige intelligentie gebruikten voor dingen waarin de technologie eigenlijk niet goed is.

‘Sommige taken die logischerwijs even moeilijk lijken – bijvoorbeeld het schrijven van een sonnet en een gedicht van precies 50 woorden – bevinden zich eigenlijk aan verschillende kanten van de muur’, schreef Wharton-professor Ethan Mollick in zijn samenvatting van de paper. ‘De AI is geweldig in het sonnet, maar vanwege de manier waarop het de wereld conceptualiseert in tokens in plaats van woorden, produceert het consequent gedichten van meer of minder dan die 50 woorden.’