Inmiddels heeft vrijwel iedereen het wel door: systemen als ChatGPT, Claude, Gemini en Copilot kunnen reuze handig zijn, maar er komt maar weinig terecht van de enorme productiviteitswinst (‘10 keer sneller werken!’) die de AI-industrie nu al een aantal jaren aan ons belooft.
Plaats echter wat kritische kanttekeningen bij die belofte van productiviteitswinst met AI, en het duurt niet lang voordat iemand over softwareontwikkeling begint. ‘Hoe zit het dan met al die softwareontwikkelaars die geen regel code meer schrijven? Die zullen het toch niet mis hebben?’
De gedachte hierachter is dat ‘veelgebruik’ van systemen als ChatGPT – ik noem ze ‘contentgeneratoren’ omdat zij wel de de vorm van werk nabootsen maar geen kwaliteit garanderen – op zichzelf bewijs is dat zij een positief effect op de productiviteit hebben. ‘Aangezien softwareontwikkelaars contentgeneratoren inderdaad veel gebruiken, zal de impact dus wel enorm zijn’, dat idee.
Enorme verrassing
Als we even doen alsof softwareontwikkeling inderdaad representatief is voor het werk van bijvoorbeeld ondernemers en verkoopmedewerkers, dan is het alsnog niet terecht om productiviteitswinst te claimen zonder die echt gemeten te hebben. Een verandering in de manier van productie – bijvoorbeeld van het ‘handmatig’ schrijven van tekst naar het laten genereren van tekst – verandert namelijk ook de kwaliteit van dat wat er geproduceerd wordt.
Wat dit betekent voor het gehele productieproces is dusdanig ingewikkeld, dat onze intuïtie ons hier al gauw in de steek laat. Duurt het bijvoorbeeld langer om een tekst van een contentgenerator te redigeren en controleren dan een handmatige? Zo ja, hoeveel tijd besparen we dan écht?
Dit maakt het daadwerkelijk meten van productiviteitswinst noodzakelijk. Twee Harvard-economen, Fiona Chen en James Stratton, hebben dit vrij recent geprobeerd te doen voor softwareontwikkeling. Volgens hen is de impact van contentgeneratoren op softwareproductie ‘statistisch insignificant’. Gegeven de gigantische hype rondom AI komt dit resultaat misschien als een enorme verrassing. De verklaring voor hun bevinding is daarom ook voor andere beroepsgroepen relevant.
Lees ook: AI zou werk besparen, maar onderzoek laat net het tegenovergestelde zien
De Jellyfish-dataset
De kracht van het onderzoek van Chen en Stratton is dat zij productiviteitsveranderingen probeerden te meten op zowel individueel als organisatorisch niveau. Om zo’n meting te doen zijn er specifieke databronnen nodig.
Chen en Stratton hadden toegang tot een dataset van Jellyfish, een analytics-platform waarop softwarebedrijven productiviteitsinzichten krijgen. Deze dataset bevat de gegevens van 700 bedrijven en 700.000 medewerkers over de periode januari 2021 tot en met maart 2026. Met andere woorden, de onderzoekers gebruikten data van vóór en na de opkomst van ChatGPT.
Ook bevat de Jellyfish-dataset gegevens van twee van de belangrijkste typen systemen die softwareontwikkelaars en -bedrijven gebruiken: versiebeheer en issuemanagement. In versiebeheersystemen staat naast de computercode die ontwikkelaars produceren ook de gehele historie aan veranderingen aan die code. Dit geeft inzicht in de individuele productiviteit van softwareontwikkelaars.
In issuemanagementsystemen wordt de voortgang van het werk bijgehouden van taak- tot projectniveau. Deze combinatie van gegevens maakt het mogelijk om veranderingen in de manier van werken op het individuele niveau te koppelen aan productiviteitsveranderingen op organisatieniveau.
Daarnaast bevat de Jellyfish-dataset ook gegevens over het gebruik van AI-codegeneratoren als GitHub Copilot, Cursor en Claude Code. Deze dataset bevat dus alle gegevens die nodig zijn om een serieuze productiviteitsmeting uit te voeren.
AI-bagger
De onderzoekers onderscheiden in hun analyse het gebruik van ‘AI-codeerassistenten’ en die van ‘AI-codeeragents’. De eerste categorie is voor te stellen als een softwareontwikkelaar die losse vragen stelt in een chatvenster, de tweede als het uitbesteden van hele brokken werken aan een contentgenerator.
Op het eerste gezicht lijken beide typen gebruik tot hogere productie te leiden. In het geval van codeerassistenten concluderen de onderzoekers dat er een stijging is van 5 procent aan zogenoemde pull requests. Dat is een signaal dat softwareontwikkelaars afgeven in een versiebeheersysteem als zij denken een taak afgerond te hebben. In het geval van codeeragents is dat percentage maar liefst 23 procent, ongeveer een dag per week (!) aan extra productiviteit.
De hamvraag is hoe deze productiviteitswinst op individueel niveau zich verhoudt tot productiviteit op het organisatieniveau. Specifiek: hoe vertaalt deze stijging in pull requests zich naar het daadwerkelijk afronden van individuele taken en volledige functionaliteiten en projecten in het issuemanagementsysteem? Chen en Stratton: ‘Wij zien kleine positieve, maar statistisch insignificante, effecten op deze maatstaven sinds de adoptie van AI-codeerassistenten en -codeeragents.’
Lees ook: Techbedrijven openen de jacht op AI-slop, maar dat gaat vrij moeizaam
Meer tijd en meer commentaar
Dat roept een prangende vraag op. Hoe is het mogelijk dat een enorme productiviteitswinst van één dag per week per medewerker in rook opgaat? Er kan alleen maar één verklaring zijn, die vrijwel iedereen zal herkennen: het ‘werk’ van de contentgeneratoren is gewoon niet goed genoeg. Oftewel: contentgeneratoren produceren te veel slop, te veel AI-bagger.
Dat blijkt ook uit de bespreking van Chen en Stratton. Dankzij de Jellyfish-dataset weten zij ook wat er na de pull request van een softwareontwikkelaar gebeurt. Zij zagen dat de gemiddelde tijd om een pull request te beoordelen — iets wat in de regel door een menselijke collega gedaan wordt — met bijna de helft toeneemt. En het aantal commentaren op het werk stijgt met iets meer dan een derde.
Dit is een bekend fenomeen: het automatiseren van werk is eenvoudig, maar het automatiseren met behoud van kwaliteit is ingewikkeld.
Een valse belofte
Sommige softwarebedrijven hopen er op dat zij op den duur het beoordelen van de met AI gegenereerde code ook kunnen uitbesteden aan een contentgenerator. Maar Chen en Stratton citeren in hun onderzoek een senior softwareontwikkelaar, die bondig uitlegt waarom mensen noodzakelijk blijven in die beoordeling: ‘Zelfs met AI-tools blijf je absoluut mensen nodig hebben in het reviewproces. Ik zie geen moment waarop je geen menselijk toezicht nodig zal hebben, ook al worden de tools beter. AI-tools ontbreekt het aan begrip van wat een functionaliteit eigenlijk moet doen’.
Deze ontwikkelaar legt de vinger op de zere plek: AI-systemen zijn niet écht intelligent. In mijn recent verschenen boek Dit is AI. De valse belofte van kunstmatige intelligentie leg ik uit waarom AI-systemen niet echt begrijpen en waarom dit relevant is. Het ontbreken van echte intelligentie is geen abstract filosofisch punt, maar raakt aan de kern van de vraag wat contentgeneratoren echt kunnen en hoe zij dus nuttig ingezet kunnen worden.
Want als je eenmaal doorhebt dat mensen altijd nodig zullen zijn om het werk van AI-systemen te controleren, wat betekent dat dan voor de manier waarop je AI besluit in te zetten?
Lees ook: AI duurder dan personeel? Zo helpen open Chinese modellen de kosten drukken
