Max Welling was net teruggekeerd uit de VS om aan de UvA een onderzoeksgroep te starten rond machine learning en mocht zijn eerste PhD’er aannemen. Hij ging dus koffie drinken met een sollicitant en wist meteen: hier zat een bijzonder begaafde jongen tegenover hem. ‘Durk is echt iemand die ontzettend creatief denkt, buiten de hokjes. Heel slim ook. Ik dacht: dat wordt wel wat.’
Welling kreeg meer gelijk dan hij voor mogelijk had gehouden.
Proefschrift over machine learning
Durk is de roepnaam van Diederik Pieter Kingma (41), de Nederlandse wetenschapper die onder meer medeoprichter was van AI-gigant OpenAI. Na een tijd bij Google stapte hij onlangs over naar Anthropic, bekend van zijn chatbot Claude. Durk Kingma is buiten zijn vakgebied vrijwel onbekend, maar in de AI-wereld een grootheid.
De basis daarvoor legde hij met zijn promotie-onderzoek, begeleid door Welling. Zijn proefschrift bulkte van de nieuwe inzichten in machine learning en deep learning. Met in het hart ervan de Variational Autoencoder (VAE), een manier om het laten ‘leren’ van computers – machine learning – beter op te schalen, zodat een AI-systeem met minder data kan worden getraind om nieuwe plaatjes, tekst of video te genereren.
Durk Kingma’s neus voor impact
Welling: ‘Dat kan Durk heel goed. Hij heeft een neus voor dingen die de meeste impact gaan maken, voor welke problemen op enig moment belangrijk zijn om aan te werken. Dat is deels intuïtie. Zijn onderzoek gaat heel diep, maar leidt ook tot praktische toepassingen. Je kunt gerust stellen dat als je vandaag een plaatje of video genereert, er elementen zijn terug te voeren naar de Variationele Autoencoder waar Durk tien jaar geleden aan gewerkt heeft.’
Kingma promoveerde in 2017 cum laude. Maar belangrijker was dat zijn VAE, en concepten als Adam Optimizer en later Glow, gereedschap werden waar zo’n beetje elke wetenschapper en ontwikkelaar van generatieve AI dankbaar gebruik van maakt. Dat zijn paper over de Adam Optimizer wereldwijd een van de meest geciteerde is over alle wetenschapsgebieden heen, zegt veel.
Lees ook: Nederland verdient meer academische spin-outs: hoe gaan we dat regelen?
Creatief en technisch heel sterk
‘Omdat hij als eerste bij mij aan de slag ging, had hij veel vrijheid’, zegt zijn promotor Welling. ‘Hij zat niet vast aan een specifiek onderzoeksvoorstel. Het was een kwestie van eens per week praten over allerlei onderwerpen binnen ons vakgebied. Als promotor doe je suggesties en geef je richting en feedback, maar de meeste ideeën kwamen van Durk. Het was verrassend om te zien hoe hij als creatief figuur technisch ook heel sterk is.’
Kingma was tijdens zijn bachelor Informatica in Utrecht al gegrepen door de steeds krachtigere neurale netwerken die machine learning mogelijk maakten. De computer hoefde niet meer gevoerd te worden met eindeloos veel nauwkeurig beschreven data om hem te laten ‘denken’, hij vond steeds vaker en makkelijker zelf zijn weg.
‘Daar hadden we op donderdag tijdens ons bijpraatbiertje eindeloze gesprekken over’, zegt Tim Harbers, die samen met Kingma Informatica studeerde. ‘Dan gingen we met nieuwe plannen en ideeën naar huis, kijken of die al door anderen waren bedacht.’
Volle bak in het studentenleven
Dat was best wel nerdy, zegt Harbers, maar hij en Kingma waren evengoed allebei lid van het corps. ‘Maar daar gingen mensen al snel glazig kijken als je over kunstmatige intelligentie begon. We waren sowieso de enige AI-studenten van ons jaar.’
Afgezien van dat enthousiasme over de potentie van AI gingen de twee ‘volle bak’ voor het studentenleven. Dat draaide niet alleen om bier: de sportieve Kingma stortte zich in zijn derde jaar op wedstrijdroeien en organiseerde later roeiwedstrijd Varsity.
Harbers en hij gingen na hun masters ook samen ondernemen. Met Advanza ontwikkelden ze bedrijfssoftware voor de ondersteuning van sales. ‘Daar kwam AI aan te pas, maar eigenlijk minder dan ons lief was’, zegt Harbers.
Hun tweede startup, SNTMNT, ging wel helemaal over data: software die beurskoersen voorspelde aan de hand van het online sentiment. ‘We gingen lang gelijk op en hebben een jaar of twee samen ondernomen. Zijn enthousiasme over AI werkte altijd aanstekelijk. Ik ben meer een man van de praktijk, maar Durk had altijd gezegd: op een gegeven moment wil ik terug de wetenschap in.’
Lees ook: Hoe krijgen we meer universitaire startups? ‘Laat het vaker over aan mensen van buiten’
Schoenendoos in New York
Tijdens zijn master had Kingma daar al aan geroken. Hij wilde voor zijn masterscriptie naar het buitenland en was onder de indruk van het werk van de Franse Amerikaan Yann LeCun, en zo stoer om hem wat eigen ideeën te mailen. Hij had geen idee waar LeCun, tegenwoordig hoofd AI bij Meta, werkte. Dat bleek de universiteit van New York te zijn. Kingma was er meteen welkom, huurde ‘een schoenendoos’ in China Town, Manhattan en zette in 2009 zijn naam onder papers die hij samen met LeCun schreef.
In 2012 vertrok Kingma weer voor een halfjaar naar New York om onderzoek te doen bij LeCun. Het was de tijd waarin krachtigere chips en steeds meer data ervoor zorgden dat kunstmatige intelligentie enorme sprongen maakte, steeds verder op weg naar algemene kunstmatige intelligentie ofwel AGI: AI die menselijke intelligentie evenaart of overtreft. Amerika was de plek waar het oké was om grote, wilde ideeën te hebben, en ambitie. Daar voelde hij zich als onderzoeker thuis.
AI in veilige banen leiden
De voorhoede van de AI-onderzoekswereld is klein, bleek terug in Nederland, waar zijn vriendin – inmiddels vrouw – studeerde. Terwijl Kingma vanaf 2013 samen met Welling werkte aan zijn ideeën over generatieve AI, werkte in Londen Google DeepMind aan iets soortgelijks.
Toeval, maar het bracht de twee wel samen. Kingma liep stage bij Google en kreeg er een PhD fellowship. Welling: ‘Echt een heel prestigieuze beurs, hij was denk ik de eerste Nederlander die er een kreeg. Een goede move van Durk.’
Wat heet. In de zomer van 2015 hadden vier techies tijdens een etentje besloten dat ze de ontwikkeling van AI in veilige banen wilden helpen leiden. Voorkomen dat de technologie voorbehouden zou blijven aan de grote techbedrijven. Die investeerden toen al een flinke poos miljarden in hun eigen labs. Nee, AI mocht niet ontsporen en moest ten goede komen aan de hele mensheid. Daarvoor moest het open en toegankelijk blijven voor zoveel mogelijk mensen.
Met Musk en Altman om tafel
OpenAI heette de stichting annex startup waar Elon Musk, Ilya Sutskever, Sam Altman en Greg Brockman een founding team voor samenstelden. Ze vroegen rond welke toppers ze moesten uitnodigen voor het project, en zo kwamen ze ook uit bij ene Durk Kingma uit Holland.
Die kwam over naar Napa Valley, waar hij in een wijnboerderij een lange avond mee vergaderde over een veilige toekomst voor AI, met voldoende cafeïnepillen tegen de jetlag. Zo ging de man achter de VAE-paper de geschiedenis in als co-founder van OpenAI, de maker van ChatGPT en Dall-E en tegenwoordig de leider in generatieve AI met een waarde van ruim 150 miljard dollar.
Lees ook: Sam Altman heeft verse miljarden, gaan de remmen nu helemaal los bij OpenAI?
OpenAI als chaotische startup
Bijna tien jaar geleden was OpenAI nog vooral een chaotische startup. Dat zegt Tim Salimans, die een paar maanden na de start net als Kingma naar Silicon Valley verhuisde om er te gaan werken. ‘We zaten echt met acht man om een keukeneiland bij iemand thuis te werken. Met een heel sterk team, sterker dan je bij een individuele universiteit zult vinden. De beste onderzoekers zaten er, en OpenAI had beschikking over de rekenkracht die je nodig hebt voor toponderzoek.’
Hij herinnert zich ook de snelheid waarmee dingen gebeurden. ‘Als ze iemand ontdekten die goed was, kon die meteen langskomen voor een sollicitatie. De dag erop had die een contract. En er was natuurlijk een interessant clubje mensen bij betrokken. Elon Musk kwam af en toe langs om zijn visie te verkondigen. Hij had toen goede ideeën over hoe je dingen opschaalt en was extreem ambitieus. Hij wilde een robot die zelfstandig een Ikea-kast in elkaar zou kunnen zetten aan de hand van een standaard gebruiksaanwijzing. Hij vroeg aan ons team: hoelang duurt dat om te ontwikkelen? Twee jaar, dachten we. Hij: ‘Waarom kan het niet in twee maanden?”
Dagenlang nadenken over theoretisch probleem
Hoe zou Salimans zijn collega Durk Kingma omschrijven? ‘Als iemand die langer en beter over dingen kan nadenken dan de meeste andere onderzoekers. Veel collega’s in AI zijn nu vooral bezig met de implementatie en optimalisatie van steeds grotere modellen. Durk kan echter makkelijk dagenlang nadenken over een theoretisch probleem. Daar heeft hij zijn succes aan te danken. De VAE waar hij zo beroemd om is, is echt vanuit de theorie opgebouwd, niet het resultaat van alleen beter programmeren of meer rekenkracht. Dat zijn werk zo massaal wordt geciteerd door vakgenoten is tamelijk uniek.’
Maar denk niet dat de met prijzen overladen machine learning-expert de hele dag in zijn hoofd opgesloten zit, of naast zijn schoenen loopt. Welnee, hij heeft een druk sociaal leven, heeft een gezin met twee jonge kinderen en genoeg interesses, zegt Salimans. Kingma woont bij hem om de hoek. Dat hij vanuit Nederland kan blijven werken en niet terug hoeft naar Silicon Valley, zegt ook over hoe graag de Amerikanen hem willen hebben.
Switch van OpenAI naar Google
OpenAI is niet de enige die miljarden pompt in fundamentele research. Dat doet ook de gevestigde orde in Big Tech en andere grote AI-startups. Salimans stapte in 2018 over naar Google, vertelt hij, omdat hij daar de kans kreeg om in Amsterdam een Google Brain-onderzoekslab op te zetten, nu onderdeel van Google DeepMind. ‘Ik wilde weer terug naar Nederland. En Durk kwam ook over naar Google.’
Zo’n switch als die van OpenAI naar Google heeft voor wetenschappers vooral te maken met de mogelijkheden die ze krijgen, met wie ze kunnen samenwerken en de richting die het onderzoek in een bepaald lab inslaat. Kingma zat voor Google jarenlang in Californië, waar zijn vrouw aan de slag ging als sociaal advocaat. Met hun opgroeiende kinderen keerden ze eind vorig jaar terug naar Nederland, in de buurt van hun families.
Iets professorachtigs
Durk is opgegroeid in een rustig dorpje, in een warm gezin met een jongere broer en zus en nog twee zussen boven zich, vertelt David Stam, oud-huisgenoot en vriend van Kingma. ‘En allemaal razend slimme, sociale mensen’, zegt hij. Als huisgenoot maakte ook hij mee hoe Kingma compleet kon opgaan in zijn onderzoek. ‘Dan had hij wel iets professorachtigs. Dan klopte je aan zijn deur, zat hij boven vellen vol formules achter zijn computer en drong je een tijdje echt niet tot hem door.’
Maar als dat wel lukte, was hij best te porren voor een biertje of een rondje hardlopen langs de Utrechtse singel midden in de nacht. ‘Ik vond het knap dat hij zo goed die studie kon combineren met zo’n actief studentenleven. Het was ook vaak nachtwerk natuurlijk. Maar linksom of rechtsom: je wist dat hij het ver zou schoppen.’
Nog steeds is de AI-onderzoeker wel in voor gekkigheid. Komt Stam in San Francisco, dan wordt er parachute gesprongen. Wat bijvoorbeeld echt aan Kingma heeft geknaagd: dat hij vanwege zijn werk niet meekon naar Ecuador, waar Stam en een andere oud-huisgenoot op de markt paarden kochten om er een maand rond te trekken.
AI die menselijke intelligentie evenaart
Tijdens zijn tijd bij Google in Londen kwamen de vrienden ook langs. Stam: ‘We hadden zin in een gek feest, niet in weer een club. Dat zijn we gaan vragen aan de raarste kerel die we op straat tegenkwamen. We eindigden na een taxirit en een lange wandeling in een bos, waar die gast vertelde dat hij een ex-gedetineerde was. Maar we hadden wel een leuke avond tijdens die bos-rave.’
Kingma bleef jaren werken bij Google, waar hij kon onderzoeken wat hij wilde. Zijn collega Salimans: ‘Google was de grootste speler op machine learning-gebied en heeft veel verschillende teams. Durk wil het liefst bijdragen aan algemene kunstmatige intelligentie, articifial general intelligence ofwel AGI: het idee dat AI menselijke intelligentie evenaart.’
Wezenlijke missie van Anthropic
Dat verklaart de stap die de Nederlandse AI-rockster (voor insiders dan) een maand geleden in het nieuws bracht, met koppen als ‘Mede-oprichter van OpenAI geschaakt door Anthropic’. OpenAI en Anthropic zijn inderdaad twee relatief jonge startups die met miljarden en de grootste talenten ter wereld de gevestigde orde een poepje laten ruiken.
Afgezien van die al dan niet vermeende rivaliteit: Kingma vertrok al in 2018 bij OpenAI, zijn nieuwe baan heeft dus niet direct te maken met de ruzie over de koers binnen OpenAI, waar nog maar twee van de oorspronkelijke elf oprichters aan boord zijn.
Wat wel speelt: Anthropics ceo en medeoprichter Dario Amodei was ooit een collega bij OpenAI, waar Amodei als hoofd research vertrok om in 2021 zijn nieuwe startup te beginnen. Anthropic richt zijn onderzoek daarbij op algemene AI en heeft een missie die Kingma heel wezenlijk vindt: zorgen voor veilige AI die de hele mensheid ten goede komt. Daarvoor vliegt hij nu dus regelmatig heen en weer naar Londen.
Durk Kingma is wereldberoemd
Zijn promotor Welling: ‘Durk is zo bekend, dat hij eisen kan stellen. Maar arrogant? Totaal niet! Nee hoor, hij is makkelijk in de omgang en het is vooral veel lachen met hem. Hij loopt echt niet te pochen over zijn prestaties, terwijl we als Nederland best trots op hem en op onze andere onderzoekers mogen zijn. Dat zien we naar mijn smaak nog te weinig in. Durk is echt wereldberoemd, maar dat merk je alleen als je met hem op een conferentie rondloopt: iedereen wil hem een hand geven.’
