Ook zo geschrokken van de meest recente voorspelling van Dario Amodei, de ceo en co-founder van Anthropic? In zijn nieuwste essay – We must pace the frontier – komt hij met een hele rits waarschuwingen: van het verliezen van de controle over AI-systemen tot misbruik van AI voor cyberaanvallen, bioterrorisme en grootschalige economische ontwrichting.
Amodei is al jaren een doemdenker, maar dit keer is de toon zo ernstig dat zelfs Elon Musk, Sam Altman en Demis Hassabis gaan meeroepen. Ook de topmannen van respectievelijk SpaceX, OpenAI en Google DeepMind vinden dat de rem erop moet bij het ontwikkelen van AI.
Toch is het niet Amodei, maar de 27-jarige Jacob Coxon die dit vuurtje heeft aangestoken. Op 9 september doet hij op X een boekje open over de frontier AI-labs die ‘met onze levens spelen’, net nadat hij als AI-onderzoeker ontslag heeft genomen bij Anthropic.
Coxon vindt het helemaal niet overdreven om te zeggen dat de mensen die bij de ontwikkeling van de technologie betrokken zijn, geloven dat er een kans bestaat dat de mensheid uitsterft. Ze zijn ‘oprecht bang, oprecht bezorgd over het lot van de mensheid’ tegen 2030.
AI vertragen
Amodei ziet dat de media de boodschap van Coxon oppikken en haakt erop in met een oplossing: de ontwikkeling van AI vertragen. Daarmee kan één of twee jaar extra worden gewonnen voordat modellen een ‘kritisch prestatieniveau bereiken’. Als AI-bedrijven en overheden het eens kunnen worden over gezamenlijke veiligheidsafspraken, kan dat ‘het risico dat het ernstig misgaat aanzienlijk verminderen’.
Die afspraken zouden in drie stappen tot stand moeten komen. De eerste stap is het betrekken van onafhankelijke waakhonden als supervisors. Zij moeten bij AI-labs volledige toegang krijgen om ‘na te gaan of de veiligheidsvoorschriften en -afspraken worden nageleefd, incidenten te melden en te helpen beoordelen in hoeverre niet alleen voltooide AI-modellen, maar ook trainingsprocessen hieraan voldoen’.
De tweede stap is dat AI-labs in democratische landen gecoördineerd samenwerken aan standaarden. Ze bepalen de veiligheidsnormen en stellen grenzen aan het tempo van ongecontroleerde ontwikkeling van AI. Bij die stap is de hulp van de overheid nodig.
Stap drie is dat de VS en andere democratische regeringen proberen met autoritaire regeringen samen te werken om AI veilig te houden. Daarbij verwijst Amodei uitdrukkelijk naar China en de uitdagingen die dat met zich meebrengt. Hij vermeldt dan weer niet dat China nadrukkelijk inzet op open source AI – een geduchte concurrent voor Anthropic en de andere AI-labs.
Lees ook: Is AI-model Mythos een tikkende tijdbom voor banken
Verantwoordelijkheid afschuiven
Op het eerste gezicht klinkt Amodei’s pleidooi heel onbaatzuchtig. Maar vergis je niet: de Anthropic-ceo heeft hier wel degelijk belang bij. De rode draad in zijn drie-stappenplan is dat hij de verantwoordelijkheid voor de ontwikkeling van AI bij externe partijen legt.
Terwijl hij wel degelijk verantwoordelijk is voor wat er binnen Anthropic gebeurt en wordt gebouwd. En dat geldt ook voor Musk, Hassabis en Altman. Bovendien lijkt het alsof Amodei en zijn techbroeders het beste met de mensheid voorhebben: ze hebben iedereen immers gewaarschuwd? Klopt, en nu trekken ze hun handen ervan af. Als het misgaat, gaan ze met hun vele miljarden wel naar Mars.
Natuurlijk spelen er ook andere motieven. Analist en ondernemer Stephen Klein volgt Anthropic al een tijdje en wijst in posts op LinkedIn op de PR-waarde van de voorspellingen. Alle media schrijven er gegarandeerd over, en dat kost Amodei helemaal niks.
Waarde verhogen
Het is Klein ook opgevallen dat de waardering van Anthropic na eerdere waarschuwingen van Amodei telkens is gestegen. Zo voorspelde de ceo in mei 2025 dat AI binnen vijf jaar de helft van de banen van kenniswerkers zou overnemen. In de maanden daarna steeg de waardering van Anthropic volgens de analist van 61,5 miljard naar 183 miljard dollar.
Begin dit jaar schrijft Amodei een essay – The Adolescence of Technology – waarin hij waarschuwt voor de test die de mensheid wacht en de onvolwassenheid van politieke, sociale en technische systemen voor het beheersen van AI. Een paar weken later is Anthropic alweer 380 miljard dollar waard.
Dit voorjaar verandert Amodei zijn geweer van schouder. Zijn verhaal is nu dat AI niet voor minder, maar voor meer werk zal zorgen. Anthropic is zich op dat moment al aan het voorbereiden op een beursgang, geeft Klein aan. En dus stijgt de waarde van het bedrijf naar meer dan 900 miljard.
Natuurlijk zit er ook gewoon een businessverhaal achter de stijging van de waarde van Anthropic, maar de timing en de verbanden zijn best opmerkelijk. Wat dit nieuwe essay oplevert aan extra waarde, is nog even afwachten.
Lees ook: De wake-up call van Dario Amodei: nog niet volwassen genoeg voor AI
Vraag en hype creëren
Jensen Huang, de founder en ceo van Nvidia, vindt het idee dat AI het einde van de mensheid zou betekenen ‘volslagen onzin’. Ook hij wijst na de uitspraken van Coxon op de economische motieven achter het zaaien van die angst. Het is een marktklassieker: creëer een probleem om vraag te creëren.
Overtuig de wereld ervan dat er een gevaarlijk probleem is: losgeslagen AI die de mensheid kan vernietigen. Wie kan dat probleem vervolgens het beste oplossen? Juist, een handvol grote AI-labs. Het bouwen van veiligere AI vraagt bovendien om miljarden dollars extra. Dus of de investeerders die ook nog even willen lappen?
Ook Clement Delangue reageert op de waarschuwingen van Jacob Coxon. De ceo van Hugging Face, het platform dat deze zomer werd getroffen door hackende AI-agents, vermoedt dat er een hype wordt gecreëerd. ‘Sorry, maar Jacob vragen naar het risico op uitsterven door AI is net zoiets als je airco-installateur vragen naar klimaatverandering. Ik zeg niet dat het per se oninteressant of verkeerd is, maar laten we de zaken wel in het juiste perspectief blijven zien.’
Macht concentreren
AI-onderzoeker Francois Cholet, ook initiatiefnemer van de open-source-softwarehub Keras, ziet een ander motief. Anthropic en OpenAI willen de regelgeving naar zich toe trekken. Deze labs willen zelf de standaarden bepalen en zelf het toezicht regelen. Zo wordt de macht die ze al hebben nog verder geconcentreerd.
Hij wijst daarbij op de oproepen voor een ban op open source AI en het belemmeren van AI-onderzoek. ‘Ik hoop dat de voorstellen van de ‘frontier labs’ om het tempo van het AI-onderzoek te matigen voortkomen uit oprechte bezorgdheid over de veiligheid en uit het besef van de potentiële risico’s die toekomstige modellen met zich meebrengen. En niet uit een strategische poging om de macht te consolideren en de marktdominantie van een handvol topspelers voorgoed te verankeren.’
Durfinvesteerder Chamath Palihapitiya wijst op de timing en de op handen zijnde beursgang van Anthropic. Hij vindt het niet zo slim dat (ex-)medewerkers van Anthropic de risico’s van AI zo openlijk beschrijven zo vlak voor de beursgang. Dat is tenslotte het kernproduct van het bedrijf.
Tabaksindustrie
Palihapitiya vergelijkt de situatie zelfs met tabaksfabrikant Philip Morris en de tabaksindustrie in het verleden. ‘We weten dat sigaretten slecht voor je zijn, we weten dat sigaretten je dood kunnen maken (…), maar we gaan het nog niet openbaar maken. We gaan het bedrijf naar de beurs brengen.’
Voormalig AI-tsaar David Sacks, adviseur van de Amerikaanse president op het gebied van wetenschap en technologie, reageert dat deze bedrijven vooral de investeerders willen paaien. Zijn boodschap aan Amodei is duidelijk: ‘Als de nog niet uitgebrachte modellen je zo afschrikken dat je denkt dat je het wat rustiger aan moet doen, dan sta ik achter je beslissing om verantwoordelijk te handelen. Ga je gang, maar doe niet alsof je toestemming van iemand anders nodig hebt.’
Doe niet alsof de motivatie om het tempo te vertragen puur altruïstisch is, voegt hij eraan toe. ‘Je loopt een enorm risico op productaansprakelijkheid als jouw producten een werkelijk schadelijke cyberaanval mogelijk maken. De markt straft modellen die zich op onvoorspelbare of ongeoorloofde wijze gedragen nu al af.’ Boom, daar kunnen Amodei & co het voorlopig weer even mee doen.
Lees ook: AI-godfather gelooft niet in chatbots: niet eens slimmer dan een kat
