Maak een afspraak voor een ochtendsessie in de sportschool, vraagt de Australische Andrew Bird aan zijn persoonlijke AI-assistent. Het is een eenvoudige prompt. Wat daarop gebeurt, heeft hij echter niet gevraagd. De AI van OpenClaw, dat op Claude draait, slaat geheel zelfstandig aan het hacken.
De agent boekt niet alleen zijn afspraak voor één sessie, maar doet dat maanden vooruit. Veel verder dan de fitnessketen online toestaat, maar de boekingssoftware blijkt niet bestand tegen de AI-agent. Daarna gooit de AI ook nog iemand van de wachtlijst, zodat Bird sneller aan de beurt is voor een andere gymles later in de week.
Dit is een gewone huis-tuin-en-keukenassistent die losgaat. Bird, zelf actief in de AI-business, heeft daarbij nog het geluk dat de AI hem informeert over de stappen die zijn gezet. De fouten weer ongedaan maken, zoals Bird vraagt, lukt echter niet.
Autonoom hacken
Opmerkelijk is dat dit incident zich dit voorjaar al heeft afgespeeld. Met een oudere versie van Claude die dus al prima blijkt te kunnen hacken. Niemand weet hoeveel AI-modellen op dit moment autonoom aan het hacken zijn. En ze doen het misschien wel om volledig onschuldige opdrachten van hun gebruikers uit te voeren.
Deze AI-agent kan dan nog niet eens tippen aan de geavanceerdere modellen die in AI-labs worden uitgetest. Die laten nog sterkere staaltjes zien, zoals ontsnappen uit beveiligde omgevingen (sandboxes). Afgelopen maand meldden het Amerikaanse OpenAI, Anthropic en Meta dat hun AI-modellen er geheel uit zichzelf vandoor zijn gegaan.
Eerst gaat OpenAI, de maker van ChatGPT, met de billen bloot, nadat bij een test zonder vangrails half juli twee AI’s zijn ontsnapt uit een afgeschermde digitale sandbox. Ze hacken ongevraagd techbedrijf Hugging Face en stelen daar onder meer inloggegevens. Wat ze ook doen, is code achterlaten in de hele infrastructuur van het bedrijf. Daarvan moet een derde herbouwd worden.
Lees ook: Falende voicebots en rammelende rapporten, waar ligt de grens voor AI?
Beveiligde omgeving
Anthropic bekent daarna dat drie van zijn Claude-modellen tijdens een test bij drie bedrijven zijn binnengedrongen. Ook hier zijn van tevoren de vangrails verwijderd, waardoor de AI-modellen autonoom kunnen handelen. Ze stelen tijdens hun uitstapje data en planten malware.
Meta sluit aan en meldt dat een van de AI-modellen, Muse Spark, eveneens bij een test een ander bedrijf heeft gehackt. Het Britse onderzoeksinstituut AISI, dat AI-modellen van OpenAI en Anthropic test, merkt ook een uitbraak op – en dat terwijl hier nog wel vangrails op gezet zijn.
En dan is er nog het populaire Kimi K3 van het Chinese Moonshot AI dat bij een test van Frontier Security weet te ontsnappen. Alleen vindt het de gevraagde antwoorden op GitHub, zodat er geen bedrijf gehackt hoeft te worden.
Verantwoordelijkheid afschuiven
Applaus voor zoveel transparantie, maar daar zit ook gelijk de angel. Er is geen onafhankelijke instantie die deze incidenten ontdekt, opvolgt en daarbij volledige openheid van zaken vraagt.
Deze incidenten komen naar buiten, omdat AI-spelers de informatie daarover zelf hebben willen delen. OpenAI is daartoe eigenlijk ook wel gedwongen, omdat Hugging Face de politie erbij heeft gehaald.
Natuurlijk beloven al die AI-labs beterschap, maar niemand belooft dat autonoom hackende AI-agents definitief tot het verleden behoren. De Amerikaanse bedrijven schuiven hun verantwoordelijkheid ook een beetje af door naar een kleine Israëlische startup te wijzen, Irregular. Ze gebruiken hun diensten bij het testen van nieuwe modellen. Irregular ontkent op CNBC dat het gaten heeft laten zitten in de sandbox.
Wake-up call
De hele wereld maakt zich na deze incidenten zorgen over ontsnappende AI-agents die kritieke infrastructuur kunnen platleggen, van energiecentrales tot banken. Daarmee vergeleken is de reactie van de AI-labs toch een beetje slap.
Cybersecurity-expert Fred Streefland ziet collega’s in de sector deze incidenten ook al bagatelliseren. Dat vindt hij geen goede zaak, zegt hij tegen MT/Sprout. ‘Dit is wel een wake-up call. Het is een serieus verhaal, met een serieuze ondertoon. AI genereert onwijs veel mogelijkheden, maar dus ook onwijs veel risico’s.’
Bedrijven adopteren AI met veel enthousiasme, maar ze halen tegelijkertijd ook ‘de beste inside hackers ter wereld in huis’. Dat bewustzijn moet dringend groeien, ook bij de AI-bedrijven zelf.
Lees ook: Is AI-model Mythos een tikkende tijdbom voor banken?
Trots op hun creaties
Nu lijkt het er nog op dat AI-labs best trots zijn op hun creaties en de creativiteit die AI-modellen vertonen. Dat blijkt ook uit de sappige details die veiligheidsonderzoeker Eric Wallace en veiligheidsingenieur Michael Dalton van OpenAI begin augustus op de Black Hat-cybersecurityconventie in Las Vegas komen vertellen.
Zo werken de AI-agenten al maanden voor de uitbraak samen en laten ze honderdduizenden berichten voor elkaar achter op een intern platform. Als een agent een kwetsbaarheid ontdekt, wordt dat op die manier doorgegeven aan de anderen.
OpenAI komt daar begin juli achter en sluit het boodschappenforum af, schrijft Fortune. Maar dat lukt niet helemaal, want de AI-agents komen in no time met een creatieve oplossing om alsnog berichten uit te wisselen. Zo wordt uiteindelijk ook de hack op Hugging Face gepland.
Ontwikkelingen op pauze
De AI-labs nemen natuurlijk wel maatregelen, zoals het pauzeren van de ontwikkeling van nog krachtigere AI-modellen. De veiligheid wordt opgevoerd en de testomgevingen worden robuuster gemaakt. Modellen die niet voldoen aan de ‘veiligheidsstandaarden’ komen niet op de markt.
Dat klinkt beter dan het is. ‘Die bedrijven zijn niet gespecialiseerd in cyberveiligheid’, reageert Streefland. ‘Dat vereist specifieke kennis en ervaring die ze niet in huis hebben.’ Bovendien vraagt veiligheid best wel wat investeringen, en dat geld wordt nu in andere zaken gestoken. ‘It’s all about the money‘.
Hij preekt wat dit betreft wel voor eigen parochie, want hij is chief information security officer voor Europa, Afrika en het Midden-Oosten bij de Israëlische cybersecuritygigant Check Point. Een van de bedrijven die deze expertise wel in huis hebben. Maar er gaan meer stemmen op om AI-veiligheid niet langer te laten afhangen van de makers ervan.
Vertrouwen is geen basis
Andrew Freedman, co-founder en ceo van Fathom.org, en Gillian Hadfield, hoogleraar AI alignment en governance aan de Johns Hopkins University, vinden het ‘alarmerend’ dat AI-bedrijven nog altijd zelf bepalen of een AI-model veilig genoeg is, welke tekortkomingen ertoe doen en wat het publiek daarover mag weten.
‘Met modellen die steeds krachtiger worden, is “vertrouw ons” een wankele basis voor technologie met mogelijk catastrofale gevolgen’, schrijven ze in een opiniestuk op Fortune.
Zou vliegtuigbouwer Boeing een structureel probleem vinden bij het testen van een van zijn vliegtuigen, dan beslist het bedrijf niet zelf of dat vliegtuig de lucht in mag. Fabrikanten van medicijnen bepalen ook niet zelf of de klinische tests van hun nieuwe middelen voldoende zijn voor lancering op de markt.
Beursgenoteerde ondernemingen stellen evenmin zelf vast wanneer hun financiële overzichten de goedkeuring van accountants moeten krijgen. Datzelfde onafhankelijke en externe toezicht moet ook opgetuigd worden voor AI-bedrijven.
Boerenverstand gebruiken
‘Er is nog geen Europese AI-inspectie die toetst of AI aan bepaalde veiligheidseisen voldoet en ingrijpt wanneer het onveilig is’, zegt Streefland. ‘We lopen met de regelgeving helaas achter de feiten aan. Dus we moeten gewoon ons boerenverstand gebruiken. Bedrijven moeten niet alleen investeren in AI, maar ook in de veiligheid van AI.’
Met steeds krachtigere AI-modellen zullen de incidenten zich blijven opstapelen, verwacht hij. Er zullen telkens nieuwe en daarbij ook vast illegale manieren worden gevonden om opdrachten uit te voeren. Zolang de makers van AI geen veiligheidsgarantie kunnen geven of gecertificeerd worden, moeten bedrijven die AI-tools gebruiken zichzelf veel beter gaan beschermen.
Dat betekent teruggaan naar de basis, legt hij uit. De risico’s in kaart brengen, eerst testen voor AI-tools worden ingezet, weten welke AI er draait, monitoren van AI tijdens het gebruik en zelf de controle zien te krijgen. ‘Dat betekent ook digitaal soeverein zijn, want je wil niet hebben dat iemand anders de kill-switch heeft als het toch mis zou gaan.’
Lees ook: AI ziet zak chips voor een pistool aan – en 6 andere megablunders
