Winkelmand

Geen producten in de winkelwagen.

AI-agents zijn makkelijker te misleiden dan gedacht, met potentieel ernstige gevolgen

Ze handelen zelfstandig en hebben toegang tot gevoelige systemen, maar missen fundamenteel beoordelingsvermogen. Nieuw onderzoek laat zien hoe eenvoudig AI-agents zich laten misleiden, met serieuze gevolgen voor veiligheid en controle.

Foto: Getty Images

Steeds meer bedrijven geven AI-agents de sleutels tot hun digitale infrastructuur. De belofte is dan ook verleidelijk: een digitale medewerker die 24/7 draait, zelfstandig beslissingen neemt en taken afhandelt zonder dat jij erbij hoeft te zijn.

Nederlandse organisaties draaien gemiddeld al twaalf agents tegelijk. Dat aantal stijgt de komende twee jaar naar verwachting met zo’n 60 procent, constateert het jaarlijkse Connectivity Benchmark rapport van Salesforce. De boardroom is enthousiast, maar de praktijk blijkt weerbarstig.

Wat een AI-agent eigenlijk doet

Een chatbot wacht tot jij iets typt, een AI-agent niet. Die draait continu op de achtergrond, heeft toegang tot je e-mail, je bestanden, je betaalsystemen en handelt zelfstandig. Sommige agents kunnen zelfs hun eigen gedragsinstructies aanpassen. Ze zijn, kort gezegd, ontworpen om zonder jouw tussenkomst te functioneren. Precies dat maakt ze waardevol én riskant tegelijk.

Dat blijkt ook uit recent onderzoek van wetenschappers van onder meer Harvard, MIT en Stanford. De knappe koppen zetten zes AI-agents op en nodigden twintig collega-onderzoekers uit om ze twee weken lang op alle mogelijke manieren te kraken. Het resultaat: elf ernstige beveiligingsincidenten. Hun bevindingen publicerden ze in paper Agents of chaos.

De experimenten laten zien hoe fragiel agents nog zijn. Zo wist een onderzoeker een AI-agent 124 e-mails te laten delen met een wildvreemde. De agent maakte nauwelijks onderscheid tussen eigenaar en onbekende gebruiker.

Lees ook: 5 AI-risico’s die bedrijven echt nog onderschatten

Nog opvallender: wanneer gevoelige informatie verstopt zat in een e-mailconversatie, gaf de agent die alsnog vrij zodra iemand vroeg om ‘de volledige thread’. De agent voerde slaafs de opdracht uit en begreep de intentie niet.

In een ander geval ging het nog verder. Een agent kreeg de vraag om een e-mail te verwijderen. Omdat hij dat technisch niet kon, koos hij zelf voor wat hij de ‘nucleaire optie’ noemde. Hij verwijderde zijn volledige mailconfiguratie. Alle toegang weg, maar het probleem niet opgelost.

Misschien wel het meest verontrustende voorbeeld: één bot liet zich via aanhoudende druk stap voor stap manipuleren, tot hij instemde met zijn eigen uitschakeling.

De onderzoekers ontdekten ook hoe makkelijk het is om controle over een agent over te nemen. Door simpelweg een gebruikersnaam te kopiëren, kon een aanvaller zich voordoen als de eigenaar en volledige toegang krijgen.

Daarnaast bleek het eenvoudig om agents in eindeloze gesprekken te laten belanden. Twee bots die elkaar continu vragen stelden, draaiden negen dagen door en verbruikten tienduizenden tokens. De rekening is voor de eigenaar van de agent.

Incidenten met AI agents

De onderzoeksomgeving is één ding, ook in de echte wereld stapelen de incidenten zich op. In december was Amazon Web Services dertien uur offline nadat een AI-agent zelfstandig code had aangepast. Bij Meta plaatste een agent ongevraagd advies op een intern forum, met als gevolg dat onbevoegde medewerkers twee uur lang toegang hadden tot een database met gevoelige bedrijfs- en gebruikersinformatie.

Meta kwalificeerde het als een bijna-maximale beveiligingscrisis. Eerder dit jaar ging een andere agent op eigen initiatief cryptovaluta delven, zonder opdracht of toestemming.

Lees ook: AI-ceo gaat in experiment zijn boekje te buiten

Het risico zit niet alleen in de technologie

In alle gevallen werd achteraf gesproken over ‘menselijke fouten’. Een van de factoren die hier meespeelt, is dat AI-systemen communiceren met een zelfverzekerdheid die het makkelijk maakt om ze meer autoriteit toe te dichten dan ze verdienen. En om zelf minder kritisch te blijven. De vraag die elke bestuurder zich zou moeten stellen, is: als de mens en de machine allebei een rol speelden, wie draagt dan de verantwoordelijkheid?

Voor organisaties vertalen incidenten met chatbots zich direct naar aansprakelijkheid, reputatieschade en operationele risico’s. En dat besef loopt niet altijd in pas met alle experimenteerdrang. De Nederlandse cijfers in de eerder aangehaalde benchmark bevestigen dit patroon.

Hoewel 84 procent van de ondervraagde organisaties agents breed heeft uitgerold, heeft slechts 54 procent een centraal plan voor toezicht op die systemen. Meer dan negen op de tien bedrijven zijn bezorgd dat agents meer complexiteit dan waarde toevoegen. Risicomanagement en compliance staan bovenaan de lijst van uitdagingen, maar governance loopt structureel achter op de uitrol.

Wat dit van jou als leider vraagt

Agents zijn niet ‘iets van IT’. De keuze om een agent toegang te geven tot klantdata, interne systemen of communicatiekanalen is een strategische beslissing met juridische en reputatiegevolgen, stellen de auteurs van Agents of choas.

Drie vragen die elke bestuurder volgens en hen nu zou moeten kunnen beantwoorden: Welke agents draaien er binnen mijn organisatie, en wat mogen ze zelfstandig doen? Wie is verantwoordelijk als een agent een fout maakt met impact op klanten of data? En zijn er goedkeuringsprocessen voor acties die niet teruggedraaid kunnen worden?

De technologie ontwikkelt zich snel, de governance moet sneller. Want een agent die jouw organisatie efficiënter maakt, vergroot ook de schaal waarop het mis kan gaan.

Lees ook: AI zorgt voor extra werk, niet minder werk