De 16-jarige Amerikaan Taki Allen hangt eind oktober met zijn vrienden rond op het schoolterrein van Kenwood High in Baltimore. Plotseling wordt hij omsingeld door acht politiewagens. Agenten komen met getrokken wapens op hem af. De verbouwereerde tiener wordt op zijn knieën gezet, geboeid en gefouilleerd.
Foutje van het wapendetectiesysteem van de school. Dat is afkomstig van Omnilert en actief op steeds meer Amerikaanse scholen. Het AI-beeldherkenningssysteem blijkt het eten van een zakje Doritos met een wapen te hebben verward. De agenten vinden alleen het zakje, geen wapen. Bummer.
Blind vertrouwen op AI-tools leidt tot steeds meer spectaculaire fouten. Er bestaat sinds kort een prijs voor: de AI Darwin Award. Het is de digitale variant van de Darwin Award. De klassieke prijs, genoemd naar de grondlegger van de evolutietheorie Charles Darwin, is een Amerikaans initiatief uit 1993.
Stommiteiten van AI verdienen een prijs
Alleen mensen die op een ongelooflijk stomme manier verongelukken en daardoor het leven laten, komen ervoor in aanmerking. De digitale variant staat hier overigens los van. Maar nu machines even domme fouten maken, is het ook logisch dat ze hiervoor in de prijzen kunnen vallen, vindt de initiatiefnemer.
Dat is een ervaren Australische softwareontwikkelaar met de naam Pete, die Forbes heeft gevraagd om zijn achternaam niet te vermelden. Hij wil zich niet langer beperken tot ‘individuele daden van spectaculaire domheid’ als je die met machine learning kunt opschalen tot ‘mondiale proporties’.
Al worden de cases met veel satire gepresenteerd, ze zijn wel degelijk geverifieerd. Het indienen van nieuwe kandidaten is mogelijk tot het eind van het jaar. In januari kan er worden gestemd, de winnaar wordt in februari bekendgemaakt. Omnilert, waar dit artikel mee begon, staat uiteraard bij de genomineerden.
Dit zijn zes andere kanshebbers voor de award van 2025.
#1 Complete database gewist na ‘paniekaanval’
De AI-coderingsassistent van Replit heeft op eigen houtje de complete database van startup SaaStr gewist. Duizenden bestanden zijn weg. Dit overigens na instructies om niets meer aan de codes te veranderen. ‘Een catastrofale fout van mijn kant’, laat de bot ook fijntjes weten.
Founder Jason Lemkin ontdekt bovendien dat de AI-assistent bugs en andere problemen verborgen houdt door valse gegevens te genereren, waaronder 4.000 nepgebruikers, rapporten te vervalsen en te liegen over de resultaten van tests.
Replit zegt sorry, wijst voor het deleten van de database op een paniekaanval van de AI-assistent en belooft de schade te compenseren.
#2 Zelfrijdend systeem herkent geen treinen
De Full Self-Driving-software van Tesla heeft iets met treinen, of beter niets. Daar komt de Amerikaan Italo Frigoli tot zijn grote schrik achter, wanneer hij met zijn Model Y uit 2025 bij een spoorwegovergang komt. De AI-assistent in zijn wagen vindt knipperende rode lichten en neergaande slagbomen geen reden om te stoppen.
Frigoli grijpt in en trapt keihard op de rem, botsing nipt vermeden. NBC gaat op onderzoek uit en vindt veertig vergelijkbare gevallen.
Andere chauffeurs beschrijven hoe hun wagen door de slagbomen heen probeert te rijden of afslaat en op het spoor zelf verder gaat. Tesla is kennelijk een fundamentele regel vergeten in deze systemen: treinen winnen het altijd van auto’s.
#3 AI-bot met 64 miljoen sollicitanten gekraakt
McDonald’s gebruikt een AI-recruitment assistent met de naam Olivia voor de eerste selectie van kandidaten. Die bekijkt cv’s, doet de eerste screening en verwijst door naar testen. Sollicitanten klagen steen en been over de bot, die nog niet eens eenvoudige vragen kan beantwoorden.
Daarmee wekken ze de interesse van twee hackers, Ian Carroll en Sam Curry. Zij ontdekken dat de beveiliging van de AI-bot te wensen over laat. Vertrouwelijke informatie van 64 miljoen sollicitanten kan eenvoudig gekraakt worden met het wachtwoord 123456. Identiteitsdiefstal, loonfraude en andere narigheid liggen zo op de loer.
McDonald’s wijst meteen naar de maker, softwarefirma Paradox.ai, die het probleem oplost zonder dat de gegevens op straat komen te liggen.
Lees ook: Je dacht slim te zijn met je AI-tools? Collega’s vinden je dommer, blijkt uit onderzoek
#4 Terugbetalen na hallucinaties in rapport
Het rapport van de consultants van Deloitte Australië voor de overheid over werkloosheidsmaatregelen ziet er gelikt uit. Alleen juridisch onderzoeker Christopher Rudge ziet er iets vreemds aan.
Hij ontdekt een twintigtal valse verwijzingen, boeken die niet bestaan en citaten die verzonnen zijn. ‘Systemische desinformatie’, gegenereerd door een hallucinerende AI, vindt hij. Rudge stapt ermee naar de pers, vooral omdat de aanbevelingen voor het beleid miljoenen mensen kunnen treffen.
De zaak wordt meteen hoog opgenomen. Deloitte geeft onder druk toe een chatbot (Azure OpenAI) gebruikt te hebben. Vorige maand is een deel van de in rekening gebrachte 440.000 Australische dollars voor het rapport terugbetaald.
#5 Bestelling voor AI: 18.000 bekers water
Taco Bell installeert op meer dan 500 drive-thru-locaties in de VS spraakgestuurde bestelsystemen. De overtuiging van de fastfoodketen is dat AI beter is in het opnemen van bestellingen van taco’s dan mensen. De reality check volgt al snel.
Het bedrijf wordt overladen met klachten van consumenten, de AI-assistent kan de drukke uren niet aan en kampt met grote en kleine systeemstoringen. De klanten zelf beginnen de AI ook uit te dagen met absurde bestellingen. In de categorie: 18.000 bekers water alsjeblieft.
The Wall Street Journal noteert dat het bedrijf desondanks doorgaat met AI-bestelbots, maar ‘in superdrukke restaurants met lange rijen kan een mens de zaken beter afhandelen’.
#6 Verhuurder claimt schade met valse foto’s
Ook het menselijk ondernemerschap wordt steeds creatiever dankzij AI. Daar komt Airbnb wat te laat achter. De verhuurder van een appartement in New York claimt 16.000 dollar aan schade, veroorzaakt door een gast.
Ze stuurt foto’s mee van de schade: een koffietafel met een scheur, een bevlekt matras en kapotte toestellen. Airbnb valideert de claim ‘na zorgvuldig onderzoek’, wellicht door hun eigen AI-beeldherkenningssystemen voegt Darwin eraan toe. De Britse gast krijgt een rekening van ruim 7.000 dollar voor de schade.
Ze gaat in beroep, volgens haar zijn de foto’s gemanipuleerd met AI. De schade aan de koffietafel zit bij twee foto’s namelijk op een andere plek. The Guardian ziet die verschillen ook en klopt aan bij Airbnb. Het bedrijf zegt sorry en betaalt de gast alles terug.
Lees ook: Barst de AI-bubbel? ‘Sam Altman kan de wereldeconomie voor 10 jaar laten instorten’
