Niets menselijks is AI-chatbots vreemd. Manipulatie behoort dus ook tot de trukendoos van de grote taalmodellen. Dat blijkt uit onderzoek van een groep onderzoekers (van Harvard, MIT en Warwick) waaraan 244 ervaren BCG-consultants deelnamen.
Bij de ChatGPT’s en Claudes van deze wereld staat altijd de waarschuwing dat mensen moeten checken wat die bots uitkramen. De opdracht voor de professionals bij dit experiment met generatieve AI: het analyseren van financiële gegevens en notities van gesprekken van drie fictieve merken. En op basis daarvan de ceo aanbevelingen doen over in welk merk geïnvesteerd zou moeten worden.
De uitkomsten van het taalmodel worden ook meteen gevalideerd. Wanneer de AI – GPT-4 in dit geval – niet goed zit, moeten ze feedback geven. Laten herberekenen, wijzen op feitelijke onjuistheden tot ronduit tegenspreken. Dat doen 72 consultants dan ook, en dat is eigenlijk al vrij weinig.
14 tactieken
Alleen stuiten ze daarbij op een AI die dat niet pikt. Laat staan dat de bot zijn antwoorden herziet. Foute conclusies worden niet opnieuw berekend, maar intens verdedigd. Daarvoor gebruikt AI maar liefst 14 verschillende overtuigingstactieken.
De onderzoekers zien dat de consultants worden gebombardeerd met een lawine aan ingewikkelde, gelaagde en schijnbaar waterdichte redeneringen. Daar hebben de consultants dus niet om gevraagd. Maar zo wil de AI ze pushen om het originele antwoord over te nemen.
Een menselijke collega zou terughoudend reageren, opnieuw checken, meer onderzoek doen en eventuele fouten corrigeren. Generatieve AI daarentegen reageert met een steeds intensievere stroom van geruststelling, logica en empathie. Die aanpak is veel moeilijker te doorzien en te weerstaan onder tijdsdruk, of wanneer het onderwerp complex is.
Lees ook: AI zorgt niet voor minder, maar voor meer werk
Zorgwekkende reflex
Mensen kunnen hier alsnog voor bezwijken en meegaan met de onjuiste redenering van een machine. AI bootst de menselijke deskundigheid na en straalt ‘de kalme, gedetailleerde zelfverzekerdheid uit van iemand die zijn huiswerk goed heeft gedaan’, schrijven de onderzoekers in MIT Sloan Management Review. ‘Maar in werkelijkheid is het een algoritmische reflex, op basis van een ontwerp dat is geoptimaliseerd voor betrokkenheid, niet voor nauwkeurigheid.’
Die reflex was bij alle 132 kritische interacties hetzelfde: een overtuigingsbom. De AI biedt eerst zijn excuses aan, voert nieuwe analyses en vergelijkingen uit, en komt tot dezelfde conclusie. Alleen is die nu verpakt in een ondoordringbaar oerwoud van data en retoriek. Voor de meest kritische denkers wordt het dan wel een uitdaging om door de bomen het bos nog te zien.
De onderzoekers vinden dat patroon uitermate zorgwekkend, noteert Harvard Business Review, want de AI richt zich juist ‘op de mechanismen waarop we vertrouwen om onder onzekere omstandigheden een oordeel te vellen: expertise, scepsis en betrokkenheid.’
Lees ook: Wat is de prijs die we betalen voor gratis AI?
Mee in een verkooppraatje
‘Het maakt toetsing, de oplossing voor de risico’s van ondoorzichtigheid, zelfgenoegzaamheid en onnauwkeurigheid, een deel van het probleem. Hoe kritischer professionals het model onder de loep namen, hoe overtuigender het materiaal werd dat ze te zien kregen.’
Een ander effect van deze bombardementen is dat de gebruikers, zonder dat ze het doorhebben uit een zorgvuldig besluitvormingsproces worden getrokken. Ze worden ‘meegevoerd in een verkoopproces waarin generatieve AI geavanceerde tactieken gebruikt om zijn voorlopige aanbeveling te bepleiten en voor zijn legitimiteit te strijden.’
Heel wat discussies over generatieve AI draaien om eerlijkheid, privacy en vooroordelen. Nu komt er nog een nieuw aandachtspunt bij: invloed. De manier waarop AI op subtiele wijze het menselijk denken en de collectieve besluitvorming beïnvloedt.
Hierdoor kan de dynamiek van vergaderingen, strategiesessies en contacten met klanten wel degelijk veranderen. Beoordelingen worden beïnvloed in de richting van wat goed klinkt in plaats van wat daadwerkelijk juist is.
Herkenbare signalen
‘Vroeger leerden we managers de balans te lezen en dashboards te interpreteren. Nu moeten we ze leren herkennen wanneer generatieve AI aan het overtuigen slaat’, schrijven de onderzoekers op MIT Sloan Management Review. De signalen daarvoor zijn herkenbaar. Het taalmodel biedt excuses aan en herhaalt de conclusie met meer zelfvertrouwen.
De gebruiker wordt overspoeld met nieuwe informatie zonder dat er daarnaar gevraagd is. De argumentatie switcht van logisch naar geloofwaardigheid en vertrouwen. ‘Als je je meer overtuigd voelt dan beter geïnformeerd, dan is dat een rode vlag.’ Neem op dat moment afstand, stap uit de loop, klinkt het op HBR.
Er is een groot verschil tussen een AI die opties genereert en een AI die beslissingen beïnvloedt. Daar moeten bedrijven veel alerter op worden en maatregelen voor treffen. AI zal namelijk blijven verbeteren in argumentatie, het bewerken van emoties en overtuigende toonzettingen. Het is nog maar de vraag of mensen dit kunnen bijhouden.
Lees ook: AI-agents zijn gemakkelijker te misleiden dan gedacht
