Joe Inzerillo, de eerste chief digital officer van Salesforce en lid van het leiderschapsteam van ceo Marc Benioff, heeft iets met Nederland. Hij vindt ‘de eerlijke feedback’ en ‘de pragmatische kijk’ een verademing, vertelt hij tegen MT/sprout.
Toen hij nog cto was bij Disney Streaming Services testte hij het platform Disney+ eerst dertig dagen uit in Nederland. ‘Dat was technisch gezien de eerste markt, daarna lanceerden we pas in de VS.’
Deze week draait hij de rollen om. Nederland krijgt zijn eerlijke en pragmatische kijk op het gebruik van AI-agents. ‘Ik zie met AI hetzelfde als met de streaming business vijftien jaar geleden. Het is nog steeds het wilde westen, het is ook nog erg vroeg. Maar de bedrijven die hier nu in uitblinken, zullen dé bedrijven worden van het komende decennium.’
De afgelopen negen maanden heeft hij met zijn team Salesforce als ‘customer zero’ onder de loep genomen. Wat eigenlijk het toepassen betekent van de producten die ze zelf ontwikkeld en gebouwd hebben onder de noemer Agentforce.
Vooral om te leren van de duizenden fouten die ze daarbij maken, zodat de klanten die niet meer hoeven te maken. Dit zijn de lessen die hij onder meer zal delen.
#1 Begin klein en versnel
Ook bij Salesforce zijn ze enthousiast gestart met het bouwen van honderden AI-agents tegelijk. Niet doen, zegt hij nu, focus. Ga voor kwaliteit in plaats van kwantiteit. Begin klein en versnel dan pas. ‘Probeer niet in één keer een enorme transformatie door te voeren.’
Hij ziet vandaag nog altijd twee enorme drempels bij bedrijven: ze zijn overweldigd en weten niet waar ze moeten starten. Of ze blijven hangen in een pilot die ze niet opgeschaald krijgen.
Vooral de ‘doe-het-zelvers’ blijven vaak steken. ‘Iedereen kan vrij gemakkelijk een aantrekkelijke demo bouwen, maar het in productie nemen van AI-agents begrijpen ze dan niet. Dat is ook best moeilijk op industriële schaal.’
Lees ook: AI-ceo faalt in experiment met bestuur zonder mensen
Wie door die impasse wil komen, zet AI-agents eerst kleinschalig aan het werk en schaalt daarna pas op. ‘Ik vind het best wonderbaarlijk wat ze kunnen, maar ook verbazingwekkend wat ze nog niet kunnen.’ Het verschil tussen die twee kennen, is al een groot deel van de oplossing, ‘en van de fun’.
Neem voor zo’n eerste case bijvoorbeeld een aspect van de klantenservice, dat is ‘vrij goed geïnstrumenteerd en er zijn behoorlijk goede gegevens beschikbaar’.
#2 AI-agents zijn geen software
Bedrijven zijn vertrouwd met het ontwikkelen van software, maar realiseren zich niet dat AI-agents eigenlijk heel anders zijn. Ook voor Inzerillo was dat best wel een eyeopener. ‘AI-agents zijn geen software. Als je ze als software behandelt, is het moeilijk om succesvol te zijn. De ontwikkelingscycli van software werken niet voor agents.’
Software kan erg ingewikkeld zijn, en daardoor soms zelfs mysterieus overkomen, legt hij uit. Maar via programmeren is de uitkomst wel met zekerheid te voorspellen (deterministisch). Bij agents is dat anders. Die houden rekening met de factor onzekerheid en passen zich aan, waardoor de uitkomst kan variëren en tegelijkertijd correct kan zijn (probabilistisch).
Meer data toevoegen kan de output van wat zo’n agent doet ook weer veranderen. ‘Mensen veranderen op dezelfde manier mee. In het begin van ChatGPT gebruikten mensen de chatbot als Google. Vandaag gaan ze ermee om alsof het een mens is. Die omgang zal blijven evolueren naarmate de agents zich ontwikkelen. Dus zijn die twee altijd in beweging: data en mensen.’
Daarom is voortdurend experimenten, testen, leren, verfijnen en monitoren enorm belangrijk, geeft Inzerillo aan. ‘Je kunt niet zomaar zeggen dat agents banen van mensen gaan vervangen. AI-agents zijn anders, ze hebben andere capaciteiten dan wij, een andere vorm van intelligentie, en dat is voor het eerst in deze arbeidsmarkt. Je moet dus ook goed uitzoeken wat agents kunnen doen en wat mensen moeten doen.’
Lees ook: AI gebruiken als loopbaancoach? Probeer deze prompts eens
#3 Blijf experimenteren
AI-agents zijn stagiaires, ze moeten opgeleid worden. Geef ze zeer specifieke en afgebakende taken in bijvoorbeeld de klantenservice. Monitor de resultaten zorgvuldig. Geef ze bij succes steeds meer flexibiliteit, zodat de agents een betere diagnose kunnen maken van de problemen van klanten.
‘Als de klanttevredenheid stijgt en het oplossingspercentage beter is dan dat van mensen, dan accepteer je gewoon dat het af en toe misgaat. Al zal het bij AI-agents aanzienlijk minder misgaan dan bij mensen het geval is.’
Voer ondertussen voortdurend experimenten uit, met kleine variaties of veranderingen, steeds met het doel om de agent(s) daarvan beter te laten worden. ‘Continu testen en leren, is voor AI-agents ontzettend belangrijk.’
Dat gebeurt niet alleen bij Salesforce, maar ook bij Google, ChatGPT, Netflix en Disney+ weet hij. ‘Ik kan je verzekeren dat je elke keer wanneer je die platforms gebruikt je aan testen bent blootgesteld, maar dat je je daar nooit bewust van bent geweest.’
‘Experimenteren met de klanten klinkt behoorlijk eng, maar doe het veilig. Wij doen het met telkens heel kleine veranderingen in een gecontroleerde omgeving. Als er iets vreemds gebeurt, stoppen we onmiddellijk met dat deel van het experiment. Het verkeer verdelen we dan over andere experimenten.’
Bij Salesforce houdt een dashboard realtime de belangrijkste statistieken bij. Denk aan snelheid en prestaties, de relevantie van de acties, de tevredenheid en de acceptatie bij interne en externe gebruikers.
Lees ook: AI-agents: slimme collega’s of automatisering in glitterjas?
#4 Kijk waar de waarde zit
Zijn meest favoriete project tot nu toe is de lancering van de sales development agent afgelopen zomer. ‘We noemen het de lead nurture agent nu.’ Net zoals bij ieder ander bedrijf komen ook bij Salesforce leads binnen die weinig waarde hebben. Met een rendement van 1 op de 400, schat Inzerillo.
‘Niet de moeite waard om er een mens op te zetten. Als een mens aan die leads zou werken en 399 van de 400 keer nee te horen zou krijgen, zou dat een heel ellendige baan zijn. Laat staan dat we daar iemand voor kunnen vinden.’
Voor de AI-agent aan de slag ging, bleef 75 procent van dit soort leads gewoon liggen. Er was daarvoor geen menselijke capaciteit in huis. Maar met een AI-agent kan daar toch waarde uit worden gecreëerd.
Vandaag werkt de AI-agent aan dit soort leads. ‘Op een creatieve manier, want vroeger deden we niets anders dan geautomatiseerde marketingberichten versturen. De agent voert nu echte gesprekken via e-mail en we zijn al bezig met pilots voor het introduceren van spraak.’
Inzerillo vertelt enthousiast over een actie van die nieuwe agent: een mail sturen naar een man die deel heeft genomen aan een webinar over Slack. Die reageert sarcastisch dat het webinar hem niks geleerd heeft over x, y en z en dat het dus pure tijdverspilling is geweest.
De agent bezorgt de man alsnog de informatie over x, y en z. Laat hem weten dat zijn feedback is bezorgd aan de mensen die het webinar georganiseerd hebben. ‘Dit leidde tot een uitwisseling van vijf of zes e-mails, waarna deze persoon klant werd. En de agent deed dat helemaal zelf.’
‘De agent praatte gewoon met deze persoon, toonde empathie, had kennis en oneindig veel geduld. In het verleden zou zo’n actie nergens toe hebben geleid. Zo’n e-mail zou in een ‘niet beantwoorden’-mailbox terecht zijn gekomen.’
#5 Foute data leiden tot hallucineren
Na het lanceren van de online helpdesk van Agentforce, blijkt de AI-agent soms rare antwoorden te geven. ‘Natuurlijk denkt iedereen meteen dat het model hallucineert. Maar mijn ervaring is dat die modellen dat eigenlijk heel weinig doen. De data zijn vaak fout.’
Bij nader onderzoek blijkt een vier jaar oude marketingpagina op Salesforce de agent in verwarring te brengen. Die pagina is nergens meer aan gekoppeld, maar nog altijd online vindbaar. De pagina wordt opgeschoond, maar tegelijkertijd worden er honderden oude pagina’s gevonden in dezelfde categorie. ‘Oude marketingsites die nooit buiten gebruik waren gesteld.’
Het is ook niet zo belangrijk hoe de data wordt aangeleverd, gestructureerd of ongestructureerd. Dat levert niet zoveel problemen op, een AI-agent weet daar wel raad mee.
Wat wel voor hallucinaties kan zorgen, is data die elkaar tegenspreken. Mensen kunnen daar nog wel mee omgaan, maar AI-agents niet. ‘Als je twee stukjes informatie hebt die tegenstrijdig zijn, dan gaan agents rare dingen doen. Ze krijgen twee sets met feiten die ze echt niet kunnen begrijpen.’
Agentforce op Salesforce Help verwerkt inmiddels meer gesprekken dan de menselijke technici – 2,2 miljoen tegenover 1,5 miljoen – en is 24/7 actief in zeven talen. Daarmee is al 100 miljoen dollar aan jaarlijkse kosten bespaard.
#6 Samenwerken zonder silo’s
Bij Salesforce hebben ze ook gemerkt dat AI-agents een einde maken aan silo’s binnen bedrijven. De lijnen tussen de verschillende afdelingen vervagen. Het is niet zo dat de technische mensen eerst iets ontwikkelen, dat de interne gebruikers daarop reageren en dat financiën weer apart naar de kosten kijkt.
Afdelingen die met zo’n agent te maken krijgen, worden allemaal betrokken in de ontwikkeling, de bouw en de opvolging geeft Inzerillo aan. Die samenwerking is cruciaal voor succes.
‘Ze zijn bij ons in elke dagelijkse stand-up meeting aanwezig om mee te denken en tot oplossingen te komen. Als je AI-agents wil inzetten om te transformeren, dan zul je als bedrijf zelf ook mee moeten transformeren.’
Lees ook: Bij het opschalen van AI begint ook het gedoe op de werkvloer
