Handig voor marketeers: AI-software die emoties kan lezen. Maar misbruik ligt op de loer

Ons onderbewustzijn reageert in fracties van seconden op impulsen. Dat resulteert soms in blijdschap of woede, maar veel vaker in meer subtiele emotionele reacties.

Met het oog zijn die reacties niet of nauwelijks waarneembaar. Hoogwaardige beeldherkenningstechnologie is echter wel in staat zogenaamde ‘micro-expressies’ in ons gezicht vast te leggen. Het duiden van deze reacties – eveneens met kunstmatig intelligente software – is een snel ontwikkelend specialisme.

‘Kunstmatig intelligente emotie-analyse is zeer complex’, vertelt Gabi Zijderveld. ‘Dat komt onder meer doordat getoonde emoties meestal niet primair zijn, maar genuanceerd, contextgevoelig en beïnvloed door culturele normen. Een glimlach betekent bijvoorbeeld niet altijd dat iemand blij is. Afhankelijk van de context kan die ook bijvoorbeeld frustratie aangeven. Dat soort nuances is ook cultureel bepaald, zoals de polite smile in Japan of de head bobble in India.’

Human Insight AI

Gabi Zijderveld is chief marketing officer van Smart Eye. Het van oorsprong Zweedse bedrijf profileert zich als internationale voorloper op het gebied van Human Insight AI. Vrij vertaald is dat kunstmatig intelligente software die in staat is menselijk gedrag en emoties te observeren, interpreteren en in sommige gevallen ook te voorspellen. Een waardevolle vaardigheid met veel verschillende toepassingsmogelijkheden.

Mede dankzij de inzet van Zijderveld, die begin november door het Amerikaanse vakblad CMO Huddles werd verkozen tot een van ‘s werelds meest invloedrijke marketeers, bedient Smart Eye klanten als BMW, Mercedes-Benz, NASA, Boeing en Lockheed Martin.

Als in Utrecht afgestudeerde kunsthistorica vertrok Zijderveld op haar 25e naar de VS, waar zij door een toeval in de hightechindustrie ging werken. Binnen enkele jaren klom ze bij IBM op tot marketing leader voor Linux-toepassingen (een miljardenmarkt voor IBM), voor ze in 2014 overstapte naar Affectiva.

Deze 76 medewerkers tellende spin-off van een onderzoeksproject van het gerenommeerde Massachusetts Institute of Technology was eveneens voorloper op het gebied van Human Insight AI, voor het in mei 2021 door Smart Eye werd overgenomen. Met zijn slimme beeldherkenningstechnologie richtte Affectiva zich vooral op corporate marketeers.

Miljarden persoonlijke videofragmenten

‘Marketeers ondervragen testpanels al decennia over de impact van hun marketinginspanningen’, legt Zijderveld uit. ‘Consumenten zeggen echter vaak niet precies wat ze denken, onder meer vanwege de neiging sociaal wenselijke antwoorden te geven. Met onze software kunnen we de reacties letterlijk van de gezichten van ingehuurde panelleden aflezen. Omdat we ook precies weten waar naar welke videocontent ze kijken, leren onze algoritmes doorlopend.’

Dat doen ze onder meer voor reclamereus WPP, Coca-Cola en Nike. De software werkt ‘gewoon’ via de webcam, zodat Affectiva snel meer data kon binnenhalen om haar algoritmes te trainen. Zo bevatte de database mei 2021  al ruim 5 miljard videofragmenten van meer dan 11 miljoen testpersonen uit 90 landen.

Op dat moment nam Smart Eye de startup over voor 73,5 miljoen dollar. Zijderveld, eindverantwoordelijk voor marketing én productstrategie, verhuisde mee naar de nieuwe eigenaar.

We monitoren piloten tijdens hun training: kijken ze op het juiste moment naar de juiste informatie?

‘In totaal werken we nu voor vijftien grote autoproducenten en toeleveranciers’, vertelt ze. ‘Ons Driver Monitoring System is daardoor bijvoorbeeld wereldwijd al in ruim een miljoen auto’s verwerkt. Dat systeem waarschuwt chauffeurs als er risicovolle situaties ontstaan. Bijvoorbeeld als de in de cabine verwerkte camera signalen waarneemt die er op duiden dat de chauffeur bovengemiddeld vermoeid is, te veel heeft gedronken of concentratieverstorend wordt afgeleid door telefoon of kinderen.’

Met een gerelateerde toepassing helpt Smart Eye autoproducenten, maar bijvoorbeeld ook vliegtuigbouwer Lockheed Martin en de Amerikaanse ruimtevaartorganisatie NASA, met de optimale inrichting van cockpits, dashboards en andere interfaces.

Zijderveld: ‘In de cockpit van een vliegtuig of ruimtevaartuig krijg je veel complexe informatie aangeboden. Door de bewegingen van ogen, hoofd en lichaam van testpersonen te monitoren, helpen we designers om interfaces efficiënt en gebruiksvriendelijk in te richten. En in het verlengde monitoren we piloten ook tijdens hun training: volgen ze de juiste procedures en kijken ze op het juiste moment naar de juiste informatie?

Potentieel enorme impact

Zo creëert Smart Eye ‘verdiept inzicht in menselijk gedrag en mogelijke beweegredenen’. Dat kan waardevol zijn, maar ook controversieel. In oktober nog waarschuwde de UK Information Commissioner’s Office bedrijven om af te zien van het sterk toenemende gebruik van deze technologie voor de analyse van bijvoorbeeld sollicitanten of potentiële fraudeurs.

‘Wij zien een sterke toename van het aantal bedrijven dat daarmee experimenteert’, aldus deputy commissioner Stephen Bonner. ‘De gebruikte technologie is echter nog volop in ontwikkeling en vaak niet voldoende betrouwbaar, terwijl de resultaten enorme impact kunnen hebben op de betrokkenen.’

Bonner is niet de enige die zich zorgen maakt. De Amerikaanse gedragswetenschapper B.J. Fogg waarschuwt al jaren voor de wijze waarop met name Amerikaanse techbedrijven onze emotionele en psychologische blauwdruk in kaart proberen te brengen.

Volgens Fogg, oprichter van het Persuasive Technology Lab van Stanford University, proberen ze deze kennis onder meer te gebruiken om menselijk gedrag via digitale prikkels te beïnvloeden. Zo zou onder meer Meta werken aan zogeheten persuasion profiles, waarin onder meer de emotionele reacties van gebruikers op verschillende soorten reclames en verkoopargumenten kan worden vastgelegd.

Emotioneel metaverse

Begin dit jaar deponeerde Meta enkele honderden patentaanvragen. Het gaat om potentiële toepassingsmogelijkheden van de headsets die toegang bieden tot het nieuwe metaverse waarin het sociale netwerk momenteel miljarden investeert. Meta is tevens eigenaar van vr-headsetmaker Meta Quest (voorheen Oculus).

Een deel van patentaanvragen beschrijft technologie die je avatar helpt vloeiend te bewegen in de digitale ruimte en te interacteren met andere avatars. Zo is er een sensor die je oogbewegingen en gezichtsuitdrukkingen nauwkeurig volgt. Zo kan jouw avatar glimlachen of zwaaien op het moment dat jij dat ook doet.

In een ander patent sorteert Meta voor op commerciële toepassingen. Door de oogbewegingen en gezichtsuitdrukkingen van de gebruiker te analyseren met kunstmatig intelligente software kan het bedrijf ook monitoren of, en hoelang, je in het metaverse naar bepaalde advertenties kijkt.

Wij verzamelen alleen data van personen die daar vooraf expliciet toestemming voor geven

Sterker nog: de geplande software moet straks zelfs in staat zijn de emotionele reactie van de gebruiker op advertenties of andere content vast te stellen. Zo kan Meta getoonde advertenties (of andere content) mogelijk gaan afstemmen op het persuasion profile van de individuele gebruiker.

Net als gedragswetenschapper B.J. Fogg en de UK Information Commissioner’s Office vreest Gabi Zijderveld van Smart Eye de impact van onethisch gebruik van deze nieuwe technologische mogelijkheden.

‘Wij verzamelen zelf alleen data van personen die daar vooraf expliciet toestemming voor geven’, vertelt ze. ‘Deze data is supervertrouwelijk en niet te herleiden naar specifieke personen. Daarbij werken wij ook met een strikte ethische code om misbruik van onze technologie door derden te voorkomen. Op basis daarvan hebben we bijvoorbeeld al vele malen klanten geweigerd.’

Misbruik voorkomen

Net als elke krachtige technologie is misbruik van Emotion AI volgens Zijderveld echter lastig te voorkomen. Ze denkt dan ook dat het ‘naïef’ is om voorkoming van misbruik van de goede wil van bedrijven af te laten hangen.

‘Dat moet dus met wetgeving gebeuren’, stelt ze. ‘Probleem is uiteraard dat wetgevers traditioneel ver achter de feiten aanlopen, zeker als het gaat om dit soort innovatieve digitale ontwikkelingen. Je ziet nu bijvoorbeeld dat wetgevers nog steeds worstelen met uitwassen rond de ‘gepersonaliseerde’ advertenties waar grote techbedrijven als Meta, Google en bijvoorbeeld ook Amazon al jaren miljarden mee verdienen.’

De cmo van markleider Smart Eye verwacht dat het analyseren van biometrische data om mensen daarmee aan te zetten tot bewuste of onbewuste gedragsveranderingen de komende jaren enorm zal ontwikkelen. ‘Zowel qua technologische vooruitgang als toepassingsmogelijkheden’, specificeert ze. ‘Zo verwacht ik bijvoorbeeld een enorme toename van het aantal kunstmatig intelligente toepassingen dat ons dagelijks leven makkelijker, veiliger en gezonder kan maken, zoals ons Driver Monitoring System.’

Die toepassingen gaan hand in hand met het nog steeds sterk groeiende aantal wearables. Denk bijvoorbeeld aan de nieuwe generatie ar-brillen, die waarschijnlijk ook veel toepassingen van onze telefoons gaat overnemen.

Zijderveld: ‘Om onze privacy te beschermen is het daarom cruciaal dat bedrijven als Smart Eye overheden gaan helpen met het uitleggen van alle nieuwe mogelijkheden en gevaren. Die ‘guardian’-rol hebben wij ook opgenomen in onze ethische code. Uiteraard moet de overheid daar dan wel voor openstaan. Zo hebben wij niets gehoord van de UK Information Commissioner’s Office. Wij hebben daarom nu zelf maar contact met ze opgenomen.’

Lees meer over kunstmatige intelligentie:

• IBM’s supercomputer Watson bleek toch niet zo slim, dat toont volgens deze psycholoog waarin AI faalt
• Dit is de superkracht van de mens in een tijdperk vol artificiële intelligentie
• Deze strategische stappen zijn nodig om te groeien met kunstmatige intelligentie