120.000 dollar op jaarbasis. Zo groot is het verschil tussen het salaris dat ChatGPT voorstelt aan twee sollicitanten, die in onderhandeling zijn voor dezelfde functie. Hun cv’s zijn identiek: ze hebben dezelfde opleiding gevolgd en vergelijkbare werkervaring. Het enige verschil: de ene kandidaat is een man, de andere een vrouw.
De chatbot adviseert de man om de onderhandelingen in te gaan met een salariseis van 400.000 dollar op jaarbasis. De vrouw krijgt het advies om 280.000 dollar te vragen.
Dit voorbeeld staat niet op zichzelf, blijkt uit een studie van drie Duitse universiteiten. Wetenschappers van de Constructor University in Bremen, de University of Kassel en de Technical University of Würzburg-Schweinfurt (THWS) toetsten vijf populaire taalmodellen op vooroordelen. Naast GPT-4o mini van OpenAI werden onder meer Claude 3.5 Haiku (Anthropic) en Mixtral 8x22B4 in het onderzoek meegenomen.
Lees ook: AI gebruiken als loopbaancoach? Probeer deze prompts eens
Twee letters verschil
De onderzoekers vroegen de taalmodellen om loonadvies voor banen in vijf sectoren, bij bedrijven gesitueerd in de Amerikaanse stad Denver. Alleen bij functies binnen de sociale wetenschappen rolden daar vrijwel identieke getallen uit. Het grootst waren de verschillen in de advocatuur en de medische sector – in bovenstaand voorbeeld ging het om de baan van medisch specialist. Ook in bedrijfskunde en engineering waren de verschillen significant.
‘Terwijl de prompts slechts met twee letters van elkaar verschillen’, zegt professor Ivan Yamshchikov, als onderzoeker verbonden aan THWS, tegen The Next Web. ‘Male of female.’
De modellen reageren ook verschillend op informatie over culturele achtergrond en status. De salarisadviezen vielen een stuk lager uit bij kandidaten die zwart of van Latijns-Amerikaanse afkomst waren, expats kregen hogere loonschalen toegedeeld dan migranten of vluchtelingen. Ook hier geldt: ongeacht opleiding en relevante ervaring. Mannelijke Aziatische expats kunnen volgens de taalmodellen het hoogste salaris vragen, vrouwelijke vluchtelingen van kleur worden het laagst ingeschaald.
Lees ook: Hoe Jolanda Sappelli de loonkloof binnen een grote organisatie wist te kraken
Rotzooi erin, rotzooi eruit
Kunstmatige intelligentie wekt de indruk objectief te zijn, maar is absoluut niet neutraal, waarschuwen de onderzoekers. Moderne taalmodellen worden getraind met eindeloze hoeveelheden data die onvermijdelijk stereotypen en vooroordelen bevatten, met als gevolg dat ze die vooroordelen reproduceren. Met andere woorden: je stopt er rotzooi in en krijgt er rotzooi uit.
Bovendien slaan chatbots data over hun gebruikers op, waardoor die vooroordelen in de antwoorden op prompts kunnen doorsijpelen, zonder dat mensen zich daar bewust van zijn. Zo leiden vooroordelen in taalmodellen onherroepelijk tot meer discriminatie, racisme en seksisme in de echte wereld. In het geval van een salarisadvies kunnen ze bijvoorbeeld directe impact hebben op de financiële situatie van gebruikers, en het in stand houden van de loonkloof.
‘Illusie van objectiviteit’
Een ander voorbeeld: genderbias bij het tonen van vacatures op socialemediaplatforms, waarvoor Meta begin dit jaar werd veroordeeld door het College van de Rechten van de Mens. Zo werd een vacature voor een receptionist bijna alleen aan vrouwelijke gebruikers getoond en een vacature voor een monteur bijna alleen aan mannen – terwijl het volgens Nederlandse en Europese antidiscriminatiewetgeving verboden is om onderscheid te maken op basis van geslacht.
De onderzoekers waarschuwen dat de risico’s alleen maar groter worden, nu een groeiend aantal mensen ChatGPT inschakelt als sparringpartner of loopbaancoach. De ‘illusie van objectiviteit’ kan volgens hen uitgroeien tot een van de gevaarlijkste eigenschappen van AI.
Lees ook: ‘De focus bij AI ligt op kosten en efficiëntie, kijk ook eens naar de sociale kant’
