Ik ben net stevig geklopt door een algoritme. Dat voorspelde beter welke sollicitant goed zou presteren in de baan van ticket agent voor een luchtvaartmaatschappij dan ik. Nu ben ik geen hr-professional, maar ook die werden – op een viertal na – met een armlengte verslagen.
Dat was vooral voor deze groep van bijna vijftig mensen wel even slikken, maar dat was ook precies de bedoeling van de workshop van hr-opleider Dynamo & School for Recruitment. Het was ook niet zomaar een testje voor de fun, maar onderdeel van een wetenschappelijk experiment.
Universitair docent Marvin Neumann (gedragswetenschappen en organisatiepsychologie aan de VU) voert deze test wel vaker uit in de praktijk. Bedrijven gebruiken al vaak algoritmes voor het invullen van vacatures, maar dan vooral voor het zoeken en filteren van mogelijke kandidaten.
Taboe op algoritmes
Waar Neumann mee bezig is, is wat er daarna gebeurt. Wat doe je met de kandidaten die overblijven? Dan blijken bedrijven amper gebruik te maken van algoritmes. Dat is zelfs nog een beetje taboe. Als algoritmes over kandidaten meebeslissen, wat is dan de toegevoegde waarde van een recruiter?
Lees ook: Nieuwe Europese AI Act: ‘Bedrijven beseffen niet wat de impact is voor recruitment’
Die gedachtegang is volstrekte onzin, vindt initiatiefnemer en Dynamo-founder Wim Thielemans. ‘Je kunt echt niet worden vervangen door algoritmes, maar ik begrijp wel dat het onveilig kan voelen en dat je denkt dat je wereld op zijn kop komt te staan.’
Daardoor is al even begrijpelijk dat hr-professionals nog altijd liever putten uit heel wat informatiebronnen: cv’s, sollicitatiebrieven, sociale media, vaardigheidstoetsen, vragenlijsten, indrukken uit interviews en uitgebreide assessments.
Maar waarop baseer je dan je beslissing voor die ene m/v/x? Op een buikgevoel of ervaring? Realiseer je dan wel dat er altijd onbewuste vooroordelen meespelen. En dat je een enorme verantwoordelijkheid hebt als recruiter.
‘Het werk dat je doet, heeft een enorme impact op de toekomst van een kandidaat. Jouw keuze kan een persoon maken of kraken’, waarschuwt Thielemans.
Test voorspelt prestaties
Een algoritme kan je helpen om betere beslissingen te nemen over kandidaten. ‘Maar mensen willen hun autonomie niet afgeven aan een algoritme’, weet Neumann. Dus doet hij onderzoek naar hoe die autonomie toch gecombineerd kan worden met de input van een algoritme. Daar hoort onder meer het overtuigen bij van de mensen uit de hr-wereld.
Terug naar de test waar ik aan heb deelgenomen. Hoe zal deze kandidaat na drie maanden worden beoordeeld door de supervisor van de luchtvaartmaatschappij?
De helft van de groep maakt een voorspelling puur gebaseerd op eigen ervaring, de andere helft van de groep krijgt advies van een algoritme. Dat algoritme moeten de deelnemers wel eerst zelf samenstellen.
Met slechts drie elementen: hoe scoort de sollicitant op cognitieve vaardigheden, op plichtsbewustheid en qua indruk in een gewoon interview? Je bepaalt zelf hoe zwaar je die drie elementen laat wegen.
Het algoritme past die weging op alle kandidaten op dezelfde manier toe en geeft vervolgens advies. De deelnemers hoeven dat advies niet te volgen. Dat heb ik dan ook niet gedaan. Bij alle dertig sollicitanten heb ik een andere score gegeven dan het algoritme.
Dat is de aard van het beestje, maar daarom heb ik er ook voor gezorgd dat mijn resultaten niet in het officiële onderzoek terecht zullen komen. Vijf minuten na afloop van de test zijn de resultaten al binnen, uiteraard netjes berekend door een algoritme.
Geen schouderklopjes helaas
Neumann geeft de groep geen schouderklopjes, integendeel. ‘Het is eigenlijk treurig, maar uit al die testen komen telkens dezelfde resultaten naar voren’. Wie kiest op basis van ervaring scoort slechter dan het algoritme. En wie met een algoritme werkt, wijkt gegarandeerd af van het advies van dat algoritme.
Dat laatste leidt bovendien altijd tot een slechtere score. ‘Mensen zijn gewoon niet consistent. Als ik morgen dezelfde test uitvoer met deze groep, dan wijken de voorspellingen over dezelfde kandidaten net weer iets af van die van vandaag.’
Zouden de deelnemers het advies van het algoritme wél gevolgd hebben, dan zou die hele groep veel dichter bij de beoordeling van de supervisor over de prestaties van die kandidaat zijn uitgekomen. Dat is een eyeopener voor de groep.
De ruis uit het proces
De boodschap van Neumann: als je een algoritme ontwerpt om je te helpen voorspellen en beslissen, volg dat dan ook. Denk niet dat je het als mens beter weet. Algoritmes helpen bovendien ‘om de ruis uit het proces’ te krijgen, vult Thielemans aan.
De groep is onder de indruk en moet deze klets om de oren even verwerken. Ook dat is Neumann al gewend. Hij komt in de praktijk vaak weerstand tegen. ‘We zijn kritischer tegenover algoritmes dan tegenover het menselijk oordeel.’
Experts zijn al helemaal niet happig op het gebruik van algoritmes voor het nemen van beslissingen. ‘Hoe meer ervaring ze hebben, hoe meer ze vertrouwen op hun eigen oordeel. Terwijl ze vaak niet eens feedback krijgen over hun beslissing. Of ze horen pas na een jaar of zo dat de kandidaat niet presteert.’
Lees ook: Waarom werk jij eigenlijk? Je had ook iets anders met je leven kunnen doen
Misverstanden over algoritmes
Een andere reden waarom zo weinig hr-mensen algoritmes op deze manier toepassen, zijn de vele misverstanden. Als het over algoritmes gaat, is het al gauw eng, wegens te complex en/of te kostbaar. Maar dat hoeft helemaal niet zo te zijn, geeft hij aan.
Zelfs een algoritme dat selecteert op twee variabelen en daar een gewicht aan toekent, doet al betere voorspellingen dan experts, blijkt uit zijn onderzoek. Je hoeft dus echt niet alles in een algoritme te gooien. Daarmee ga je alleen maar ‘verdunnen‘. De kwaliteit van die informatie is veel belangrijker.
Het grote voordeel van algoritmes is dat ze het proces van het selecteren van kandidaten veel transparanter maken. ‘We weten namelijk niet hoe we in ons hoofd al die informatie combineren’, zegt de universitair docent.
Alleen blonde vrouwen selecteren
Neumann laat een foto van een aantal meiden zien met lang blond haar. ‘Stel nu dat je een beslisregel invoert voor je algoritme dat honderd punten geeft voor een vrouw en nog eens honderd punten extra voor blond haar.’
‘Als dat zo expliciet wordt gemaakt en mensen in de organisatie komen daarachter, dan wordt iedereen helemaal gek. Dat is dan niet ethisch.’ Als mensen daarentegen deze beslisregel in hun hoofd gebruiken, dan valt dit helemaal niet op, gaat hij verder.
Als een recruiter vrouwen met een andere haarkleur niet wil selecteren, dan is dat ook ‘gemakkelijk te beargumenteren’. Hun interview liep niet zo lekker bijvoorbeeld of ze scoorden minder goed in een assessment. Dat gebeurt dan uiteraard achteraf, als de blonde kandidaat al is aangenomen.
Afspraken vooraf maken
Thielemans wijst erop dat het uitermate belangrijk is om duidelijke afspraken te maken voor je start met het invullen van een vacature. Wat zijn de selectiecriteria? Verstaat iedereen daar ook hetzelfde onder? ‘Als je dit aan de voorkant al goed afspreekt, kun je heel wat discussies voorkomen en bovendien sneller beslissen wanneer je mensen gaat interviewen.’
Stel nu dat een manager een voorkeur heeft voor een andere kandidaat. ‘In sommige organisaties is het voor recruiters nog altijd not done om een hogere manager tegen te spreken’, weet Thielemans. ‘Later krijg je daar misschien last van, omdat je er niet tegen in bent gegaan en die kandidaat tegen kan vallen.’
Over het advies van algoritmes hoef je niet te discussiëren. Als een manager of een team per se mee wil beslissen over sollicitanten, dan geef je samen scores op de selectiecriteria. Je telt ze op en deelt ze vervolgens door het aantal mensen dat meebeslist.
Pijnlijke discussies niet meer nodig
Dat is de score die je dan meegeeft aan het algoritme. ‘Je steekt één keer tijd in het samen opstellen van het algoritme, maar dan hoef je een pijnlijke discussie meer aan te gaan. Je volgt de puntentelling in het algoritme. De beste kandidaat is degene met de hoogste score.’
Om algoritmes wat vaker te omarmen, heeft de hr-praktijk meer concrete handvaten nodig. Daarom heeft Neumann samen met collega’s van Universiteit Groningen een stappenplan opgesteld met uitleg.
Er wordt al gewerkt aan een nieuwe versie die nog meer gericht is op de praktijk. Op de publicatie daarvan is het nog even wachten (voor de specialisten: die staat in de volgende versie van de AST-NIP). Bij Dynamo staat een Cactus-app op stapel. Die helpt je beter interviewen en scoren.
Lees ook: We respecteren natuurtalenten meer dan harde werkers en daar moeten we mee stoppen
