Breeze, de Nederlandse dating-app die aanstuurt op offline contact, diende een verzoek in bij het College voor de Rechten van de Mens om hun algoritme aan te passen. Normaal gesproken hoef je daar als bedrijf natuurlijk geen toestemming voor te vragen, maar in dit geval gaat het om een belangrijk onderwerp: discriminatie.
Breeze streeft ernaar dat mensen met een donkere huidskleur of niet-Nederlandse achtergrond even vaak worden voorgesteld in de app als witte mensen of personen van Nederlandse afkomst. En dat is in de praktijk best lastig, merkt Thomas Crul, data-analist bij Breeze.
Hoeveel gebruikers gaven hier feedback over?
Crul: ‘Het ging om een paar handjes vol, tussen de 10 en 20 gebruikers in totaal. Ter vergelijking: wekelijks hebben we zo’n 40.000 gebruikers. Maar die gebruikersgroep is vooral ontstaan vanuit ons eigen netwerk: voornamelijk hoogopgeleide, witte studenten uit Delft. Vanuit deze early adopter is een vrij homogene gebruikersgroep ontstaan. Het was tot nu toe nog niet gelukt om die diverser te maken.’
Waarom is dat een probleem?
‘Omdat een homogene gebruikersgroep een zelfversterkend effect heeft. Uit een studie bleek dat mensen een datevoorkeur hebben voor iemand van dezelfde afkomst als zijzelf. Globaal gezien was er ook nog eens een voorkeur voor mensen met een witte afkomst. Aan het feit dat deze vooroordelen in onze gebruikers zitten, kunnen we natuurlijk niet gelijk iets doen.’
‘Het wordt alleen wel een probleem als je kijkt naar wat dit voor implicaties heeft voor ons systeem. Wij optimaliseren namelijk op de kans van een match. Voor gebruikers van een niet-Nederlandse achtergrond zal deze kans dus een stuk lager zijn dan voor de rest van de gebruikers. Door de lagere matchkansen zullen ze ook minder getoond worden aan andere gebruikers, waardoor ons algoritme dus ongelijk gedrag vertoont.’
Als jullie weinig niet-Nederlandse gebruikers hebben, maar die wel meer gaan voorstellen, gaat dat dan geen gebruikers kosten?
‘Dat zijn inderdaad wel vragen die we hebben. Op de korte termijn zal het hoogstwaarschijnlijk niet voordelig zijn voor ons om maatregelen te treffen binnen ons algoritme. Door niet-Nederlandse gebruikers meer voor te stellen en Nederlandse gebruikers minder zullen er minder matches gemaakt worden. Door dit te doen hopen we echter dat we mensen steeds meer buiten hun bubbel kunnen laten treden en zo stukje bij beetje ‘accepterender’ kunnen maken, waardoor de vooroordelen op lange termijn langzaam verdwijnen.’
Hoe kan je die vooroordelen dan op de lange termijn wegnemen?
‘De oplossing is denk ik tweeledig: we moeten ons algoritme aanpassen om elke gebruiker – ongeacht afkomst – een eerlijke kans te geven. Vervolgens zouden we meer in moeten zetten op het specifiek targeten van advertenties op groepen die minder gerepresenteerd zijn op onze app. Bijvoorbeeld door samen te werken met bedrijven en groeperingen die een diverse achterban hebben.’
‘Als wij ons systeem niet aanpassen, houden we voornamelijk een witte gebruikersgroep, terwijl ook mensen van een andere afkomst een eerlijke kans moeten krijgen. Doordat het systeem zo werkt, gaat het lastig zijn om die nieuwe gebruikers te behouden. Want in een mum van tijd zijn ze dan weer weg waarschijnlijk.’
Jullie zijn op eigen initiatief naar het College voor de Rechten van de Mens gestapt. Waarom?
‘Wij wilden weten: is het een vorm van voorkeursbeleid als we ons algoritme aanpassen en gebruikers van een niet-Nederlandse afkomst boosten binnen ons systeem? Het voeren van een voorkeursbeleid op basis van afkomst is in veel gevallen positieve discriminatie en vaak illegaal. Gelukkig blijkt uit het oordeel dat dat niet het geval is. Dit maakt ons gelukkig, want dit betekent dat we een oplossing mogen ontwikkelen voor het feit dat ons algoritme waarschijnlijk bestaande vooroordelen versterkt.’
Goed nieuws dus. Is het einde van het probleem nu in zicht?
‘Nog niet. Op dit moment kunnen we niet voorkomen dat ons systeem opnieuw discrimineert. Ook de mate waarin kunnen we nu niet beperken. Dat heeft vooral te maken met de AVG. Persoonsgegevens over afkomst mogen niet gedeeld worden terwijl we die juist wel nodig hebben om ons systeem te verbeteren.’
‘We hopen dat ze iets kunnen veranderen in hun beleid of dat er ruimte wordt geboden in de regels. We willen dan ook een gesprek aangaan. Nu dat oordeel van het College voor de Rechten van de Mens bekend is, biedt ons dat hopelijk voordelen.’
Wat is je motivatie om hier zo voor te gaan? Je kan ook denken: het gaat maar om een paar gebruikers.
‘Dat is vooral een persoonlijke reden. Ik slaap er niet beter op als ik dit niet kan oplossen. Ik kan er niet mee leven dat het systeem waar ik zoveel tijd en moeite in stop, uiteindelijk discriminatie vertoont. Ik voel me verantwoordelijk om dat op te lossen of te voorkomen in de toekomst.’
Wat zegt dit algoritme over jullie als organisatie?
‘Ons algoritme is in de basis niet heel speciaal – het is juist vrij standaard binnen de wereld van algoritmes. Doordat een aantal gebruikers ons op het spoor hebben gezet van een mogelijk diversiteitsprobleem binnen ons systeem, is dit probleem aan het licht gekomen. Ik denk dat we hier niet uniek in zijn, ik denk dat veel bedrijven te maken hebben met dit probleem.’
‘Hierdoor waren we eigenlijk verbaasd toen we dit probleem op het spoor kwamen: waarom hebben we hier nog nooit iemand anders over gehoord? Voor mij vielen er in ieder geval wel wat puzzelstukjes in elkaar. Zo van: oh, mensen hebben vooroordelen en dat zie je terug in hun datevoorkeuren en daardoor de data die ze generen. Zonder dat je het door hebt, zijn die consequenties eigenlijk al heel groot.’
Waar komt de focus nu meer op te liggen binnen Breeze?
‘Dat weet ik nog niet, we zijn tenslotte geen experts. Ik denk dat er andere mensen zijn die hier veel meer van weten dan wij. We roepen dan ook vooral op om geholpen te worden, bijvoorbeeld op LinkedIn. Ik denk dat wij dit in ons eentje niet kunnen oplossen, daarvoor is het probleem te groot. We hopen vooral de discussie te openen en uiteindelijk impact te kunnen maken in samenwerking met experts en misschien ook met andere datingapps.’
Wat is de belangrijkste les die je hier uit hebt gehaald?
‘Ik had zelf een redelijk laconieke houding ten opzichte van ethische problemen binnen het maken van algoritmes. Ik dacht: wij stoppen geen informatie over afkomst in het systeem, dus er kan ook geen verschil te zien zijn en dus geen probleem ontstaan. Maar zo simpel is het dus niet.’
‘Dat betekent niet dat we elk bedrijfsrisico nu van tevoren gaan dichttimmeren, dat is onmogelijk in mijn ogen. Wel is het belangrijk om constant te blijven bijstellen en monitoren. Niemand wordt wakker en denkt: ik ga eens even een discriminerend systeem bouwen. We gaan nog meer testen en alles wat we creëren dubbel nalopen. Goede bedoelingen zijn blijkbaar niet altijd genoeg.’
Lees ook: De zwaktes van AI: ‘In onzekere situaties heb je het menselijk beoordelingsvermogen nodig’
