Een vrouw die met haar pasje de kleedkamer van de sportschool niet inkomt, omdat de computer haar als man heeft gekwalificeerd. De term ‘doctor’ als academische titel maakte haar volgens de computer een man. Of de Amerikaan die van Facebook een ‘leuk’ jaaroverzicht kreeg, met foto’s van zijn dochtertje dat dat jaar overleed.
Met haar boek Technically Wrong wil Sara Wachter-Boettcher laten zien dat er nog een boel mis kan gaan als we ons leven automatiseren. ‘Natuurlijk zijn er een heleboel voorbeelden te noemen die vooral absurd lijken, waar je met opgetrokken wenkbrauw naar kijkt en die voor de rest weinig schade berokkenen, maar er zijn ook genoeg voorbeelden waarbij algoritmes met vooroordelen iemand kunnen benadelen.’
Sollicitaties
Wat te denken van het algoritme dat gemaakt werd om woorden aan elkaar te koppelen en zijn data uit Google News haalde? ‘Woorden als Tokyo en Japan worden aan elkaar gekoppeld, zodat het makkelijker is om resultaten te laten zien.’ Wat er automatisch ook gebeurde, was dat programmeur werd gekoppeld aan mannen, terwijl schoonmaakster in het rijtje van vrouwen kwam. ‘En wie dan zo’n dataset koopt voor het beoordelen van cv’s, zal dus alleen maar mannelijke programmeurs uitnodigen voor een gesprek.’
Om nog maar te zwijgen over algoritmes die vooroordelen hebben over namen op basis van dit soort datasets. ‘Traditionele zwarte namen worden negatiever ingeschat bij sollicitaties dan traditionele witte namen.’
Veel mensen zijn onwetend over de vooroordelen die in algoritmes verscholen gaan, stelt Wachter-Boettcher. ‘Vaak worden datasets waarmee zo’n algoritme gemaakt wordt niet helemaal zelf in elkaar geknutseld, maar gekocht. Je hebt dus eigenlijk geen idee of én in welke mate de data vooringenomen is.’
Winst
Het zou volgens Sara Wachter-Boettcher een goed begin zijn als er meer transparantie bestaat over dit soort algoritmes, maar dat is niet zo makkelijk als het klinkt. ‘Natuurlijk kan je je eigen datasets controleren om te zien wat voor resultaten je krijgt, maar dat kost veel tijd en dan nog kun je niet alle vooroordelen eruit halen. Bedrijven die dit soort datasets verkopen zijn niet transparant, vaak omdat ze zelf ook geen idee hebben.’
Vaak kan het bedrijven ook niet veel schelen, benadrukt ze in haar boek. ‘Bedrijven zijn bezig met investeerders vinden, het grote geld op de korte termijn. Die maken zich doorgaans niet druk over dit soort zaken.’ Niet dat dat iets nieuws is in de zakenwereld. ‘Ook bij grote corporates zie je dat er vaak gefocust wordt op kortetermijndoelstellingen, terwijl je juist op de lange termijn iets wilt bereiken met je bedrijf.’
De veelgehoorde kritiek dat algoritmes vooringenomen zijn doordat ze enkel door witte mannen geprogrammeerd worden is volgens Wachter-Boettcher gesimplificeerd. ‘Natuurlijk is het zo dat er te veel witte mannen in de tech-sector werken en dat het beter zou zijn om meer diversiteit in de sector te hebben, maar de data kan ook uit andere hoeken komen. Iedereen heeft uiteindelijk vooroordelen.’
Efficiëntie
Volgens Wachter-Boettcher is het belangrijk dat er bij het maken van datasets niet alleen programmeurs betrokken zijn, maar ook mensen uit andere beroepsvelden. ‘Wordt er een algoritme ontworpen voor het bepalen van kredietwaardigheid voor personen, dan is het belangrijk dat er historici betrokken zijn die fouten uit het verleden eruit weten te filteren.’
Ze doelt op de zogenoemde Red Lined Neighborhoods, waar een gehele buurt bestempeld werd als slecht. Vaak waren dit zwarte wijken, waardoor alle mensen die in die wijk woonden geen hypotheek konden krijgen. ‘Als je dat soort zaken niet meeneemt in het bouwen van datasets en je wel beroept op het verleden, neem je de vooroordelen van vroeger gewoon over.’
Het idee dat algoritmes neutraal zijn, heerst volgens Wachter-Boettcher nog steeds. ‘Machines worden altijd neergezet als een efficiëntere, snellere en neutralere manier om dingen te regelen dan wanneer mensen dat werk zouden doen. Maar het probleem is juist dat vooringenomen algoritmes vooroordelen alleen maar erger maken, omdat ze op eerdere ervaringen verder werken. Mensen kunnen nadenken, machines doen gewoon waarvoor ze getraind zijn.’
