Voor het laatste deel van het achtluik over arbeidsmarktdiscriminatie en algoritmes gooiden we het een beetje over een andere boeg. We stelden een aantal producenten van recruitmentsoftware 4 vragen over bias en de bestrijding van – ongeoorloofde – vooringenomenheid bij recruitmenttech.
Discriminatie op de arbeidsmarkt en algoritmes
In een achttal artikelen brengen we een belangrijk onderwerp in kaart, discriminatie op de arbeidsmarkt en de rol van algoritmes bij het wervingsproces. Het rapport ‘Recruiter of computer? Zo voorkom je als werkgever discriminatie door algoritmes bij werving en selectie’ van het College van Rechten van de Mens heeft aan de basis gestaan van deze serie. In dit slotartikel reageren vertegenwoordigers van recruitmenttech-producenten Eelloo, Textkernel, Equalture en Neurolytics. Hieronder de vier vragen/stellingen die we voorlegden aan de recruitmenttechproducenten:
- Wat heeft de beroemde Amazon-case (rond 2015 bleek het wervingsalgoritme dat het bedrijf gebruikte mannen duidelijk te bevoordelen) teweeggebracht in de recruitmenttechwereld? Zijn er grootscheepse aanpassingen gemaakt door recruitmenttech-ontwikkelaars en algoritmebouwers als reactie op deze case?
- Hoe weinig vooringenomen kunnen recruitmenttech algoritmes zijn – zeker de zelflerende –, tot hoever strekt je ‘macht’ als ontwikkelaar om dat te voorkomen?
- Welke gereedschappen gebruik je, of welke codes kun je inbouwen in de algoritmes om bias zoveel als mogelijk te voorkomen?
- Wat zijn de meest recente ontwikkelingen als het gaat om recruitmenttech en het voorkomen van bias?
Jaap Jan van Assen, hoofd product- en marktstrategie bij Eelloo te Amsterdam: ‘Er ligt ook een verantwoordelijkheid bij klanten’
“Deze case heeft meegeholpen om de bewustwording bij verschillende stakeholders, waaronder klanten, toezichthouders, brancheverenigingen te vergroten. Daardoor worden er (gelukkig) meer kritische vragen gesteld, zijn er richtlijnen opgesteld en is wetgeving in de maak. Ontwikkelaars moeten hierop inspelen als ze bij serieuze klanten aan de slag willen.”- “Deze macht strekt behoorlijk ver. De ontwikkelaar bepaalt welk soort algoritme wordt ingezet, hoe deze wordt en hoe deze op zaken als betrouwbaarheid en validiteit worden gecontroleerd. Er ligt ook een verantwoordelijkheid bij klanten, die bepalen hoe het totale selectieproces eruit ziet waarin de tool wordt ingezet en welke data ze ter beschikking kunnen stellen voor het goed inregelen van de tool.”
- “Eigenlijk zijn deze gereedschappen het best vergelijkbaar met meer traditionele assessmenttools. Eelloo heeft meegeholpen bij het opstellen van een position paper vanuit het Nederlands Instituut van Psychologen (NIP), dat recent is gelanceerd. Dit paper geeft een negental handvatten voor het zoveel mogelijk bias vrij toepassen van AI in de selectie.”
- “Er is wetgeving in de maak die strengere eisen stelt aan de inzet van AI in selectie. Daarop inspelend worden er meer richtlijnen en dergelijke opgesteld die moeten helpen bij het verantwoord inzetten. Er ook is een beweging gaande van explainable AI. Tevens zijn er instrumenten die kunnen helpen om de werking van black-box AI transparanter te maken. Mijn oproep is om ook naar het selectieproces als geheel te kijken: hoe kun je de kracht van AI inzetten om niet het functieprofiel, maar juist de kandidaat centraal te zetten in selectie? Hoe kan een kandidaat het maximale uit zijn/haar talent halen als je kijkt naar het werk dat een organisatie te bieden heeft?”
Gerard Mulder, ceo bij Textkernel te Amsterdam: ‘We bereiken uitzonderlijke nauwkeurigheid zonder zelflerende algoritmen’
“Dit was een van de eerste grote gevallen waarin AI het vermogen bleek te hebben om bevooroordeeld te zijn. De AI-onderzoeksgemeenschap moest zich plotseling veel meer bewust worden van deze risico’s en onderzoeksthema’s als bias en transparantie wonnen sterk aan populariteit de afgelopen jaren. Bij Textkernel begonnen we rond 2015 te testen met zelflerende algoritmen voor matching, maar we zijn er drie jaar later mee gestopt. De belangrijkste redenen daarvoor waren dat de resultaten vanuit een objectief oogpunt niet verbeterden. Vandaag bereiken we een uitzonderlijk hoge nauwkeurigheid zonder zelflerende algoritmen te gebruiken in onze matching. We leggen de bedrijfslogica van onze klanten op een andere manier vast, wat een betere aanpak oplevert dan een zelflerende algoritmen.”- “Algoritmen die het gedrag van menselijke menselijke recruiters nabootsen kunnen goede resultaten geven, maar zijn vaak niet de beste keuze omdat ze zeer waarschijnlijk een vorm van bias introduceren (aangezien menselijk gedrag vaak bevooroordeeld is). Een alternatief is ‘content-based matching’, waarbij informatie die kan worden gematcht uit documenten – cv’s en vacatures, of andere type data die de klant over kandidaten heeft, bijvoorbeeld assessments, feedback of wensen van de kandidaat – wordt gehaald. Dit is het belangrijkste type algoritme dat wordt gebruikt bij Textkernel. Het vereist veel linguïstische engineering (datamining, normalisatie en dataverrijking), maar houdt onze algoritmen transparant en verklaarbaar, en geeft onze ontwikkelaars controle over factoren die vertekening kunnen veroorzaken.”
- ‘We hebben een aantal processen om bias-vrije matching te garanderen. Zo heeft ons matchingsalgoritme geen toegang tot persoonlijke informatie zoals naam of geslacht. Verder ‘normaliseren’ wij functietitels, zodat de mannelijke en vrouwelijke versie van de functietitel hetzelfde resultaat geven. En we passen onze ‘AI Fairness Checklist’ toe op alle componenten die we bouwen. Dit zorgt er bijvoorbeeld voor dat we onze modellen bijvoorbeeld trainen op representatieve datasets (d.w.z. dat alle minderheden/demografische groepen goed vertegenwoordigd zijn in de dataset).”
- “Zoals altijd het geval is met technologische ontwikkelingen, blijft de wetgeving een paar jaar achter. Gevallen als het Amazon-algoritme waarschuwen beleidsmakers dat de toepassing van AI niet ongecontroleerd kan blijven. Momenteel werkt een aantal regeringen aan AI-wetgeving, met name de EU. Sommige Amerikaanse staten (Californië, New York) voeren volgend jaar al soortgelijke wetgeving in. Deze nieuwe wetten verplichten bedrijven te bewijzen dat de software die zij gebruikt voor gevoelige processen niet bevooroordeeld is en transparant is in zijn besluitvorming. De ‘bewijslast’ van onbevooroordeelde software ligt ook niet alleen meer bij de softwareleveranciers, maar ook bij de kopers.”
Fleur Melkert, mede-oprichter van en bij bij Equalture – opgericht met als missie bias-vrije recruitment – te Rotterdam: ‘Recruitment is een traditionele industrie’
“De Amazon-case is mijns inziens een vloek en een zegen. Recruitment is een traditionele industrie. Neem het cv als voorbeeld, 99% van alle bedrijven gebruikt het nog, terwijl het eerste cv honderden jaren terug is geschreven door Leonardo da Vinci. Dit komt door de zogeheten conservatism bias, de neiging om vast te willen houden aan hoe je dingen altijd al hebt gedaan. Naast het feit dat verandering over het algemeen spannend wordt gevonden, bracht de Amazon-case een extra angst met zich mee: de angst voor recruiters om vervangen te worden door AI. Bij nieuwe innovaties is het risico groot, dat wanneer het een keer niet goed gaat, de gehele innovatie direct wordt afgeschreven. In het geval van Amazon is dit ook gebeurd. De case heeft geresulteerd in een groot wantrouwen in AI binnen recruitment. Tegelijkertijd is het ook goed dat dit is gebeurd én naar buiten is gebracht. AI kent veel potentie, maar ook veel gevaren, zeker wanneer je het toepast binnen recruitment. De Amazon-case heeft recruitment software-ontwikkelaars in ieder geval op scherp gezet en dat is denk ik alleen maar goed.”- “Het gevaar van zelflerende recruitmenttech alrogitmes is dat ze leren van de data die het algoritme tot beschikking heeft. Als software provider kun je nooit garanderen dat de data set een representatieve afspiegeling van de maatschappij is, met als gevolg dat je het algoritme moet ‘bijstellen’. Vanaf dat moment geloof ik echter niet dat je vooringenomenheid nog kunt voorkomen. Dit is overigens ook de reden waarom Equalture geen AI gebruikt. Onze algoritmes berusten puur en alleen op statistische modellen en zijn niet zelflerend op basis van de dataset die wij verzamelen. Deze keuze hebben wij gemaakt omdat wij als doel hebben de arbeidsmarkt eerlijker te maken, en ik denk dat AI nog niet op het punt is om die belofte waar te kunnen maken.”
- “Mijn advies: kies de gereedschappen die werken, niet de gereedschappen die enkel populair zijn. Met andere woorden: begin niet zomaar met AI omdat het ‘cool’ is. Wij hebben onze gedachtegang omgedraaid om tot het juiste ‘gereedschap’ te komen. Het doel van Equalture is om bias te voorkomen. Dit kan gerealiseerd worden door screening objectief in plaats van subjectief te maken. Oftewel: screening gebaseerd op factoren die bewezen voorspellend zijn voor succes (educatie en werkervaring zijn dat bijvoorbeeld niet), gemeten middels een objectieve methode. In ons geval zijn dat statistische en wetenschappelijke gevalideerde modellen die cognitieve vaardigheden en gedragingen in kaart brengen. Daarnaast analyseren wij doorlopend een mogelijk effect van demografische kenmerken zoals leeftijd, geslacht & etniciteit op uitkomsten. Monitoren is wat mij betreft het belangrijkste gereedschap hierbij.”
- “Naast het feit dat AI een populaire ontwikkeling blijft zie ik dat steeds meer bedrijven weg bewegen van screeningsfactoren die per definitie biased zijn. Neem bijvoorbeeld educatie. Educatie wordt door veel bedrijven nog steeds gezien als een graadmeter voor intelligentie, terwijl dit (i) niet het geval is en (ii) sterk wordt beïnvloed door bijvoorbeeld de kansen en economische middelen die iemand tot zijn of haar beschikking heeft gehad. LinkedIn is een goed voorbeeld van een bedrijf dat – in december 2022 – aangekondigde af te stappen van educatie als vacature-eis, om eerlijkere kansen te bieden aan een grotere groep sollicitanten. De ontwikkeling zit ‘m dus niet enkel in technologie, maar ook waar we als bedrijven naar kijken.”
Felix Hermsen en Marnix Naber, respectievelijk mede-oprichter & ceo en hoofd R&D van Neurolytics, te Utrecht: ‘Gelukkig maakt XAI, explainable AI, stappen’
Hermsen: “Breder gezien is dit een typisch voorbeeld geweest van AI met een black box. Waarbij je niet weet waar resultaten vandaan komen en de dataset niet en te laat gecontroleerd is en er bias bleek te zitten in de invoer. Wat je nu ziet is dat gelukkig XAI (explainable AI) stappen maakt waarbij menselijke experts de totstandkoming van de resultaten kunnen inzien en begrijpen. Vanuit Neurolytics hebben we ook een best practice AI use case met de Europese Unie, waarbij we zijn beoordeeld en geïnterviewd door een onafhankelijke expert.”
en 3. en 4. Naber: “Een belangrijk aspect bij algoritmes is de controle op biases in de data waarmee de algoritmes worden getraind. Vaak worden tekst/plaatjes/videos van mensen, waar een algoritme een oordeel over moet vellen, gelabeld door mensen. Deze algoritmen worden vervolgens getraind om deze labels te voorspellen. Als er in deze labels een bias zit, dan neemt een algoritme deze bias over. Neurolytics zorgt op twee manieren om een bias te voorkomen: (1) we laten plaatjes/video’s niet labelen door anderen maar door de mensen uit de tekst/plaatje/video zelf, en (2) we controleren op biases in de data/labels en, indien nodig, corrigeren we hiervoor.”
Andere artikelen in deze serie
- Arbeidsmarktdiscriminatie & algoritmes (1/8): gebruikers recruitmentsoftware zelf verantwoordelijk
- Arbeidsmarktdiscriminatie & algoritmes (2/8): hoe algoritmes ongewenst onderscheid kunnen maken
- Arbeidsmarktdiscriminatie & algoritmes (3/8): op zoek naar de ideale werknemer
- Arbeidsmarktdiscriminatie & algoritmes (4/8): hoe algoritmes discriminatie kunnen verergeren
- Arbeidsmarktdiscriminatie & algoritmes (5/8): de invloed van social media
- Arbeidsmarktdiscriminatie & algoritmes (6/8): recruitmentsoftware als wapen tegen discriminatie
- Arbeidsmarktdiscriminatie & algoritmes (7/8): onderzoeken naar bias
