Mensenrechtencollege: discriminatie door VU-algoritme aannemelijk
UTRECHT (ANP) - Voor de eerste keer heeft iemand discriminatie door een algoritme aannemelijk gemaakt, stelt het College voor de Rechten van de Mens. De Vrije Universiteit in Amsterdam (VU) moet aantonen dat antispieksoftware die de instelling gebruikte niet discrimineert, stelt het college in een tussenoordeel. Een student meent dat de software haar niet herkende als ze moest inloggen voor tentamens, vanwege haar huidskleur.
Tijdens de coronacrisis werden tentamens aan de VU vaak online afgenomen. Om fraude tegen te gaan moesten studenten antispieksoftware op hun computer installeren. Voordat ze toegang kregen tot de examenvragen moesten ze controles doorlopen, waarvan een met een webcam.
Volgens de masterstudent in kwestie herkende de software haar gezicht vaak niet. Ze kreeg dan meldingen als 'face not found' of 'room too dark'. Ook werd ze meerdere keren door de software uit het tentamen gegooid, waarna ze opnieuw moest inloggen. De gang van zaken bezorgde haar veel stress "en een gevoel van onveiligheid", aldus het college. De vrouw denkt dat de software niet goed werkte vanwege haar huidskleur. "Het is algemeen bekend dat gezichtsdetectiealgoritmes slechter presteren op mensen met een donkere huidskleur", schrijf het college daarover. Het college vindt "dat de vrouw erin geslaagd is voldoende feiten aan te dragen voor een vermoeden van discriminatie".
Navraag software
De VU heeft navraag gedaan bij de leverancier van de software, die na een onderzoek stelde dat niets wijst op discriminatie door het algoritme. Ook zou de student volgens de VU niet uitzonderlijk lang over het inloggen hebben gedaan, of opvallend vaak uit de tentamens gegooid zijn. Als er problemen waren, zijn die waarschijnlijk het gevolg van bijvoorbeeld een slechte internetverbinding, zo redeneert de universiteit.
Volgens het college heeft de VU echter "te weinig controleerbare gegevens" aangeleverd waaruit zou blijken dat de software niet discrimineert. De universiteit krijgt tien weken om te bewijzen dat de software inderdaad niet gediscrimineerd heeft.
Uitspraak
Volgens voorzitter Jacobine Geel van het mensenrechtencollege is de uitspraak een "belangrijk moment". "Het is iemand namelijk gelukt om te zeggen: hey, wat dit algoritme doet is vreemd. Ik vermoed dat het algoritme discrimineert." Naomi Appelman, voorzitter van het Racism and Technology Center, hoopt dat de uitspraak "een les" is voor organisaties die gezichtsherkenning willen inzetten. "Garanties van de leverancier van de technologie zijn daarbij niet genoeg."
De VU laat via een woordvoerster weten met het oordeel "aan de slag" te gaan. In de tussentijd kan de universiteit "geen inhoudelijke reactie geven".
Meer uit Binnenland
DEN HAAG (ANP) - BBB'er Eric Kemperman verlaat zijn fractie in zowel de Eerste Kamer als de Provinciale Staten van Gelderland. Dat meldt zijn partij. In beide gremia houdt hij zijn zetels.
1 uur geleden
FINSTERWOLDE (ANP) - De eerste dag van de burgerzoekactie naar de vermiste kinderen uit Beerta is ten einde. Sinds maandagmiddag hebben zeker 220 mensen rond de Groningse gemeente Oldambt gezocht naar Jeffrey (10) en Emma (8), zegt organisator Coördinatie Platform Vermissing (CPV). De actie is voor het donker beëindigd.
1 uur geleden
AMSTERDAM (ANP) - Safae el Khannoussi heeft dit jaar de Libris Literatuur Prijs gewonnen met haar debuutroman Oroppa. Juryvoorzitter Sheila Sitalsing heeft dat bekendgemaakt tijdens een diner in Felix Meritis in Amsterdam. De bekendmaking werd live uitgezonden door Nieuwsuur.
1 uur geleden
DEN HAAG (ANP) - Het presidium van de Tweede Kamer houdt dinsdag een spoedvergadering over de gebeurtenissen rond oud-Kamervoorzitter Khadija Arib. Dat bevestigt een ingewijde na berichtgeving door de Volkskrant. Aanleiding voor de bijeenkomst is informatie die naar voren kwam in de strafzaak tegen een voormalig persvoorlichter.
1 uur geleden
UTRECHT (ANP) - De politie heeft maandagavond 49 demonstranten aangehouden die in Utrecht een pand van de Universiteit Utrecht (UU) hadden bezet. De pro-Palestijnse betogers zijn door agenten uit het gebouw aan de Drift in het centrum van de stad gehaald en in een bus gezet. Ze zijn aangehouden voor lokaalvredebreuk en worden naar een andere locatie in Utrecht gebracht en daar vrijgelaten.
1 uur geleden
EINDHOVEN (ANP) - Eindhoven loopt langzaam leeg nadat PSV daar eerder op de avond is gehuldigd. Een stroom aan mensen loopt rond 21.00 uur richting het station.
1 uur geleden
EINDHOVEN (ANP) - De spelers en staf van PSV zijn in Eindhoven gehuldigd in het bijzijn van een grote feestende rood-wit gekleurde menigte fans. De voetbalclub behaalde een dag eerder voor de 26e keer de landstitel. Vele duizenden supporters kwamen maandag naar de stad voor het feest met hun kampioenen.
3 uur geleden