Mensenrechtencollege: discriminatie door VU-algoritme aannemelijk
UTRECHT (ANP) - Voor de eerste keer heeft iemand discriminatie door een algoritme aannemelijk gemaakt, stelt het College voor de Rechten van de Mens. De Vrije Universiteit in Amsterdam (VU) moet aantonen dat antispieksoftware die de instelling gebruikte niet discrimineert, stelt het college in een tussenoordeel. Een student meent dat de software haar niet herkende als ze moest inloggen voor tentamens, vanwege haar huidskleur.
Tijdens de coronacrisis werden tentamens aan de VU vaak online afgenomen. Om fraude tegen te gaan moesten studenten antispieksoftware op hun computer installeren. Voordat ze toegang kregen tot de examenvragen moesten ze controles doorlopen, waarvan een met een webcam.
Volgens de masterstudent in kwestie herkende de software haar gezicht vaak niet. Ze kreeg dan meldingen als 'face not found' of 'room too dark'. Ook werd ze meerdere keren door de software uit het tentamen gegooid, waarna ze opnieuw moest inloggen. De gang van zaken bezorgde haar veel stress "en een gevoel van onveiligheid", aldus het college. De vrouw denkt dat de software niet goed werkte vanwege haar huidskleur. "Het is algemeen bekend dat gezichtsdetectiealgoritmes slechter presteren op mensen met een donkere huidskleur", schrijf het college daarover. Het college vindt "dat de vrouw erin geslaagd is voldoende feiten aan te dragen voor een vermoeden van discriminatie".
Navraag software
De VU heeft navraag gedaan bij de leverancier van de software, die na een onderzoek stelde dat niets wijst op discriminatie door het algoritme. Ook zou de student volgens de VU niet uitzonderlijk lang over het inloggen hebben gedaan, of opvallend vaak uit de tentamens gegooid zijn. Als er problemen waren, zijn die waarschijnlijk het gevolg van bijvoorbeeld een slechte internetverbinding, zo redeneert de universiteit.
Volgens het college heeft de VU echter "te weinig controleerbare gegevens" aangeleverd waaruit zou blijken dat de software niet discrimineert. De universiteit krijgt tien weken om te bewijzen dat de software inderdaad niet gediscrimineerd heeft.
Uitspraak
Volgens voorzitter Jacobine Geel van het mensenrechtencollege is de uitspraak een "belangrijk moment". "Het is iemand namelijk gelukt om te zeggen: hey, wat dit algoritme doet is vreemd. Ik vermoed dat het algoritme discrimineert." Naomi Appelman, voorzitter van het Racism and Technology Center, hoopt dat de uitspraak "een les" is voor organisaties die gezichtsherkenning willen inzetten. "Garanties van de leverancier van de technologie zijn daarbij niet genoeg."
De VU laat via een woordvoerster weten met het oordeel "aan de slag" te gaan. In de tussentijd kan de universiteit "geen inhoudelijke reactie geven".
Meer uit Binnenland
HILVERSUM (ANP) - De serie Baantjer komt weer terug op televisie, maakte Talpa woensdag bekend. De laatste uitzending van de originele serie werd eind 2006 uitgezonden, later volgde nog een prequel. De nieuwe reeks van tien afleveringen is vanaf het najaar van 2026 te zien op SBS6.
28 minuten geleden
AMSTERDAM (ANP) - Het Openbaar Ministerie doet onderzoek naar mensenhandel, arbeidsuitbuiting en valsheid in geschrifte bij Saints & Stars, bevestigt het OM na berichtgeving door Het Parool. Eind juli berichtte de krant dat de Amsterdamse luxe sportschoolketen Filipijnse en Indonesische schoonmakers zou uitbuiten. Zo zouden 23 van hen hun paspoort hebben moeten inleveren, werkten ze tot zeventien uur per dag en moesten ze met elkaar in één bed slapen.
41 minuten geleden
AMSTERDAM (ANP) - Tussen het Van Gogh Museum en de overheid is een conflict ontstaan over de bekostiging van grootschalig onderhoud van de Amsterdamse kunstinstelling, zegt museumdirecteur Emilie Gordenker in een interview met The New York Times (NYT). Als er geen oplossing komt, moet het museum mogelijk dicht, zegt zij, want zonder de nodige werkzaamheden kan "de veiligheid van de collectie, bezoekers en medewerkers niet langer worden gegarandeerd". "Het is het laatste wat we willen, maar als het niet anders kan, zullen we het pand moeten sluiten."
3 uur geleden
VUGHT (ANP) - Marengo-hoofdverdachte Ridouan Taghi moet geregeld te lang wachten voordat hij post ontvangt in de Extra Beveiligde Inrichting (EBI) in Vught waar hij sinds eind 2019 gedetineerd zit. "Een ansichtkaart met twee woorden liet maanden op zich wachten", aldus zijn advocaat Sjoerd van Berge Henegouwen. In oktober vorig jaar diende hij namens Taghi een klacht in tegen het Gedetineerden Recherche Informatiepunt (GRIP) van de politie Eenheid Landelijke Expertise en Operaties, die namens de EBI in- en uitgaande post controleert.
4 uur geleden
DEN HAAG (ANP) - De 112-app is sinds vorige week 85.000 keer gedownload, meldt de politie. Dat is volgens een woordvoerder flink meer dan gemiddeld. De politie verklaart de toename door de aandacht voor de app in de media en op sociale media, na de dood van de 17-jarige Lisa vorige week in Duivendrecht.
4 uur geleden
DEN HAAG (ANP) - De ministersposten die zijn vrijgevallen nadat NSC zich terugtrok uit het kabinet, zouden moeten worden bekleed door "vakministers". Daarvoor pleitte Nicolien van Vroonhoven (NSC) woensdag in een debat in de Tweede Kamer. "Mensen met kennis van zaken die het dossier begrijpen en die direct kunnen instappen", omschreef ze. Wat haar partij betreft is de partijkleur van die vakministers niet belangrijk.
5 uur geleden
DEN HAAG (ANP) - BBB-leider Caroline van der Plas wilde woensdag tijdens het Kamerdebat over het vertrek van NSC uit het demissionaire kabinet niet praten over de situatie in de Gazastrook. Ze wilde het alleen hebben over hoe het verder moet gaan met het kabinet dat alleen nog gesteund wordt door BBB en VVD.
5 uur geleden