Mensenrechtencollege: discriminatie door VU-algoritme aannemelijk
UTRECHT (ANP) - Voor de eerste keer heeft iemand discriminatie door een algoritme aannemelijk gemaakt, stelt het College voor de Rechten van de Mens. De Vrije Universiteit in Amsterdam (VU) moet aantonen dat antispieksoftware die de instelling gebruikte niet discrimineert, stelt het college in een tussenoordeel. Een student meent dat de software haar niet herkende als ze moest inloggen voor tentamens, vanwege haar huidskleur.
Tijdens de coronacrisis werden tentamens aan de VU vaak online afgenomen. Om fraude tegen te gaan moesten studenten antispieksoftware op hun computer installeren. Voordat ze toegang kregen tot de examenvragen moesten ze controles doorlopen, waarvan een met een webcam.
Volgens de masterstudent in kwestie herkende de software haar gezicht vaak niet. Ze kreeg dan meldingen als 'face not found' of 'room too dark'. Ook werd ze meerdere keren door de software uit het tentamen gegooid, waarna ze opnieuw moest inloggen. De gang van zaken bezorgde haar veel stress "en een gevoel van onveiligheid", aldus het college. De vrouw denkt dat de software niet goed werkte vanwege haar huidskleur. "Het is algemeen bekend dat gezichtsdetectiealgoritmes slechter presteren op mensen met een donkere huidskleur", schrijf het college daarover. Het college vindt "dat de vrouw erin geslaagd is voldoende feiten aan te dragen voor een vermoeden van discriminatie".
Navraag software
De VU heeft navraag gedaan bij de leverancier van de software, die na een onderzoek stelde dat niets wijst op discriminatie door het algoritme. Ook zou de student volgens de VU niet uitzonderlijk lang over het inloggen hebben gedaan, of opvallend vaak uit de tentamens gegooid zijn. Als er problemen waren, zijn die waarschijnlijk het gevolg van bijvoorbeeld een slechte internetverbinding, zo redeneert de universiteit.
Volgens het college heeft de VU echter "te weinig controleerbare gegevens" aangeleverd waaruit zou blijken dat de software niet discrimineert. De universiteit krijgt tien weken om te bewijzen dat de software inderdaad niet gediscrimineerd heeft.
Uitspraak
Volgens voorzitter Jacobine Geel van het mensenrechtencollege is de uitspraak een "belangrijk moment". "Het is iemand namelijk gelukt om te zeggen: hey, wat dit algoritme doet is vreemd. Ik vermoed dat het algoritme discrimineert." Naomi Appelman, voorzitter van het Racism and Technology Center, hoopt dat de uitspraak "een les" is voor organisaties die gezichtsherkenning willen inzetten. "Garanties van de leverancier van de technologie zijn daarbij niet genoeg."
De VU laat via een woordvoerster weten met het oordeel "aan de slag" te gaan. In de tussentijd kan de universiteit "geen inhoudelijke reactie geven".
Meer uit Binnenland
GORINCHEM (ANP) - Vanaf het weekend tot en met woensdag zijn 8141 vrachtwagens en touringcars over de verzwakte Merwedebrug gereden, meldt Rijkswaterstaat (RWS). Daarvan had ongeveer 80 procent een buitenlands kenteken. Zij konden vanwege regelgeving nog niet worden beboet via het camerasysteem dat RWS op zaterdag en zondag heeft geïnstalleerd.
50 minuten geleden
AMSTERDAM (ANP) - Het Parool, The Moscow Times en De Balie gaan een jaarlijks nieuw evenement organiseren over persvrijheid en onafhankelijke journalistiek: de Derk Sauerlezing. Het evenement wordt gehouden ter ere van de vorig jaar overleden journalist en mediaondernemer Derk Sauer.
7 uur geleden
DEN HAAG (ANP) - De ANWB Alarmcentrale meldt een forse toename van medische hulpvragen en meer pechmeldingen op koelere Europese vakantiebestemmingen. Halverwege het zomerseizoen zegt de ANWB in totaal al ruim 330.000 meldingen geregistreerd te hebben van vakantiegangers in binnen- en buitenland. Dat zijn er 10.000 meer dan in dezelfde periode vorig jaar.
7 uur geleden
DEN HAAG (ANP) - Meerdere Nederlandse politici hebben geschokt gereageerd op de situatie bij de Spaanse exclave Ceuta. Minister van Defensie Dilan Yeşilgöz (VVD) noemt de beelden uit Spanje "onacceptabel".
7 uur geleden
HELLEVOETSLUIS (ANP) - Een 22-jarige man uit de gemeente Voorne aan Zee is overleden nadat hij werd aangereden door een auto. Dat gebeurde in de nacht van donderdag op vrijdag op de Vlasakkerlaan in Hellevoetsluis, dat in de Zuid-Hollandse gemeente ligt. De man was aan het hardlopen. Hulpdiensten hebben hem nog gereanimeerd, maar dat heeft niet meer geholpen.
9 uur geleden
ROTTERDAM (ANP) - Burgemeester Carola Schouten van Rotterdam wilde na afloop niet spreken van een pijnlijk moment toen de herdenking van de Rotterdamse gedeporteerden in de Tweede Wereldoorlog werd onderbroken door enkele demonstranten. "Herdenken is niet het moment om een statement te maken", zei Schouten kort na afloop van de bijeenkomst in Rotterdam-Zuid. Tijdens de toespraak van Zvi Aviner Vapni, de ambassadeur van Israël in Nederland, riepen enkele demonstranten leuzen tegen Israël en de oorlog in Gaza.
17 uur geleden
ROTTERDAM (ANP) - Burgemeester Carola Schouten van Rotterdam wilde na afloop niet spreken van een pijnlijk moment toen de herdenking van de Rotterdamse gedeporteerden in de Tweede Wereldoorlog werd onderbroken door enkele demonstranten. Tijdens de toespraak van Zvi Aviner Vapni, de ambassadeur van Israël in Nederland, riepen enkele demonstranten leuzen tegen Israël en de oorlog in Gaza.
17 uur geleden