Mensenrechtencollege: discriminatie door VU-algoritme aannemelijk
UTRECHT (ANP) - Voor de eerste keer heeft iemand discriminatie door een algoritme aannemelijk gemaakt, stelt het College voor de Rechten van de Mens. De Vrije Universiteit in Amsterdam (VU) moet aantonen dat antispieksoftware die de instelling gebruikte niet discrimineert, stelt het college in een tussenoordeel. Een student meent dat de software haar niet herkende als ze moest inloggen voor tentamens, vanwege haar huidskleur.
Tijdens de coronacrisis werden tentamens aan de VU vaak online afgenomen. Om fraude tegen te gaan moesten studenten antispieksoftware op hun computer installeren. Voordat ze toegang kregen tot de examenvragen moesten ze controles doorlopen, waarvan een met een webcam.
Volgens de masterstudent in kwestie herkende de software haar gezicht vaak niet. Ze kreeg dan meldingen als 'face not found' of 'room too dark'. Ook werd ze meerdere keren door de software uit het tentamen gegooid, waarna ze opnieuw moest inloggen. De gang van zaken bezorgde haar veel stress "en een gevoel van onveiligheid", aldus het college. De vrouw denkt dat de software niet goed werkte vanwege haar huidskleur. "Het is algemeen bekend dat gezichtsdetectiealgoritmes slechter presteren op mensen met een donkere huidskleur", schrijf het college daarover. Het college vindt "dat de vrouw erin geslaagd is voldoende feiten aan te dragen voor een vermoeden van discriminatie".
Navraag software
De VU heeft navraag gedaan bij de leverancier van de software, die na een onderzoek stelde dat niets wijst op discriminatie door het algoritme. Ook zou de student volgens de VU niet uitzonderlijk lang over het inloggen hebben gedaan, of opvallend vaak uit de tentamens gegooid zijn. Als er problemen waren, zijn die waarschijnlijk het gevolg van bijvoorbeeld een slechte internetverbinding, zo redeneert de universiteit.
Volgens het college heeft de VU echter "te weinig controleerbare gegevens" aangeleverd waaruit zou blijken dat de software niet discrimineert. De universiteit krijgt tien weken om te bewijzen dat de software inderdaad niet gediscrimineerd heeft.
Uitspraak
Volgens voorzitter Jacobine Geel van het mensenrechtencollege is de uitspraak een "belangrijk moment". "Het is iemand namelijk gelukt om te zeggen: hey, wat dit algoritme doet is vreemd. Ik vermoed dat het algoritme discrimineert." Naomi Appelman, voorzitter van het Racism and Technology Center, hoopt dat de uitspraak "een les" is voor organisaties die gezichtsherkenning willen inzetten. "Garanties van de leverancier van de technologie zijn daarbij niet genoeg."
De VU laat via een woordvoerster weten met het oordeel "aan de slag" te gaan. In de tussentijd kan de universiteit "geen inhoudelijke reactie geven".
Meer uit Binnenland
ROTTERDAM (ANP) - Trainer Giovanni van Bronckhorst baalde dat de thuiswedstrijd tussen Feyenoord en Internazionale (0-3) ruim een minuut werd onderbroken omdat er vuurwerk op het veld was beland. "Dat hoort natuurlijk niet en zal wel weer een boete worden", zei hij in de perskamer van De Kuip.
1 uur geleden
ROTTERDAM (ANP) - De politie heeft dinsdagavond twee aanhoudingen verricht voor het afsteken van vuurwerk dat op het veld van de Kuip belandde. Feyenoord speelde tegen Internazionale in de Champions League. Tijdens de wedstrijd werd er vuurwerk van buiten het stadion afgeschoten. Dat kwam voor het doel terecht en veroorzaakte veel rook.
1 uur geleden
DEN HAAG (ANP) - De overheid is de afgelopen jaren onbetrouwbaar geweest voor boeren, concludeert de Nationale ombudsman na een onderzoek onder de beroepsgroep. Plannen werden steeds aangepast, ingetrokken of uitgesteld, en belangrijke besluiten bleven lang onzeker. "Deze onbetrouwbaarheid heeft de afgelopen jaren geleid tot stilstand en gebrek aan toekomstperspectief voor boeren."
2 uur geleden
ROTTERDAM (ANP) - De 35-jarige man die maandagavond zwaargewond raakte bij een schietpartij in Rotterdam is buiten levensgevaar, meldt de politie. De man heeft geen vaste woon- of verblijfplaats en is zelf verdachte in het onderzoek naar de dodelijke schietpartij. Die vond plaats in een auto in de Rotterdamse woonwijk Oosterflank. Een 36-jarige man uit Dordrecht kwam om het leven.
5 uur geleden
DEN HAAG (ANP) - Het herziene stikstofpakket is op belangrijke onderdelen "minder slecht, maar nog lang niet goed genoeg". Dat zegt Ger Koopmans, voorzitter van land- en tuinbouworganisatie LTO in reactie op de stikstofbrieven die de landbouwminister naar de Tweede Kamer heeft gestuurd. Volgens LTO is de onzekerheid waar boeren de voorbije maanden in leefden met deze brieven niet weggenomen.
6 uur geleden
DEN HAAG (ANP) - Het bijgewerkte kabinetsplan voor stikstofreductie en natuurherstel roept wisselende reacties op bij natuur- en milieuorganisaties. Milieudefensie is ronduit negatief over de aanpassingen, die volgens de organisatie leiden tot de "valse hoop" onder boeren dat "echte verandering niet nodig is". Natuurmonumenten ziet juist "een belangrijke volgende stap in het oplossen van het stikstofprobleem".
7 uur geleden
BRUSSEL (ANP) - Kindermisbruik wordt in de hele EU strenger bestraft. Het gaat om zowel fysiek, online als door AI gegenereerd kindermisbruik. Alle EU-landen moeten dezelfde minimale straffen opleggen.
7 uur geleden