Nog meer indirecte discriminatie door algoritmes DUO dan gedacht

De studenten werden twee keer zo vaak als frauderisico gezien als autochtone medestudenten. Ze werden bovendien ruim zes keer zo vaak uitgekozen voor een huisbezoek. De onderzoekers van bureau Algorithm Audit spreken van een "duidelijke structurele trend in de vooringenomenheid".

In maart bleek ook al dat de DUO studenten met een migratieachtergrond indirect had gediscrimineerd. Het huidige onderzoek heeft de controles van DUO vergeleken met gegevens van statistiekbureau CBS. Die data waren niet beschikbaar bij het eerste onderzoek. Met die gegevens erbij is "de vertekening nog sterker" dan in het eerste onderzoek, aldus Algorithm Audit. Met andere woorden: de indirecte discriminatie was nog groter dan gedacht.

Algoritme

Zelfs studenten zonder frauderisico werden extra gecontroleerd. Studenten met een migratieachtergrond met een "laag risico" kregen bijna twee keer zo vaak alsnog een onderzoek als autochtone studenten met dezelfde inschatting.

Doordat de studenten met een migratieachtergrond vaker werden gecontroleerd, werden daar ook meer problemen gevonden. Dat versterkte het algoritme, terwijl het helemaal niet zeker is dat er daadwerkelijk meer gesjoemeld werd dan bij autochtone studenten. Misschien sjoemelden autochtonen ook, maar dat kwam niet aan het licht door gebrek aan controle.

De term indirecte discriminatie betekent dat er niet iemand was die rechtstreeks besloot om de ene groep studenten anders te behandelen dan de andere groep, maar dat de systemen zo waren ingesteld dat de ene groep vaker werd gecontroleerd dan de andere groep. Zo keken de controleurs bijvoorbeeld hoe ver een student van zijn of haar ouders af woonde. Studenten met een migratieachtergrond blijven doorgaans dichter in de buurt van hun ouders wonen, en werden alleen al om die reden vaker gecontroleerd. Autochtone studenten wonen vaker in een studentenhuis, en dit was juist een criterium om minder vaak te gaan controleren.