De Eerste Kamer doet onderzoek naar de effectiviteit van wetgeving tegen discriminatie. Wij mochten afgelopen vrijdag de parlementsleden vertellen over discriminatie en algoritmen. Hieronder volgt de kern van ons verhaal.

Zijn cijfers en statistieken objectief en feitelijk?

Een politieagent die er om bekend staat zich schuldig te maken aan etnisch profilerenLees hier meer over etnisch profileren in Nederland, daar kunnen jongeren soms nog met een boog omheen lopen. Maar wat als het niet meer die agent uit de buurt is, maar een algoritme is die etnisch profileert?

We zien cijfers en statistieken vaak als objectief en feitelijk. Maar deze gegevens laten alleen maar zien waar de focus op gelegd wordt. Als politieagenten de focus leggen op mensen met een migratieachtergrond, of buurten waar veel mensen wonen met een migrantenachtergrond, dan heeft dat invloed op de cijfers die gaan over vertegenwoordiging van migrantengroepen in de criminaliteit. Mensen met een migrantenachtergrond komen onder een vergrootglas te liggen, terwijl mensen die niet aan dat profiel voldoen ongezien blijven.

Deze data kan vervolgens worden ingezet bij het gebruik van algoritmen. Zo worden er bijvoorbeeld algoritmenLees hier wat we eerder schreven over predictive policing ingezet om te voorspellen waar in de toekomst een verhoogde kans op criminaliteit is. Daar worden dan vervolgens politieagenten naartoe gestuurd om de boel in de gaten te houden.

Wat zo’n algoritme vooral doet, is het voorspellen van het verleden. De data die gebruikt wordt, is immers historische data. En op basis daarvan wordt er gezegd: vorige maand is in buurt x iets gebeurd, de kans bestaat dat er daar weer iets gaat gebeuren. Bovendien heeft dit een versterkend effect, want hoe meer aandacht er komt voor een bepaald gebied, hoe groter de kans dat criminaliteit opgespoord wordt, hoe waarschijnlijker dat het algoritme daar opnieuw agenten naartoe stuurt.

Het verhaal van data

Door cijfers en statistieken als objectief en feitelijk te zien, gaan we voorbij aan de complexiteit van de situatie waaruit die data ontstaan. Ten eerste hebben we in onze samenleving te maken met maatschappelijke problemen, zoals discriminatie. Ten tweede geven data slechts een deel van de werkelijkheid weer, niet een volledig beeld. Ten derde zijn er allerlei factoren die data beïnvloeden, bijvoorbeeld de bewuste of onbewuste keuze van een agent om bepaalde gegevens wel of niet te registreren.

Data zijn niet objectief, omdat ze uit situaties komen die niet objectief zijn. Data vertellen een verhaal. Het is dat verhaal waar we nieuwsgierig naar moeten zijn om de gegevens op een juiste wijze te kunnen interpreteren en te gebruiken. Als we dat niet doen en dit soort data klakkeloos gebruiken voor algoritmen en kunstmatige intelligentie, dan zullen de problemen die we in onze samenleving al ondervinden, zich herhalen. En omdat het niet meer de politieagent uit de buurt is, maar een algoritme, wordt de oorzaak van het probleem onzichtbaarder.

Van ondoorzichtbaarheid naar transparantie en controleerbaarheid

Mensen die ervaring hebben met discriminatie, weten ook hoe moeilijk het is om aan te tonen dat er sprake is van discriminatie. Dat is nog moeilijker als de uitkomsten van algoritmen of kunstmatige intelligentie discriminerend zijn. Want hoe krijg je inzicht in wat er in de computer is gebeurd? Hoe kom je te weten welke factoren hebben meegespeeld?

Naar Nederlands recht hebben burgers het recht op een motivatieZie artikel 3:46 van de Algemene wet bestuursrecht waarin wordt uitgelegd waarom een overheidsorgaan een behaalde beslissing heeft genomen. Daar kun je vervolgens tegen in bezwaar of beroep. Diezelfde rechtsbescherming moet gelden voor beslissingen waarbij (deels) gebruik is gemaakt van algoritmen of kunstmatige intelligentie. Maar in het huidige Europese wetsvoorstel, the Artificial Intelligence Act, wordt het recht op transparantie en controleerbaarheidLees hier wat we daar eerder over schreven niet aan burgers toegekend.

Wij maken ons hard voor een wet waarin fundamentele rechten wel effectief beschermd worden en roepen de Eerste Kamer op kritisch te kijken naar wetgeving waarmee fundamentele rechten van burgers geraakt kunnen worden.