De Top400 van de gemeente Amsterdam roept zorgen op over discriminatie, het borgen van mensenrechten waaronder het recht op privacy, en rechtsbescherming.

Geselecteerd worden zonder dat je er iets aan kan doen

De Public Interest Litigation Project (PILP)Lees hier meer over het onderzoek naar de Top400 deed onderzoek naar de Top400. Dit is een programma waarmee de gemeente AmsterdamLees hier wat de gemeente Amsterdam er zelf over schrijft wil voorkomen dat jongeren en jongvolwassenen in de criminaliteit terecht komen. Het programma wordt geframed als een zorg- en beheersingsaanpak, waarbij allerlei publieke instellingen betrokken worden. Maar het lijkt er meer op dat jongeren worden gecriminaliseerd, soms nog voordat ze ook maar iets verkeerds hebben gedaan.

Jongeren worden namelijk geselecteerd op basis van een aantal criteria. Bijvoorbeeld als een jongere in aanraking is geweest met de politie en wanneer iemand als verdachte is aangehouden tussen de 12 en 14 jaar. Maar ook of een jongere vaak afwezig is geweest van school, of vaker heeft gewisseld van basisschool. Of iemand als slachtoffer, getuige of verdachte betrokken is geweest bij huiselijk geweld. Dat zijn merkwaardige criteria. Afwezigheid op school, of getuige of slachtoffer zijn van huiselijk geweld zijn niet altijd zaken waar je als jongere iets aan kunt doen.

Uit de stukken die PILP onderzocht heeft, afkomstig van de gemeente Amsterdam en de Amsterdamse politie, bleek niet dat er geselecteerd wordt op etniciteit of nationaliteit. Wel bleek dat veel van de geselecteerde jongeren wonen in wijken waar veel mensen wonen met een migratieachtergrond en een laag inkomen. In de documenten over de Top600, de voorganger van de Top400, wordt etniciteit wel benoemd. Daaruit blijkt dat er een overrepresentatie is van jongeren met een Surinaamse en Marokkaanse achtergrond.

De impact van ondoorzichtige beslissingen

Bij de Top400 werd Prokid+ gebruikt, een datamodel dat gebruikt wordt om jongeren te selecteren. Deze voorspellende identificatietool is ontwikkeld door de politie en is een vorm van predictive policing. Met predictive policing wordt op basis van historische gegevens voorspeld waar toekomstige criminaliteit zou kunnen plaatsvinden. In het geval van de Top400 wordt er echter gegeken naar de kans dat een specifieke jongere zich mogelijk schuldig zou kunnen maken aan criminaliteit. Nu blijkt dat bij het gebruik van dit algoritme niet goed uitgelegd werd waarom iemand precies geselecteerd is. In sommige gevallen selecteerde het systeem jongeren zonder dat er sprake was van een noemenswaardig criminaliteitscomponent. Bovendien werd er bewust informatie achtergehouden in gesprekken met ouders. Zo mochten de naam van het algoritmisch systeem en de waarde van waarschijnlijkheid dat iemand crimineel gedrag zou vertonen, niet gedeeld worden. En dat terwijl de impact enorm is voor de jongeren en hun gezinnen. Als je geselecteerd bent, krijg je namelijk voor twee jaar een regisseur toegewezen. Die periode kan vervolgens weer verlengd worden.

Dat heeft een behoorlijke impact op gezinnen. In de film ‘MoedersLees hier meer over de film’ van Nirit Peled worden moeders geportretteerd van kinderen die geselecteerd zijn voor de Top400. Hierin vertellen ze over het stigmatiserende effect van de Top400 en over de onmacht die gepaard gaat met een ondoorzichtige beslissing die (deels) door een algoritme wordt genomen.

Stop met de Top400 en met predictive policing

Samen met Pilp, Mamamess, Control Alt Delete en Fair Trails, roepen we de gemeente Amsterdam op tot het volgende:

1. De politie en opsporingsautoriteiten mogen niet betrokken worden bij sociale dienstverlening en het leveren van zorg.
2. Zolang de gemeente Amsterdam de bescherming van mensenrechten, gelijke behandeling, het recht op privacy en effectieve rechtsbescherming niet kan borgen, moet het stoppen met de Top400.
3. De gemeente moet luisteren naar de ervaringen, behoeften en stemmen van de jongeren en hun ouders om gepaste zorg daarop af te stemmen.
4. De politie moet stoppen met de ontwikkeling en het gebruik van ProKid+ en vergelijkbare predictive policing algoritmen.

Wij blijven ons inzetten voor een verbod op predictive policing in de AI-verordening. De Top400 is het zoveelste voorbeeld waaruit blijkt dat de beslissingen, die vaak niet of slecht uitlegbaar zijn, een enorme impact hebben op mensen. Door het gebrek aan transparantie en controleerbaarheid is het voor betrokkenen heel moeilijk om op basis van argumenten tot een andere beslissing te komen, of om een juridische procedure te beginnen. Bovendien is uit vele onderzoekenZie bijvoorbeeld het rapport van Fair Trails gebleken dat gemarginaliseerde groepen veel vaker geraakt worden door dit soort algoritmen en dat de inzet ervan bestaande discriminatie versterkt.