Stel je voor: je zit in Team Blauw en je taak is het bestrijden van criminaliteit. Waakzaam en dienstbaar is je opstelling. Je hebt een systeem dat voorspellingen genereert zodat je extra gericht te werk kunt gaan. Maar helaas, door manipulatie van de gegevens waar de voorspellingen op gebaseerd worden, blijken de voorspellingen onbetrouwbaar. Zit je hier in een aflevering van Wie is de Mol, of werk je voor de politie?

Predictive policing

Een systeem dat zogenaamde voorspellingen voor de politie maakt wordt ook wel predictive policing genoemd. In Roermond maakt de politie gebruik van een systeem dat probeert te voorspellen wie een zakkenroller zou kunnen zijn. Hiervoor zijn camera’s en sensoren geplaatst die kentekens en telefoons van inzittenden die verbinding maken met een wifi-netwerk registreren, en vastleggen welke route auto’s rijden. Wanneer er een ‘verdacht' profiel ontstaat gaat er een signaal naar de meldkamer en wordt de persoon of auto gevolgd. Of een profiel als verdacht wordt gezien wordt bepaald op basis van een score. Dat een auto naar het winkelcentrum rijdt, of een Roemeens kenteken heeft zijn kenmerken die zwaar meetellen.

Een ander systeem wordt op grote schaal ingezet. Aan de buitenkant ziet dat er ongeveer uit als een raster dat over een stad wordt gelegd, met hokjes van 125 bij 125 meter. De kleur van de hokjes geven weer hoe groot de kans is dat een bepaald soort misdrijf op die plek en op een bepaald tijdstip plaatsvindt. Denk aan rode hokjes voor woninginbraken rond half 10 als mensen aan het werk zijn, of straatroven in de nacht in slecht verlichte straten. Het wordt gebruikt voor zogenaamde high impact crimes: misdaden die een direct gevolg hebben op hoe veilig mensen zich voelen. Op basis van de voorspellingen van het systeem kan de politie ervoor kiezen om extra te surveilleren op die tijden en plekken.

Om tot een voorspelling te komen verzamelt de politie een heleboel gegevens: de sexe van de mensen in het postcodegebied, de gemiddelde grootte van huishoudens, het aantal niet-westerse allochtonen, informatie over de gezinssamenstelling, de gemiddelde woningwaarde, de gemiddelde leeftijd, het aantal uitkeringen, het aantal inkomensontvangers en ga zo maar door. Op het eerste gezicht lijken gegevens over het aantal keer dat het delict eerder op die plek heeft plaatsgevonden, de criminaliteitscijfers, het meest bruikbaar voor zo’n voorspelling.

Maar dat is waar de Mol in het spel komt.

De politie speelt met cijfers

Onderzoeksjournalisten van Investico bestudeerden hoe de politie met criminaliteitscijfers omgaat. Spoiler: niet al te best. Uit het onderzoekLees hier het hele onderzoek van Investico komt een aantal dingen naar voren:

• Agenten ontmoedigen slachtoffers om aangifte te doen, omdat dit toch geen zin zou hebben. Zo wordt het aantal onopgeloste zaken kunstmatig laag gehouden, en het percentage opgeloste zaken kunstmatig hoog. Aan de werkelijke criminaliteit verandert ondertussen niets.

• Het systeem waarin misdaden worden geregistreerd werkt slecht. De politie registreert simpelweg niet alle incidenten, doet het verkeerd, of schrijft ze weg onder restcategorieën die geen of minder prioriteit krijgen.

• De interne cultuur bij de politie speelt een rol. Een chef wil goede cijfers aan de leiding laten zien. Dit zorgt voor druk op zijn medewerkers. Zij worden erop afgerekend als zij geen rooskleurig beeld kunnen afgeven en gaan creatief boekhouden.

• De prikkel om creatief te gaan boekhouden komt ook vanuit de buitenwereld. Veiligheid staat hoog op de agenda. De politie moet van publiek, politiek en media laten zien dat zij effectief is. De cijfers moeten dus dalen, vooral die van high impact crimes. Het wordt dan verleidelijk om te gaan morrelen aan definities. Als je bijvoorbeeld bij het tellen van woninginbraken vakantiewoningen of inbraken waarbij de inbreker via de schuur is binnengekomen niet langer meetelt, is in de grafieken een daling van het aantal inbraken te zien. Aan de werkelijkheid verandert uiteraard niets - behalve dat mensen het valse idee krijgen dat hun omgeving veiliger is geworden.

• De politie heeft een tunnelvisie op goede cijfers en weigert zich bezig te houden met een goede duiding ervan. Feitelijke omstandigheden worden hier onvoldoende bij betrokken. Zo daalde het aantal aangiften van fietsendiefstallen sterk na het sluiten van een aantal politiebureaus. Hoewel het erg onwaarschijnlijk is dat er minder fietsendiefstallen zijn gepleegd vanaf dat moment, feliciteert de leiding zichzelf en hun medewerkers.

Het systeem versterkt de mol

Door met deze cijfers te spelen geeft de politie niet alleen een vals beeld van hoe het ervoor staat met de criminaliteit in Nederland. Zij laat ook zien wat er mis is met het gebruik van predictive policing.

De voorspellingen van een systeem zijn gebaseerd op de gegevens die je erin stopt. Wanneer de politie dus gegevens invoert die niet kloppen, of de gegevens verkeerd interpreteert, zorgt zij er zelf voor dat er een slechte voorspelling uit rolt. Nu kun je je afvragen of het mogelijk is om te komen tot het invoeren van exact de juiste gegevens, en het krijgen van goede voorspellingen. Je kunt wel met zekerheid zeggen dat het invoeren van onjuiste gegevens leidt tot onjuiste resultaten. Dit probleem gaat verder dan een verlies van effectiviteit. Omdat het systeem zelf geen geweten heeft en niet kan nadenken over context, kunnen er allerlei onjuistheden uit rollen, door bijvoorbeeld misverstanden of vooroordelen. Wat als er gehandeld wordt op basis van deze onjuiste voorspellingen?

Het laat ook zien dat de politie werkt met gegevens, maar hier niet goed mee omgaat. Werken met gegevens heeft alleen zin als je begrijpt wat ze wel en niet zeggen, en als je geleerd hebt en bereid bent om er kritisch naar te kijken. Denk maar aan het ‘dalende’ aantal fietsendiefstallen na de sluiting van politiebureaus. De cijfers geven een rooskleurig beeld, maar in werkelijkheid worden er juist minder zaken opgelost.

Het systeem brengt ook een schaalvergroting met zich mee. Als een enkele agent handelt op basis van vooroordelen of misverstanden is dat al vervelend. Als dezelfde vooroordelen of misverstanden in het systeem terechtkomen, sturen zij niet meer een enkele agent aan, maar misschien wel een hele eenheid.

En een foutje is snel gemaakt. Vaak wordt er gewerkt met de gegevens die voorhanden zijn. Het is maar goed dat de politie niet over alle data beschikt. Maar zij moet goed nadenken over de vraag waar de gegevens wel en niet iets over zeggen. Zo kun je niet bij gebrek aan gegevens over veroordelingen maar gegevens over aanhoudingen gebruiken. Bij een veroordeling heeft de rechter namelijk gekeken of de aanhouding wel terecht was. Eventuele misverstanden of vooroordelen worden bij de rechter als het goed is gecorrigeerd. De cijfers over aanhoudingen die voorafgaan aan deze controle geven dus iets anders weer.

Een ander probleem schuilt in de mogelijkheid om verantwoordelijkheid af te schuiven. De politie moet aan een verdachte kunnen uitleggen waarom hij/zij wordt aangehouden en wat er aan de hand is. Als de politie iemand aanhoudt op basis van een voorspelling van het systeem, is dit dan nog altijd mogelijk? En wie is er dan verantwoordelijk?

Hierboven zag je al een kleine selectie van gegevens die door de politie worden verzameld en in het predictive policing-systeem worden gestopt. Het is zorgwekkend om te bedenken dat de politie, die zo slecht met haar eigen cijfers omgaat, al deze gegevens verzamelt en gebruikt. Het is hoog tijd dat er binnen de politie een cultuur wordt ontwikkeld waarin iedere betrokkene hier goed over nadenktWie bewaakt de bewakers – en gaan ze zelf nog nadenken?.