Volg San Francisco: verbied gezichtsherkennings-software in de publieke ruimte
San Francisco verbood dit jaar als eerste stad het gebruik van gezichtsherkenningstechnologie. Nederlandse steden zouden er goed aan doen dit voorbeeld te volgen, want er dreigt een grove aantasting van onze vrijheden.
Principiële bezwaren
Het belangrijkste bezwaar tegen het gebruik van gezichtsherkenningstechnologie is dat ze inbreuk maakt of druk zet op een hele reeks van burgerrechten. Op de vrijheid van vergadering, vereniging en betoging, de vrijheid van meningsuiting, het recht op gelijke behandeling, de persoonlijke levenssfeer van burgers en de mogelijkheid om je vrij en dus ook anoniem te kunnen verplaatsen.
Deze inbreuken worden vergroot door de onzichtbaarheid van de inzet van de technologie. Die brengt namelijk ook de mogelijkheid om de inzet ervan aan te vechten in het geding. Omdat je overal herkend zou kunnen worden, gaat er een chilling effect van uit, wat bijdraagt aan een angstcultuur. Het maakt de samenleving er niet vrijer of leuker op.
Technologische bezwaren
Naast het principiële bezwaar zijn er ook technologische bezwaren. De technologie is onnauwkeurig81% of 'suspects' flagged by Met's police facial recognition technology innocent, independent report says en inherent discriminatoir. De Nederlandse politie, die zelf werkt en experimenteert met gezichtsherkenningsoftware CATCH, erkent dit. De politie kent aan een match om deze reden, zelfs na verificatie van twee onafhankelijke, menselijke experts, geen bewijswaarde toe. Een match wordt enkel gezien als aanwijzing dat er veel overeenkomsten zijn.
Door de onnauwkeurigheid is de toegevoegde waarde van de technologie onduidelijk. Het middel is ineffectief en de aanschaf een verspilling van gemeenschapsgeld. Daarnaast zijn de risico’s op false positives onevenredig verdeeld. De software is namelijk getraind op basis van datasets waarin witte mannen oververtegenwoordigd zijn. Hierdoor zit er een bias in het systeem waarbij vrouwen en niet-witte mensen een onevenredig groot risico lopen om onterecht gematched te worden. Dit maakt het middel ook echt schadelijk. Minderheden lopen zo het risico eerder en onterecht in het vizier van de overheid terecht te komen. Vooroordelen worden op deze manier ook versterkt.
Bovendien heeft een systeem dat gezichten herkent een database met gezichten nodig. Er is op dit moment onvoldoende nagedacht over hoe om te gaan met grote verzamelingen biometrische informatie van burgers. Over verzameling, verwerking en opslag. Dat de gevoeligheid nog niet helemaal is doorgedrongen is terug te zien in de omgang met de databank van CATCH. In de strafrechtelijke databank worden al gezichten opgeslagen van mensen die zijn gearresteerd voor een misdrijf waar voorlopige hechtenis voor is toegelaten. Deze mensen zijn dus (nog) niet veroordeeld. Bij vrijspraak moet het gezicht uit de databank worden verwijderd. Hoe snel dit gebeurt is onduidelijk.
Bedenk wel: je hebt maar één gezicht, en dat kun je niet ruilen of thuislaten.
Zelfs de techbedrijven slaan alarm
Het is opmerkelijk dat juist San Francisco het voortouw neemt in het verzet. De stad is de thuishaven van tech-giganten en een sterke Silicon Valley-lobby. Maar nu roept Google op tot regulering, en beweert het zijn technologie niet te verkopen voordat beleidsmatige en technische vragen zijn beantwoord. Ook Brad Smith, de topman van Microsoft roept op tot regulering “om een 1984 scenario te voorkomen.” Amazon-werknemers slaan alarm in een brief aan CEO Jeff Bezos. Ze waarschuwden voor de schadelijkheid van Rekognition, Amazon’s gezichtsherkenningssoftware, als bewakingsinstrument voor de overheid, en riepen op af te zien van overeenkomsten met de politie.
Als zelfs de bedrijven die de technologie maken wijzen op de risico’s, is er echt iets aan de hand. Maar laten we niet naïef zijn: waarschijnlijk willen ze er uiteindelijk toch allemaal de markt mee op. Ze willen echter eerst beleidsmatige en technologische vraagstukken beantwoord hebben die de technologie een zweem van politieke legitimiteit kunnen geven. De principiële bezwaren zijn daarmee echter niet weggenomen. Onze burgerlijke vrijheden en publieke waarden blijven onder druk staan zolang de techniek niet gewoon wordt verboden. Het zou daarom heel goed zijn als lokale bestuurders in Nederland zich laten inspireren door hun collega’s in San Francisco en in hun eigen gemeente een soortgelijk initiatief nemen.
Enkel de technologie repareren is onvoldoende
Het is mogelijk om de onnauwkeurigheid en de bias uit het systeem te halen. Maar met het enkel verbeteren van de technologie zijn de bezwaren niet weggenomen. We moeten ons realiseren dat deze bias niet alleen in de technologie zelf zit, maar ook in het systeem waarbinnen ze wordt ingezet en de instituties die het gebruiken. Zolang de politie nog steeds etnisch profileert zal dit er alleen voor zorgen dat de technologie even goed OP iedereen werkt. Het probleem dat de technologie zeker niet even goed VOOR iedereen werkt zal dan blijven bestaan. We kunnen onszelf de vergaande implicaties van deze technologie niet veroorloven. Bedenk wel: je hebt maar één gezicht, en dat kun je niet ruilen of thuislaten.