Er zijn te veel slechte ervaringen met algoritmen bij overheidsinstanties, schreef onze Nadia Benaissa in een opiniestuk in de NRC. Veranker mensenrechten in de AI-verordening. Het artikel verscheen in de krant van 6 december 2023; lees het hieronder terug.

De Europese Unie onderhandelt over een wet voor kunstmatige intelligentie. Woensdag 6 december was officieel de laatst geplande onderhandeling over deze zogeheten AI-verordening. Die wordt al steeds ingehaald door nieuwe ontwikkelingen in die technologie, en nu lijkt het er ook op dat de Europese Commissie, het Europees Parlement en de Raad er niet uit gaan komen. Omdat deze onderhandelingspartners nogal van mening verschillen over wat nu belangrijk is.

Hoe staat Nederland in dit alles? Nederland ziet zichzelf nog altijd als hoeder van mensenrechten en wil maar wat graag vooroplopen in de race van technologische innovatie. Dat is bijna net zo lachwekkend als treurig, want de realiteit is dat Nederland een andere race heeft gewonnen: het genereren van slechte voorbeelden van AI-gebruik. Als er in Europa wordt gezocht naar voorbeelden waarmee de risico’s van AI zichtbaar worden, wordt er steevast naar Nederland gekeken. Zo mag DUO, de uitvoerder van de studielening, een fraudeopsporingsalgoritme niet meer gebruiken, omdat het er ernstig op lijkt dat dat discrimineert. Daarnaast hebben verschillende gemeenten fraudeopsporingsalgoritmen ingezet die discrimineren. Bovendien zette het ministerie van Buitenlandse Zaken een algoritme racistisch in bij visumaanvragen, ondanks waarschuwingen van de functionaris gegevensbescherming. En als klap op de vuurpijl: het Toeslagenschandaal.

Biometrische identificatie

Met al deze slechte voorbeelden zou Nederland voldoende voorstellingsvermogen moeten hebben om te bedenken wat er mis kan gaan, en heeft het, naar je mag hopen, lessen getrokken. Maar in de onderhandelingen over de AI-verordening dringt Nederland erop aan dat er geen strikt verbod moet komen op biometrische identificatie. Die technologie kunnen opsporingsdiensten namelijk goed gebruiken. Alleen blijkt de politie nu al geen grip te hebben op een gezichtsherkenningsdatabase waarin tienduizenden mensen onterecht staan opgenomen.

Ook wil Nederland dat er voor AI-toepassingen die worden ingezet in het kader van nationale veiligheid een uitzondering komt in de verordening. Dat zou Nederland een hoop regels schelen – regels die bedoeld zijn om burgers te beschermen. Uit de vele voorbeelden blijkt hoezeer burgers in Nederland die bescherming tegen de overheid nodig hebben.

Geen overbodige luxe

Uit onderzoek van Follow The Money bleek onlangs dat Nederlanders onterecht op ‘terreurlijsten’ terechtkomen, zonder dat ze daadwerkelijk verdacht worden van een strafbaar feit. Een activist die met een bordje in de hand demonstreerde bij de ingang van een dierentuin tegen dierengevangenschap, belandde op zo’n lijst. Buitenlandse politie werd via Europol ingelicht over deze persoon. In een ander voorbeeld gebruikte de Koninklijke Marechaussee gezichtsherkenning om de identiteit van demonstranten die meededen aan de klimaatactie op Schiphol te identificeren. Die kregen vervolgens intimiderende post op de deurmat van het OM.

Dus als Nederland het heeft over ‘nationale veiligheid’, over wiens veiligheid gaat dat dan? Niet de veiligheid van demonstranten, de slachtoffers van het Toeslagenschandaal, of de mensen die worden geselecteerd in discriminerende ‘fraudeopsporings-algoritmen’.

Mensenrechten zijn er om mensen te beschermen, ook – of misschien vooral – tegen de overheid. En Nederland laat uitstekend zien waarom het geen overbodige luxe is om ervoor te zorgen dat die rechten beschermd worden in de AI-verordening. Als ons land ook maar enig lerend vermogen heeft, zou het bij de onderhandelingen op de AI-verordening vóór de bescherming van mensenrechten moeten staan.