De afgelopen drie jaar hebben we samen met vele andere digitale  mensenrechtenorganisaties, waaronder EDRi, gepleit voor een AI-verordening waarin de bescherming van fundamentele rechten voorop staat, de mens centraal staat en mensen beschermd worden tegen AI-toepassingen met onaanvaardbaar hoge risico’s. Naar verwachting zal de wet deze maand definitief worden. In dit artikel bieden we een gezamenlijke analyse die tot stand is gekomen in samenwerking met de EDRi werkgroep op kunstmatige intelligentie.

Een wet vol gemiste kansen

Na een intensief onderhandelingsprocesKlik hier voor een overzicht van ons werk in dit proces. zal de verordening naar verwachting in april 2024 definitief worden aangenomen. We schreven eerder al dat dit voor velen een reden is voor feest, maar wij zijn minder in een feeststemmingLees hier waarom.. Het is teleurstellend hoe de Europese Unie vele kansen heeft gemist om het recht op privacy, het recht op gelijkwaardigheid, het vermoeden van onschuld en andere mensenrechten te beschermen. Dit ondanks dat de Europese Unie de bescherming van fundamentele rechten als één van de hoofddoelen van de verordening had gesteld. In dit artikel gaan we nader in op onze kijk op de AI-verordening en wat dit voor burgers betekent. Lees hier uitgebreider over de uitkomsten van de AI-verordening in ons gezamenlijke analyse met EDRi-leden.

Deze analyse is gebaseerd op de laatst beschikbare versie van de AI-verordening van 6 maart 2024. Er kunnen nog wijzigingen worden aangebracht voordat de verordening definitief wordt aangenomen.

Welke informatie moet met jou gedeeld worden?

Burgers moeten het recht hebben om te weten waar beslissingen die hun leven raken op gebaseerd zijnLees hier waarom dat belangrijk is.. Ook moeten beslissingen te controleren zijnLees hier meer. en uit te leggen zijn in begrijpelijke taal. In het eerste voorstel van de AI-verordening waren deze rechten amper aanwezig. Zo gold alleen voor aanbieders van AI-systemen met een hoog risico dat ze moesten voldoen aan deze zogenoemde transparantievereisten. Gelukkig hebben we de wetgever ervan kunnen overtuigen dit uit te breiden naar gebruikers van AI-systemen.

EU database
Aanbieders moeten in een toegankelijke en openbare EU database aangeven wat het doel is van het gebruik van de AI-toepassing en een beschrijving opgeven van de informatie die door het systeem wordt gebruikt. Overheden of organisaties die namens overheden optreden moeten daarnaast ook een samenvatting geven van de uitkomsten van de mensenrechtentoets (de Fundamentele Rechten Impact Assessment – FRIA) en van de gegevensbeschermingstoets (de Data Protectie Imact Assessment – DPIA).

Gebruikers van AI-systemen in de private sector hoeven het gebruik van AI-systemen echter niet te registreren. Dat is problematisch, want banken, verzekeraars en andere bedrijven kunnen net zo goed AI-systemen gebruiken die een grote impact hebben op mensen. Wetshandhavings-, migratie-, asiel- en grenscontroleautoriteiten hoeven helaas slechts beperkte informatie te registreren en dit mag ook nog in een niet-openbaar deel van de database. Dat betekent dat mensen die hierdoor geraakt worden, maatschappelijke organisaties, journalisten en academici geen controle kunnen uitoefenen. Dit ondanks dat de risico’s voor mensen groot zijn.

Mensenrechtentoets
Samen met andere organisaties hebben we de EU-instellingen ervan kunnen overtuigen dat een mensenrechtentoets verplicht moet worden in de AI-verordening. Dat is goed nieuws, behalve dat de wetstekst zoveel te wensen overlaat dat we ons afvragen of we wel van een mensenrechtentoets kunnen spreken. Zo moet er bijvoorbeeld wel worden geïnventariseerd welke risico’s er zijn voor mensenrechten, maar ontbreekt het aan een verplichting om expliciet een beoordeling te maken of de risico’s aanvaardbaar zijn en om maatregelen te treffen om de risico’s te beperken of uit te sluiten. Gebruikers hoeven alleen aan te geven welke maatregelen ze treffen als de risico’s zich daadwerkelijk voordoen, maar dan is het kwaad natuurlijk al geschied.

In een vorige versieOver die versie waren we positiever. van de wet werd het nog verplicht gesteld om belanghebbenden of maatschappelijke organisaties te betrekken bij het beoordelingsproces van de mensenrechtentoets. Helaas is dat nu geschrapt, waardoor maatschappelijke organisaties geen wettelijk bindende manier meer hebben om betrokken te worden. Het is dus maar de vraag of en hoe de belangen van mensen die door de AI-toepassing geraakt worden, worden meegenomen.

Zeer beperkte rechtsmiddelen

We hebben gepleit voor sterke rechten voor mensen die getroffen worden door AI-toepassingen met een hoog risico. Daarvan is sprake als het een behoorlijk risico oplevert voor iemands gezondheid, veiligheid of fundamentele rechten. Er zijn uiteindelijk rechten opgenomen, maar ook deze rechten vallen erg tegen. Burgers krijgen bijvoorbeeld het recht om een klacht in te dienen bij een autoriteit en het recht op uitleg bij individuele besluitvormingsprocessen. Het is echter de vraag of mensen hiermee toegankelijke en begrijpelijke informatie zullen verkrijgen. En dan ontbreekt ook nog de mogelijkheid om je te laten vertegenwoordigen door maatschappelijke organisaties.

Alles moet wijken voor nationale veiligheid

De AI-verordening en de daarbij behorende waarborgen gelden niet voor AI-toepassingen die ontwikkeld of gebruikt worden voor nationale veiligheid. Een heel breed begrip waar dus van alles onder kan worden geschaard. En de uitzondering geldt niet alleen voor overheidsinstanties, maar ook voor particuliere bedrijven. Met deze vrijstelling wordt dus een enorme maas in de wet gecreëerd. En dat is juridisch moeilijk te onderbouwen, want nationale veiligheid kan ergens een uitzondering op vormen, maar dat zou per geval bekeken moeten worden. Het volledig uitzonderen van alles wat met nationale veiligheid te maken heeft, creëert een ‘digitale vrije zone’, waarin alles mag. Heel zorgelijk, ook omdat wij ons al een tijd afvragen over wiens veiligheidLees onze serie over veiligheid. de overheid het nou steeds heeft als het gaat om “nationale veiligheid”.

Verboden die geen echte verboden zijn

We hebben opgeroepen tot sterke verbodenLees hoe we dat deden. op AI-toepassingen die niet verenigbaar zijn met mensenrechten. Denk bijvoorbeeld aan biometrische surveillance in de openbare ruimte, AI-systemen die onze gedachten en emoties zouden kunnen lezen, en algoritmen die worden ingezet om te voorspellen of we een crimineel pad gaan bewandelen nog voordat we iets verkeerds doen. Het is fijn dat er verboden zijn opgenomen in de AI-verordening, maar helaas zijn de verboden zo beperkt én bevatten ze ook nog allerlei uitzonderingen; dat het geen echte verboden zijn. Met een cynische blik zou je je zelfs kunnen afvragen of ze niet het tegengestelde effect hebben van een verbod. De tekst beschrijft namelijk wat niet mag, maar laat ook veel ruimte over. Zo wordt live (real-time) biometrische identificatieDit schreven we daar eerder over. verboden, maar post-biometrische identificatie (waar al sprake van kan zijn als het met een paar seconden vertraging wordt bekeken) is wel toegestaan. Dit terwijl de impact voor de rechten van burgers in beide gevallen even groot is.

Hoe nu verder?

Het wetgevingsproces is na drie jaar bijna rond en we stappen de volgende fase is. Tijdens deze implementatiefase worden er normen vastgesteld, richtsnoeren geschreven over hoe de wet geïnterpreteerd en uitgevoerd moet worden en zal de wet in verschillende fases in werking treden. Het is van belang dat maatschappelijke organisaties in deze fase een plek aan de tafel krijgen om mee te denken over de impact op burgers en de maatregelen die getroffen kunnen worden om hun rechten te beschermen. Wij blijven in gesprek gaan met beleidsmakers, nationale en Europese wetgevers en anderen om er op te blijven hameren dat jouw rechten goed beschermd moeten worden.