De Europese Commissie heeft gisteren het wetsvoorstel over kunstmatige intelligentie gepubliceerd. Daarin worden sommige toepassingen verboden, maar toch weer niet helemaal. Ook worden fundamentele rechten een beetje beschermd, maar niet voldoende.

Verboden die geen echte verboden zijn

Als digitale rechten organisaties hebben we opgeroepenLees hier onze brief bepaalde toepassingen van kunstmatige intelligentie te verbieden. We zijn verheugd te zien Lees hier het wetsvoorsteldat ons advies deels is overgenomen, maar zijn minder verheugd over de nauwe formulering van de verboden toepassingen.
Zo is manipulatie van mensen, of het verdienen aan de kwetsbaarheden die mensen kunnen hebben door hun leeftijd (denk aan kinderen of ouderen), of vanwege een lichamelijke of verstandelijke beperking, alleen verboden als er kans is op lichamelijke of psychische schade. Hiermee wordt de lat op het gebied van ethiek en bescherming van rechten wel erg laag gelegd. Wij vinden dat manipulatie en het winstgevend maken van kwetsbaarheden van mensen verboden zou moeten worden zonder mitsen of maren.

Social scoring wordt eveneens alleen verboden als het heel schadelijk is voor personen of groepen mensen. Tot slot is er een beperkt verbod op bepaalde vormen van real time biometrische surveillance waar we niet erg van onder de indruk zijnLees hier wat we daarover schreven. Als er in het wetsvoorstel verboden worden opgenomen, laat het dan ook echte verboden zijn.

Uitleggen hoe het werkt is niet genoeg

Gebruikers van kunstmatige intelligentie moeten volgens het wetsvoorstel kunnen begrijpen hoe een beslissing tot stand is gekomen en door de makers geïnformeerd worden over mogelijke fouten en risico’s. Ook moeten mensen op elk moment kunnen ingrijpen of ervoor kunnen kiezen de kunstmatige intelligentie niet te gebruiken. En er moet iemand aan een noodrem kunnen trekken. Wat echter nog onvoldoende geregeld is, is hoe mensen kunnen controleren of een besluit rechtmatig tot stand is gekomen. Je kunt uitleggen dat een migratieachtergrond, laag inkomen en bepaalde postcode tot het besluit hebben geleid dat iemand een hoger risico vormt op uitkeringsfraude. Maar daarmee is zo’n discriminerende uitkomst nog niet gerechtvaardigd. Bovendien is het maar de vraag of deze regels mensen voldoende aanmoedigen om kritisch naar uitkomsten van kunstmatige intelligentie te kijken. Wordt hiermee niet te veel vertrouwd op een techniek die nog volop in ontwikkeling is en nog verre van foutloos?

Mensen die te maken krijgen met kunstmatige intelligentie, bijvoorbeeld als er in een ruimte gebruik gemaakt wordt van emotieherkenning, moeten daarover geïnformeerd worden. Maar dat hoeft volgens dit voorstel niet als de toepassing gebruikt wordt om strafbare feiten te voorkomen, op te sporen of te onderzoeken. Hierbij wordt niet aangegeven dat het moet gaan om concrete strafbare feiten. En daarmee hebben we wederom te maken met een hele brede uitzondering, want men kan overal in de publieke ruimte strafbare feiten willen voorkomen en daarbij gebruik willen maken van gezichts- of emotieherkenning.

Werk aan de winkel

Het wetsvoorstel laat zien dat de Commissie een poging doet om onze veiligheid, rechten en vrijheden te beschermen. Dat is een goed begin. Maar we zijn er nog niet. Om ervoor te zorgen dat we echt voldoende beschermd worden, is er nog veel werk aan de winkel. We zullen ons, samen met andere Europese digitale rechten organisaties, de komende tijd inzetten om het wetsvoorstel naar een hoger niveau te tillen.