Amnesty International heeft een mensenrechtenanalyse gedaan op de algoritmen die gebruikt zijn door de Belastingdienst in het toeslagenschandaal en de uitkomsten zijn niet mals. Als organisaties nu zelf verplicht zouden worden gesteld om voor het gebruik van algoritmen een mensenrechtentoets te doen, zou dat een hoop leed kunnen besparen.

Discriminatie op grond van nationaliteit én etniciteit

Amnesty windt er geen doekjesLees hier het rapport van Amnesty International om: mensen met een niet-Nederlandse nationaliteit zijn disproportioneel hard geraakt door de Belastingdienst. En dat was niet per ongeluk, maar onderdeel van de algoritmen. De algoritmen die gebruikt werden om risico’s op fraude te detecteren, gaven een verhoogd risico aan wanneer iemand een niet-Nederlandse nationaliteit had. Eerder noemde de Autoriteit PersoonsgegevensLees hier het rapport van de Autoriteit Persoonsgegevens dit al discriminatie op grond van nationaliteit, maar ontkende dat er sprake was van discriminatie op grond van etniciteit. De Autoriteit Persoonsgegevens kon namelijk geen (indirect) verband aannemen tussen het gebruik van gegevens over de nationaliteit en etniciteit.

Amnesty ziet wel degelijk een verband. Volgens hen is het duidelijk dat er sprake is van discriminatie op grond van nationaliteit én etniciteit. Het gevolg van het criterium nationatiteit zorgt er immers voor dat niet-Nederlanders, en in het bijzonder mensen die behoren tot een etnische minderheid, er uit werden gepikt door het risico-classificatiemodel. “Onder alle omstandigheden is etnisch profileren een schending van het verbod op discriminatie. Het leidt tot het criminaliseren van bepaalde groepen mensen en het versterkt historische stereotyperende associaties tussen bijvoorbeeld fraude en etnische afkomst”, schrijft Amnesty in haar rapport.

Het 'double down' van de Belastingdienst

Ook werden mensen met een laag inkomen buitenproportioneel hard geraakt. Mensen met een lager inkomen waren namelijk afhankelijker van de toeslagen en ontvingen ook hogere toeslagen dan mensen met een hoger inkomen. En mensen die hogere toeslagen ontvingen werden weer eerder aangeduid als fraudeurs. Bovendien was deze groep ook het kwetsbaarst omdat ze simpelweg niet in staat waren om de enorme bedragen terug te betalen, waardoor ze in ernstige problemen kwamen. Omdat mensen uit etnische minderheidsgroepen vaker een laag inkomen hebben en deze groep daardoor zwaar getroffen is, spreekt Amnesty van intersectionele discriminatie.

Het algoritme doet wat het wordt opgedragen

Al jaren wordt er gewaarschuwd voor de risico’s bij het gebruik van algoritmen en kunstmatige intelligentie. Het toeslagenschandaal kan op de stapel van voorbeelden waaruit blijkt dat profilering kan leiden tot discriminatie. Dat komt niet doordat het algoritme faalt. Integendeel, het doet precies wat het wordt opgedragenLees hier wat we daar eerder over schreven. De factor nationaliteit was onderdeel van het algoritme en het kende een hoger risico toe aan mensen met een niet-Nederlandse nationaliteit. Bij het ontwerp, het gebruik, de berekening en de uitkomst moet duidelijk geweest zijn wat het algoritme deed. Het is dan ook niet geloofwaardig om te stellen dat het allemaal niet zo bedoeld was.

De Nederlandse overheid laat zien hoe het niet moet

De Nederlandse overheid heeft haar ambitieZie de Nederlandse Digitaliseringsstrategie om koploper te zijn in digitale innovatie kenbaar gemaakt, maar loopt nu vooral voorop als het aankomt op het slechte voorbeeld geven. Het algoritmegebruik in het toeslagenschandaal zal internationaal gezien worden als illustratie van hoe het niet moet. En hoewel Nederland haar mond vol heeft Zie hier de brief van het kabinet over het Strategisch Actieplan voor Artificiële Intelligentie (SAPAI).van het beschermen van publieke waarden en mensenrechten, zien we daar in wetgeving en in de praktijk nog maar weinig van terug.

Nu het Europese wetsvoorstel voor kunstmatige intelligentie er ligt, is dit het moment om er echt voor te zorgen dat dit ‘ongekend onrecht’Zie het rapport van de parlementaire ondervragingscommissie zich nooit meer kan herhalen. Wij pleitenLees hier wat we daar eerder over schreven voor een wet waarin te risicovolle kunstmatige intelligentie toepassingen verboden worden. En er moet voor alle kunstmatige intelligentie toepassingen een minimaal beschermingsniveau worden vastgesteld, inclusief een mensenrechtentoets voordat zo'n toepassing wordt ingezet. Algoritmen en kunstmatige intelligentie waarvan de werking en de uitkomsten niet uit te leggen zijn, zouden niet gebruikt moeten worden bij besluitvorming. Want als je graag op de troepen vooruit wilt lopen, moet je niet continue struikelen.