De discriminerende kant van geautomatiseerde besluitvorming

EDWIN EN HELEEN_3
 
(Intro met abstracte beelden met daaronder een korte begintune.)

(In beeld verschijnt de tekst: 
microlearnings
Ethiek)

(Twee mensen staan tegenover elkaar in een verder lege kantoorruimte en starten het gesprek: 
mevrouw Heleen Janssen begint, de heer Edwin de Nies reageert.)

(In beeld verschijnt de tekst:
dr. mr. Heleen Janssen
onderzoeker, Instituut voor Informatierecht, Universiteit van Amsterdam)

HELEEN JANSSEN: Iets waar juristen en ethici zich vaak druk om maken als het gaat om geautomatiseerde besluitvorming en het bouwen van technische systemen, is dat er al heel gauw bias
in die systemen kan zitten. En, eventjes heel grote stappen: Bias kan zich heel makkelijk vertalen in discriminerende toepassingen. Juristen hebben voor ogen dat bias kan zitten in de data of in de gewichten die je gaat toekennen aan de data, welke rol ze moeten spelen in de beoordeling, of in het algoritme zelf of in de besluiten of de voorspellingen die uit het systeem rollen - en ook nog in de mensen die iets met die besluiten of voorspellingen moeten doen. Dus je kunt een groot aantal risicofactoren identificeren waarvan je kunt zeggen: Als de overheid nou systemen gaat bouwen die al of niet helemaal geautomatiseerd zijn, dan bestaan er risico's dat de overheid discriminerende systemen gaat bouwen. Op het moment dat dat gebeurt, dan liggen er ook wel grote problemen voor de burgers, althans, als het gaat om vertrouwen in de overheid, want als de overheid systemen gaat gebruiken die niet betrouwbaar zijn, lees: systemen die discrimineren, dan kunnen burgers zich daar
niet makkelijk aan onttrekken. Want overheden kunnen diep ingrijpen met hun bevoegdheden in het leven van burgers. Dat betekent als ze een instrument laten ontwikkelen dat het goed op orde moet zijn. Tegelijkertijd realiseren de juristen en de ethici zich ook wel: Maar discriminatie, het maken van onderscheid, is juist cruciaal voor IT-specialisten, want hoe ga je anders ooit een beslissing laten nemen door of met behulp van een systeem? Dat een persoon dat doet. Want de basis is natuurlijk voor IT-mensen dat je onderscheid kunt maken: Die groep mensen willen we niet betreffen, maar die groep mensen moeten juist een uitkering ontvangen, die moeten een toestemming of een
vergunning krijgen, of die moeten bestraft worden. Dus het is altijd een beetje een geitenpaadje vinden van: Hoe zorg je er nou voor dat een systeem dat doet wat jij wil als bewindspersoon? Dus een minister van Justitie die bijvoorbeeld wil dat bij bepaalde mensen de snelheidsovertredingen worden aangepakt of juist niet. Maar je hebt ook de voorbeelden met de toeslagenaffaire, waarin, zoals we in kranten hebben kunnen lezen en in Kamerstukken, ook het nodige is misgegaan, met name ook juist op dit gebied van discriminatie en het maken van onderscheid. Is dit een discussie die ook leeft binnen de IT-gemeenschap, zeggen we even, binnen de organisatie waar jij werkt?

(In beeld verschijnt de tekst:
Edwin de Nies
enterprise architect, RIVM)

EDWIN DE NIES: Ik denk dat dat bij het RIVM minder is, want we hebben, voor zover ik weet... We hebben wel toekenningstaken en –systemen, maar dan veel meer op het gebied van geneesmiddelen en producten.

HELEEN: Ja.

EDWIN: Daar discrimineer je niet gauw mensen mee, maar misschien wel producenten en leveranciers.
Ik moet eerlijk zeggen dat ik daar zelf niet zo bij betrokken ben. Maar wat jij zei, het andere is natuurlijk ook zo. Wij doen als RIVM mee met een internationaal programma. Dat heet VITAL. Daar zijn we aan het onderzoeken wat we van vaccinaties op oudere leeftijd in combinatie met vitaliteit kunnen leren. En daar ben je juist op zoek naar die onderscheidende factoren om te kunnen zorgen dat je mensen op latere leeftijd, als je misschien het vaccinatieschema of de -doses of wat dan ook aanpast,
daardoor kunt helpen om vitaler te blijven, laat ik het zo zeggen. Dus daar zijn we wel mee bezig. De andere kant van die medaille, persoonlijk heb ik daar nog niet echt veel mee te doen gehad. Maar ik kan me voorstellen dat dat echt wel iets is waarbij ik primair zou zeggen: Ja, maar uiteindelijk gaat het toch om de mens en niet om de machine.

HELEEN: Ja.

EDWIN: Want elke machine of elke uitvinding van de mens kun je zowel de goede als de slechte kant op gebruiken.

HELEEN: Ja. Dus een heel mooi adagium van 'techniek is niet goed, maar het is ook niet slecht'.

(In beeld verschijnt de tekst: Techniek is nooit neutraal)

Maar het is nooit neutraal. Dat is echt een key takeaway die we ook bij de universiteit aan IT-specialisten in opleiding graag willen meegeven.

(In beeld verschijnt de tekst: In het ontwerp zijn ethische waarden ingebed)

Dus weet ook dat je altijd iets maakt en iets ontwerpt waarin ethiek en waarden zijn ingebed. Jij wilt ervoor zorgen dat de techniek de persoon die een beslissing moet nemen linksaf laat slaan of rechtsaf laat slaan. Je moet er heel goed over nadenken en je ervan bewust zijn dat dat in die systemen zit. Dat begint ook wel steeds meer door te dringen. Daar zit wel de specifieke verantwoordelijkheid. Ik begrijp zeker ook wat je schetst: bij het RIVM heb je er in beginsel niet zo veel mee te maken. Maar het is een mooi voorbeeld waar je juist wel dat onderscheid wilt hebben tussen mensen van: Die moeten dit medicijn krijgen of die moeten dat medicament juist nemen, omdat er gegronde redenen zijn om die verschillen te maken, bijvoorbeeld gebaseerd op iemands gezondheid. Maar dat is dan ook heel erg in het kader van dat je iemands gezondheid vooruit wilt helpen.

EDWIN: Ik denk dat het zeker nu nog belangrijker wordt om je daarvan bewust te zijn, want je ontwikkelt niet alleen dat algoritme, maar het gaat er ook om: met welke data voed je dat algoritme en hoeveel checks heb je daarop gezet om te kijken: Zou dat niet op de een of andere manier toch tot een vorm van discriminatie leiden die je niet wilt?

HELEEN: Nou ja, wat juristen en ethici zorgen baart: AI heeft vaak een ondoorzichtige wijze van besluitvorming. Dat is de kunstmatige intelligentie. Maar je ziet dus ook vaak dat het dan achteraf moeilijk terug te redeneren is: Waardoor is dat besluit of die voorspelling nou precies gemotiveerd?
Dat is van belang, dat is ook een grondrecht overigens, dat je altijd wel recht hebt op een verantwoording en een motivering van het overheidsorgaan wat een beslissing neemt. Wat je ook wel ziet: er zijn ook enorm hoge verwachtingen van kunstmatige intelligentie, maar ook van geautomatiseerde besluitvorming. In de Britse literatuur noemen ze dat... Bij overheidsorganisaties, maar ook in het bedrijfsleven, dan wordt er vaak gekeken naar: Dit is een techniek en die kan heel erg veel problemen oplossen. Dat noemen ze dan heel fraai 'techsolutionism'. Ik weet niet of je dat kent, maar het geloof dat je met techniek bijna alle problemen op kunt lossen. Maar ja, dat is...

EDWIN: Ik durf wel te stellen... dat machine learning hetzelfde is en net zo moeilijk is als een kind opvoeden.

(Outro met abstracte beelden en korte eindtune.)

(In beeld verschijnt de tekst:
microlearnings
Ethiek)

(Het laatste beeld bevat het logo van de Rijksoverheid met daaronder de tekst:
Deze microlearning is tot stand gekomen door een samenwerking tussen de Leer- en Ontwikkelcampus (LOC) van UBR, de directie CIO Rijk van het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties (BKZ) en de Rijksacademie voor Digitalisering en Informatisering Overheid (RADIO))