Digitale dilemma 3: Mens-machine-interacties met Haroon Sheikh

Het digitale dilemma #3
SHEIKH: We denken dat de technologie zelf wel bepaalt hoe het gaat. Nee.
ROTMAN: Welkom bij 'Het digitale dilemma'. Ik ben Robin Rotman
en ik praat met deskundigen over de ethische vraagstukken
rond digitalisering.
Dit is een podcastserie van de ministeries van EZK en LNV
in samenwerking met RADIO.
SHEIKH: Voor elke grote technologie hebben we een stelsel
van keurmerken, controleurs, reparateurs, regels, licenties, bewijzen
die ervoor zorgen dat we het veilig kunnen gebruiken.
ROTMAN: Vandaag praat ik met Haroon Sheikh
over mens-machine-interacties. Belangrijke kwestie daarbij is:
Hoeveel controle willen we over machines en slimme systemen hebben en houden?
Haroon werkt bij de Wetenschappelijke Raad voor het Regeringsbeleid
en is docent Filosofie aan de VU.
Eerst even, wat is de Moravec-paradox?
SHEIKH: Dat is een paradox ontwikkeld door Hans Moravec.
Die geeft een bijzonder fenomeen aan dat nog steeds heel belangrijk is.
Namelijk, als je het simpel zou zeggen:
Wat voor computers heel makkelijk is om te doen, is voor ons heel moeilijk.
En wat voor ons heel makkelijk is, is voor computers heel moeilijk.
ROTMAN: Voorbeeld van zoiets?
SHEIKH: Bijv. voor computers allerlei schaakbewegingen vooruitzien.
Of complexe wiskundige vergelijkingen, daar breken wij ons hoofd over.
Heel slimme mensen kunnen dat pas doen na lange oefening.
Makkelijk voor computers.
-ROTMAN: En andersom?
SHEIKH: Het oppakken van een glas. Dus iets motorisch
is iets wat robots op dit moment nog amper kunnen.
Zeker in een complexe omgeving.
Maar ook zoiets als het herkennen van een gezicht of een kat op een plaatje
kunnen algoritmes pas een paar jaar.
ROTMAN: Oké, en als we het hebben over mens-machine-interacties
dan moeten we onderzoeken wanneer zetten we de mens in zijn of haar kracht
en wanneer zetten we die machine in zijn kracht?
SHEIKH: Ja, precies. Dit is waarom die Moravec-paradox zo belangrijk is.
We hebben de neiging als we machines zien om ze met onszelf te vergelijken.
We zien die machine zo succesvol zijn in schaken en dan denken we:
Dan zullen allerlei andere dingen die die machine suggereert, ook goed zijn.
Het belang van die paradox is te tonen:
Eigenlijk zijn het verschillende manieren van werken, van berekeningen maken.
En we moeten dus vooral ook kijken: Waar kun je de machine goed inzetten
omdat hij het daar inderdaad beter doet? Maar vooral ook: Wat kan hij nog niet?
Waar is het belangrijk dat wij onze vaardigheden inbrengen?
Het komt er dus op aan om de krachten van beide eigenlijk te combineren.
Helaas vaak genoeg wat we nu doen is dat we de slechte kanten van beide
met elkaar combineren. ROTMAN LACHT
ROTMAN: Tijdens de voorbereiding kwam ik de termen 'in the loop'
'on the loop' en 'out of the loop' tegen.
Dat is volgens mij het kader waarin wij gaan praten. Leg even uit.
SHEIKH: Dat is een kader dat vaak wordt gebruikt in het nadenken
over die mens-machine-interactie. Er zijn verschillende plekken
die de mens kan hebben in relatie tot de machine.
Het idee van een human-in-the-loop, dan is de mens het actiefst betrokken.
Dat betekent dat een beslissing of een uitkomst pas kan plaatsvinden
als een mens een handeling doet. Dus een algoritme kan wel suggereren
'deze persoon mag wel of niet een hypotheek krijgen'
of 'deze leerling heeft dit schooladvies'
maar een mens moet altijd aangeven: ik vind dat het gebeurt
en pas dan wordt het advies of de beslissing gedaan.
ROTMAN: Dan hebben we 'on the loop'.
SHEIKH: On-the-loop is het moment dat het algoritme of de machine
wel het hele proces kán doen
maar dat er altijd een mens is die kan ingrijpen
of kan zien als er iets misgaat, dat er iets veranderd wordt.
ROTMAN: Je kijkt mee over de schouder van de robot?
SHEIKH: Ja, en je kan, als je ziet dit gaat niet goed, zeggen:
Ik spring op the loop en verander er wat aan.
ROTMAN: 'Out of the loop' is als je niet meer meekijkt?
Het systeem draait autonoom? Je hebt er geen omkijken naar.
Dus dan is eigenlijk die rijdende zelfsturende robot
de zelfsturende auto is misschien wel het voorbeeld
waarin wij steeds meer out-of-the-loop aan het raken zijn?
SHEIKH: Ja, dat is eigenlijk de droom.
Die is er nog steeds niet en dat zal ook echt nog wel even duren.
Het is heel moeilijk om een zelfrijdende auto te ontwikkelen.
Als je dit model zou toepassen, er zijn nu 'assisted driving'-systemen
cruisecontrol, dat soort dingen. Dan helpt de machine een beetje
maar de mens moet nog steeds aan het stuur alles doen.
Dus dat is human-in-the-loop.
ROTMAN: Dan heb je die auto's dat je wel achter het stuur zit
maar je doet eigenlijk niks.
-SHEIKH: Bv. Tesla noemt dat 'Autopilot'.
Dat is een functie waarin in wezen de auto het meeste wel doet.
Als je naar de kleine lettertjes kijkt van deze dienst, zegt Tesla zelf:
'Je blijft als bestuurder verantwoordelijk.' Dat is ook zo en dat is echt nodig.
Maar hier zie je meteen al het probleem van dit soort modellen
en die mens-machine-interactie.
Wij denken: o, dit gaat best goed, dus ik kan wat anders gaan doen.
Zo zijn de eerste ongelukken al gebeurd met dit soort toepassingen.
ROTMAN: Het gaat over vertrouwen. Waar plaatsen wij ons in die loop
gaat over vertrouwen eigenlijk.
SHEIKH: Ja, vertrouwen gebaseerd op kennis. Dat we eigenlijk weten:
Kan ik vertrouwen op de auto omdat ik weet dat hij dit aankan?
Of kan ik vertrouwen op het algoritme?
Wanneer weet ik: dit is het niet zo, dus hier moet ik niet op vertrouwen?
ROTMAN: En als je het over de ethiek hebt, dan is het bv. bij die auto
eigenlijk heel juridisch, hè? Denk ik. Wie is er verantwoordelijk?
Is dat de bouwer van dat systeem? Elon Musk.
Of is dat degene die achter het stuur zit? Ja, wie is verantwoordelijk?
Daar zit eigenlijk de ethische kwestie.
SHEIKH: Er zijn verschillende ethische kwesties rondom zelfrijdende auto's.
Er is ook nog dat trolleyprobleem. Er is een ongeluk, wie kiest de auto...
Er zijn allerlei problemen...
-De twee bejaarden versus het kind.
SHEIKH: Dat is nog geen echt probleem
maar het is een heel leuk conceptueel filosofisch vraagstuk.
Wat betreft die aansprakelijkheid, in principe geeft onze wet
die is daar heel helder in:
Auto's hebben een menselijke bestuurder, die is verantwoordelijk.
Juridisch mag er ook nog geen zelfrijdende auto op de NL weg zijn.
ROTMAN: Ik moet meteen denken aan die term 'death by gps'.
SHEIKH: Dat is precies een voorbeeld van dat vertrouwen dat niet gegrond is.
Dus mensen die hun auto de zee in rijden, omdat de gps aangeeft
dat er echt een weg zou moeten zijn.
En dat is dat vertrouwen dat we toch gemakkelijk hebben.
De pijltjes staan duidelijk...
Een computer als die iets aangeeft. is 't berekend, dat is hogere intelligentie.
Nou ja, precies die Moravec-paradox.
Vaak is die inderdaad wel correct, maar als de weg 'n beetje veranderd is
en er is geen update, dan kan je 'n ravijn in gestuurd worden.
ROTMAN: Zou je kunnen zeggen dat we altijd automatisch, intuïtief
naarmate die systemen sterker worden toch eigenlijk altijd steeds vaker
verder weg uit die loop raken?
SHEIKH: Ehm...
-Het voelt intuïtief een beetje onhandig
unheimlich misschien zelfs wel, maar het is toch eigenlijk wat er gebeurt?
Als het kan, gaan we het toch doen?
SHEIKH: Als het kan.
Het komt eerst bij de vraag uit van de technische vaardigheden, hè.
Wat is technisch nu al mogelijk?
We komen er wel achter dat er veel dingen zijn die wij als mensen kunnen
die we amper begrijpen, dus ook nog niet machines kunnen laten doen.
Maar er is een trend om zoveel mogelijk processen te proberen te automatiseren.
Voordat we, denk ik, op veel gebieden echt uit die loop gaan
gaat het vooral om een ander soort rol.
ROTMAN: Wat is daarbij de rol van de overheid?
SHEIKH: De overheid is belangrijk om verschillende kaders te stellen.
Om te zorgen dat er bv. zoiets als aansprakelijkheid...
Wie is er verantwoordelijk als er iets misgaat?
Om te faciliteren ook dat we op de juiste manier hiermee omgaan.
Dus denk bij zelfrijdende auto's: hoe gaat dat dan gebeuren?
Hoe testen we zo'n auto eigenlijk?
Een concreet probleem bv. waar de overheid mee te maken heeft is:
Op dit moment test de RDW van tevoren welke auto de NL weg op mag.
Dan wordt die gecheckt, alles is in orde, dan mag hij hier rijden.
Wat nu als die auto, zoals voor Tesla's geldt
een automatische update krijgt uit Silicon Valley?
Hebben we dan een nieuwe auto op de NL weg?
ROTMAN: Bij elke update...
-Is het eigenlijk een andere auto.
Dus dat is het soort vragen waar zeker ook de overheid een rol in heeft.
ROTMAN: Dat geldt voor ál die systemen die steeds meer...
Heb jij de indruk dat de overheid genoeg op de bal zit
als het over dit soort thema's gaat?
SHEIKH: Er is veel aandacht voor, en meer en meer. Ook vanuit Europa
is er recent een conceptverordening over AI ontwikkeld.
De NL overheid heeft ook al tal van initiatieven. Maar het is een onderwerp
wat echt heel belangrijk is en denk ik veel meer aandacht vraagt.
Niet voor niets ook dat de overheid de WRR om een rapport heeft gevraagd.
ROTMAN: Jullie maken een rapport over dit thema? Waarover specifiek?
Wat is de vraag die voorligt?
-SHEIKH: De vraag van de regering is:
Wat is de manier waarop AI publieke waarden beïnvloedt?
Dus dat kan zijn: publieke waarden die bedreigd worden. Denk aan
uitlegbaarheid, privacy, vertrouwen, al dat soort zaken.
Maar ook: hoe kan 't publieke waarden versterken?
Hoe kunnen we betere zorg krijgen? Of de wegen veiliger maken?
Hoe kan de overheid efficiënter worden? Dus het is een brede vraag.
Elf ministeries hebben ingetekend op deze adviesaanvraag.
ROTMAN: Jullie komen met allemaal voorbeelden die op ons afkomen
en dan omschrijven jullie: oké, als we op deze plek in de loop dreigen te komen
of als we die keuze willen maken, moeten we hierover gaan nadenken?
SHEIKH: Ja, wij proberen heel breed te schetsen: wat komt er allemaal bij kijken.
Het is niet zo dat we alle cases afgaan. Dat zou 'n heel uitgebreid onderzoek zijn.
We willen vooral 'n groot kader bieden
waarmee de overheid goed kan nadenken over dit soort vragen
en vooral de juiste vragen stelt. Want er is een lang proces nodig
voordat we echt goed dit soort systemen in onze samenleving ingebed krijgen.
ROTMAN: We zien straks nog andere voorbeelden.
De zorg, militaire toepassingen. Kom zelf ook gerust met voorbeelden.
Mag ik je wat stellingen voorleggen?
'Het maakt eigenlijk niet uit waar we onszelf in de loop plaatsen
zolang we van tevoren maar vastleggen welke méns verantwoordelijk is
als het misgaat.'
-SHEIKH: Niet mee eens.
Want je kan een mens... We moeten denk ik oppassen
dat we niet straks schijnverantwoordelijkheid hebben.
Iemand wordt wel ter verantwoording geroepen
maar uiteindelijk heeft die persoon niet goed grip op die situatie.
Zoals vaak gebeurt. De CEO valt voor iets wat ergens anders gebeurd is.
We moeten echt op detailniveau erin.
-Dat is niet per sé de oplossing?
'Meer handen aan het bed in de zorg mogen ook best robothanden zijn.'
SHEIKH: Op sommige gebieden wel.
Het kan zeker niet het vervangen...
-Het gaat hier over de menselijke maat?
SHEIKH: Precies. En zorg gaat ook over dingen die echt te maken hebben
met menselijk contact onderling.
'Hoe slim slimme wapens ook worden, in een oorlogssituatie moet
de uiteindelijke keus om de trekker over te halen altijd bij menselijk zijn.'
SHEIKH: Kunnen we niet van tevoren helemaal vastleggen.
Hangt ervan af wat die trekker doet.
Misschien wel, als we zeggen: mensen schieten.
Maar we kunnen ons ook situaties voorstellen waar een systeem
inkomende raketten uit de lucht moet halen.
ROTMAN: Hoe ver is de ontwikkeling van autonome wapens?
SHEIKH: Het eerste probleem is: we weten niet precies wat dat zijn.
Er zijn veel verschillende definities...
-Is dat de kwestie?
SHEIKH: Dat is heel belangrijk, want mensen willen het verbieden
we willen regulering, maar dan moet je weten wát je verbiedt of reguleert.
ROTMAN: Een concreet voorbeeld: We sturen een drone op pad
en die vliegt boven oorlogsgebied die heeft een cameraatje
en die kijkt naar de mensen op straat of waar dan ook
en die ziet die mensen en die zegt: Dat is een boef. Boem.
SHEIKH: Ja. Dat zou een geavanceerd systeem zijn dat het zou kunnen doen.
Zoiets is mogelijk ook al.
Daarvan zou je moeten zeggen
daar moet uiteindelijk een mens voor besluiten om dat te kunnen doen.
En dat is heel verstandig, denk ik.
Maar je hebt ook zo'n systeem dat automatisch raketten uit de lucht haalt
een systeem dat puur defensief is...
Als je 't strikt zegt, zou bv. een mijn ook in zekere zin een autonoom wapen zijn.
Je stapt erop en hij ontploft.
Tegelijkertijd zouden we dat natuurlijk niet zien als cutting-edge wapen.
Dus het gaat niet alleen over dat een wapen uit zichzelf kan vuren
maar ook dat er een complex proces aan ten grondslag ligt.
ROTMAN: Die mijn maakt niet de keus. Je staat erop en dan doet ie boem.
En misschien maakt het algoritme ook geen keus in het andere geval.
Maar het maakt 'n complexe overweging. Zoals wat jij net zei:
Dit is een persoon, ik herken het gezicht, en nu ga ik dit doen.
Maar de vraag is wel: Technisch gezien, hoe anders is dit dan bijv. een drone
die mijn gezicht herkent omdat Amazon een pakketje aan mij wil geven?
En in plaats van een kogel op mij afvuurt, een pakketje afgeeft.
Eigenlijk dezelfde technologie.
ROTMAN: Zijn er al plekken waar dit soort wapens gebruikt wordt?
SHEIKH: Er is een hele set van verschillende soorten wapens
die dus in dit gebied komen. En ja, er is van alles.
De Amerikaanse Patriot missiles werken op die manier. Het Aegis-systeem.
Israël heeft een Harpy-systeem wat raketten uit de lucht kan vuren.
Zuid-Korea heeft wapens die op de grens met Noord-Korea staan
die automatisch vuren als daar wat vreemde bewegingen zijn.
Dus verschillende systemen zijn er, maar er is nog veel meer mogelijk.
ROTMAN: De Amerikaanse generaal O'Shaughnessy noemde de termen
in-the-loop en on-the-loop ook. Vorig jaar hadden we het ook
over slimme systemen die inkomende raketten kunnen detecteren.
En andere luchtaanvallen ook.
Hij zegt dat de mens in-the-loop veel te vertragend werkt.
Dat kost uiteindelijk mensenlevens. Dus daar gaat het al schuiven, hè?
SHEIKH: Ja, dus dat is lastig, hè. Je kan het je ook voorstellen als je zegt:
Het is puur defensief en het gaat om inkomende raketten.
Er komen 200 raketten op je land af.
Als je moet wachten totdat mensen... Ons reactievermogen is te traag.
ROTMAN: Dus je zit in 'n kamertje met mensen achter bureaus
je krijgt constant allemaal informatie: die machine wil terugvuren
en je moet steeds groen licht geven. Dat is dat je on-the-loop bent.
SHEIKH: Als het snelle raketten zijn, zou dat echt te laat kunnen zijn.
Dan zou je willen dat het automatisch gebeurt. Die raketten zijn gemaakt
om heel effectief, heel snel te zijn, dus...
Dat soort situaties kun je je zeker voorstellen. Je kan dus ook zeggen:
Je maakt verschillen in situaties.
Verschil tussen defensief en offensief. Tussen op mensen en op dingen vuren.
Dat is mogelijk. Tegelijkertijd zit je al snel in een glijdende schaal.
Een defensief systeem dat je in vijandig gebied zet...
Dus stel, Amerika zet een defensief systeem op de grens van Syrië.
Ben je dan Syrië aan het aanvallen daarmee? Of niet?
ROTMAN: Dit debat is nu gaande.
Er zijn dus defensievere systemen waar openlijk wordt opgeroepen
daar moeten we meer ruimte voor het systeem geven.
Beslissen over leven en dood, dus de robot die de trekker overhaalt
daar zijn we het wel redelijk over eens, dat willen we niet. Of nog niet.
Zeg ik dat goed zo?
-SHEIKH: Ja, zeker. Ik denk dat dat...
ROTMAN: Weet je wat ik eigenlijk denk? Sorry, ik onderbreek je.
Het roept bij mij het beeld op van twee strijdende partijen
die allebei heel slimme geavanceerde systemen hebben
die ze lekker op elkaar loslaten en laat de mensen maar out-of-the-loop
dan knokken die robots het maar uit voor ons.
Best een geruststellende gedachte.
SHEIKH: Dat wordt ook wel eens gezegd om deze zaken te promoten.
Het gaat veel meer die weg op. ROTMAN LACHT
Dat hebben we van veel dingen gezegd. Dat raketten precisie gaan geven.
Het is altijd de vraag waar je ze op richt. Je haalt de mensen uit de 'loop'
maar dat doe je voor je eigen kant, je wil je eigen soldaten weghalen.
Maar waar je dat wapen op richt, dat kan de burgerij van 'n ander land zijn.
We hebben tot nu toe nog niet gezien
dat we alleen maar onze machines tegen machines laten vechten.
ROTMAN: We hebben die zelfrijdende auto, daarvan voelen we met z'n allen
intuïtief al aan, tenminste ik wel, we accepteren wel dat dat ding
zelf gaat rijden en dan kunnen wij een potje Monopolyen in de auto
zonder dat we hoeven mee te kijken.
Die machines, die besluiten over leven en dood, vinden we nog wat ingewikkeld.
Dan de zorg. Er zijn nu een heleboel ziekenhuizen
waar goed geëxperimenteerd wordt of nagedacht wordt over robots
en systemen die gewoon meedenken over diagnostiek. Over kanker.
Da's mooi. Toch?
-SHEIKH: Ja. Daar is ook 'n grote belofte
dat dat goed kan helpen. Ook daarvoor geldt de Moravec-paradox.
We moeten goed weten dat de machines op een manier werken die goed werkt.
Ik bedoel, IBM heeft een tijd geleden hadden ze een programma, Watson.
Ze zeiden: Dat wordt een superdokter.
Nadat Watson allerlei mensen in tv-programma's had verslagen
wilden ze een superdokter ervan maken. Voor medische diagnostiek.
Dat project is stopgezet. Er kwamen te veel vreemde uitkomsten uit.
ROTMAN: Te veel vreemde uitkomsten? Ik kan me voorstellen
maar dit was wel even geleden
dat dit systeem een beetje dezelfde trend volgt als die auto.
Op een gegeven moment krijgen we vertrouwen dat ie altijd wel gelijk heeft.
SHEIKH: Ja, maar dan moet het dus wel mogelijk zijn, zoals met die auto ook.
Ik denk dat die auto veel later komt dan we denken. Echt veel later.
ROTMAN: Overschatten we die technologie vaak?
SHEIKH: Ja, ik denk dat we te weinig begrip hebben van wat het precies kan.
Dat was ook onderdeel van dat we te veel de machine met onszelf vergelijken.
We hebben een idee dat problemen incrementeel steeds moeilijker worden
en dat het 'n pad dezelfde kant op is.
Terwijl eigenlijk sommige problemen een andere manier van denken vragen.
Rijden op de snelweg is niet iets minder moeilijk dan rijden in de binnenstad.
ROTMAN: Dan moet je de technologie opnieuw uitvinden?
Rijden in de binnenstad is iets volledig anders. Op de snelweg weet je zeker
dat er niet zomaar iemand wandelt, of een hond of bal de weg op gaat.
Heel goed rijden op de snelweg zoals sommige Autopilots kunnen
betekent dat je nog niks kan in de binnenstad van een normale stad.
En hetzelfde geldt voor zorg ook.
Misschien kun je een algoritme heel goed trainen op één diagnose
omdat alle foto's ongeveer hetzelfde eruitzien en je zoekt iets bepaalds.
Maar stel nu dat er iemand bv. last heeft van twee kwalen over elkaar heen.
ROTMAN: Dan wordt het ingewikkeld.
-Die samen 'n complexere uitkomst geven.
Dan kan 't, als het er niet op getraind is, die combinatie niet goed herkennen.
ROTMAN: Oké, dus we blijven daar on-the-loop. We kijken mee
we gaan dat systeem serieus nemen en we gaan die diagnose checken
en de arts hakt de knoop door.
SHEIKH: Ja, vooralsnog zou ik zelfs zeggen in-the-loop.
We moeten nog niet nastreven dat een algoritme zelf diagnoses geeft.
Het kan hooguit een suggestie geven aan de arts, en die zegt dan:
Ik ben het ermee eens. De arts moet er wel echt in zitten.
ROTMAN: Totdat zo'n arts 100 of 150 of 200 of 1000 keer achter elkaar
de conclusie trekt dat dat systeem 't bij het juiste eind heeft.
En daarna komt er een keertje een advies van zo'n systeem
waarvan die arts eigenlijk niet zo goed kan uitleggen waarom
maar hij vertrouwt er wel op dat het systeem gelijk heeft.
Hoe moet je dat gaan uitleggen aan die familie en die patiënt?
SHEIKH: Ja, dit is echt het probleem
van dat hele kader van in-, on- en out-of-the-loop werkt goed
maar als we het hebben over menselijke controle en invloed
moeten we altijd zeggen: het moet betekenisvolle menselijke controle zijn.
En dit is een voorbeeld van een risico dat er is, hè?
Je zegt: Jij moet altijd wel goedkeuren. Maar als je inderdaad luier wordt
of minder goed gaat opletten omdat het zo vaak goed gaat
'automation bias' wordt dat genoemd.
Het gaat zo vaak goed, de volgende keer zal ook wel in orde zijn.
Als mensen niet meer hard gaan leren tijdens een opleiding hiervoor
net zoals met rekenmachines je gewend bent dat zij dat doen
dus je mist zelf die vaardigheden.
Dan kun je mensen wel verantwoordelijk houden, maar hoe betekenisvol is dat?
Heeft die persoon nog de vaardigheden om te controleren wat er gebeurt?
ROTMAN: Ja, maar kan je er wat aan doen? Wat ik net zei.
Als wij straks allemaal in zelfsturende auto's gaan rijden
dan hebben we misschien geen 500 dodelijke ongelukken per jaar meer
maar misschien 50.
Dus die systemen maken ongetwijfeld fouten.
Maar dan gaan we er toch op vooruit?
SHEIKH: Ja, wanneer ze er komen, hè.
-Het is hypothetisch.
Het gaat langer duren en gaat complexer zijn dan we nu denken.
Er komt echt nog heel veel meer bij kijken.
Dus op termijn is dit wel een vraagstuk.
Maar dan komt het erop aan hoe ontwerpen we omgevingen
waar dit zo goed mogelijk in werkt?
Kijk, als we nu de trein in stappen, gaan er ook veel processen automatisch.
ROTMAN: Vliegtuigen gaan al jaren automatisch.
SHEIKH: Zij hebben een relatief makkelijke omgeving, hè.
Daar komt ook niemand langswandelen. Dus dat is ook echt een verschil.
Het is makkelijker voor een vliegtuig om automatisch te werken dan een auto.
Maar het is dus zo... We kunnen best meer en meer dingen uit handen geven
maar we moeten weten: Wie moet er op welk moment kunnen ingrijpen?
Waar moet de monteur bij komen? Bij vliegtuigen hebben we 'n heel proces
van mensen die om de zoveel tijd kijken of alle schroefjes goed zitten.
Dat soort stappen, al die keurmerken, kunnen ervoor zorgen
dat we het uit handen kunnen geven.
ROTMAN: Dat blijft dus een rol van de overheid met die auto's, in de zorg...
De overheid moet steeds bepalen: Wat willen we? Hoe ver willen we gaan?
SHEIKH: Zeker. Er is een heel stelsel, dat is bij alle complexe technologieën...
We denken te gemakkelijk dat die technologie zelf bepaalt hoe het gaat.
Nee, voor elke grote technologie hebben we een heel stelsel van regels
keurmerken, controleurs, reparateurs
regels, licenties, bewijzen, al dat soort dingen die ervoor zorgen
dat we ze veilig kunnen gebruiken.
ROTMAN: Moeten die slimme systemen de eed van Hippocrates afleggen?
Of de softwaredesigners of die gasten?
SHEIKH: Je zou eerder aan dat laatste denken. Als je de robot zelf 't laat doen
dan val je in de Moravec-paradox, dan doe je alsof het mensen zijn.
Het is een ander soort systeem.
Pas op om ethische verantwoordelijkheid daaraan toe te schrijven.
Dat vraagt wat anders dan wat algoritmes doen.
Maar we kunnen zeker wel denken meer in termen van codes
of opleidingen voor de mensen die deze systemen maken
zoals we inderdaad hebben bij artsen, bij advocaten
maar ook elektromonteurs die diploma's moeten halen.
Complexe dingen die gevaar opleveren voor anderen
daar moeten we inderdaad denken aan manieren om de makers daarvan
beter te equiperen om dat goed te doen.
ROTMAN: Ik spreek je nu even als filosoof aan.
Hoe belangrijk is de verschijningsvorm van een robot
of een geautomatiseerd systeem
voor onze acceptatie en onze samenwerking daarmee?
Bijv. een robot op pootjes en met armen die eruitziet als een soort humanoid
menselijke figuur? Maakt dat wat uit?
SHEIKH: Ja, zeker. Robots, cultureel bezien of filosofisch gezien
hebben we een heel lange verbeelding rondom robots. Ook in de angsten.
Denk aan The Terminator en The Matrix. Dat gaat terug tot Frankenstein.
Zelfs alle oude Griekse mythes die al het idee hadden van machines
die tot leven kwamen en gevaarlijke robots.
Dus we hebben qua gevaar ook, maar ook aan de andere kant
juist de oude mythe van Pygmalion
over een man die verliefd werd op z'n standbeeld dat tot leven kwam.
ROTMAN: We projecteren dus onze angsten en dromen op robots?
SHEIKH: Zeker. Dus hoe het eruitziet...
Zo had Google ooit een bedrijf, Boston Robotics, dat maakte allemaal apparaten
waarvan mensen zeiden: griezelig, ze maken The Terminator.
Ze hebben het bedrijf afgestoten omdat ze bang waren voor
de reacties van mensen. Dus dan ziet het er eng uit.
ROTMAN: Zit er nog een probleem... Die systemen worden steeds slimmer.
Er zijn best veel artikelen dat zelfs de makers van die systemen
niet meer goed weten hoe die systemen tot die besluiten zijn gekomen.
Zit daar nog een ethisch probleem?
Dat we weten dat ze gelijk hebben, maar niet meer weten
hoe ze tot dat gelijk zijn gekomen?
SHEIKH: Ja, dat is zeker iets.
Dat gaat over vraagstukken van transparantie en uitlegbaarheid.
En daar is absoluut veel om te doen.
Dat kan op sommige gebieden misschien niet zo erg zijn.
Het interesseert mij niet zoveel waarom Netflix mij deze film aanbeveelt.
Als het goed is, dan ben ik daar wel blij mee.
Maar die voorbeelden waar we het net over hadden:
De zorg, waarom een auto iets doet, of een wapen iets doet.
Ja, daar moeten we wel degelijk verantwoording kunnen afleggen.
Dat is ook in allerlei wetten en regels vastgelegd.
In de AVG staat bijv. dat voor dingen die belangrijk zijn voor iemands leven
moet een mens kunnen uitleggen waarom die beslissing is gemaakt.
Dus dat kan óf betekenen dat we bepaalde systemen niet gebruiken
in bepaalde contexten óf dat we moeten werken aan technische oplossingen
die dat soort systemen toch nog uitlegbaar maken.
We denken te gemakkelijk: Het is een black box, we komen er niet achter.
ROTMAN: Dan laten we 'n slim systeem meekijken bij 'n slim systeem
om ons uit te leggen hoe het werkt?
SHEIKH: Bv. een systeem dat hypotheses gaat testen.
Als ik deze regels ga volgen, welke uitkomst heb ik dan?
Is die hetzelfde als dat algoritme, dan zal het algoritme die regels volgen.
ROTMAN: Je kan een algoritme bouwen dat systemen controleert op integriteit?
SHEIKH: Bijvoorbeeld, maar ook systemen die zelf aangeven:
Wat is de reden geweest dat je hiertoe kwam? Hoe belangrijk was het
bijv. of iemand een baan krijgt:
Was het belangrijk dat iemand man of vrouw was? Ja? Oké.
Nou, dan mag het niet. Dan heb je de verkeerde regel gebruikt.
ROTMAN: Hoelang duurt het voordat slimme software betere WRR-rapporten
over AI kan schrijven dan jij?
SHEIKH: Ik maak me daar nog geen zorgen over.
Hoe ons menselijk brein werkt, is zoveel complexer dan we vaak denken.
Dat is een compliment voor het menselijk brein
en heel veel dingen die wij doen zullen nog heel lang vereisen
dat wij dat als mensen doen, o.a. het schrijven van rapporten.
ROTMAN LACHT: Nou, we gaan het met plezier lezen.
Dank je wel, Haroon Sheikh.
Luister ook de andere afleveringen van 'Het digitale dilemma' terug.
Ga hiervoor naar it-academieoverheid.nl.