Digitaliseringsepidemie: De schaduwkanten

DANCEMUZIEK

ROBIN: Welkom bij De digitaliseringsepidemie.
In deze serie onderzoek ik, Robin Rotman
hoe corona de digitalisering van de overheid
een grote impuls heeft gegeven.
CORIEN: Wat ik probeer is tegenwicht bieden.
Technologie moet de ruimte krijgen, maar tot waar zou ik die willen geven?
Waar wil ik als mens, ook als wetenschapper
ook als voorzitter van de WRR, even die pas op de plaats?
En ben ik als mens, zijn wij als ambtenaren
zijn wij als politici, als bedrijven nog in staat die pas op de plaats te maken?
ROBIN: Dit is een podcastserie van RADIO
de RijksAcademie voor Digitalisering en Informatisering Overheid.
En vandaag bespreek ik de schaduwkanten van digitalisering.
En met wie anders dan Corien Prins kan ik dat bespreken?
Want zij is een kanon op dit terrein.
Ze is voorzitter van de Wetenschappelijke Raad voor het Regeringsbeleid
en hoogleraar Recht en Infer... sorry, en hoogleraar Recht en Informatisering.
Corien, leuk dat je er bent.
-Leuk om er te mogen zijn.
ROBIN: Hé, jij waarschuwt al tijden voor een teveel aan techno-optimisme.
Wat is dat, een teveel aan techno-optimisme?
CORIEN: Het woord 'teveel' zegt al genoeg. Ik ben ook een optimist
en techno-optimisme is uitstekend, we kunnen er fantastische dingen mee doen.
De huidige coronacrisis toont hoeveel digitalisering ons brengt.
Tegelijkertijd: teveel is altijd iets om je even drie keer achter de oren te krabben.
En ik stel vast dat van het drie keer achter de oren krabben
toch niet altijd sprake is.
-Dat doen we dus eigenlijk niet.
CORIEN: Nee, pas op de plaats.
Ook als je een optimist bent, is het goed om af en toe even rond te kijken:
zit ik nog op de goede weg, moet ik afslaan of moet ik rechtdoor?
Dat is wat ik bedoel.
ROBIN: En als je het hebt over techno- optimisme bedoel je waarschijnlijk dat...
Technologie is dus kennelijk niet een oplossing voor alles of zo?
Is dat techno-optimisme?
-CORIEN: Nou, techno-optimisme is
dat we een prachtig nieuw instrument in handen hebben gekregen.
Tegelijkertijd is technologie niet deterministisch
in de zin dat technologie vervolgens de ontwikkeling bepaalt.
Wij als mensen zijn daar cruciaal bij.
Het is een interactie tussen technologie en mens.
En dat betekent dat je zelf deels aan het stuur zit
en dat betekent dat je ook daarover hebt na te denken:
welke richting wil ik hierin nemen?
En als je te veel techno-optimisme hebt
dan ga je eigenlijk blind vooruit zonder af en toe even stil te staan.
ROBIN: Kun je dan terreinen noemen waar jij het gevoel hebt:
daar zijn we iets te optimistisch, of daar is te veel techno-optimisme?
CORIEN: Nou ja, ik denk dat... Een illustratief voorbeeld is SyRI.
De toch redelijk bekende zaak waar de rechter in heeft gezegd...
De rechter eigenlijk de uitvoering binnen de overheid terug heeft gefloten.
SyRI is een deels intelligent systeem, kunstmatige intelligentie
benut voor fraudedetectie binnen de sociale zekerheid.
Ja, en daarvan heeft de rechter gezegd:
Ja, maar daar moeten toch wat meer randvoorwaarden ingezet worden
om conform Europese regels op het terrein van mensenrechten en privacy...
ROBIN: Want, in het kort, wat ging daar fout?
CORIEN: Wat daar fout ging, is dat het...
Het is een zelflerend systeem. Het is getraind met behulp van data.
Een welbekende discussie binnen de kunstmatige intelligentie
is dat je heel goed moet opletten of er niet een bias in die data zit.
Dus dat je het systeem met data traint die eigenlijk vooringenomen zijn.
Dat was hier deels het geval en daarvan heeft de rechter gezegd:
Bepaalde data mag je niet...
Bijvoorbeeld data over etniciteit mag je niet meenemen in dat trainen.
ROBIN: Want welke uitwerking had dat in concreto, uiteindelijk?
CORIEN: Nou, dat had potentieel als uitwerking
dat bepaalde groepen eerder in beeld kwamen dan andere groepen voor fraude.
Terwijl als je gewoon generiek zou kijken dat helemaal niet zo zou hoeven te zijn.
Dus op voorhand hadden die als het ware een streepje voor in fraude.
ROBIN: Ja, dat wil je niet hebben.
Je zei net 'ik ben een optimist', ben jij een techno-optimist?
Of denk je: nou, die technologie mag wel... Ik ben eigenlijk een technopessimist.
CORIEN: Nee, ik ben geen technopessimist.
Maar ik ben wel iemand die, ehm...
probeert toch wel redelijk ver te gaan om zonder technologie te leven.
Ik heb heel lang zonder DigiD geprobeerd te leven.
LACHEND: Ja, dat lukt uiteindelijk dus niet meer.
Maar wat ik probeer, is tegenwicht te bieden
in de zin van te kijken: technologie moet de ruimte krijgen
maar tot waar zou ik die ruimte aan die technologie willen geven?
Waar wil ik als mens, ook als wetenschapper
ook als voorzitter van de WRR, even die pas op de plaats?
En ben ik als mens, zijn wij als ambtenaren
zijn wij als politici, als bedrijven nog in staat die pas op de plaats te maken?
ROBIN: Dus jij bent een techno-optimist op een technodieet.

ROBIN LACHT

-CORIEN: Nou ja, in ieder geval...
CORIEN: Ik kijk kritisch naar de ontwikkelingen.
ROBIN: Helder. 2020 is het jaar van corona
en als corona één ding doet is dat het mensen ziek maakt
en een hele hoop gedoe oplevert in de samenleving.
Maar wat het ook laat zien is dat technologie en digitalisering
onwijze oplossingen kan brengen ook en dat gaat hard en we worden...
Een heleboel thema's waar we al lang over nadenken
onderwijs op afstand, thuiswerken: we moesten wel.
Dus digitalisering was daar ineens een oplossing.
Hoe erg zou corona erin gehakt hebben als we niet die technologie hadden?
CORIEN: Ik denk dat mensen altijd wel een uitweg vinden.
Ook 20 jaar geleden hadden we hier een omgang mee gevonden
in de zin van alternatieven voor het werk.
In dit geval hebben we technologie en biedt het ons de mogelijkheid
om eigenlijk voor een deel gewoon weer op de normale gang verder te gaan
voor wat betreft bijvoorbeeld vergaderen
voor wat betreft, in mijn geval, het onderwijs geven aan een universiteit
of, ook, om stappen te zetten die we tot nu toe helemaal niet wilden zetten.
Kijk naar de rechtspraak, waar rechtspraak op afstand is geïntroduceerd.
Dus niet meer naar de zittingzaal, maar op afstand
de rechter die een verhoor afneemt en uiteindelijk ook tot een oordeel komt.
Dus wat je enerzijds ziet is dat bestaande technologie het mogelijk maakt in deze tijd
om bestaande typen werk toch te blijven doen
wel met z'n manco's overigens, maar daar zal ik straks iets over zeggen
en ook dat het sommige dingen toch even in de versnelling heeft gezet.
Applicaties waarvan we zeiden: Zullen we dat nou wel doen?
Even terug naar dat voorbeeldje van de rechter
'dat moet toch ter zitting, live, bij de rechter, in een zittingzaal?'
Daarvan hebben we nu gezien dat dat ook voor een deel op afstand kan.
ROBIN: Dat thuiswerken, Zoom, Teams, Skype, Webex...
Zijn dat allemaal goede, veilige diensten die goed met onze privacy omgaan?
CORIEN: Je zag in het begin dat er flink wat discussie was over Zoom.
Zoom heeft vervolgens, die zagen ook hun marktpositie kwetsbaar worden
als ze daar niet iets mee zouden gaan doen
dus Zoom heeft aan de beveiliging het een en ander gedaan.
Je ziet dat bedrijven na een aantal weken hun keuzes gingen maken.
Bijvoorbeeld binnen de overheid, wij mogen bij de WRR niet met Zoom werken.
Webex is voor ons de applicatie. En zo maken bedrijven hun keuzes.
Ik vind ook dat er een gezonde concurrentie moet zijn
in videobel-applicaties en die zie je zeker.
ROBIN: Concurreren ze ook voldoende op veiligheid en privacy?
CORIEN: Er wordt zeker geconcurreerd op veiligheid en privacy.
ROBIN: Dat is fijn, dat ze niet alleen concurreren op gebruikersgemak
maar dat ze ook echt op die terreinen...
En dat les op afstand, heb je daar een indruk van of dat goed werkt
en of digitalisering daar daadwerkelijk ook goede oplossingen biedt?
CORIEN: Dat biedt me gelijk de kans om even te komen
op dat ik het voor een deel ook een verschraling en een verarming vind.
En dat zie je terug, in ieder geval op de universiteit.
Kijk, ik doceer aan de universiteit.
Doceren, studenten iets meegeven, is meer dan kennisoverdracht.
Het is meer dan, in mijn geval
vertellen hoe het Wetboek van Strafrecht in elkaar zit.
Het is de student ook, ja, een bepaalde maatschappelijke houding
een bepaalde vorm van discussie, kritische reflectie, et cetera meegeven.
En wij allemaal die met Webex bezig zijn
of op afstand met heel veel mensen bezig zijn via digitale technologieën
zien dat een discussie niet goed mogelijk is.
Als ik een raadsvergadering bij de WRR voorzit
vind ik het ingewikkeld om een goede discussie te voeren.
Want soms is door elkaar heen praten, is ook constructief.
Op een gegeven moment moet je ophouden
maar door elkaar heen praten is soms functioneel.
En door elkaar heen praten in een digitale omgeving werkt niet.
ROBIN: Dus les op afstand, jij zegt: Oké, het werkt in principe goed
maar we moeten oppassen, dat zou een schaduwkant kunnen worden
dat is misschien geen einddoel.
-Nee, absoluut geen einddoel.
CORIEN: En wat je... Dat geldt wat minder voor de universiteit
alhoewel daar ook, maar je ziet het zeker voor de middelbare scholen:
het is niet iedereen gegeven, niet ieder gezin gegeven
om drie iPads en fancy computers in huis te hebben.
Dus je ziet dat maatschappelijke scheidslijnen ook hier aan de orde zijn.
ROBIN: Dus het legt ook weer de haves en havenots bloot.
CORIEN: Zeker.
-En die corona-app?
ROBIN: Dat heb jij misschien van een afstandje meegekregen.
Je hebt dat natuurlijk in de gaten gehouden, dat ging aanvankelijk best mis.
De hackathon noemden ze dat, iedereen kon zich er tegenaan bemoeien.
Hoe heb jij dat ervaren?
-Laat ik zeggen dat ik op dat moment
en dat was om gezondheidsredenen, het niet zo heel actief gevolgd heb.
Dus, ja, ik vind het moeilijk om daar iets goeds over te zeggen.
Maar wat ik in ieder geval nu zie
is dat het toch in redelijk omvangrijke mate omarmd wordt
dat er natuurlijk de haken en de ogen aan zitten...
Maar ja, kijk eens terug, hoe lang hebben we nu corona?
Acht maanden. Dit is een enorm project dat zo even uit de grond gestampt wordt.
Natuurlijk heb je dan vallen en opstaan.
Natuurlijk moet je dan leren en draai je aan knoppen.
Het is niet perfect aan het begin, maar als ik ernaar kijk van een afstand
dan denk ik: nou, best een compliment te geven
hoe de overheid uiteindelijk toch ook zich opengesteld heeft voor kritiek.
ROBIN: Ze hebben zich kwetsbaar opgesteld, ja.
Maar toch is er nog wel veel achterdocht onder de bevolking.
Is dat nou terecht of niet? Ik weet zelf ook niet wat ik er nou van moet vinden.
Of ik dat ding op m'n telefoon wil hebben of niet.
CORIEN: Ik denk dat die achterdocht niet zozeer te maken heeft
met deze specifieke corona-applicatie.
Die achterdocht hebben we, vind ik, zelf over ons heen gehaald.
En 'we' is dan even bijvoorbeeld de overheid.
Dat heeft ook weer te maken met het eerste punt: teveel techno-optimisme.
Op een gegeven moment keert de wal het schip.
Dan krijg je alleen de negatieve consequenties
van onvoldoende aandacht voor bijvoorbeeld privacy.
ROBIN: We zijn heel afhankelijk aan het worden van die digitalisering
en van die technologieën, is dat erg?
-Ik maak me er wel zorgen over.
ROBIN: Eigenlijk is tegenwoordig alles technologie en digitalisering.
Als ik naar het ziekenhuis ga, er bestaat geen papier meer.
Niks is nog analoog. De auto's sturen zichzelf, onze apps op onze telefoons...
Alles is digitaal en ehm...
Die technologie is vaak in handen van een klein aantal hele grote bedrijven.
Dan hoor je vaak van 'willen we dat eigenlijk? Is dat wel handig allemaal?'
Hoe zie jij dat?
CORIEN: Ja, dat is precies waar ik mij zorgen over maak.
Het is in handen van een klein aantal bedrijven die veelal in 't buitenland zitten.
Even als voorbeeldje cloudproviders, er is een handjevol...
mondiaal een handjevol cloudproviders dat voldoende in staat is
om al die data goed te herbergen.
Dat betekent dat in Nederland deels de overheid, deels het bedrijfsleven
eigenlijk bij dat handjevol bedrijven zit.
Nou, geopolitiek is ook steeds meer een issue bij digitalisering.
Dus geopolitiek in de zin dat oorlogsvoering langs digitale lijnen gaat.
Je kunt je een scenario voorstellen dat een hele grote cloudprovider, ehm...
object is van een aanval van een land.
Omdat je daarmee toch flink ontwrichtend bezig kunt zijn.
Stel dat dat het geval zou zijn, dan worden wij hier in Nederland ook geraakt
en dan ligt gewoon de stekker eruit.
Niet zozeer alleen maar voor de technologie als zodanig
maar zeker ook voor de data.
-Kunnen we ons daartegen wapenen?
CORIEN: We hebben als WRR vorig jaar een rapport uitgebracht
dat heet Digitale ontwrichting.
Centrale redenering daar is: 100% veiligheid bestaat niet.
Natuurlijk is cybersecurity, preventie, voorkomen van een hack cruciaal
maar tegelijkertijd: daar ben je er niet mee. De redenering van het rapport is:
het zal een keertje mis gaan.
Je hebt je ook van tevoren voor te bereiden op wat je dan doet.
ROBIN: Over die voorbereiding wil ik het straks hebben.
Daar wil ik straks op terugkomen.
Mag ik je een paar stellingen voorleggen? Waar of niet waar.
Het is natuurlijk veel te zwart-wit voor een genuanceerde dame als jij, maar...
CORIEN: Ik ben wetenschapper, hè.
-Je mag het toelichten.
ROBIN: De eerste: het kennisniveau in de Tweede Kamer
over de ontwikkelingen rond digitalisering is veel te laag.
Waar of niet waar?
-Eens.
ROBIN: We zijn nauwelijks voorbereid op digitale rampen.
Waar of niet waar?
-Waar.
Over 30 jaar is privacy een luxe uit het verleden.
Waar of niet waar?
-Niet waar.
ROBIN: Tweede Kamer heeft er niet genoeg verstand van?
CORIEN: Nee.
-Jeetje.
CORIEN: Ja, dat is redelijk strak, maar ik mocht maar zwart-wit zeggen.
ROBIN: Je mag hem nuanceren, maar je klinkt nog steeds alsof je het meent.

ROBIN LACHT

-Ja, ik meen het, maar ehm...
Laat ik zeggen: dat geldt niet alleen voor Kamerleden maar ook voor mijzelf.
Technologie is ongelofelijk ingewikkeld.
Dus a) vind ik het heel belangrijk dat er het besef is
dat dit iets complex is en dat we het vooral niet alleen moeten doen.
Dus dat we daarin gefaciliteerd moeten worden.
Deze podcast is voor de RijksAcademie, voor ambtenaren en ja, het is...
Het is gewoon zo belangrijk dat we ehm...
Zal ik het goed formuleren... Het is ongelofelijk belangrijk dat we...
Dat we bereid zijn af en toe te zeggen: Ik snap dit niet. Leg mij dit eens uit.
In plaats van je groot houden, 'technologie, daar weet ik alles van.'
Nee, ik bedoel, voor mij is het ook heel ingewikkeld
dus leg me het graag een keertje uit.
ROBIN: Kan je niet af en toe een gastcollege geven in de Tweede Kamer?
CORIEN: Ja, ik bedoel, niet alleen de WRR, maar er zijn...
Het Rathenau Instituut en anderen doen dat en...
ROBIN: Er gebeurt een hoop, hè?
-Eén puntje nog hier:
het ligt niet per definitie aan de leden van de Tweede Kamer zelf.
Het feit dat je onvoldoende kennis hebt ligt niet alleen aan jezelf.
Voor mezelf ligt er ook dus een opdracht om anderen te informeren.
ROBIN: We zijn nauwelijks voorbereid op digitale rampen, jij zegt: Dat klopt.
Jeetje. Vind ik ook eh, maak ik me ook zorgen over.
CORIEN: Nou ja... Mag ik erop reageren?
-Ja, graag.
CORIEN: Het rapport Digitale ontwrichting is voorbereid met ruim 100 interviews.
In bedrijfsleven, bij de overheid
bij gemeenten, uitvoeringsinstanties, nationaal, internationaal.
Wij hebben in al die gesprekken de vraag gesteld:
Stel de brand breekt bij u uit, een digitale brand
waar is dan de brandblusser, wie is de brandweer?
Welke bevoegdheden heeft die brandweer?
Wie belt u? Normaal als er een brand uitbreekt, bellen we 112.
We weten allemaal dat we 112 moeten bellen, maar wie belt u
op het moment dat er een digitale brand uitbreekt?
Antwoord: was er niet.
-Oeh, oké. Dus er ligt geen plan klaar.
ROBIN: Als er een aanval komt of als er systemen plat gaan
om welke redenen dan ook, dan is er geen plan.
CORIEN: Er ligt een plan op... Wat je ziet is dat het heel versnipperd is
en dat het per individueel bedrijf of individuele organisatie gaat.
Ik denk dat veel bedrijven en organisaties voor zichzelf dat plan hebben.
Maar typisch voor digitalisering en typisch voor een netwerksamenleving
is dat je niet meer in je eentje in dat netwerk zit.
Je bent afhankelijk van heel veel andere partijen.
We hadden het zojuist over grote aanbieders in het buitenland.
Als ik de vraag stel aan een bedrijf of aan een overheidsorganisatie:
Weet u met hoeveel bedrijven en andere organisaties u digitaal verbonden bent
en weet u langs welke lijntjes u kwetsbaar bent en plat kunt gaan?
Dat antwoord, ik denk dat ik dat van geen van allen
voor de volle 100% krijg.
-Ik denk dat je glazig wordt aangekeken.
CORIEN: En vaak blijft het ook een dingetje van de ICT-afdeling
terwijl, wat wij in het rapport zeggen:
Digitale ontwrichting heeft maatschappelijke effecten omdat
hè, je gaf het zelf al aan, digitalisering is met alles verbonden.
In de zorg zien we het op dit moment, maar ook al onze waterwerken.
Onze sluizen worden voor een belangrijk deel digitaal aangestuurd.
Dus die interactie tussen digitaal en fysiek, die is er overal.
En dat betekent dat digitalisering geen dingetje meer kan zijn
van een automatiseringsafdeling.
-Oké, we gaan een stappenplan maken
voor de mensen die nu denken: wat nu?
Oké, stap 1: je gaat dus in kaart brengen hoe ben jij met wie verknoopt
en van wie ben je eigenlijk afhankelijk?
Dat is stap 1, je gaat het gewoon in kaart brengen?
CORIEN: Ja, dat is wat we als een van de aanbevelingen in het rapport hebben:
maak een afhankelijkheidsbeeld.
-Oké, een afhankelijkheidsbeeld.
ROBIN: En je maakt misschien iemand daar verantwoordelijk voor.
En we gaan misschien in een regering
gaan we een staatssecretaris voor digitale veiligheid aanstellen
of een topambtenaar, weet ik het, die gaat dat doen.
Oké, dan heb je dat beeld en dan voel je eigenlijk al meteen:
oe, hier ben ik wel erg afhankelijk van die en die partij uit het buitenland.
Of: hé, hier zit wel heel erg veel data, als daar iets gebeurt...
Wat is dan stap 2?
-Stap 2 is nadenken over terugvalopties.
CORIEN: Langs al die lijntjes kan het fout gaan.
Hoe schakel je dan naar iets anders over?
-Ah, oké. Dus je legt een plan B neer.
ROBIN: Dit is hoe het loopt, als daar iets gebeurt kunnen we daarheen schakelen
als daar iets gebeurt, kunnen we daarheen schakelen, et cetera.
Dus je gaat overal plannen B construeren, je gaat het allemaal neerzetten.
CORIEN: Het gaat niet alleen over schakelen naar een ander systeem.
Soms is het ook goed om ouderwets de handjes uit de mouwen te steken
en het gewoon fysiek te doen.
-Kun je daar een voorbeeld van geven?
CORIEN: Wij spraken met een heel groot waterleidingbedrijf in Nederland
waarbij heel veel van die waterbekkens worden aangestuurd met computers.
Vroeger waren dat gewoon mensen die nadachten over de doseringen
van de hoeveelheid chloor om het water te reinigen, et cetera.
Nu zijn het volautomatische systemen die chloor toevoegen.
Dat kan natuurlijk ook gewoon weer... Niet dat je handmatig het chloor erin doet
maar wel dat in die systemen ingetypt wordt hoeveel er aan chloor in moet.
Dus het is belangrijk ook dat mensen de kennis behouden om dat te kunnen doen.
Dus niet alleen de handjes die voor handen moeten zijn, maar ook de kennis.
ROBIN: Oké, dat is stap 2. Is er nog een stap 3 of zijn we er nu wel?

CORIEN ZUCHT LACHEND

ROBIN: Die stap 2 kan natuurlijk ook uit een heleboel stappen bestaan.
Je kan het ook com... moeilijk woord, compartimenteren.
Dan is het natuurlijk ook in stap 2 een onderdeel die je erbij kan doen.
Dat als er iets gebeurt de schade beperkt blijft.
Net als bij die grote schepen als er een lek is
dan blijft het beperkt tot een bepaald deel van dat schip.
Zo kan het ook met data natuurlijk, denk ik dan.
CORIEN: Net zoals met een bosbrand, je maakt brandgangen.
Zodat je probeert dat de brand niet overslaat naar iets anders.
ROBIN: Zijn dat de belangrijkste aanbevelingen?
CORIEN: Misschien een illustratief voorbeeld is dat een paar jaar geleden
hadden we een hack bij het containerbedrijf Maersk.
Toen lag in de Rotterdamse haven ook de Maesk...
Maersk, moet ik zeggen, Terminal plat.
Dat betekende dat containers, daarvan wist men niet meer wat erin zat.
Heel veel vrachtauto's kwamen aanrijden, konden die containers niet meer lossen.
Grote zeeschepen konden hun containers niet meer lossen.
En, ehm, wat ook onbekend was, was of...
Laat ik zeggen of er verspreidingseffecten van de hack waren.
Dus burgemeester Aboutaleb, voorzitter van de Veiligheidsregio, zei
ik zeg het even heel simpel, hè
zei tegen een van z'n mannen of vrouwen van de Veiligheidsregio:
Ga eens even poolshoogte nemen bij Maersk.
Ga eens even uitvragen hoe ernstig de situatie daar nu is.
Of ze het in de hand hebben, ja of nee. Nou, ehm...
De betreffende persoon van de Veiligheidsregio stond bij Maersk
wederom, ik zeg het simpel, maar stond aan de poort bij Maersk
en Maersk zei: Je komt er niet in.
Als je probeert de vergelijking te maken met de brandweer die komt voorrijden
wij zeggen toch ook niet tegen de brandweer: 'U komt er niet in'?
ROBIN: Heeft u een afspraak?
-Kortom: wat is de bevoegdheid
van de overheid, als je de digitale brandweer hebt
wat zijn de bevoegdheden van die digitale brandweer
om bijvoorbeeld bij bedrijven te kunnen interveniëren
om escalatie te voorkomen?
ROBIN: We kennen die mensen gewoon helemaal niet eens.
Dus dat is ook wel iets...
-We hebben gezegd:
Ook in het belang van het bedrijfsleven kan het niet zo zijn
dat er op de bluf van alles en nog wat op enig moment gedaan wordt?
Ik denk dat de meerderheid van de luisteraars van deze podcast
zich DigiNotar nog wel herinnert.
Maar bij DigiNotar destijds hebben we ongelofelijk veel op de bluf gedaan.
We hebben gewoon een belletje gedaan, heel simpel
naar een groot Amerikaans bedrijf om een update uit te stellen.
Ja, ehm... Willen we dingen op de bluf doen?
Dan moeten bedrijven dus ook gehoor geven
aan een overheid die even iets op de bluf doet?
ROBIN: En dan gaat het ook nog zo hard ook met die digitalisering.
Er komt alleen maar meer bij.
Hebben we met z'n allen wel in de gaten hoe hard het werkelijk gaat?
CORIEN: Ik denk dat... Nee.
Mijn antwoord is nee, omdat ik het zelf niet weet.
Niet dat ik de maat niet... Daarmee wil ik niet zeggen dat ik...
Misschien even naar corona nu.
De discussie over mondkapjes is al heel ingewikkeld.
Ehm... Terwijl je zou kunnen zeggen:
Nou ja, mondkapje, ik kijk er eens naar en het oogt simpel hoe dat in elkaar zit.
Ik weet niet zoveel van dit virus, maar het is redelijk tastbaar en zichtbaar.
Digitalisering, het kenmerkende daarvan is dat we het helemaal niet zien.
Niemand ziet wat er precies in z'n auto aan digitale applicaties zit.
Niemand ziet op de universiteit hoeveel systemen wij hebben draaien.
Niemand weet...
We beseffen dat wel dat sluizen op afstand worden bediend in Nederland
maar hoeveel applicaties daar draaien
welke leveranciers daarvoor verantwoordelijk zijn
volgens mij... Ik weet het niet en ik denk dat niet veel mensen het echt weten.
ROBIN: Oké, en daar komen we dan weer terug op ons stappenplannetje
waar we net een voorzetje voor gemaakt hebben.
Zorg dus dat je constant dat in kaart houdt voor jezelf.
Waar zit ik nou eigenlijk naar te kijken?
CORIEN: Ja, als je de keuze maakt om een systeem te implementeren
of te updaten, conversie naar een nieuw systeem
breng het in een totaal in kaart.
ROBIN: Ik wil met je een paar terreinen doornemen
waar digitalisering potentieel grote invloed heeft of oplossingen kan bieden
maar waar misschien ook schaduwkanten zijn.
Klimaatverbetering of voor onze gezondheid of transport, slimme steden...
Maar er is er eentje die er steeds een beetje overheen hangt
en dat is kunstmatige intelligentie, slimme algoritmes die ons gaan helpen.
Is dat iets waar we ons druk over moeten maken
van 'jongens, pas nou op dat dat niet te hard gaat'?
Help me een beetje.

CORIEN EN ROBIN LACHEN

ROBIN: Maak je je er zorgen over? Dat is misschien een makkelijke eerste vraag.
CORIEN: Of ik me er zorgen over maak, ehm...
Ja, ik... Ja.
Ik kan een lang verhaal ophangen met ik weet niet hoeveel nuances
maar de bottom line is dat ik me er zorgen over maak.
ROBIN: Bijvoorbeeld één ding hè, dat is iets waar ik zelf gelijk over nadenk
want er gebeurt een heleboel, als ik het hierover heb, in mijn hoofd:
we weten vaak niet eens hoe die kunstmatige intelligentie werkt.
Het is gewoon een black box, noemen ze dat geloof ik.
Dan denk ik: goh, dat vind ik al wat eigenlijk. Toch?
CORIEN: Ja, dat het systeem uiteindelijk zelf patronen...
Hè, dat is de kern: je voedt het systeem met een hoop data
en daarmee train je het systeem
en op een gegeven moment herkent het systeem zelf bepaalde patronen
en gaat zelf aan de slag.
Ja, en dat is natuurlijk voor ons mensen, ehm...
best wel creepy, zou je het kunnen noemen.
En ik denk, wat het ook nog creepy maakt is precies die black box.
Dat we eigenlijk nog geen goede technologie en technieken hebben
om die box te openen en even erin te kijken 'hoe gaat dat nou precies?'
En dat heeft te maken met het puntje dat ik eerder maakte:
het is niet tastbaar, je kunt het niet zien.
ROBIN: Maar wat moeten we er dan mee? Als jij het voor het zeggen zou hebben?
Wat gaan we daarmee doen?
-Nou, kijk, het is heel belangrijk
'hoe train je het systeem?' dus het is...
Waar ik voor wil waarschuwen is te veel aandacht voor alleen die black box.
We hebben natuurlijk best wel een aantal zaken in de hand.
In ieder geval hebben we in de hand met welke data we het systeem trainen.
Daar maken we keuzes in, dus het is niet zo dat we volstrekt afhankelijk zijn
van dat intelligente systeem dat zelf ineens iets gaat doen.
Nee, aan den beginne staan we zelf
met de data die we aan het systeem voeden.
Dus daar hebben we wel degelijk het een en ander te zeggen.
Even helemaal terug weer naar dat techno-optimisme
en het punt dat ik daar maakte: het is niet deterministisch.
De technologie is niet deterministisch
in de zin dat we aan de zijlijn staan als mens en het gaat gebeuren.
Nee, het is een interactie tussen mens en techniek
en wij moeten onze rol pakken.
En we moeten scherp krijgen waar we die rol kunnen pakken.
En aan het begin staat altijd in deze de mens.
ROBIN: In politiek Den Haag wordt wel gerept over de term 'algoritmewaakhond.'
Er moet misschien een instantie komen die die algoritmes in de gaten gaat houden.
Is dat werkbaar, denk je?
-Nee.
ROBIN LACHT Maar wat dan?
CORIEN: Ik zal toelichten waarom ik...
Kijk, we hebben ik weet niet hoeveel waakhonden.
Dat zijn uitstekend functionerende instanties.
De kritiek die je erop kunt hebben is dat we er steeds meer krijgen
en we het risico lopen dat ze langs elkaar heen werken.
En het puntje dat ik eerder maakte: digitalisering is iets van techniek
en fysiek en mensen, en je moet het niet apart zetten.
Je moet niet iets aparts maken, het is een integraal onderdeel van onze samenleving.
Zie het zo, benader het zo en zet het niet apart weg.
Ook niet met een toezichthouder.
Dus je hebt natuurlijk expertise nodig, maar die moet je gewoon op orde hebben
in de bestaande organisaties, niet iets unieks daar hier voor maken.
ROBIN: Als je naar de zorg kijkt, daar speelt digitalisering een steeds grotere rol.
Dat biedt kansen voor diagnostiek, eh...
robots in de operatiekamers, het wordt allemaal beter en sneller
en we worden misschien nog wel gezonder ook.
Zijn daar schaduwkanten?
-Ja.
CORIEN: Laat ik zeggen: we gaan niet in herhaling in de zin van
de data waarmee je het systeem traint, dus ook in de gezondheidszorg
maar meer algemeen digitalisering, even weg van kunstmatige intelligentie...
Mijn echtgenoot is huisarts.
In het begin van de coronacrisis ging hij heel veel videobellen
omdat patiënten angst hadden om naar de praktijk te komen.
Maar, ja, voor een deel is dat toch een verschraling, een verarming
en kun je niet alles wat je in de spreekkamer bespreekt
in de intimiteit van een spreekkamer langs de digitale lijn doen.
Voelen van mensen kun je niet langs de digitale lijn doen.
Dus zorg is meer dan gezondheidszorg, zorg is aandacht voor mensen.
En ik vind het nog steeds ingewikkeld om met digitale technieken
de volle aandacht aan mensen te geven.
ROBIN: Oké, dus we moeten oppassen dat we niet denken: dat werkt toch prima?
Dit wordt de nieuwe norm...
-Precies, dus het is een combinatie.
ROBIN: Oké, die snap ik. Klimaat, kansen en schaduwkanten?
Daar kun je natuurlijk ook alle kanten op met digitalisering.
CORIEN: Met digitalisering zullen in ieder geval veel modellen verbeterd worden.
Dat zie je nu al, hè.
Allerlei modellen over het smelten van de ijskappen
ja, dat kunnen wij als mens nooit meer uitrekenen.
Dat is wat digitale techniek vermag en ons biedt.
Ik zit een beetje voor mezelf na te denken over de negatieve zaken daar.
Ja, misschien te veel geloof daarin.
-Ja, ik weet het eigenlijk ook niet zo.
ROBIN: Als het gaat over die slimme steden ben ik wel bezorgd.
Dat biedt natuurlijk kansen, we krijgen veel meer informatie, datastromen.
Maar daar moet ik denken aan al die camera's en sensoren
die ons heel de dag door aan het vastleggen zijn.
Daar zie ik wel een privacydingetje op ons afkomen.
Zie jij die ook?
-Ja, absoluut. Ja.
CORIEN: Ik probeer weleens in gedachten na te denken
of ik nog, ehm, ja, deze wereld zou kunnen ontsnappen als het ware.
Ik geloof dat er zelfs een tv-programma was waarin mensen dat probeerden.
Maar als je probeert na te denken of je überhaupt nog 10 dagen
weg van de wereld kunt zijn, zonder digitale technologie...
ROBIN: Gewoon van de radar verdwijnen.
-Niet alleen een camera
maar ook het trekken van geld uit de muur...
Nou, noem het... De poortjes in het openbaar vervoer, ja...
Dus anoniem zijn kan niet meer.
En ehm... Even terug naar die slimme stad.
We voeren vaak een discussie over privacy
we voeren vaak een discussie over camera's
maar eigenlijk zouden we de discussie ook moeten voeren
inderdaad over die intensiteit: hoeveel willen we er eigenlijk van?
Dus niet alleen de camera als zodanig, maar, ja, ehm...
ROBIN: Maar dat vind ik wel een mooie om mee te eindigen.
Jij zegt eigenlijk: We zouden veel meer iedereen moeten betrekken
bij een soort debat over in wat voor wereld willen we eigenlijk leven?
Eigenlijk is dat ook wat je zegt, wat willen we nou met al die technologie?
CORIEN: Ja, en wat levert het ons op en ehm...
Uiteindelijk, als we met elkaar concluderen dat het voordeel daarvan opweegt tegen
dan nog vind ik het belangrijk om het volgende signaal af te geven:
in mijn colleges zeg ik vaak... Nee, laat ik het iets anders formuleren.
Studenten zeggen dan tegen mij: Als iedereen zegt 'privacy is niet relevant'
waarom is dat dan erg? De meerderheid beslist, toch?
En mijn antwoord is altijd: privacy is meer dan iets individueels.
Privacy hebben we niet voor niks in onze Grondwet neergelegd
als iets wat we als samenleving belangrijk vinden.
Dus het is een inherent kenmerk van onze samenleving.
Je wilt ook niet dat de vrijheid van meningsuiting wordt afgeschaft
als 80% van de Nederlanders vindt 'ach, dat vinden we niet meer belangrijk.'
Dan ga je ook niet de vrijheid van meningsuiting afschaffen.
Omdat het een inherent onderdeel is van het type samenleving
dat we graag willen zijn, en dat geldt ook voor privacy.
En dus betekent het dat we met elkaar inderdaad moeten kijken van...
Je had een stelling over privacy, over 30 jaar, 20 jaar geloof ik.
Mijn antwoord was dat het nog steeds dan een relevant concept was
en een relevante waarde, omdat wij allemaal een soort creepy gevoel krijgen
denk ik, ik kan me niet voorstellen dat er mensen zijn die dat niet krijgen
als overal en nergens camera's hangen, zelfs tot en met in je huis.
ROBIN: Ik ben blij dat er types zoals jij zijn
om dit soort ontwikkelingen in de gaten te houden.
Je hebt er een paar mooie rapporten over geschreven.
Laatste vraag: waar ga jij de komende tijd je tanden in zetten?
We presenteren als WRR volgend jaar een rapport over KI en publieke waarden.
Dus daar zetten wij momenteel
samen met een projectgroep binnen de WRR onze tanden in.
ROBIN: Aah, en waar gaat dat dan precies over?
CORIEN: We hebben een aanvraag gekregen van het kabinet
concreet geloof ik 11 verschillende ministeries
die de WRR hebben gevraagd om een denkkader en handvatten te geven
voor de omgang met kunstmatige intelligentie
vanuit het waarborgen van publieke waarden.
ROBIN: O, wauw. Nou, dan spreken we elkaar over een jaartje weer.
CORIEN: Ja, zou prachtig zijn.
-Staat genoteerd.
Dank je wel, Corien Prins, voorzitter van de WRR
en hoogleraar Recht en Informatisering in Tilburg, hè, moet ik daarbij zeggen?
CORIEN: Ja, klopt.
-Succes met het rapport
en luister ook de andere aflevering van De digitaliseringsepidemie terug
en ga hiervoor naar de website van RADIO.
Dat is it-academieoverheid.nl
of zoek De digitaliseringsepidemie op op Spotify of op Apple Podcasts.

MUZIEK