Webinar Algoritmes voor bestuurders

Welkom allemaal, bij deze webinar Algoritmes voor bestuurders.
Mijn naam is Shieltaa.
Ik heb ruim 20 jaar ervaring met werken met algoritmes in de overheid.
Hands on-ervaring en econometrist van huis uit
en in de afgelopen 10 jaar wat meer leidinggevende rollen gehad
in de verschillende organisaties bij de overheid.
Vanuit die ervaring neem ik jullie vandaag graag mee
in dat wat ik goed heb zien gaan, maar ook de klassieke valkuilen.
Dan hopen we dat we daar samen mee kunnen leren.
Ik dank hier natuurlijk RADIO.
Echt fantastisch dat zij de kans geven om deze ervaring te delen
ten behoeve van de overheid.
En ik dank jullie allemaal voor jullie aanwezigheid en aanmelding vandaag.
Ik ben verder vrijgezel, ik heb mijn leven toegewijd aan dit onderwerp.
Ik zou graag willen weten wie ik in de digitale zaal heb zitten.
Ik zou daarom willen aftrappen met een poll.
In die poll wil ik jullie vragen:
wat is jouw beleving als het gaat om het inzetten van algoritmes?
Voor veel mensen is het nog een buzzword.
Een black box-gehalte, veel tegenstrijdigheden.
Sommigen hebben er wel een duidelijk beeld bij, maar hun omgeving niet.
Wellicht zijn er ook mensen in de zaal die zeggen:
Met mijn organisatie zitten we in de trein, neuzen dezelfde kant op,
en bewegen we in dezelfde cadans. Dat zou bijzonder zijn.
Ik ben erg benieuwd of we van die lucky mensen in de zaal hebben zitten.
Ik heb collega's in de zaal.
Dus als ze zeggen: ik heb er zelf een duidelijk beeld bij,
welkom, speciaal, collega's, dat jullie er zijn.
Ik heb een voorstelling bij wie dat zouden kunnen zijn.
Fijn dat jullie hier ook zijn.
In de chat is er natuurlijk gelegenheid om nog aanvullingen te doen
of opmerkingen te plaatsen bij het verhaal dat we vertellen.
Ik zie toch dat de meeste mensen toch merken dat er die tegenstrijdigheden zijn
en ook natuurlijk dat black box-gehalte dat over algoritmes heen blijft dwalen.
Dat kan ik me ook wel voorstellen.
Als we kijken naar de term algoritmes, komen er nog veel meer termen voorbij.
In mijn ervaring hangt het erg af van aan wie je het vraagt en met wie je praat.
Is dat een datascientist, zoals ikzelf?
Is dat meer een programmeur? Is dat iemand met domeinkennis?
Of is dat meer een bestuurlijke positie?
In dat gesprek zit vaak ook wel veel emotie.
We hebben het over privacy, discriminatie.
Mijn tip is: ga er niet vanuit dat je gesprekspartner hetzelfde beeld heeft
als het gaat over algoritmes, als jij.
Geef ook vooral ruimte aan die emotie.
Dit verhaal kennen wij. Google, algoritmes, waar zijn ze voor?
Ze zijn niet meer weg te denken uit ons dagelijks leven.
Want waarom toch naar dat gesprek over algoritmes?
We gebruiken ze allemaal. Elke dag. Om boodschappen te bestellen.
Sommigen vinden onze partner met behulp van algoritmes.
Als we kinderen krijgen,
weet YouTube ze uren zoet te houden met het ene filmpje na het andere.
Dat is een gemak dat algoritmes ons leven geven.
Daar zijn we toch wel gewend aan geraakt.
Dat gemak, vandaag besteld, morgen in huis,
dat is het gemak en de dienstverlening die wij vragen van de overheid.
De overheid probeert daar ook echt invulling aan te geven.
Er zijn gemeentes waarbij je je digitaal kunt inschrijven bij de gemeente.
De vooraf ingevulde belastingaangifte kennen we ook,
daar zijn we gewend aan geraakt.
Voor wie terug wil naar de oude tijd... Ik niet in ieder geval.
Ook het RDW, daar kun je in ieder geval ook nu...
Ze beginnen met pilots om online je rijbewijs te verlengen.
Dus die snelheid is er.
Die toenemende digitalisering, daar is ook kritiek op.
Als je kijkt naar het AP, maar ook de Volkskrant heeft daar kritiek op geuit.
Moeten we wel zo snel willen? Is dat wel goed voor ons?
Die artikelen kun je lezen, maar dan moet je wel alle cookies accepteren.
Daar gaan we weer met algoritmes.
Succesvol digitaliseren.
AI, artificial intelligence, waar algoritmes onder vallen, staat daarbij.
Dus dat digitaliseren, daar horen algoritmes bij.
Dat is omdat we kijken naar de data.
De datapositie van de overheid, daar is heel veel over te zeggen.
Maar het is gewoon niet meer weg te denken uit het werk van de overheid.
Datagedreven werken, het is geen suggestie.
Het is een necessity, een noodzakelijk deel van ons werk kunnen doen.
We hebben geen zicht meer op de winkel.
Die staat niet meer fysiek in onze wijk waar we iedereen kennen.
We hebben geen beeld bij de klanten die er komen. Het gebeurt allemaal digitaal.
De archiefkast waar alle formulieren in zitten, staat ergens in de cloud.
Dus data is heel erg nodig voor ons werk.
We willen die snellere service geven aan de burger.
Maar dat betekent ook dat wij als overheid veel sneller moeten toetsen.
Als je je wilt inschrijven bij de gemeente,
moeten wij als overheid dus veel sneller toetsen of dat wel kan en wel mag.
En of dat adres wel past, vindt de eigenaar dat wel goed?
En nog veel meer zaken die we moeten toetsen daarvoor.
Als je je inschrijft met je rijbewijs, je ID, ben jij wel wie je zegt dat je bent?
We hebben ook dingen als het ZSM-loket,
waar we bij lichte vergrijpen snel, maar wel afgewogen besluiten willen nemen.
Als je als medewerker dat moet doen door handmatig
vergelijkbare cases met vergelijkbare uitspraken te gaan zoeken,
dan gaat het snelle er wel vanaf.
Dat is waar algoritmes een helpende hand bieden.
Als het op die medewerker neerkomt,
willen we natuurlijk allemaal een uniforme verwerking.
Het mag niet afhankelijk zijn van naar welk loket of welke gemeente je gaat.
Dat zou niet mogen uitmaken in hoeverre je wel of niet door de toetsing komt.
Wetgeving, laten we het daar ook even over hebben, wordt steeds specifieker.
Het lijkt soms meer over de uitzonderingen te gaan,
dan over de generieke lijn.
Maar dat maakt het ook allemaal nog complexer om goede besluiten te nemen.
Besluiten die dagelijks worden genomen
door tienduizenden overheidsmedewerkers,
die dus dagelijks honderdduizenden besluiten moeten nemen
en daarvoor die data moeten verwerken, die informatie moeten verwerken.
Dan kijken we naar die algoritmes.
Waarom hebben we daar dan toch zoveel van doen,
want dit gebeurt toch al jaren, al die besluiten?
Klopt, ik vond een mooi voorbeeld van professor Marijn Janssen van TU Delft.
Die maakt dat voor mij zo mooi helder.
Als het gaat om algoritmes, neem het voorbeeld van de zelfrijdende auto,
daar zijn we heel veel strenger voor.
Zo'n zelfrijdende auto mag nul doden maken.
De marge voor fouten daar is nul.
Als we kijken naar het sterftecijfer in Nederland met mensen aan het stuur,
dan is die wel meer dan nul. Dan accepteren we veel meer.
We doen het veel beter met z'n allen, dankzij de gordel in 1970.
Maar het is nog steeds... De marges zijn anders.
Dus het menselijk handelen mag veel meer falen en algoritmes niet.
Dat stelt strenge eisen aan de algoritmes,
maar ook aan het hele proces dat algoritmes voortbrengt.
De data, de systemen, de mensen die daarmee werken,
die moeten snappen wat zo'n algoritme doet, wat het zegt, wat het niet zegt.
De processen die we hebben
om de uitkomsten van algoritmes af te handelen.
En natuurlijk ook veel meer eisen aan de risicobeheersing.
Want nul foutmarge en strengere eisen
betekent een veel stringentere risicobeheersing
om te voorkomen dat die fouten worden gemaakt.
Dat zijn algoritmes.
Dan hebben we het over de overheid. Algoritmes in de overheid.
De overheid heeft wat ik noem het datamonopolie.
Er is geen tweede belastingdienst. Er is ook geen tweede UWV of tweede SVB.
Als burger kun je kiezen of je een bonuskaart aanschaft of niet,
maar je kan niet kiezen of je inkomstenbelasting doet.
De aangifte inkomstenbelasting is geen keuze.
Dus de overheid heeft een bijzondere datapositie.
Daarnaast heeft de overheid dus een beschermende plicht.
Als we het hebben over Albert Heijn,
is het heel aannemelijk dat Albert Heijn commerciële belangen heeft.
Ergens weten we dat.
Als we kijken naar de overheid,
dan heeft de overheid een beschermende plicht aan ons.
De overheid mag niet zomaar data gebruiken,
maar als er ergens in een schuur een gehandicapte verwaarloosd zit,
waarbij de PGB bijvoorbeeld wordt geïnd,
vinden wij met z'n allen dat de overheid dat moet weten en moet ingrijpen.
Dus we hebben ook een beschermende plicht.
Hier wordt het dus complex.
Een burger weet dus niet meer wanneer hij beschermd wordt door de overheid
en wanneer hij beschermd moet worden door de overheid.
Als dat antwoord ook nog eens verschilt per burger,
dus niet voor elke burger gelijk is, wordt het echt heel ingewikkeld
hoe wij met algoritmes omgaan.
In deze webinar geef ik een top 10 tips mee
hoe je daar rekening mee houdt.
Hoe zoek je de balans tussen beschermen en beschermd worden
ten behoeve van de burger die wij dienen?
Ik begin met een samenvatting.
Het begint bij bestuurders.
Daarvoor zitten wij vandaag hier. Wat is de rol van bestuurders in dezen?
Een hele grote.
Het gaat al over welke samenwerkingspartner we kiezen.
In heel veel organisaties waar ik kom, zeggen ze:
alles gebeurt bij ons intern, onze data blijft intern staan.
Ik kies niet voor een samenwerkingsvorm
waarbij de data uit de organisatie moet naar een andere partij.
Want dat brengt risico's met zich mee. Dat is ook zo.
Aan de andere kant is het ook een manier juist om je risico te verdelen.
Niet alle risico's moeten door jou als organisatie beheerst worden.
Je kan ook je data daar neerzetten,
in een organisatie die daar gespecialiseerd in is bijvoorbeeld.
Aan de andere kant, het wil natuurlijk niet zeggen
dat als je het als overheidsorganisatie zelf doet,
dus ervoor kiest om niet met samenwerkingspartners op te trekken,
of die juist naar binnen te halen,
dat wil niet zeggen dat je niet goed moet nadenken over welke data je gebruikt.
Of de doelbinding daar wel passend is.
Het nadeel daarbij is dat je bij je eigen organisatie vaak die data kan gebruiken.
Er zijn medewerkers, die kunnen bij die data.
Dat wil niet zeggen dat het mag.
Met een samenwerkingspartner, die kan niet bij de data.
Tenzij jij die data daar naartoe brengt.
Dus er zijn voor- en nadelen. Die moeten heel goed worden afgewogen.
Samenwerkingspartners kunnen ook zijn: universiteiten en de wetenschap.
Het hoeven niet altijd de operationele partners te zijn.
Het kunnen ook de intelligentiepartners zijn,
die kennis en de wetenschap binnen de organisatie brengen
op het nieuwe gebied van algoritmes.
Een andere die ik vaak tegenkom, data science noemen ze het dan.
Is data science nou onderdeel van een innovatie-impuls
of is het bedoeld voor het optimaliseren van je huidige growing concern?
Volgens mij zit Marjolein Boonstra in deze sessie.
Dat is echt een innovatieprogrammamanager.
Bij innovatie komt er echt veel meer kijken
dan data science of algoritmes toepassen
voor het optimaliseren van je growing concern.
Innovatie betekent dat je bereid bent om je processen aan te passen,
om heel andere dingen te gaan doen.
Je weet nog niet wat, maar dat is de innovatie.
Dat ben je bereid aan te gaan.
Je risicobereidheid is daarmee groter.
De impact op je organisatie is groter.
In de praktijk zie ik toch wel vaak gebeuren dat we het innovatie noemen,
maar feitelijk bedoelen we optimaliseren van ons eigen growing concern.
Niet te veel verandering en niet te snel.
Ook al zien we de mogelijkheden, erkennen we de waarde,
daar zijn we gewoon niet toe bereid als bestuurder.
Doe dat niet aan het einde, doe dat niet wanneer je al met een heel team
hebt gewerkt aan de mogelijkheden.
Ga dan niet dan pas besluiten dat dat niet is wat je wil.
Begin aan het begin, denk na: hoe groot is de innovatie-impuls
die je wil geven door de toepassing van algoritmes?
Het is dus onderdeel van de cultuurverandering.
Als je verandering gaat brengen in processen of taken die je doet,
nieuwe taken gaat uitvoeren, dan heb je een grote verandering te pakken.
Het is heel belangrijk als bestuurders om na te denken of dat echt is wat je wil.
Of is dit een losstaand experiment ergens in de organisatie
om te kijken wat we met data science en algoritmes kunnen?
Of is het iets dat je zegt: dit is onderdeel van datagedreven werken.
Het is een datagedreven cultuur die ik wil inbrengen.
Daar wil ik mijn hele organisatie naartoe brengen.
Dan is je impact veel groter. En die impact moet je dus organiseren.
Dat gaat het algoritme niet voor je doen.
Maar door de strengere eisen die we hebben aan de algoritmes,
gaat het wel vereisen van de rest van je organisatie,
wil je het goed implementeren, dat we gaan veranderen.
Daar moet je wel toe bereid zijn.
Dan krijg je nog zaken als: hoe gaan we om met transparantie?
Fairness? Wat is de rol van de burger?
Is die onderdeel van deze leercurve met algoritmes of niet?
Want leren mag, maar fouten maken niet.
Hoe gaan we daarin balanceren? En hoe erg is het?
We hebben gezien dat het heel erg kan zijn als je er met algoritmes naast zit.
We hebben het ook gehad over de kennisgap.
Ben je als bestuurder bereid om je O&F aan te passen
met rollen die de kennisgap invullen?
Hoe gaan we daarmee om?
Dan hebben we het nog over algoritmes en de eisen aan de informatie.
Ik heb het gehad over dat het ook eisen stelt aan de voortbrengingsketen,
Dus ook aan de data, dus ook aan je informatiestrategie.
Wat je daarmee gaat doen.
Is dat opgenomen al in je informatiestrategie?
Denk aan iets heel concreets als bewaartermijnen.
Als we allemaal in de cloud gaan zitten en we hebben back-ups,
hoe gaan we daarmee om?
Dat is ook onderdeel van je i-visie en je strategie.
Dus heel belangrijke zaken.
Wat het betekent, is dus dat het als bestuurder heel belangrijk is
dat we nadenken over het gewenste effect dat we willen met algoritmes.
Denk aan de burger, die is sneller, beter, geïnformeerd.
Aan de medewerker die de informatie wil bieden,
die hem helpt om de besluiten te nemen, de uniformiteit in organisaties.
Welke effecten willen wij en hoeveel risico zijn wij daarvoor bereid te lopen?
Dat is de afweging voor een bestuurder.
Waar begin je dan mee? Het is heel simpel.
Begin met het stellen van de vraag. Ga de vragen stellen.
Stel dat aan je mensen, stel het aan je team, stel het aan je staf.
Want over de onderwerpen als transparantie, fairness en...
de rol van de burger, daar is beleid voor nodig.
Dit is niet van: een beleidsdepartement staat los van de uitvoering.
Dit zijn onderwerpen. Het beleid op deze onderwerpen moet samen gebeuren,
omdat het heel contextgevoelig is.
Als wij een algoritme bouwen voor schuldhulpverlening
heb je een heel andere context te pakken
dan wanneer je een algoritme bouwt om bijvoorbeeld fraude op te sporen.
Die context is dus heel belangrijk om te komen tot goed beleid.
Je hoort dat veel vaker.
De drang voor beleid en uitvoering om elkaar veel meer daar op te zoeken.
Als het gaat om algoritmes zijn die onlosmakelijk met elkaar verbonden.
Zeker als je gaat beginnen met algoritmes.
Heel belangrijk dat je daar ook je beleidsthesis in meeneemt.
Dus bestuurders, daar hoort op gestuurd te worden.
Je kan dat op verschillende manieren inrichten.
Een stuurgroep met beleid en uitvoering bij elkaar,
die dan over het programma van algoritmes gaan.
Maar de betere programmamanagers wensen wel
dat als het gaat over algoritmes, het beleid er heel dicht bij betrokken is.
Het is een gevaar als dat niet gebeurt.
Dus ik wil hier bij dezen voor waarschuwen.
In de top tien, die komt hierna, ga ik verder in op tien tips
hoe je dan de goede afweging kunt maken en waar het dus wel of niet werkt.
De burger, ja, daar hadden we het over.
Begin bij de burger. Maak daar bewuste keuzes in.
Op welke wijze wil je de burger betrekken?
Ga je het zenden? Ga je het hem vertellen en hem informeren?
Ga je input ophalen of ga je een heel dialoog organiseren?
Welke rol geef je de burger
als jij als organisatie aan de slag gaat met algoritmes?
Waar in het proces krijgt deze burger zijn plek?
Is dat aan het begin? Is dat aan het eind?
'Nou, dit is wat we hebben gedaan, we zijn transparant en dit is wat we doen.'
Of waar in het midden?
Als het gaat om die extra eisen die we hebben aan algoritmes,
zeker in de overheid, dan moeten we altijd net iets extra's doen.
Bij dat beetje extra's als het gaat om de burger,
moet ik altijd denken aan Maarten, Maarten Brackel.
Hij was communicatiehoofd in het programma waar ik heel lang in werk,
nu nog steeds.
Bij elk overleg, het was niet altijd even prettig, dat geef ik eerlijk toe,
was Maarten er, kwam Maarten, en dan zei hij:
'Wat vertel ik hiervan aan de burger?
Ja, jullie gebruiken allemaal verschillende termen.
Model, systeem, profiel, analyse, signaal. Wat is het nou?
Hoe moet de burger dit begrijpen?'
Bij elk overleg: wat is het voor de burger?
Wat betekent het voor de burger? Hoe leggen we dit aan de burger uit?
Constant. Maarten is al een paar jaar niet meer bij het project,
maar ik hoor hem nog steeds. Dat is dat stukje extra.
Ja, je doet wat je moet doen, maar je pusht nog je team
om extra na te denken, een extra stap te zetten als je bezig bent:
Wat betekent dit voor de burger?
Dat bewustzijn erin printen. Letterlijk. De burger.
Kennis, specialistische kennis.
Ik heb het hier al even over gehad.
Je kan op verschillende manieren de samenwerking zoeken.
Je kan de externen naar binnen halen.
Ik kom ook wel eens tegen dat een trainee hoofd datascientist is.
Dat kan als je beperkte middelen hebt. Dan gebeurt dat.
Maar betrek ook de wetenschap, zou ik zeggen.
Algoritme is een onderwerp dat heel erg snel gaat.
In de wetenschap zijn er heel veel mooie ontwikkelingen.
De Erasmus Universiteit doet ook mooie dingen,
maar ook in Utrecht, Groningen heb ik altijd meerwaarde gezien
als zij betrokken werden in programma's.
Die balans tussen intern en extern, ik praat er openlijk over.
Dit is het gesprek dat we moeten hebben met elkaar.
Tijdens het gesprek dat er vaak speelt.
Kies je balans, kies wat voor jou als organisatie past.
Ik geef jullie dit mee: als je percentage externen hoog is,
en je rondt je programma, je project, af en gaat het inbedden in je organisatie,
reken dan 1-2 jaar extra tijd om de eigen mensen, de verambtelijking,
de kennisgap te dichten.
Dat zie je ook vaak, het blijft bij proeven, proeftuinen, pilots hangen.
We krijgen het niet zo makkelijk naar implementatie als 't gaat om algoritmes.
Een van de redenen is dat we een te hoog aantal externen hebben gehad.
Dan heb je te maken met een langere doorlooptijd.
Ik zeg niet dat het verkeerd is, ik zeg:
Hou er rekening mee dat de implementatie langer gaat kosten.
Voor de toepassing van algoritmes zelf...
Er zijn heel mooie normenkaders, nieuwe richtlijnen van JenV.
Er zijn ook Europese richtlijnen.
De directrice, ik ben haar naam nu even kwijt,
van de ADR, heeft ook zelf gezegd: het is geen checklist, dat normenkader.
Het is een handvat om dat dialoog aan te gaan.
Maar kijk er zeker naar, want je geeft wel reden tot gesprek.
Je kunt niet alles in kennis en contracten en vastlegging doen.
Vertrouwen en het cultiveren van vertrouwen is heel erg belangrijk.
Je kan niet alles met checks and balances inrichten.
Dus de rol van relatiemanagers is onmisbaar.
Ik heb echt het genot gehad, de luxe gehad
om met heel goede relatiemanagers te mogen werken.
Relatie met de samenwerkingspartners, de ketenpartners,
maar ook als het een organisatie is en je moet binnen de organisatie
het algoritmeverhaal, het data science-verhaal vertellen,
datagedreven werken gaan promoten. Dan is zo'n relatiemanager onmisbaar.
In ieder geval, die rol moet belegd worden.
Waarom? Het is een eigen competentie.
Dit zijn de mensen die het gesprek aangaan, we hebben het erover gehad.
Bij algoritmes komt heel veel emotie kijken.
Er liggen heel veel gedachtes en ideeën bij.
Daar moet over gesproken worden.
Deze mensen durven dat gesprek gewoon aan te gaan.
Die hebben het erover.
Die hebben niet de antwoorden, hoeven ze ook niet te hebben.
Ze hebben een netwerk.
De betere relatiemanagers zien dat niet als een netwerk,
Maar als een persoonlijk team dat ze kunnen invliegen
om te zorgen dat antwoorden op tafel komen.
Fantastisch, fantastisch, onmisbaar, een genot om mee te werken.
Het is ook waar we het hebben over die extra eisen,
dat beetje extra wat je ziet in algoritmes
en programma's waar dat succesvol is.
Als je kijkt ook naar het risico, daar hebben we het over gehad,
de projecten die ook snel van de grond zijn gekomen,
dat is ook waar relatiemanagers de risk takers waren.
Wat zeg ik nou? Ja, zij nemen de risico's.
Wat je krijgt als je relatiemanagers hebt die risk averse zijn,
dat betekent dat het systeem zich zou balanceren.
Wat betekent dat je team van datascientists
dan de risk takers gaan worden, want ergens moet je die risico's gaan nemen,
want je wil iets nieuws gaan doen.
Als je relatiemanagers risico's nemen en het gaat fout,
hoor je het volgende week.
Je hoort dat de volgende week van je partner van:
Hé, dat is een groot risico, kan dat wel?
Die dialoog is er, dat komt snel naar boven.
Als het datascientistteam de risk takers zijn,
Nou ja, dan weten we wat er gaat gebeuren.
Daar kom je veel later achter. Vaak is de schade dan al te groot.
Het is het verhaal van gaspedaal en de rem.
Een oud-collega bij Capgemini vroeg me weleens:
Waarom kan een auto hard rijden?
Dat is een van mijn luxes, auto's.
Omdat er een rem op zit.
De functie van gaspedaal en rem bij verantwoord omgaan met algoritmes,
moet goed belegd worden.
In mijn ideale situatie zie je dat de relatiemanagers de risk takers zijn.
De datascientists de rem.
Ik ga hierop reageren. Ik weet niet of er vragen over zijn,
maar wat ik vaak wel tegenkom in de praktijk, is dat er wordt gezegd:
Ja, maar de juristen en de security officers en de compliancy officers
dat zijn de remmen. Dat is wel ingeregeld bij ons.
Maak je maar geen zorgen.
Dat hoor je vaak. Daarop heb ik het volgende te zeggen.
Die rollen zijn adviserende rollen.
Een adviserende rol is goed als die een remmende functie heeft.
Maar regel als je je gaspedaal aan je rem gaat inrichten,
regel je rem ook in een rol die verantwoordelijkheid draagt.
Dat is de tip die ik meegeef daarbij.
Niet alleen juristen.
Idealiter krijg je dus dat relatiemanagers naar de jurist komen
en zeggen: kun je mij adviseren hierover, ik wil dit en dit en dit.
Dan komt een verantwoordelijke, misschien hoofd data science,
en die zegt: ja, ik wil graag advies over dit.
Dan wordt een jurist van twee kanten bevraagd,
de remmende kant en de gaskant.
Zo dwing je ook je juristen tot een gebalanceerd antwoord te komen.
Het is heel belangrijk dat zij dan ook de juiste vraag voorgeschoteld krijgen.
Dit is mijn perceptie.
Niet alleen juridisch, maar ook security en compliance neem je daarin mee.
Ik sta langer bij dit stuk stil,
omdat het een van de keyfactoren is voor falen of succes.
Dat vertrouwen moet je ook hebben met je medewerkers.
Zij moeten zich kunnen uitspreken over wat zij zien en horen.
Dat gaat verder dan een bila, betekent dat je als team dat gesprek hebt.
Dat betekent ook dat je de medewerker die informatie moet verwerken,
of op de uitkomsten van de algoritmes een actie moet nemen,
dat je die ook betrekt in het gesprek, in de dialoog over algoritmes.
Die dialoog waarbij je risico's, maar natuurlijk ook successen deelt,
is heel belangrijk.
En bestuurders, ook daar zijn jullie aan de beurt.
Je mag in een directeurenoverleg niet verrast worden
met de mening van een andere partner.
Dat kan niet. Daar zijn de relatiemanagers voor.
Wat leeft er? Die emoties. Algoritmes roepen emoties op.
Daar moet over gesproken worden. Je relatiemanagers bereiden dat voor.
Een aantal van die gesprekken moet op bestuursniveau plaatsvinden.
Bijvoorbeeld, heel belangrijk, transparantie.
Als we in een ketensamenwerking zitten,
hoe willen we transparant zijn in de keten?
Als de ene zegt: het kan niet transparant genoeg zijn,
en de ander zegt: maar we hebben ook iets als gaming the system,
je wil niet te veel prijsgeven, want dan kun je ook niet je taak uitvoeren.
Dan leg je al je formules bloot.
Daar moeten we in elk geval consensus in bereiken.
Dat is geen activiteit
die je door de communicatiemedewerker kan laten uitvoeren.
Om te komen tot een tekst waar iedereen zich senang bij voelt.
Daar zitten impliciet dus die keuzes achter.
Hoe willen wij met transparantie omgaan?
Even kijken, de laatste, governance,
is dat je dit kunt besluiten op hoger managementniveau.
Ik herhaal hem weer, de mantra is: algoritmes, hoge eisen.
Hogere eisen betekent meer risicobeheersing.
Meer risicobeheersing is besluiten neerleggen op een hoger echelon.
Dat is hoe het werkt, dus dat is de taak die wij hebben.
Bepaalde besluiten kunnen we niet delegeren naar het operationele niveau.
Bijvoorbeeld wat ik net zei, een werkinstructie over een tekst
kun je niet door een communicatie- medewerker alleen laten uitvoeren.
Daarachter schuilt het besluit als bestuur, als management,
hoe wij willen omgaan met transparantie. Dat moet ook op die tafel terechtkomen.
Want in het operationele kun je besluiten nemen
die conflicteren met je strategische koers.
Als je zegt: ik wil geen gaming the system,
zul je ook andere teksten moeten gaan gebruiken.
Het groepsdenken, de tegenmacht.
Dit is wel voor de projecten die al in een heel verre fase zitten,
dus waar je al als team samenwerkt.
Op een gegeven moment ga je ook in 't groepsdenken komen van algoritmes.
Het als bestuurder organiseren
van een constante tegenmacht en tegendruk is heel belangrijk.
Dat zorgt voor dat bewustzijn, dat zorgt voor de continue dialoog.
De risico's die daarbij komen kijken...
Ja, op een gegeven moment word je daar als groep blind voor.
Het is belangrijk om continu naar de samenstelling te kijken
en te beseffen of we heel erg groepsdenken gaan krijgen.
Best practice is, wat ik ben tegengekomen,
wanneer je ook aspecten als transparantie
niet alleen met de communicatie- portefeuillehouders bespreekt,
maar integraal.
Het zegt ook iets bijvoorbeeld over juridica.
Wat moeten we communiceren over de data?
Is wat we uiteindelijk als tekst hebben nog wel waar? Klopt dat nog wel?
Het is belangrijk om de risico-afweging en besluiten integraal te nemen.
Niet te verdelen over verschillende afdelingen.
Het is lastig, maar net als veel dingen, hoe vaker je het doet,
hoe beter je erin wordt.
Voordat ik doorga naar de volgende, ik kijk even naar de tijd,
ga ik denk ik de volgende poll starten.
Om ook weer even te kijken waar jullie zitten.
Met welke stelling ben je het eens?
Bestelling: inzet van algoritmes betekent extra inzet
op datakwaliteit, AVG, transparantie.
Stelling twee: ook zonder de inzet van algoritmes
moeten we inzetten op datakwaliteit, AVG en transparantie.
Ik hoop hier natuurlijk maximaal groepsdenken te creëren.
Ja, nou, dat lukt wel aardig.
Ik zie inderdaad wel dat wij als het gaat over datekwaliteit, AVG en transparantie,
dat hangt natuurlijk niet alleen van algoritmes af.
Maar je ziet wel vaak dat door het inzetten van algoritmes
en toepassing van algoritmes die discussie wel op gang komt.
Dat is een heel leuke polling.
Ik heb het over transparantie gehad,
dus ik wil eigenlijk de volgende meteen doen.
Als het gaat over transparantie...
Ik ben erg benieuwd naar wat jullie vinden.
Ik hoor in verschillende organisaties verschillende geluiden.
Kun je nooit transparant zijn? Is dat zo?
Of werkt dat in de overheid toch anders? Moet je dat toch zorgvuldig afwegen?
Nou, daar lijken we toch wel nog veel meer eensgezind te zijn. Ja.
Nou, er is altijd wel een tegengeluid, maar het gros zegt wel ook hier
dat je dat zorgvuldig moet afwegen.
Dus heel belangrijk, bestuurders, dat dat gesprek wordt gestart.
Die afweging is dus afhankelijk van de context en, ik benadruk het,
beleid samen met uitvoering om die context en afweging te maken.
Ik heb nog een laatste stelling over transparantie.
Ook hier ben ik benieuwd voornamelijk naar hoe jullie erover denken.
Mijn gedachtes bij deze vraag gaan weleens van links naar rechts.
De overheid moet transparantie centraal organiseren.
Of elke overheidsorganisatie kan een eigen invulling geven van transparantie.
Uiteindelijk gaat de transparantie over de burger.
Wat gaan we doen?
Moeten we bij elke overheidsorganisatie kijken hoe die daar mee omgaat?
Of moeten we vanuit de overheid dat toch gaan centraliseren?
Dit is de basis en dan mag je misschien van die basis enigszins afwijken.
Ik ben erg benieuwd. Ik vind het een lastige discussie.
Maar ik denk dat het wel belangrijk is dat die discussie gevoerd wordt
onder bestuurders van de overheid.
Maar hoe willen we hier eigenlijk mee omgaan?
Het zou elke organisatie helpen als we hier een uitspraak over kunnen krijgen.
Ook hier zie je dat toch een lichte,
ik kan niet zeggen dat het een statistisch significant verschil is,
maar je ziet toch een lichte voorkeur voor het centraal organiseren.
In ieder geval in de basis. Een bepaalde centrale basis moet er zijn
vanwaar we uit kunnen gaan.
Als we als overheid heel erg van links naar rechts gaan,
ik denk dat we een verkeerd signaal geven aan onze burgers.
Hartelijk dank voor jullie feedback. Dat helpt mij ook wel.
Ik zal deze tonen, zodat jullie dat kunnen zien.
We gaan snel door. We gaan heel snel door.
Ik kan hier uren over praten. Dat hebben jullie wel inmiddels begrepen.
Leren, leren en leren. Ja, dit is niet nieuw. Iedereen weet het.
Als het gaat om algoritmes, hebben we nog veel te leren.
Ook over dat leren wil ik een stukje extra eis in de overheid.
Als het gaat over leren met algoritmes.
Het mag namelijk nooit iets zijn wat je achteraf overkomt.
Leren met algoritmes betekent
dat je vooraf expliciet je leerdoelstellingen gaat benoemen.
We hebben veel te leren.
Je hebt inhoudelijk te leren over hoe dat algoritme werkt, hoe de data werkt,
welke data je nodig hebt, resultaten.
En we hebben te leren op de beleidsterreinen.
Dus die twee moeten continu met elkaar samengaan.
En ook als je iets hebt geleerd, in de volgende leeriteratie,
benoem hoe je dat wat je hebt geleerd, inzet. Hoe benut je dat?
Anders blijf je leren, maar we leren steeds dezelfde lessen.
Dat is niet wat leren is.
Eigenlijk zou het moeten zijn: leren, leren en groeien.
Het groeien betekent dat je ook groeit op de maturity.
Hebben we nu een basis voor transparantie?
Hebben we nu een beeld bij hoe we met fairness willen omgaan?
Dan groei je. Dan leer je en je groeit.
Maar we kunnen niet blijven leren en die rondjes blijven draaien.
Dat is niet voldoende. Heel belangrijk in het leertraject.
Hier hebben we het ook over gehad, de hele organisatie.
Hoe groei je dan? Je groeit als organisatie,
ook al heb je een programma op algoritmes,
als je de geleerde lessen terugbrengt naar de rest van de organisatie.
Bij elke iteratie neem je de rest van de organisatie mee in wat je hebt geleerd.
Daarmee geef je de kans, de gelegenheid, om mee te groeien.
Op het moment dat we dat nalaten en je bent klaar met je programma,
is de gap heel erg groot voor implementatie.
Een algoritme moet wel door de hele organisatie omarmd worden.
Geïmplementeerd worden. Dus heel belangrijk in dat leren,
meegroeien met je organisatie, heel praktisch.
Er komen dus backlog items op andere onderdelen.
Wat je ook vaak ziet als het gaat om de begroting...
In de begroting worden die backlog items,
wat de rest van de organisatie allemaal moeten, vaak vergeten.
Zeker als het niet ook nog eens inherent onderdeel was van je I-strategie,
waar het daarop was begroot, heb je een geldgap.
Ik heb het al gehad over dat je een tijdsgap hebt
als je percentage externen en internen niet goed gebalanceerd is.
Maar je krijgt ook een geldgap
op het moment dat je niet al tijdens het leren en pilotten van je algoritmes
ook de lessen die je leert, de eisen die je hebt,
in die datavoortbrenging al direct meegeeft aan de organisatie.
Het wil niet altijd gaan over nieuwe dingen. Vaak wordt dat ook wel gezegd.
Algoritmes zijn nieuw, dus we gaan als we onze successen delen,
vertellen hoe fantastisch het nieuwe ding is.
Soms is het ook heel mooi, een nieuwe inzet van een bestaand instrument.
Vier ook je bestaande en huidige cultuur,
want daarin gebeuren ook al heel mooie dingen.
Die kun je ook weer beter inzetten met behulp van algoritmes.
Vier dat succes. Wat je wil voorkomen,
is dat je een algoritmeprogramma, koninkrijkje, cultuur gaat creëren.
Onbewust gebeurt dat heel snel. Zeker als je succesvol bent in de resultaten.
Dan kan dat gebeuren.
Last but not least, maak het fun, people.
Algoritmes en hiermee werken, is fun.
Als we al deze waarborgen doen, als we het risico goed managen,
Als we het gaspedaal en de rem goed inrichten, is het lots of fun.
Ik weet, collega Gerard Noorda, hij zit ook in de groep,
Hij heeft een fantastisch spel ontwikkeld, Kabouter Sjok heet het,
en het is, ik begin al te lachen, je kunt het met je kind spelen.
Die krijgen dan een beleving van wat een algoritme nou doet.
Hoe werkt dat nou? Je krijgt een beleving van wat ervoor nodig is
voor het succes en hoe we van elkaar afhankelijk zijn.
Een aanrader om met het team te doen als we weer fysiek bij elkaar mogen zijn.
Zeker, een leuke kickoff, een definitely aanrader.
Fun, heel belangrijk.
Dan beginnen we aan de risicobeheersing,
Ik heb het al een paar keer genoemd. Stap 7, een gefaseerde aanpak.
Dat doen we. Ik zie heel veel programma's met algoritmes werken,
of data science, dat het in fases gaat, stapsgewijs wordt opgeschaald.
Wat ik hier als klassieke valkuil wel zie,
is dat het belangrijk is dat je van tevoren nadenkt
over de assen waarlangs je wil opschalen.
Is dat je kwantiteit?
Is dat opschalen in de partners die je betrekt?
Is het opschalen langs de IT-as? Is het een combinatie daarvan?
Dan maak je het wel ingewikkelder. Het kan.
Maar besef vooraf heel goed hoe je opschaalt.
Het kan ook zijn dat het is, je bereik.
Met de landelijke aanpak adreskwaliteit hebben we een aanpak
waarbij we met een paar gemeentes een algoritme beproeven
en dan verder opschalen.
Zo'n geschaalde aanpak betekent dat hoe verder je komt, hoe meer je weet,
hoeveel meer zekerheden je hebt en ook hoeveel meer je kunt formaliseren.
Maar ook hoe verder, hoe meer data je gaat verwerken enzovoorts.
Het tegenovergestelde is ook waar.
Hoe minder je weet, hoe minder zekerheden je hebt,
hoe minder impact er is.
Dus al je erover denkt en bezig gaat met:
wat zijn de assen in deze context in mijn organisatie als het gaat om algoritmes?
Denk aan de fases
en neem daarin mee dat de impact lager is als je minder zekerheden hebt
en hoe meer je moet formaliseren als je meer zekerheden hebt.
Een gefaseerde aanpak, heel belangrijk.
Voor mij als datascientist is dit de mooiste natuurlijk.
De trefkans en de foutmarge.
Ja, voor algoritmes zijn we streng, maar iedereen maakt fouten.
Nou, hoeveel fouten mogen we maken? En hoe erg zijn die fouten?
Een stukje theorie. De false positives en de false negatives.
Voor de mensen die meer lezen over algoritmes, die komen dat vaak tegen.
False positives is als je zegt:
Je voorspelling is ja, maar in werkelijkheid is het nee.
Vergelijkbaar met dat je tegen een man zegt dat ie zwanger is.
Dat is een nee. En aan de andere kant,
een false negative is als je tegen een hoogzwangere vrouw zegt
dat ze helemaal niet zwanger is.
Dat is een false negative. Dan zit je er toch wel naast.
In beide gevallen zit je ernaast.
Aan de ene kant heb je voorspeld dat het wel zo is bij de man en het is niet zo.
Aan de andere kant heb je voorspeld dat het niet zo is en het blijkt wel te zijn.
De kosten daarvan, de impact daarvan, is heel contextafhankelijk.
Als je een algoritme maakt over schuldhulpverlening
is de false negative,
je voorspelt dat iemand geen behoefte heeft aan schuldhulpverlening
maar die heeft dat wel.
Dat is heel anders dan als je een fraudegeval hebt,
waarbij je voorspelt dat iemand geen fraude doet, maar die doet dat wel.
Dus hoe erg vinden we dat?
Ook zeker bij de false positives,
waar we natuurlijk nog veel ergere consequenties vaak zien.
Dat is als je voorspelt dat er wel sprake is van fraude, maar dat is er niet.
Als het gaat over fraude of schuldhulpverlening
hebben we een ander verhaal.
Het is heel belangrijk om na te denken
en als bestuurder KPI's mee te geven aan je programma over deze aspecten.
Dat betekent dus niet alleen de true positives,
want dat zie je in de praktijk, dat je zegt:
Je trefkans, wanneer je raak moet zijn, dat moet 50% zijn.
Of 70 of 80.
Maar dat is niet voldoende.
Als bestuurders moet je kijken
naar je impact op de false negatives en je false positives.
En die afweging goed maken.
Want, kan ik jullie vertellen,
kan je als bestuurder draaien aan de knoppen van een algoritme?
Jazeker.
Dit zijn de knoppen, want op basis van wat je hier besluit,
kiezen we een algoritme als datascientist,
kiezen we de variabelen die we selecteren om te gebruiken,
kiezen we drempelwaardes en kiezen we welke casussen we selecteren.
Ga je bijvoorbeeld alleen casussen selecteren
waarin jouw model zegt: Ja?
Of zeg je van: Nou, ik wil me er toch wel van vergewissen.
Ik wil toch ook casussen selecteren waarbij het model zegt: Nee.
Dat betekent dat je wel je inzet, je medewerkers,
moet inzetten op zaken waarvan je voorspelt dat ze niet nodig zijn.
Maar je toetst wel, je bent wel strenger voor je algoritme,
Je kan wel veel beter daardoor je algoritme toetsen.
Dus heel belangrijke KPI's, niet alleen true positives.
Kijk en denk na over de kosten,
de impact van je false positives en false negatives.
Dat geheel geef je mee aan je programmabestuur.
En de garbage in is the garbage out.
O god, ja, god, je wordt ermee doodgegooid. Met algoritmes.
No such thing. Als het is garbage in is garbage out...
Zeg mij: Is dat dezelfde garbage in
waar medewerkers nu handmatig die besluiten nemen?
Is dat diezelfde data of is dat andere data dan wat tot hen komt?
Dan hoor ik: Ja, maar handmatig kun je wel de garbage eruit halen.
Als je handmatig de garbage eruit kunt halen,
en dat is hoe we al jaren werken, waarom zit die garbage er dan nog in?
There is no such thing as garbage.
Als we garbage tegenkomen,
betekent dat dat je een backlog item hebt op datakwaliteit.
Dat betekent dat je een data steward ergens moet inrichten.
Het is een call to action.
Het is niet een onmogelijkheid voor algoritmes.
Algoritmes gaan over het gehele systeem. Ik zeg het nogmaals:
de hele voortbrenging, daar zijn we streng voor.
Als het de datakwaliteit is, betekent dat dat je aan de beurt bent,
en dat we daar een afhandelingsproces voor moeten hebben,
voor de data die afvalt, voor de false positives, voor de false negatives.
Vaak zie je dat we als organisatie ingericht zijn op de true positives.
We willen schuldhulpverlening doen en daar zijn we op ingericht.
We willen fraude opsporen en daar zijn we op ingericht.
Dus het inrichten van het afhandelen van de datakwaliteit
en de false positives en false negatives is heel belangrijk.
De laatste, ik heb het net nog gehaald in de tijd, zijn de KPI's.
In de ontwikkelfase, ik heb het gezegd, false positives, false negatives,
zijn KPI's, die moet je meegeven al in de ontwikkelfase.
Al voordat je van start gaat, van: die zeggen iets over het effect.
Ik heb het in het begin gehad over het effect dat je wil bereiken met algoritmes.
Dat effect moet zich vertalen in die KPI's, die heb je al in je ontwikkelfase.
Naarmate je je beleidsthema's erin gaat verwerken,
krijg je KPI's die gaan over fairness en KPI's die gaan over transparantie.
Langzamerhand komen die erin.
Dan krijg ik ook vaak de vraag:
Maar als het algoritme is beproefd en het werkt,
moeten we dan nog vasthouden aan deze KPI's?
Ik krijg die vraag, die vraag hebben mensen.
Het antwoord is altijd: Ja.
Op het moment dat je klaar bent met beproeven en gaat implementeren,
zulde gij vasthouden aan die KPI's.
Ik zal je sterker vertellen: je gaat meer KPI's krijgen.
Wat zeg jij nou? Je gaat meer KPI's krijgen.
De enige manier om dit goed duidelijk te maken, bedacht ik,
ik heb er geen verstand van, ik ben single, maar ik ga het toch doen,
is met relaties.
Als je aan het daten bent en wil kijken of dit een huwelijkskandidaat is,
is een van de vragen die je stelt, een van de KPI's,
het aantal kinderen dat je wil.
Dat stel je voor... Die vraag ga je niet stellen als je al getrouwd bent.
Dat doe je van tevoren.
En als je eenmaal getrouwd bent,
gaandeweg, is aantal keer dat je de vaatwasser uitruimt,
dat wordt toch heel belangrijk.
Het aantal keer per week. De andere keer per week dat.
Dat zijn dingen, die worden belangrijk. Die zijn niet belangrijk als je date.
Als je al in het huwelijk zit, worden dit soort meetinstrumenten belangrijk.
Hetzelfde geldt voor algoritmes.
Als wij in de implementatie zitten, worden meer KPI's belangrijk.
Waarom? De omgeving verandert.
De data waarop die modellen zijn gebouwd, verandert.
We introduceren een nieuwe actie
bij de medewerkers die acteren op de uitkomsten.
Dat genereert weer een nieuwe set van werkelijkheid
waarin je dus opnieuw moet testen of de modellen dan nog toepasbaar zijn.
Dus bij implementatie: hou vast en ga nadenken over je KPI's.
We hebben een vraag. Dank je wel, Annette.
Kan Shieltaa nog ingaan op de vraag
of je datagedreven werken start met algoritmes
of dat beschrijvende analyses daaraan voorafgaan?
Ja, dat is een mooie vraag. Dat gaat meer over die gefaseerde aanpak.
Als je kijkt naar algoritmes,
Ik kan het niet goed zien. De manier waarop we algoritmes toepassen
Ja, dus dat hangt af van je algoritmes.
Op het moment dat je nog niet weet welke data je moet gebruiken,
je hebt daar nog geen beeld bij, is een analysefase,
een beschrijvende analysefase, heel belangrijk.
Het is wat ik zei: minder zekerheden, minder impact.
Dus als je nog niet weet wat je algoritme moet doen,
ga een beschrijvende analyse doen.
Daarvoor moet je die data wel verzamelen,
maar dat zou je meer als een onderzoek kunnen doen.
Dat is echt een onderzoek om te kijken:
welke variabelen zijn relevant, wat moeten we gebruiken?
Daar ga je nog niet al een model op bouwen
en daar de burger, een betrokkene, mee lastigvallen, zullen we maar zeggen.
Dus faseer hem goed en faseer dan de beschrijvende stap als eerste fase.
Op het moment dat je daar meer zekerheid hebt
over welke datavelden bijdragen aan de casuïstiek,
ga dan door naar de volgende fase voordat je de burger
daarmee effect laat hebben.
Ja, en deze. Nu we de top tien gehad hebben,
kan ik me voorstellen dat er een soort van ingrediëntenlijst ontstaat.
Als ik met programmamanagers of organisaties spreek,
krijg ik ook vaak deze ingrediëntenlijst voorgeschoteld.
We hebben een multidisciplinair team, we hebben een leercirkel,
we hebben een jurist aan boord, we meten KPI's,
we hebben sessies, evaluatiesessies, designsessies.
Een soort van check, check, check.
Maar daarmee heb je nog niet een programma,
het risicomanagement dat voldoet aan de extra eisen
die we hebben aan algoritmes. Die extra eisen zijn er.
Wat ik zelf dan toe, is de volgende vragen stellen.
Heb je een privacystatement of een verwerkingsregister
waar algoritmes in zijn opgenomen?
Nee? Je had toch een jurist aan boord?
Heb je je checklist voor je normenkaders ingevuld?
Zijn er interviews met medewerkers en partners
waar je zo trots op bent dat je daarmee naar buiten treedt?
Hebben we beleidsstukken voor transparantie en fairness?
Ja, dat is een inkoppertje nu natuurlijk na deze sessie.
Die kunnen jullie allemaal nu gaan stellen.
Is er een mandaatregister?
Ik heb het gehad over dat je geen besluiten delegeert
naar de operationele laag.
Maar wie neemt dan welk besluit wanneer?
Als je dit allemaal hebt en je doet het goed,
dan heb je in ieder geval daar een algemeen beeld bij.
Weten we wat de maturity is waar we nu staan
als het gaat over werken met algoritmes?
Zijn de backlog items op de andere borden?
Meet je frequent je KPI's en review je die met elkaar?
Dit zijn de zaken waaraan je echt kunt meten hoe het werkt.
Het zijn wat ik noem de ingrediëntenlijst versus het proeven van het gerecht.
Proef het gerecht, dit zijn daar de leads voor.
Ik heb veel tijd van jullie opgesnoept. Ik dank jullie hartelijk voor de aandacht.
Ik dank RADIO heel erg voor deze opportunity om hier te mogen zijn.
Bedankt ook voor jullie vragen
En hoe bestuurders dus meer aandacht krijgen en awareness,
zou ik zeggen: laat ze kijken naar deze webinar.
Dat is de laatste vraag van Annette die ik nog kreeg.
Geef je bestuurders deze webinar.
De prints worden beschikbaar gesteld. Bespreek het.
Organiseer een gesprek en een dialoog met je bestuurders
waar je deze vragen stelt.
Dank je wel, een heel fijne middag, allemaal.