Generatieve AI werkt met vectoren. Op deze manier kan generatieve AI patronen in tekst volgen, zoals bijvoorbeeld de relatie tussen ‘man’ en ‘vrouw’. Doordat deze patronen zijn gebaseerd op menselijke trainingsdata, kan generatieve AI vooroordelen reproduceren. Sterke patronen in de data worden sterke routes, terwijl ondervertegenwoordigde groepen nauwelijks een verband hebben. Jij bepaalt uiteindelijk of het antwoord klopt. Het generatieve AI-model volgt alleen wat het vaakst gezien is.
JURRIAAN: AI klinkt vaak alsof het 'weet' hoe de wereld in elkaar zit. Maar meestal volgt het vooral patronen uit tekst. En precies dáár kunnen ook vooroordelen vandaan komen.
[Microlearnings: starten met AI. Vectoren onthullen patronen én vooroordelen.]
JURRIAAN: In een AI-model bestaat iets dat je kunt zien als vectorruimte: een denkbeeldige kaart van betekenis. Woorden en stukjes tekst krijgen daarin een plek. Ligt iets dicht bij elkaar op de kaart, dan voelt dat voor AI alsof het bij elkaar hoort.
Die kaart is gevormd op basis van gigantische hoeveelheden tekst. Tekst uit boeken, artikelen, van websites, en andere. En dat heeft vaak een direct gevolg: woorden die vaak samen voorkomen liggen dichter bij elkaar. En daardoor ontstaan voorspelbare patronen.
Je kan dit zien als puzzelen met afstand. De AI 'puzzelt' steeds: welke betekenis ligt dichtbij, en welke ligt verder weg? Het heeft geleerd: dit komt vaak samen voor in een tekst. AI volgt de 'logische route' langs de betekenissen die dicht bij elkaar liggen. Oftewel: het patroon dat het vaakst gezien is in de tekst.
Bijvoorbeeld 'man' en 'vrouw' liggen op een bepaalde afstand van elkaar. 'Koning' en 'koningin' liggen op precies diezelfde afstand. Het model leert dan: 'man' verhoudt zich tot 'vrouw'. Dan moet 'koning' zich ook op diezelfde manier verhouden tot 'koningin'. Het herkent als het ware dezelfde afstand op de betekeniskaart en trekt dat patroon dan door. Dit lijkt slim, en dat is het eigenlijk ook, maar hier schuilt ook een risico.
Als het over een man gaat en het koningshuis, dan moet de man de koning zijn. Als het over een vrouw gaat en het koningshuis, dan moet die vrouw de koningin zijn. Maar stel: je vraagt aan de AI wat de rol van iemand in het koningshuis is die zich niet als man of vrouw identificeert. Wat dan?
De vectorruimte kent vooral man-vrouw-tegenstellingen, en dus zal de AI heel beleefd, slim en snel een antwoord geven. In de trainingsdata is kennis over non-binaire personen vrijwel afwezig. Het zal voor de AI vanuit de kennis dan ook een hele moeilijke vraag zijn om te beantwoorden. Als er weinig of geen 'paden' op de kaart zijn, dan gaat AI toch rijden en volgt het de dichtstbijzijnde, bekendste routes. Het resultaat kan dan heel logisch klinken, alsof het klopt, maar dat betekent niet dat het antwoord ook juist, wenselijk of inclusief is. Zo kan een vooroordeel ontstaan. AI heeft geen mening, maar de vectorruimte is gebouwd uit bestaande tekst.
Als bepaalde associaties in de tekst heel vaak voorkomen, liggen ze stevig en dichtbij op de kaart. Als bepaalde groepen, identiteiten, culturen of waarden nauwelijks voorkomen, dan zijn die paden zwak of bijna onzichtbaar. De AI volgt automatisch de sterkste, bekendste patronen, ook als die patronen scheef zijn.
Een AI klinkt super overtuigend, en dan denk je: Ja, dit klopt. En dat is een heel erg groot risico. Als het model bijvoorbeeld nooit data heeft gehad over bepaalde identiteiten, culturen of waarden, of het verband is minder sterk, voorziet deze je toch van een antwoord. Alleen is de betrouwbaarheid van dat antwoord heel erg laag.
Kortom: AI is een geweldige voorspeller. Het berekent razendsnel welk woord waarschijnlijk volgt. Maar z'n kompas is gevormd door voor het model bekende data die niet komt uit jouw hoofd, jouw wereld of jouw waarden. Dus als jij iets vraagt dat buiten de 'bekende paden' van het model valt, dan ben jij degene die bepaalt: wil ik dit antwoord accepteren, bijsturen of verwerpen? AI kan je routekaart zijn. Maar jij blijft de bestuurder, en je moet goed moet kijken en de juiste keuzes daarin maken.
[Veilig en verantwoord starten met AI. Deze serie is ontwikkeld in opdracht van het CDO Office van BZK door de RijksAcademie voor Digitalisering en Informatisering Overheid (RADIO) in samenwerking met JenV en Rijks ICT Gilde, onderdeel van Rijksorganisatie ODI.]