Generatieve AI verwerkt tekst door woorden op te knippen in tokens en deze in een vectorruimte te plaatsen. Met behulp van attention leert generatieve AI patronen te herkennen die losse stukjes omzetten in logische zinnen. Het geheugen van generatieve AI is begrensd. Elk woord voegt nieuw gewicht toe, waardoor het model steeds moet afwegen welke betekenissen het meest samenhangen. Zo ontstaat veel rekenwerk. Door middel van statistiek, afstand en context puzzelt het model tot een betekenisvolle uitkomst.
Microlearnings: starten met AI. Hoe AI betekenis geeft. Spreker: Jurriaan Raaijmakers, teamlead AI, ministerie van Binnenlandse Zaken en Koninkrijksrelaties.
JURRIAAN: Hoe AI betekenis geeft: puzzelstukjes, afstanden en vooroordelen.
[Microlearnings: starten met AI. Hoe AI betekenis geeft.]
JURRIAAN: AI leest jouw tekst niet als keurige woorden, maar als kleine stukjes. Toch komt er aan de andere kant vaak een verrassend kloppende zin uit. Hoe krijgt AI dat nou voor elkaar? AI verwerkt informatie in stukjes. Bij de verwerking van taal heten die stukjes tokens. Elk woord wordt opgeknipt. Bijvoorbeeld: 'ongelukkig' wordt opgeknipt in 'on' en 'gelukkig'. Maar hoe weet AI dan welke stukjes bij elkaar horen? Hoe maakt het van die losse stukjes weer een betekenisvol woord of een betekenisvolle zin?
Het model berekent hoe sterk de betekenissen van woorden of zinsdelen met elkaar samenhangen aan de hand van hun onderlinge verbanden. Het antwoord is niet magisch, maar puur rekenkundig.
Stel je voor dat een AI-model een gesprek volgt zoals jij een verhaal onthoudt. Bij elk nieuw woord kijkt het model even terug in z'n kortetermijngeheugen naar wat er eerder is gezegd. Net als jij een paar zinnen terug nog weet wat er eerder gebeurde. Maar in plaats van woorden te onthouden, plaatst het model ze in een soort betekenislandschap. Woorden of woorddelen die bij elkaar horen, zoals 'broers' en 'zussen', liggen dichter bij elkaar, terwijl losse woorden zoals 'broer' en 'ongelukkig' veel verder uit elkaar staan. De afstand tussen twee woorden heet 'vector'. Door de vector ziet de AI niet alleen de woorden zelf, maar ook hoe ze met elkaar samenhangen. Alsof het een kaart maakt van wat jij bedoelt.
Mensen doen dit ook. Stel dat je tijdens een vakantie twee grote Franse steden mag bezoeken. Je krijgt de keuze uit drie steden: Parijs, Orléans of Cannes. Je kiest dan waarschijnlijk de steden die het dichtst bij elkaar liggen: Parijs en Orléans. Je rijdt eerst naar de verste stad, Orléans, en dan naar Parijs. En vervolgens ga je weer terug naar Nederland. Veel mensen kiezen doorgaans voor de langste route op de heenweg en de kortste route op de terugweg. En AI doet precies hetzelfde. Het zoekt in zijn vectorruimte naar tokens, ook wel de betekenissen, die dicht bij elkaar liggen. En terwijl het zoekt, blijft dat kortetermijngeheugen iedere keer meetellen. Elke extra token is weer een extra gewichtje dat meegenomen moet worden.
Neem bijvoorbeeld de zin: De broers en zussen zijn ongelukkig. Het woord 'ongelukkig' wordt opgeknipt in 'on' en 'gelukkig'. In de vectorruimte van AI kan je dat zo zien. 'On' ligt op de plek van Orléans, 'gelukkig' ligt op de plek van Parijs, en een woord als 'verdrietig' ligt misschien wel veel verder weg, op de plek van Cannes. De AI ziet: 'on' en 'gelukkig' liggen dicht bij elkaar, dus die horen bij elkaar. Maar 'verdrietig' ligt veel verder weg, en dus veel minder logisch in deze context. En zo bepaalt het model welke combinaties logisch zijn en welke minder waarschijnlijk zijn door te puzzelen met de afstand op die denkbeeldige betekeniskaart. Met een spiekbriefje in de hand en een rugzak die niet oneindig groot is.
Als je dit eenmaal zo ziet, dan wordt AI een stuk minder magisch. Het is vooral slim en logisch puzzelen. Stukjes tekst, een spiekbriefje voor de snelheid, en een begrensd kortetermijngeheugen dat steeds voller raakt naarmate jij meer woorden toevoegt.
[Veilig en verantwoord starten met AI. Deze serie is ontwikkeld in opdracht van het CDO Office van BZK door de RijksAcademie voor Digitalisering en Informatisering Overheid (RADIO) in samenwerking met JenV en Rijks ICT Gilde, onderdeel van Rijksorganisatie ODI.]