Het aandachtsmechanisme in een taalmodel bepaalt op wiskundige wijze waar een generatief AI-model de focus legt in een zin. Fouten kunnen ontstaan doordat een generatief AI-model aandachtsscores toekent aan woorden op basis van patronen in de trainingsdata. Hierdoor kunnen dubbelzinnige termen of culturele nuances tot verkeerde antwoorden leiden. Het aandachtsmechanisme is de bril van generatieve AI. Kleine fouten kunnen grote gevolgen hebben.
Microlearnings: starten met AI. Hoe AI weet waar het op moet letten. Spreker: Jurriaan Raaijmakers, teamlead AI, ministerie van Binnenlandse Zaken en Koninkrijksrelaties.
JURRIAAN: Stel, je vraagt aan een AI: wat is een net ding om pasta mee te eten? Je verwacht 'een vork', maar soms krijg je 'basilicum', of zelfs 'pastasaus'. Dat komt door het aandachtsmechanisme: waar de AI op focust. Want soms kijkt de AI net de verkeerde kant op.
Het aandachtsmechanisme, in het Engels 'attention' genoemd, bepaalt waar een taalmodel zich op concentreert in een zin.
[Microlearnings: starten met AI. Hoe AI weet waar het op moet letten.]
JURRIAAN: Je kunt het vergelijken met hoe mensen luisteren of lezen: je let automatisch meer op sommige woorden dan dat je op andere let, afhankelijk van wat je belangrijk of interessant vindt.
Neem die vraag: wat is een net ding om pasta mee te eten? Als mens leg je waarschijnlijk de nadruk op 'ding' en 'eten'. In je hoofd gaat er iets aan: wat zou iemand bedoelen met 'net ding om pasta mee te eten'? Dan denk je al gauw aan een vork. Logisch. De AI moet precies hetzelfde doen: bepalen waar de aandacht naartoe gaat. Alleen doet de AI dat wiskundig. Niet met gevoel, maar met gewichten en berekeningen tussen die woorden. Een soort aandachtsscore die zegt welk woord in deze zin het zwaarst meetelt.
Maar waar komt dit idee nou vandaan? Waar AI-systemen voorheen taal lazen als woord voor woord, kan AI nu in één keer alle woorden tegelijkertijd bekijken en steeds bepalen: wat is relevant voor dit moment in de zin? Alle woorden in een zin krijgen een aandachtsscore, afhankelijk van hoe belangrijk ze lijken voor de betekenis.
Bij de zin 'wat is een net ding om pasta mee te eten?', zou het model idealiter veel meer aandacht geven aan 'ding' en 'eten'. En waar gaat het dan mis? Taalmodellen zijn vaak getraind op Engelse data. Daardoor kan het woord 'net' soms verkeerd geïnterpreteerd worden. Bijvoorbeeld alsof het 'nice' betekent. En als de aandacht dan verschuift naar iets als 'nice with pasta', kan het model ineens een heel ander spoor volgen dan dat je bedoeld hebt. Dan krijg je opeens geen vork, maar iets eetbaars, zoals basilicum, of pastasaus. Het aandachtsmechanisme heeft dan gefaald, maar de AI doet tóch zijn best om een vloeiend en logisch antwoord te geven. Alleen klopt het niet met wat jij bedoelde.
Stel je voor: je hebt een familieongeval en je moet snel terug naar huis vliegen. Dit gebeurde daadwerkelijk bij een Canadese luchtvaartmaatschappij. Ze gebruikten een chatbot op de site, de klant vroeg hoe het rouwtarief werkte en de chatbot kwam met een zelfverzekerd antwoord: je kon het ticket kopen en dan later een lager tarief terugkrijgen.
Alleen de regeling bleek niet zo te werken. Air Canada weigerde de korting achteraf, maar de klant stapte naar de rechter. Daar volgde een duidelijke uitspraak: als een bedrijf een chatbot op zijn eigen website zet, dan blijft het bedrijf verantwoordelijk voor de informatie die de chatbot geeft. En het gevolg: Air Canada moest het verschil gewoon terugbetalen. En dat is precies waarom 'waar de AI op let' zo belangrijk is: een verkeerde focus kan grote gevolgen hebben.
Het aandachtsmechanisme is dus de bril waardoor de AI naar jouw vraag kijkt. Het bepaalt wat belangrijk is en wat niet. Maar die bril is niet feilloos. Zeker bij zinnen met dubbelzinnige woorden of culturele nuances kan AI een totaal verkeerde focus kiezen. Snap je hoe 'attention' werkt? Dan snap je ook beter waarom de AI soms totaal de plank misslaat.
[Veilig en verantwoord starten met AI. Deze serie is ontwikkeld in opdracht van het CDO Office van BZK door de RijksAcademie voor Digitalisering en Informatisering Overheid (RADIO) in samenwerking met JenV en Rijks ICT Gilde, onderdeel van Rijksorganisatie ODI.]