Wat zou een grotere prioriteit moeten krijgen om Large Language Models (LLM’s) zoals ChatGPT veilig en betrouwbaar verder te ontwikkelen?

Het nut van taalmodellen

Als taalmodellen zo regelmatig hallucineren, waarom worden ze dan zoveel gebruikt? Een van de redenen is de ontzettend gebruiksvriendelijke interface van ChatGPT: opeens was taaltechnologie niet alleen maar beschikbaar voor een select groepje techneuten, maar kon iedereen er gebruik van maken [1]. Daarbij hoeft technologie niet altijd perfect te zijn om gebruikt te worden; voor veel mensen werkt generatieve AI goed genoeg om tijd en geld te besparen, en in sommige gevallen geldt ook het principe: iets is beter dan niets. Generatieve AI zorgt ervoor dat er allerlei mogelijkheden worden ontsloten die voorheen minder of zelfs niet bereikbaar waren. Zo zorgt automatische ondertiteling bij online vergaderingen er bijvoorbeeld voor dat meer mensen de discussie kunnen volgen, en kunnen online afbeeldingen automatisch beschreven worden voor blinde en slechtziende mensen. De kwaliteit van de output laat soms te wensen over, maar het alternatief is om niets mee te krijgen van wat er gebeurt.

Een ander onderdeel van de populariteit van taalmodellen is in ieder geval de ongelooflijke hype rondom generatieve AI. Het Amerikaanse consultancybureau Gartner geeft aan dat er de afgelopen jaren sprake was van opgeblazen verwachtingen rondom deze technologie [2]. Volgens Gartner begint men nu langzaam te merken dat niet al die verwachtingen waar te maken zijn. Dat zorgt enerzijds voor teleurstelling, maar anderzijds ook voor realisme: de huidige generatie van taalmodellen presteert op sommige vlakken echt beter dan voorgaande technologie, maar we moeten wel een manier vinden om met de tekortkomingen om te gaan.

Wat maakt een taalmodel (potentieel) schadelijk?

Hallucinaties vertegenwoordigen maar een deel van de risico’s van grote taalmodellen. Volgens de taxonomie van Weidinger en collega’s [3] zijn er zes soorten risico’s die deze modellen met zich meebrengen:

1. Discriminatie, haatzaaien, en uitsluiting van bepaalde bevolkingsgroepen.
2. Het reproduceren van (privacy)gevoelige informatie zonder toestemming.
3. Het verspreiden van misinformatie, doordat de output niet correct is.
4. Misbruik door andere partijen, zoals het faciliteren van fraude of desinformatiecampagnes.
5. Andere gebruikersrisico’s, zoals het ontstaan van een afhankelijkheidsrelatie.
6. Ingrijpende gevolgen voor het klimaat en de arbeidsmarkt.

Bovenstaande risico’s gelden voor taalmodellen in het algemeen. Hoe schadelijk een specifiek systeem is, hangt ook af van het model en de gebruikscontext. Als je een klein taalmodel gebruikt voor het genereren van Sinterklaasgedichten, dan is er misschien weinig aan de hand (hoewel de ontvanger misschien wel teleurgesteld zal zijn dat je niet zelf de moeite hebt genomen), maar bij medisch of juridisch advies moet je op je hoede zijn.

Zijn hallucinaties te vermijden?

Hallucinaties zijn een bijgevolg van creativiteit. Als je een taalmodel nieuwe teksten wil laten maken (die dus afwijken van de teksten die de computer eerder heeft gezien), dan is het onvermijdelijk dat die nieuwe teksten soms ook afwijken van de werkelijkheid [4]. Daarnaast is het idee achter taalmodellen dat ze generalisaties maken over de trainingsdata. Daarmee kunnen ze redelijk accuraat teksten reconstrueren, maar ze hebben geen interne database van alle bestanden die ze ooit verwerkt hebben. Er wordt van nieuwe output niet gecontroleerd of alles overeenkomt met de trainingsdata.

Zelfs als de computer geen nieuwe feiten verzint, kan het zijn dat de output niet klopt. Allereerst gebruiken grote taalmodellen zoveel trainingsdata dat we niet meer kunnen controleren of al die data kwalitatief in orde is. Als je een taalmodel onware uitingen geeft, kun je niet verwachten dat alle output volledig waar is. Daarnaast verandert de wereld continu, dus iets wat eerder wel waar is (bijvoorbeeld: Mark Rutte is de minister-president van Nederland) kan enige tijd later niet meer het geval zijn. Het is dus niet alleen ontzettend lastig om taalmodellen te leren wat waar is, maar ook om die kennis up-to-date te houden [5]. Ten slotte kunnen taalmodellen ook berichten produceren die niet direct onwaar zijn, maar wel misleidend. Bijvoorbeeld omdat bepaalde informatie onbenoemd blijft, waardoor gebruikers de verkeerde conclusies trekken [6].

Een ander probleem is dat grote taalmodellen voor allerlei taken ingezet worden waar ze niet voor ontworpen zijn. Dat komt deels door de manier waarop ze vaak aan ons gepresenteerd worden: universele hulpmiddelen die ons kunnen helpen met alle denkbare schrijftaken. Door de manier waarop taalmodellen getraind zijn, zijn ze er ook volledig op ingesteld om zo behulpzaam en capabel mogelijk over te komen ---zelfs als ze dat niet zijn. Een nuttige vergelijking is misschien om grote taalmodellen te zien als acteurs, wiens doel is om het publiek te overtuigen dat ze iemand anders zijn. Benedict Cumberbatch is een zeer overtuigende Alan Turing in The Imitation Game, maar je kunt hem maar beter geen complexe wiskundige problemen voorleggen; daar is hij niet voor opgeleid.

Hoe kunnen we hallucinaties verminderen of voorkomen?

Qua technische oplossingen zijn er ruwweg drie smaken (voor een uitgebreider overzicht, zie [7]):

1. We kunnen vragen vooraf filteren of aanpassen om ervoor te zorgen dat de het model alleen behapbare vragen beantwoordt.
2. We kunnen manieren verzinnen om ervoor te zorgen dat de output van grote taalmodellen beter aansluit op de werkelijkheid.
3. We kunnen de output van het model filteren of aanpassen om ervoor te zorgen dat gebruikers geen vreemde antwoorden krijgen.

Qua praktische oplossingen kun je gebruikers leren welke vragen ze wel of niet kunnen stellen aan een taalmodel, en welke strategieën er zijn om erachter te komen of de antwoorden betrouwbaar zijn.

Voor al deze oplossingen moeten we eerst begrijpen waar problemen met hallucinaties vandaan komen, zowel technisch (hoe komt de output tot stand en waar in dat proces kunnen we ingrijpen?) als sociaal (hoe wordt het model gebruikt?). En uiteindelijk moeten we er in de praktijk achterkomen of eventuele interventies succesvol zijn.

Reflectie: zijn grote taalmodellen onvermijdelijk?

Grote taalmodellen worden soms gepresenteerd als een onvermijdelijke ontwikkeling. Het is een veelbelovende technologie waarmee je in theorie veel menselijke taken kunt automatiseren of stroomlijnen. Tegelijkertijd kampt deze technologie nog met duidelijke beperkingen (waarvan het niet zeker is of deze in de toekomst opgelost kunnen worden) en een uitgebreide lijst met risico’s (zoals we hierboven hebben gezien). Het gebruik van grote taalmodellen is een keuze, waarmee je die beperkingen en risico’s accepteert. Dan is het op zijn minst een goed idee om je af te vragen of taalmodellen de juiste oplossing bieden en of er geen alternatieve oplossingen zijn [8]. Dat kunnen andersoortige computermodellen zijn, maar we kunnen ook kritisch kijken naar de situaties waarin mensen zich genoodzaakt voelen om een taalmodel te gebruiken:

• Hoe duurzaam is het als we allemaal nog grotere hoeveelheden teksten (laten) produceren? Wie leest dat allemaal nog? En als de ontvangende partij ook weer een taalmodel gebruikt om jouw automatisch gegenereerde berichten te lezen, kan dat dan niet efficiënter?
• Wat verliezen we wanneer we niet meer zelfstandig schrijven?

Iedereen maakt hierin zijn eigen keuze, maar het is wel belangrijk om de gevolgen van het gebruik van AI in de gaten te blijven houden.