Mensen maken zich al lange tijd zorgen dat nieuwe technologieën ten koste gaan van menselijke intelligentie. Al zo’n 2400 jaar geleden beargumenteerde Plato dat geschreven tekst mensen minder wijs zou maken (ironisch genoeg deed hij dit in geschreven vorm). Wanneer alle kennis in teksten is opgeslagen, zo dacht Plato, dan is het niet meer nodig om zelf kennis te onthouden en om er zelf over na te denken [1]. Sinds kort hebben we toegang tot technologieën die teksten niet alleen opslaan, maar zelf produceren: large language models (LLMs), zoals ChatGPT of Deepseek. Plato’s overtrokken bezorgdheid kan wellicht relativerend werken wanneer we ons zorgen maken dat LLMs mensen dommer gaan maken.
Statistische patronen en bullshit
Toch lijkt er met LLMs wel degelijk een nieuw probleem op te doemen. Wanneer we vertrouwen op een tekst die door een mens is geschreven, dan vertrouwen we impliciet op het redenerend en corrigerend vermogen van die persoon. Dat wil zeggen: we gaan ervan uit dat de schrijver tot op zekere hoogte in staat is zijn of haar feiten te controleren, en zichzelf kritisch op denkfouten te bevragen. Natuurlijk kunnen schrijvers fouten maken of misleidende bedoelingen hebben. Maar in dat geval kunnen we meestal vertrouwen op weer andere teksten om die fouten en leugens te corrigeren.
Maar LLMs hebben geen kritische vermogens. Sterker nog: volgens veel AI-kenners begrijpen LLMs niet waar ze het over hebben [2]. Wat de meest geavanceerde LLMs doen, is op basis van statistiek voorspellen hoe een tekst waarschijnlijk verder moet gaan. Stel de tekst tot nu toe is: ‘De Eiffeltoren staat in…’ Dan is het statistisch het meest waarschijnlijk dat het volgende woord ‘Parijs’ is. Dat is zo doordat de teksten waarop de LLM is getraind, over het algemeen afkomstig van het internet, vaak ‘Eiffeltoren’ en ‘Parijs’ in dezelfde context bevatten.
Maar de LLM heeft geen manier om te controleren of de Eiffeltoren echt in Parijs staat. Het kan bijvoorbeeld geen expert raadplegen, het kan geen vragen stellen over de betrouwbaarheid van de teksten waarop het is getraind, enzovoort. Dat is ook niet waarvoor het getraind is; het is enkel getraind om statistische patronen te reproduceren. Een recent artikel beargumenteert daarom dat we de outputs van LLMs niet moeten zien als waarheidsclaims, maar als bullshit [3]. Bullshit is (geloof het of niet) een technische filosofische term, geïntroduceerd door de Amerikaanse filosoof Harry Frankfurt [4]. Frankfurt definieert iemand die bullshit verkondigt als iemand die uitingen doet zonder aandacht te hebben voor de waarheid ervan. Omdat LLMs geen manier hebben om de waarheid van hun claims te verifiëren, zou je ze als bullshitters kunnen zien.
Hallucinerende LLMs
Het is dan ook niet verwonderlijk dat LLMs met enige regelmaat de mist ingaan. Ze zijn berucht om hun hallucinaties, oftewel foutieve outputs [5]. Deze outputs kunnen op twee manieren insluipen. Ten eerste kunnen de teksten op het internet waarop de LLM getraind is, foutieve informatie bevatten. Maar ten tweede kunnen LLMs ook rare antwoorden ‘verzinnen’ die nergens op het internet te vinden zijn. Zo vermeldt ChatGPT als bronnen soms artikelen die nooit geschreven zijn. De statistische patronen die LLMs reproduceren, kunnen blijkbaar resultaten opleveren die in geen enkele bron te vinden is.
Ontwikkelaars van LLM, en andere onderzoekers, zijn bezig verschillende methoden te ontwikkelen om onjuiste antwoorden tegen te gaan [6]. Een mogelijkheid is om tijdens de training van een LLM meer gewicht te geven aan bronnen die over het algemeen betrouwbaar zijn, zoals gerenommeerde kranten of encyclopedieën.
Ook kunnen onjuiste antwoorden gestraft worden in de ‘finetuning’-fase. De meeste LLMs worden namelijk ‘gefinetuned’ nadat ze klaar zijn met het statistische leerproces. In deze finetuning-fase bekijken testers de antwoorden van het model, en kunnen ze feedback geven wanneer deze antwoorden onwenselijk zijn. Negatieve feedback leidt ertoe dat de gewichten in het model worden aangepast. Door negatieve feedback te geven wanneer een LLM hallucinaties produceert, kunnen ontwikkelaars de LLM wellicht aanleren om in het geval van onzekerheid geen uitspraken te doen.
Ten slotte is het natuurlijk mogelijk om een LLM niet alleen tijdens de trainingsfase toegang te geven tot bronnen, maar ook tijdens de generatie van antwoorden. Zo heeft ChatGPT sinds 2024 toegang tot het internet, waardoor het beter in staat is om onjuiste antwoorden te corrigeren [7]. Daarbij wordt opnieuw voorrang gegeven aan betrouwbare bronnen.
Deze technieken zijn nog volop in ontwikkeling, dus het moet nog blijken hoe succesvol ze uiteindelijk zullen zijn in het bestrijden van hallucinaties door LLMs. Maar het is waarschijnlijk dat ze het probleem niet helemaal zullen oplossen. Ze proberen het statistische leerproces in goede banen te leiden of extra safeguards in te bouwen. Maar dat leerproces zelf blijft in essentie hetzelfde. LLMs blijven bullshitters die hun antwoorden allereerst baseren op statistische patronen en niet op waarheid of logische consistentie.
Een tijdperk van domheid?
LLM-hallucinaties zullen dus nog wel even onder ons blijven. Maar betekent dit dat we een tijdperk van kunstmatige domheid tegemoet gaan? Er zijn twee belangrijke risico’s. Het eerste is dat LLMs in de ogen van gebruikers betrouwbare bronnen gaan vervangen. Het tweede is dat we door het gebruik van LLMs niet zelf hoeven na te denken hoe we iets verwoorden of waar we informatie kunnen vinden, en daardoor minder kritische vaardigheden ontwikkelen. Dit zou misschien niet zo erg zijn wanneer ChatGPT deze vaardigheden over kan nemen, maar zoals we hebben gezien is dat maar zeer de vraag.
De eerste voortekenen voor beide risico’s zijn niet direct rooskleurig. Een studie in 2023 liet zien dat gebruikers teksten van ChatGPT even betrouwbaar vinden als teksten die door mensen zijn geschreven (afkomstig van Wikipedia, een relatief betrouwbare bron) [8]. Eerder dit jaar verscheen een studie waaruit bleek dat mensen die meer cognitieve taken uitbesteden aan AI, gemiddeld lager scoren op kritische denkvaardigheden [9]. De erosie van ons denkvermogen door uitbesteding aan technologie, waar Plato 2400 jaar geleden al bang voor was, dreigt dus alsnog werkelijkheid te worden.
Maar het is ook mogelijk dat meer bewustzijn van de risico’s van LLMs uiteindelijk leidt tot meer reflectie op verantwoord gebruik ervan. We hoeven LLMs natuurlijk niet te gebruiken om informerende teksten te produceren. We kunnen ook besluiten ze slechts te gebruiken voor meer ondersteunende taken, zoals het samenvatten van teksten of het verwijderen van spelfouten. Voor het onderwijs ligt een belangrijke taak om nieuwe generaties te helpen verantwoord en risicovol gebruik van LLMs te onderscheiden.
Plato’s angst is uiteindelijk niet uitgekomen, onder andere doordat een onderwijssysteem is ontstaan dat ons helpt om geschreven teksten op een kritische manier te benaderen. Of AI ons uiteindelijk dommer gaat maken, of nieuwe kritische vaardigheden gaat stimuleren, hangt waarschijnlijk vooral af van innovaties in het onderwijs en publieke communicatie, en niet zozeer van computer-technische oplossingen.