Het concept p(doom) – de geschatte waarschijnlijkheid dat vooruitgang in kunstmatige intelligentie (AI) catastrofale gevolgen zal hebben, waaronder het uitsterven van de mensheid – is een onderwerp van discussie geworden binnen de academische AI-gemeenschap en in het bredere publieke debat. Ondanks de complexiteit en onzekerheid van dit vraagstuk, werken onderzoekers en wetenschappers actief aan het begrijpen en kwantificeren van deze risico's. Vanwege deze onzekerheid lopen de schattingen van p(doom) sterk uiteen. Recente discussies en onderzoeken laten een breed spectrum aan meningen zien, met cijfers variërend van minder dan 0,01% tot meer dan 99%.
Een enquête uit 2022 onder 738 machine learning onderzoekers rapporteert een mediaan van 10% kans dat mensen de controle over AI zal verliezen, en een kans van 5% op het uitsterven van de mensheid als gevolg van AI. Een interne peiling van PauseAI onder onderzoekers verbonden aan het Machine Intelligence Research Institute (MIRI) rapporteert extreem pessimisme: Eliezer Yudkowsky schat p(doom) op meer dan 80%, terwijl Roman Yampolskiy het op een duizelingwekkende 99,999999% stelt.
Hoewel p(doom) verwijst naar serieuze zorgen over de mogelijkheid dat AI catastrofale schade aanricht, is het in AI-kringen steeds vaker een soort lakmoesproef geworden: als je iemand vraagt hoe groot zij de kans op een doemscenario inschatten, krijg je snel inzicht in hun houding ten opzichte van bredere technologische risico’s. Het werkt zoals een politiek Kompas. Een hoge p(doom) plaatst iemand in het kamp van mensen die pessimistisch zijn over AI en grote risico’s zien. Een lage inschatting wijst juist op vertrouwen in de veerkracht van de mens, effectieve regelgeving, of twijfel over hoe ingrijpend AI echt zal zijn. Mensen die ergens in het midden zitten, combineren zorgen over existentiële risico’s met voorzichtige hoop op voortgang in AI-beheersing of hervorming van instituties. Maar net als bij politieke labels geldt: als je te veel leunt op één enkel p(doom)-cijfer, loop je het risico belangrijke nuances te missen.
Ten eerste, critici wijzen erop dat p(doom) geen eenduidige, algemeen aanvaarde definitie heeft. De term kan slaan op rampzalige AI-fouten op korte termijn, maar ook op de kans dat de mensheid uitsterft zodra er een superintelligente of algemeen intelligente AI (AGI) ontstaat. Door die onduidelijkheid kunnen twee mensen hetzelfde percentage noemen, terwijl ze totaal verschillende scenario’s of tijdlijnen in gedachten hebben. Vergelijkingen worden daardoor al snel misleidend en bemoeilijken ene zinvolle discussie. Ten tweede, en daarmee samenhangend, ontbreekt bij p(doom)-schattingen vaak een duidelijke afgebakend tijdssbestek. Een kans van 10% op een ramp binnen tien jaar is iets heel anders dan 10% in de komende tweehonderd jaar. Zonder zo’n tijdsindicatie is het alsof je leeftijden vergelijkt zonder te zeggen of je het over jaren of maanden hebt—het wordt al snel onduidelijk wat er precies bedoeld wordt.
Zelfs als er wél een tijdshorizon wordt gegeven, blijkt dat ook het begrip "doem" op verschillende manieren wordt geïnterpreteerd. Betekent het letterlijk het uitsterven van de mensheid? Of valt daar ook onder dat mensen permanent de controle over hun toekomst verliezen, of dat we er niet in slagen het enorme potentieel van geavanceerde AI ten goede te benutten? Al deze scenario’s vragen om andere manieren van ingrijpen, net zoals verschillende politieke overtuigingen andere soorten beleid vereisen.
Tot slot is het belangrijk om te beseffen dat p(doom)-inschattingen niet losstaan van sociale, professionele of institutionele belangen. Mensen die zelf betrokken zijn bij het ontwikkelen van geavanceerde AI kunnen onbewust geneigd zijn lagere risico’s te rapporteren. Tegelijkertijd kunnen voorstanders van strengere regulering juist de neiging hebben om het risico te benadrukken. Dat maakt de schattingen niet automatisch ongeldig, maar het laat wel zien dat persoonlijke en professionele drijfveren invloed kunnen hebben op hoe risico’s worden ingeschat en gecommuniceerd.
Er zijn overigens ook onderzoekers op het gebied van existentiële risico’s die proberen meer gestructureerde en transparante manieren te ontwikkelen om AI-risico’s te beoordelen. Zij maken bijvoorbeeld gebruik van scenarioanalyse en besluitvormingstheorie. Geen enkele methode is volledig objectief of zonder onzekerheid, maar het is wel belangrijk onderscheid te maken tussen inschattingen die vooral op gevoel of belangen zijn gebaseerd, en schattingen die voortkomen uit een serieuze poging tot systematische risicoanalyse.
Kortom, we moeten voorzichtig zijn met het beschouwen van p(doom) als een nauwkeurige of op zichzelf staande maat. Het kan een waardevol vertrekpunt zijn voor gesprekken—door mensen te laten nadenken over hun aannames over de ontwikkeling van AI, hoe moeilijk het is om AI onder controle te houden, wat overheden kunnen doen, en welke waarden belangrijk zijn. Maar het is géén vervanging voor een grondige risicoanalyse. Het uitspreken van een p(doom)-getal kan helpen om dieperliggende meningsverschillen bloot te leggen: over welke toekomst we vrezen of nastreven, en waar we het meeste kunnen ingrijpen. In plaats van te blijven hangen in het getal zelf, zouden we ons moeten richten op de aannames, scenario’s en waarden erachter. Waar maken we ons precies zorgen over? Onder welke omstandigheden worden die zorgen reëel? En wat kunnen we doen—technisch, politiek en ethisch—om een toekomst vorm te geven die we daadwerkelijk willen?