Praten met ChatGPT voelt soms alsof je voor een echt persoon staat. Een experiment uitgevoerd aan Stanford University toont aan dat hier meer waarheid in zit dan je zou denken.

ChatGPT heeft de afgelopen weken al meermaals bewezen goed te zijn in het combineren van feiten en het niet alleen vinden, maar ook interpreteren van informatie. Hij kan goed klinkende essays over de middelbare school schrijven en is onlangs (nauwelijks, nauwelijks, maar) geslaagd voor zijn medische examen. Maar wat is zijn intelligentieniveau, of beter gezegd: hoeveel begrijpt hij van de wereld om hem heen en van menselijk gedrag? Het werd getest aan de Stanford University.

Kunstmatige intelligentie vergeleken met de menselijke geest

Het beschreven experiment werd uitgevoerd door professor Michał Kosiński – een in Warschau geboren docent aan de Stanford University School of Business. Hij werkt op het gebied van sociale psychologie en datawetenschap en is een van de meest gerespecteerde specialisten op het gebied van psychometrie, de afdeling die zich bezighoudt met psychologische tests.

Deze specifieke test – de theory of mind-test genoemd – is ontworpen om het vermogen van een kind te testen om te begrijpen wat er in het hoofd van een ander omgaat in bepaalde situaties. Een kind dat bijvoorbeeld iemand een banaan van het aanrecht ziet pakken, zou moeten concluderen dat de persoon honger heeft. Als er iets anders is dan wat er in de doos staat, zou dat op zijn beurt teleurstelling moeten voorspellen. Kortom: de test is ontworpen om te helpen bij het beoordelen van het vermogen van de testpersoon om de mentale toestand van een andere persoon te begrijpen en diens gedrag te voorspellen.

ChatGPT is als een negenjarige
Volgens de dienst TechRadar behaalde het programma ChatGPT dat aan deze test werd onderworpen een resultaat van 93 procent. Dit plaatst hem op één lijn met een negenjarig kind, een typische vierdeklasser. Volgens Kosiński kan dit vooral te danken zijn aan de verbetering van de taalvaardigheid.

”Tests tonen aan dat de nieuwste gespreksmodellen zeer hoge scores behalen in klassieke taken […] die worden gebruikt in theory of mind-tests” – merkte Kosiński op. Hij wees er echter ook op dat deze resultaten met enige voorzichtigheid moeten worden benaderd. Tegelijkertijd is hij van mening dat onderzoek naar kunstmatige intelligentie in dit opzicht fascinerend is, in vergelijking met het eerste psychologische onderzoek, waarvan de objecten toen een andere ”grote onbekende” waren, namelijk het menselijk brein.

Interessant is dat ChatGPT, wanneer hem wordt gevraagd of hij in staat is om te slagen voor de theory of mind-test, antwoordt: ”Het spijt me, maar ik zet dit gesprek liever niet voort. Ik ben nog aan het leren, dus ik zal je dankbaar zijn voor je begrip en geduld.”