Historija je prepuna briljantnih, ali nepouzdanih pojedinaca, a osobina, čini se, nije zaobišla ni umjetnu inteligenciju. Prema istrazi koju je OpenAI proveo i podijelio s The New York Timesom, njihovi najnoviji ChatGPT AI modeli, GPT o3 i o4-mini, pokazuju značajnu sklonost halucinacijama, tj. izmišljanju činjenica.
Modeli GPT o3 i o4-mini osmišljeni su da oponašaju ljudsko rezoniranje, za razliku od starijih verzija koje su se fokusirale na tečno generiranje teksta. OpenAI je istaknuo da je prethodni model o1 mogao dostići ili premašiti uspjeh doktoranata u hemiji, biologiji i matematici. No, najnovije brojke izazivaju zabrinutost.
U testu koji je uključivao javne osobe, GPT o3 je halucinirao u 33% slučajeva, dvostruko više nego o1. Manji model o4-mini bio je još nepouzdaniji, s 48% odgovora koji su sadržavali izmišljotine. Na SimpleQA testu općeg znanja, brojke su porasle: 51% odgovora modela o3 i 79% o4-mini bili su netačni, piše portal Tech Radar.
Pretpostavka koja se razmatra u AI zajednici jest da što više model pokušava rezonirati, to mu raste vjerojatnost greške. Stariji, jednostavniji modeli drže se visoko samouvjerenih predviđanja, dok noviji analiziraju više puteva i improviziraju, što onda lako prelazi u izmišljanje činjenica.
OpenAI je za Times izjavio da uzrok povećanog broja halucinacija možda nije samo složenije rezoniranje, već i veća opširnost odgovora. Budući da modeli sve češće nagađaju, granica između teorije i fikcije time postaje zamagljena.
To je zabrinjavajuće jer se AI sve više koristi u školama, uredima, bolnicama i administraciji. GPT o3, iako sposoban za složene zadatke, gubi vjerodostojnost kada počne generirati netačnosti, poput primjerice tvrdnje da je Abraham Lincoln vodio podcast. AI koji bi trebao pomagati i olakšati rad čovjeku, ne smije biti izvor grešaka te tako posao koji pokušava olakšati zapravo dodatno otežavati.
OpenAI i konkurenti poput Googlea i Anthropica nastoje poboljšati tačnost. Do tada, na korisnicima ostaje da budu izuzetno oprezni, jer nijedan AI odgovor ne treba uzimati zdravo za gotovo.