Kompanija vjeruje da je pronašla razlog zbog kojeg chatbot iznosi informacije koje je 'izmislio', ali nije sigurna kako to tačno spriječiti.
OpenAI je objavio novo istraživanje u kojem navodi da algoritmi nagrađuju chatbotove kada 'pogode' odgovor, umjesto da priznaju da ga ne znaju. Riječ je, podsjećamo, o pojavi poznatoj kao halucinacije, tj. tome da veliki jezični modeli (LLM), koji se koriste za obuku chatbotova, daju netačne ili izmišljene informacije.
Prema izvještaju, halucinacije proizlaze iz greške u binarnoj klasifikaciji, odnosno kada model pokušava nove podatke svrstati u jednu od dvije kategorije. Istraživači to uspoređuju s učenicima na testu na kojem imaju višestruki izbor ili kada blefiraju – kako god bilo, radije pogađaju odgovor nego da ostave prazno polje jer im se za odgovor dodjeljuju bodovi, a za prazno polje neće dobiti ništa.
LLM-ovi, kažu naučnici, funkcioniraju po sličnom principu: za tačan odgovor dobiju bod dok za izjavu 'ne znam' ili prazno polje ne dobiju ništa. Zato pogađanje povećava ukupni rezultat, čak i kada je netačno.
Izvještaj dolazi nekoliko sedmica nakon što je OpenAI predstavio GPT-5, model koji kompanija opisuje kao 'otporan na halucinacije' i koji, prema njima, daje 46 posto manje netačnih odgovora od prethodnog GPT-4o. No američka kompanija NewsGuard nedavno je otkrila da ChatGPT-jevi modeli u cjelini i dalje šire dezinformacije u čak 40 posto odgovora.
OpenAI ističe da se halucinacije ne mogu u potpunosti ukloniti jer postoje pitanja na koja algoritmi nikada neće moći dati ispravan odgovor. Na primjer, model može prepoznati razliku između psa i mačke na fotografiji, ali ne može klasificirati životinje prema njihovom datumu rođenja jer takvi podaci nisu povezani s vizualnim funkcijama.
Zaključak istraživanja jest da neki problemi u stvarnom svijetu ostaju bez odgovora bez obzira na napredak tehnologije. Kao jedno od rješenja, OpenAI predlaže da se modeli potaknu da češće odgovaraju s 'ne znam' kada nemaju dovoljno podataka, kao i da se izmijeni postojeći sistem nagrađivanja odgovora. Kako će to promijeniti autentičnost odgovora, saznat ćemo uskoro.