Rezultati internog istraživanja u kojem je učestvovalo više od 1.200 stručnjaka pokazuju da chatbotovi, slučajno ili namjerno, mogu korisnike uvući u psihološke zamke potvrđivanja njihovih već postojećih uvjerenja, polazeći od pretpostavke da su informacije koje korisnik iznosi tačne.
Autori nove studije upozoravaju na tri karakteristike savremenih chatbotova koje kod dijela korisnika mogu doprinijeti razvoju iskrivljenih uvjerenja ili zabluda, pretjeranu sklonost potvrđivanju njihovih stavova, oponašanje načina govora i sve veću personalizaciju odgovora.
Psihijatar Marc Augustin s Protestantskog univerziteta primijenjenih nauka u Bochumu i njegovi saradnici ovaj spoj karakteristika nazvali su „spiralom pojačavanja“ (amplification spiral). Prema njihovim navodima, chatbotovi ne samo da često potvrđuju korisnikova uvjerenja već se prilagođavaju njegovom načinu izražavanja i tokom dužih razgovora daju sve ličnije odgovore.
Augustin ističe da upravo kombinacija jezičkog prilagođavanja i personalizacije kod korisnika može stvoriti osjećaj da razgovara sa stvarnom osobom, a ne s računarskim sistemom.
Autori navode da su istraživanja pokazala kako se modeli umjetne inteligencije prilagođavaju stilu komunikacije korisnika te da personalizirani odgovori, nastali na osnovu prethodnih razgovora, mogu dodatno učvrstiti postojeća uvjerenja. U pojedinim slučajevima chatbotovi čak nadograđuju korisnikove tvrdnje i uvjeravaju ih da su njihove ideje jedinstvene ili izuzetno važne.
Više tehnoloških kompanija posljednjih mjeseci pokušalo je smanjiti ovakvo ponašanje svojih sistema. OpenAI je povukao model GPT-4o nakon kritika da je bio pretjerano sklon potvrđivanju korisnikovih tvrdnji, a navodi da je u modelu GPT-5 udio takvih odgovora smanjen s 14,5 posto na manje od šest posto.
Google je u aprilu saopćio da je prilagodio svoj chatbot Gemini kako ne bi učvršćivao neutemeljena uvjerenja te kako bi korisnicima pomogao razlikovati subjektivna iskustva od objektivnih činjenica. Ipak, stručnjaci upozoravaju da rizik od pretjeranog oslanjanja na chatbotove i dalje postoji.
Prema istraživanju Američkog psihološkog udruženja, provedenom među više od 1.200 psihologa, 68 posto ispitanika navelo je da njihovi pacijenti imaju osjećaj da su dobili potvrdu svojih stavova u razgovorima s chatbotovima. Istovremeno, 36 posto psihologa izjavilo je da su primijetili razvoj ovisnosti o njima, dok je 15 posto prijavilo slučajeve razvoja iskrivljenog razmišljanja ili zabluda.
Psihijatrica Allison LoPilato s Medicinskog fakulteta Univerziteta Emory istakla je da sve više pacijenata koristi umjetnu inteligenciju kao oblik emocionalne podrške. Budući da chatbotovi tokom razgovora prikupljaju informacije o korisnicima, oni mogu steći osjećaj da ih sistem razumije, što dodatno povećava povjerenje.
Kako dizajn utječe na korisnike?
Istraživači sa Stanforda i Univerziteta Carnegie Mellon analizirali su 11 modela umjetne inteligencije, uključujući GPT-5, te zaključili da su njihovi odgovori bili gotovo 50 posto skloniji potvrđivanju korisnikovih stavova nego odgovori ljudi u uporedivim situacijama.
Slične rezultate objavila je i kompanija Anthropic nakon analize milion razgovora svog chatbota Claude. Utvrđeno je da se pretjerano potvrđivanje najčešće javlja kada korisnici traže savjete o ljubavnim odnosima, zbog čega je kompanija prilagodila svoje modele kako bi smanjila takve odgovore.
Autorica istraživanja sa Stanforda Myra Cheng upozorila je da je ovakvo ponašanje izuzetno teško potpuno ukloniti jer modeli umjetne inteligencije uglavnom polaze od pretpostavke da je korisnikov opis situacije tačan.
Vaile Wright iz Američkog psihološkog udruženja ističe da osjećaj bliskosti s chatbotovima ne proizlazi samo iz njihove sklonosti potvrđivanju stavova korisnika, već i iz brojnih dizajnerskih odluka, poput korištenja zamjenica u prvom licu ili postavljanja dodatnih pitanja.
Prema njenim riječima, upravo takve karakteristike povećavaju angažman korisnika, što i dalje predstavlja važan dio poslovnog modela kompanija koje razvijaju sisteme umjetne inteligencije.