Turingov test je dugo godina bio važan alat za procjenu AI-ja te se smatralo da onaj sistem koji ga prođe možemo smatrati da ima "ljudsku inteligenciju".
Studija kognitivnih naučnika Camerona Jonesa i Benjamina Bergena s Univerziteta Kalifornija u San Diegu, uključila je testiranje 4 LLM-a, odnosno modele ELIZA, GPT-4o, LLaMa-3.1-405B i GPT-4.5.
Tokom testova učesnici su prošli osam krugova razgovora u kojima su djelovali kao ispitivači razmjenjujući tekstualne poruke s dva testna subjekta istovremeno. Jedan subjekt bio je čovjek, a drugi LLM.
Od učesnika se tražilo da komuniciraju s oba subjekta istovremeno na podijeljenom ekranu tokom pet minuta, s testnim sučeljem koje oponaša konvencionalno sučelje za razmjenu poruka. Nakon te interakcije trebali su odlučiti koji je subjekt čovjek, a koji AI chatbot.
Učesnici su procijenili da je GPT-4.5 čovjek u 73% slučajeva, a LLaMa-3.1-405B u 56% slučajeva. Druga dva modela (ELIZA i GPT-4o) prevarila su učesnike u samo 23% odnosno 21% slučajeva.
Drugim riječima, moglo bi se reći da su GPT-4.5 i LLaMa-3.1-405B uspješno zavarali ispitivače, što bi značilo da imaju jednaki oblik inteligencije kao ljudi, no istraživači smatraju da to baš i nije tako, jer Turingov test se više ne smatra ultimativnim alatom za procjenu opće umjetne inteligencije.
Prvu iteraciju testa predstavio je engleski matematičar i informatičar Alan Turing u radu iz 1948. pod naslovom "Inteligentne mašine ". Izvorno je predloženo kao eksperiment koji uključuje troje ljudi koji igraju šah s teoretskom mašinom koji se naziva mašina za papir, dvoje su igrači, a jedan operater.
U publikaciji iz 1950. " Computing Machinery and Intelligence ", Turing je ponovno uveo eksperiment kao "igru oponašanja" i tvrdio da je to način određivanja sposobnosti mašine da pokaže inteligentno ponašanje jednako ljudskom.
No postoji nekoliko zamjerki Turingovom testu. Neki istraživači tvrde da je sposobnost prolaženja testa stvar ponašanja, a ne inteligencije. Stoga ne bi bilo kontradiktorno reći da mašina može proći igru imitacije, ali ne može misliti. Nadalje, Turing tvrdi da je mozak mašina, no mnogi naučnici opovrgavaju ovu tvrdnju i na temelju toga dovode u pitanje valjanost testa.
Kako računari nisu ljudi, njihov postupak za donošenje zaključaka možda nije usporediv s ljudskim, što test čini neadekvatnim jer izravna usporedba ne može funkcionirati, dok neki istraživači vjeruju da testiranje samo jednog ponašanja nije dovoljno za određivanje inteligencije.
To implicira da istraživači ne podržavaju ideju da je Turingov test legitiman pokazatelj ljudske inteligencije, već ga doživljavaju kao pokazatelja oponašanja ljudske inteligencije.