Kada ljudi neformalno komuniciraju s AI chatbotovima, njihov opušteni ton može smanjiti tačnost razumijevanja poruka od strane AI, pokazuje novo istraživanje naučnika iz Amazona.
Naučnici Fulei Zhang i Zhou Yu iz Amazona analizirali su način na koji korisnici razgovaraju s ljudskim agentima u poređenju s chatbotovima temeljenim na velikim jezičnim modelima (LLM). Koristeći model Claude 3.5 Sonnet, procijenili su pristojnost, tečnost i raznolikost vokabulara. Utvrdili su da su korisnici znatno manje formalni i pristojni kada razgovaraju s chatbotovima. Prema rezultatima dobivenim Claudeom, komunikacija s ljudskim agentima bila je 14,5% pristojnija i formalnija, 5,3% tečnija i 1,4% raznovrsnija u rječniku.
Kako korisnici doživljavaju chatbotove?
Korisnici prilagođavaju svoj jezični stil u razgovorima s LLM-ovima, stvarajući poruke koje su kraće, izravnije, manje formalne i gramatički jednostavnije. Ovo ponašanje vjerojatno proizlazi iz shvatanja chatbotova kao manje društveno osjetljivih ili manje sposobnih za nijansirano tumačenje, navode autori istraživanja objavljenog na preprint serveru arXiv.
U drugoj fazi, Zhang i Yu obučili su model Mistral 7B na 13.000 razgovora između ljudi, a zatim ga testirali na 1.357 interakcija korisnika s chatbotovima. Budući da je Mistral treniran na ljudskim dijalozima, često je pogrešno tumačio korisničke namjere u razgovorima s AI-em zbog ranije navedenih razlika.
Pokušaji poboljšanja razumijevanja koji su koristili Claude AI za stilsku preoblikovanje korisničkih poruka u "minimalni" ili "obogaćeni" oblik, zapravo su smanjili tačnost za 2,6% odnosno 1,8%. Kombinovanjem oba pristupa tačnost se poboljšala za 2,9%, što pokazuje važnost prilagodbe stila komunikacije.
Noah Giansiracusa sa Univerziteta Bentley, koji nije učestvovao u istraživanju, smatra da različit ton prema chatbotovima ne treba shvatati negativno: „Dobro je kada ljudi znaju da razgovaraju s botovima i prilagođavaju svoje ponašanje u skladu s tim“, rekao je za New Scientist.