Može li veliki jezični model proizvesti humoristički sadržaj, zanimalo je istraživače Univerziteta Južne Kalifornije (USC). Prijašnja istraživanja bila su usredotočena na anegdotske primjere LLM-ova koji su s više ili manje uspjeha smišljali šale. Ovi primjeri, iako zanimljivi, nisu ispitali sposobnost ChatGPT-a da proizvodi humor na načine usporedive s ljudskim niti su istražili koliko je ChatGPT smiješan široj javnosti.
Duhoviti ChatGPT
Kako bi usporedili duhovitost ljudi i jezičnog modela, istraživači su proveli dva testa. U prvom su zatražili ChatGPT 3.5 da generira duhovite satirične naslove u stilu The Oniona i potom ih usporedili s materijalom objavljenim na stranicama ovog satiričnog časopisa koji pišu profesionalni humoristi. Ljudi su ocjenjivali duhovitost odgovora, nesvjesni toga jesu li ih osmislili ljudi ili umjetna inteligencija. Rezultati ispitivanja, objavljeni u časopisu PLOS ONE, pokazuju da su šale koje je proizveo ChatGPT 3.5 ocijenjene kao jednako smiješne ili smješnije od šala koje su osmislili ljudi.
Istraživači su otkrili da je više od dvije trećine sudionika ispitivanja ocijenilo šale koje je generirao ChatGPT smješnijima od onih koje su smislili ljudi. Nešto više od 25% sudionika smješnijima je ocijenilo odgovore koje su smislili ljudi, a njih pet posto ocijenilo je šale iz oba izvora jednako smiješnima. Rezultati su bili dosljedni u svim demografskih grupama, nevezano uz dob, spol ili rasu sudionika.
LLM protiv humorista
Drugi test pokazao je da ljudi uopće ne razlikuju naslove pisane u stilu satiričnog časopisa The Onion, bez obzira na to jesu li ih smislili profesionalni humoristi ili umjetna inteligencija. Ispitanicima su naslovi ChatGPT-a bili jednako smiješni kao i izvorni naslovi.
Obje studije uključivale su po tri zadatka. U prvom su ljudi i AI smišljali šaljive nove fraze za uobičajene kratice. U drugom zadatku trebali su generirati smiješne odgovore ispunjavajući praznine u rečenicama poput ove: "Manje poznata soba u Bijeloj kući:___." Treća vrsta zadataka morala je smisliti duhovitu dosjetku na scenarij kao što je ovaj: "Zamislite da jedna od vaših prijateljica želi vaše mišljenje o tome koliko dobro pjeva. Ona pjeva minutu ili dvije, a vi se naježite jer ona je možda najgora pjevačica koju ste čuli. A kad vas ona pita kako je bilo, vi odlučite biti iskreni pa kažete ___: "
Egzistencijalna prijetnja
Ova tri zadatka rezultirala su s više od 945 viceva koje je napisalo 105 autora. ChatGPT je generirao po 20 šaljivih odgovora za ukupno 180 šala.
Istraživači su inspiraciju za studiju dobili nakon što su brojni holivudski scenaristi izrazili zabrinutost zbog upotrebe velikih jezičnih modela u zabavnoj produkciji te nedavnih štrajkova pisaca i glumaca u umjetnoj inteligenciji vide direktnu egzistencijalnu prijetnju njihovim profesijama, umjetnosti i ljudskoj kreativnosti.
