Čitanje misli pomoću snimka moždane aktivnosti zvuči kao nešto iz budućnosti, ali sada je korak bliže stvarnosti. Nova tehnika nazvana "opisivanje misli” (mind captioning) generiše opisne rečenice o tome šta osoba vidi ili zamišlja u svojoj glavi, koristeći očitanja moždane aktivnosti i to s impresivnom tačnošću.
Ova tehnika, opisana u radu objavljenom danas u časopisu Science Advances, također pruža nove uvide u to kako mozak predstavlja svijet prije nego što se misli pretvore u riječi. Uz to, mogla bi pomoći osobama s jezičkim poteškoćama, na primjer, onima koji su pretrpjeli moždani udar, da lakše komuniciraju, piše Scientific American.
"Model predviđa ono što osoba gleda s mnogo detalja. Teško je postići takvu preciznost. Iznenađujuće je koliko detalja se može dobiti“, kaže Alex Huth, kompjuterski neuroznanstvenik sa Univerziteta Kalifornije u Berkeleyju.
Skeniranje i predviđanje
Istraživači već više od decenije mogu s velikom tačnošću predvidjeti šta osoba vidi ili čuje koristeći njenu moždanu aktivnost. Međutim, dešifrovanje načina na koji mozak tumači složene sadržaje, poput kratkih videa ili apstraktnih oblika, pokazalo se znatno težim.
Prethodni pokušaji uspjeli su identifikovati samo ključne riječi koje opisuju ono što je osoba vidjela, ali ne i širi kontekst, kao što su tema videa i radnje koje se u njemu odvijaju, objašnjava Tomoyasu Horikawa, kompjuterski neuroznanstvenik iz NTT Communication Science Laboratories u Kanagawi, Japan.
Drugi pokušaji koristili su vještačku inteligenciju (AI) koja sama stvara rečenice, zbog čega je bilo teško utvrditi da li je opis zaista potekao iz moždane aktivnosti, dodaje on.
Horikawina metoda je prvo koristila duboki jezički AI model kako bi analizirao tekstualne opise više od 2000 videa, pretvarajući svaki u jedinstveni numerički "potpis značenja“.
Istreniran model
Zatim je drugi AI alat treniran na snimcima mozga šest učesnika, učeći da prepozna obrasce moždane aktivnosti koji odgovaraju svakom "potpisu značenja“ dok su učesnici gledali videe.
Kada je model bio istreniran, dekoder mozga mogao je analizirati novi moždani snimak osobe koja gleda video i predvidjeti koji "potpis značenja“ se krije iza njega. Nakon toga, drugi AI generator teksta tražio bi rečenicu koja je najbliža značenju koje je dešifrovano iz moždane aktivnosti pojedinca.
Na primjer, jedan učesnik gledao je kratak video osobe koja skače s vrha vodopada. Na osnovu moždane aktivnosti, AI model je pogađao nizove riječi – počevši od "proljećni tok“, zatim "iznad brze padajuće vode“, i naposljetku, nakon stotinu pokušaja, stigao do rečenice: "Osoba skače preko dubokog vodopada na planinskom grebenu".
Istraživači su potom zamolili učesnike da se prisjete video-klipova koje su ranije gledali. AI modeli su uspješno generisali opise i tih sjećanja, što pokazuje da mozak koristi slične obrasce kako za gledanje, tako i za prisjećanje.