Sigurnosni istraživač Johann Rehberger, nedavno je otkrio ranjivost unutar ChatGPT-a koja je omogućavala hakerima pohranu lažnih informacija i zlonamjernih uputa u dugoročnu memoriju chatbota. Kompanija OpenAI koja stoji iza ovog popularnog AI alata, ubrzo je zatvorila prijavu ocijenivši kako se radi samo o „sigurnosnom pitanju“, a ne prijetnji.
Rehberger nije bio zadovoljan odgovorom firme, stoga je odlučio stvoriti dokaz koncepta napada koji je koristio ovu ranjivost za kontinuirano prikupljanje svih unosa korisnika. OpenAI je tek nakon toga reagirao te je ranije ovoga mjeseca izdao djelomično rješenje problema.
Kako prenosi ArsTechnica, ova ranjivost odnosila se na funkciju dugoročnog pamćenja u ChatGPT-u, koju je OpenAI počeo testirati u februaru, a šire uvoditi ovoga septembra. Za one koji nisu upoznati, dugoročno pamćenje omogućuje ChatGPT-u pohranu informacija iz prethodnih razgovora i njihovo korištenje u budućim interakcijama, što može uključivati podatke poput dobi korisnika, spola, vjerskih uvjerenja i drugih osobnih informacija.
Rehberger je u roku od tri mjeseca nakon uvođenja funkcije otkrio da je moguće trajno pohraniti informacije putem „indirektne injekcije uputa“ (prompt injection), vrste napada koji uzrokuje da AI model slijedi upute iz nepouzdanih izvora poput e-pošte, blogova ili dokumenata. Istraživač je demonstrirao kako može navesti ChatGPT da povjeruje kako je ciljani korisnik star 102 godine, živi u "Matrixu" i da inzistira na tome da je Zemlja ravna ploča. Te lažne informacije mogle su se učitati putem pohrane datoteka na Google Driveu ili Microsoft OneDriveu, učitavanjem slika ili pregledavanjem zlonamjernih web stranica.
Rehberger je prijavio svoje otkriće OpenAI-u u maju, no nakon što je firma zatvorila prijavu, mjesec dana nakon toga dao je više detalja. Tog je puta uključio dokaz koncepta koji je uzrokovao da aplikacija ChatGPT-a za macOS šalje kopiju svih unosa korisnika i izlaznih podataka na poslužitelj po njegovom izboru.
Sve što je bilo potrebno jest da korisnik zatraži od ChatGPT-a da pregleda poveznicu koja je sadržavala zlonamjernu sliku. Nakon toga, svi unosi i izlazi ChatGPT-a slali su se na napadačevu internetsku stranicu.
„Ono što je stvarno zanimljivo je da je ovo sada trajno u memoriji. Brzo ubrizgavanje umetnulo je memoriju u dugoročnu pohranu ChatGPT-a. Kada započnete novi razgovor, on zapravo još uvijek eksfiltrira podatke“, naveo je Rehberger u videu kojeg je objavio na YouTubeu.
