Natjerati sisteme umjetne inteligencije da robusno percipiraju ljude ostaje jedan od najsloženijih izazova u računarskom vidu. 3D rekonstrukcija ruke iz jedne RGB slike posebno je izazovna zbog artikuliranih pokreta, samookluzije i interakcije s objektima. Postojeće SOTA metode koriste transformatore temeljene na pažnji za učenje 3D poze i oblika ruku, ali ne uspijevaju postići robusnu i tačnu izvedbu zbog nedovoljnog modeliranja zajedničkih prostornih odnosa.
Na Institutu za robotiku Univerziteta Carnegie Mellon, istraživači su izradili novi model po imenu Hamba, koji nudi posebno zanimljiv pristup rekonstrukciji 3D ruku iz jedne slike, ne zahtijevajući nikakvo prethodno poznavanje specifikacija kamere ili konteksta tijela osobe.
Ono što izdvaja Hambu je njeno odstupanje od konvencionalnih arhitektura temeljenih na transformatorima. Umjesto toga, koristi modeliranje prostora stanja temeljeno na arhitekturi dubokog učenja Mambi, što je prvi put da je takav pristup primijenjen na artikuliranu 3D rekonstrukciju oblika. Model također poboljšava Mambin originalni proces skeniranja uvođenjem dvosmjernog skeniranja vođenog grafikonom, koje koristi mogućnosti učenja grafikona Graph Neural Networks za snimanje prostornih odnosa između zglobova šake s izuzetnom preciznošću.
Hamba postiže najsavremeniju izvedbu na mjerilima kao što je FreiHAND, sa srednjom greškom položaja po vrhu od samo 5,3 milimetra, što je preciznost koja naglašava njegov potencijal za aplikacije u stvarnom svijetu.
Osim svojih tehničkih dostignuća, Hamba ima šire implikacije na interakciju između ljudi i računara, omogućavanjem mašina da bolje percipiraju i tumače ljudske ruke, postavlja temelje za buduće sisteme opće umjetne inteligencije (AGI) i robote koji su sposobni razumjeti ljudske emocije i namjere s više nijansi.
Istraživački tim se sada planira pozabaviti ograničenjima modela dok istražuje njegov potencijal za rekonstrukciju 3D ljudskih modela cijelog tijela iz pojedinačnih slika, još jedan važan izazov sa širokom primjenom u industrijama, od zdravstvene zaštite do zabave.
