Startup Recogni, posvećen izradi čipova i softvera za umjetnu inteligenciju, predstavio je novu računsku metodu koja njegove čipove, namijenjene treniranju i pokretanju AI sistema učiniti manjim, bržim i jeftinijim za rad. Recogni uz podršku BMW-a, Boscha i kompanije Mayfield razvija specijalizirane čipove i softver za omogućavanje AI zaključivanja. Njihov novi patentirani sistem Pareto koristi logaritamski pristup koji, tvrde, nadmašuje postojeće metode pri pokretanju velikih AI modela, tvrdi startup.
Zbrajanje umjesto množenja
Trenutačni AI modeli kao što su OpenAI GPT-4 ili Google Gemini zahtijevaju stotine hiljada matematičkih operacija gladnih energije za jednostavne upite chatbotovima kao što je ChatGPT. Recogni tvrdi da njihov novi sistem te operacije množenja pretvara u zbrajanje, značajno smanjujući potrošnju energije uz zadržavanje tačnosti.
"Paretov logaritamski sistem brojeva ima najmanju prosječnu grešku i najveću izvedbu za AI modele. Pretvaranjem množenja u zbrajanje, Pareto značajno smanjuje potrošnju energije, latenciju i veličinu čipa, što ga čini optimalnim izborom za moderni dizajn čipova s umjetnom inteligencijom", tvrde u startupu. "Organizacije koje koriste GenAI zaključivanje sada mogu održavati operativne troškove nižima od bilo koje druge tehnologije i osigurati beskompromisnu kvalitetu AI modela za najširi izbor multimodalnih GenAI Inference aplikacija i slučajeva korištenja.”
Novi partner
Opsežna testiranja na raznim AI modelima, uključujući Mixtral-8x22B, Llama3-70B, Falcon-180B, Stable Diffusion XL i Llama3.1-405B pokazuju da Pareto postiže relativnu tačnost veću od 99,9%, trošeći pritom znatno manje energije.
Recogni, čiji je čip izradio tajvanski TSMC, najavljuje saradnju s neimenovanim partnerom kako bi Pareto u budućnosti bio što dostupniji, a o kojem je partneru ili više njih riječ, trebalo bi se saznati u nadolazećim mjesecima.
