Veliki jezični modeli (LLM-ovi) vole velike količine memorije, zapravo toliko da se AI entuzijasti okreću postavkama s više GPU-a kako bi za svoje AI aplikacije dobili još više VRAM-a.
Ali budući da su mnogi trenutni LLM-ovi iznimno veliki, čak i ovaj pristup ima svoja ograničenja. S vremena na vrijeme, GPU će odlučiti iskoristiti procesorsku snagu CPU-a za te podatke, a kada to učini, performanse vaše CPU predmemorije i DRAM-a dolaze u obzir. Drugim riječima, kada se radi o izvedbi AI aplikacija, nije bitan samo GPU, već cijeli sustav koji povezuje GPU s CPU-om na I/O matricu s DRAM modulima.
AMD je upravo lansirao dva nova Ryzen CPU-a s AMD 3D V-Cache tehnologijom, AMD Ryzen 9 9950X3D i AMD Ryzen 9 9900X3D, gurajući seriju u novi teritorij performansi. Nakon testiranja širokog raspona optimizacija u različitim radnim opterećenjima, razvili su niz postavki koje nude opipljive prednosti za AI entuzijaste putem BIOS-a pod nazivom AI Cache Boost.
Dostupan putem matične ploče ASUS AMD serije 800 i najnovijeg ažuriranja firmvera, AI Cache Boost može ubrzati performanse do 12,75% kada radite s velikim LLM-ovima.
Za pristup AI Cache Boostu trebat će vam matična ploča ASUS AMD 800 serije i AMD Ryzen 9000 serija Granite Ridge CPU. Otvorite UEFI BIOS i idite na karticu Extreme Tweaker. Prebacite AI Cache Boost na "Enabled" i to je sve što trebate učiniti.
Aktivacija AI Cache Boosta uključuje niz optimizacija, uključujući overlock Infinity Fabric takt (FCLK) na 2100 MHz. Pojačavanje FCLK-a ovdje je važan dio slagalice, budući da povećava propusnost prijenosa podataka između CPU jezgri, predmemorije i memorije, a ti su prijenosi važni kada radite s masivnim LLM-ovima.
Ovo će biti korisno za sve one koji koriste isti računar za AI aplikacije i za igranje. Asus kaže da omogućavanje AI Cache Boosta ne utječe značajno na performanse igranja, pa biste stoga trebali ostaviti postavku uključenu čak i kada se prebacujete s jedne vrste radnog opterećenja na drugu.
