AMD razvija tehnologiju MEXT koja bi mogla smanjiti količinu fizičkog DRAM-a u serverima za 20 do 75 posto, zavisno od aplikacije i ciljanih performansi. Kompanija tvrdi da se u pojedinim radnim opterećenjima može zadržati gotovo puna brzina sistema, iako dio memorije zapravo zamjenjuje znatno sporiji flash.
MEXT premješta rijetko korištene, odnosno „hladne“, memorijske stranice na flash pohranu. Kada procijeni da će određena stranica uskoro biti potrebna, AI model je vraća u DRAM prije nego što aplikacija zatraži pristup. Na taj način operativni sistem i dalje vidi memoriju kao instalirani DRAM, iako se dio podataka privremeno nalazi na NVMe uređaju.
AI predviđa koje će stranice biti potrebne
Ključni dio MEXT-a je skup AI modela, među kojima je primarni model zasnovan na transformer arhitekturi. Njegov zadatak nije generisanje teksta, već predviđanje sljedećih memorijskih stranica koje će aplikacija koristiti.
Ovakav pristup rješava osnovni problem prebacivanja podataka s flasha. Flash je višestruko sporiji od DRAM-a, pa bi čekanje da se stranica učita tek nakon zahtjeva moglo ozbiljno usporiti server. MEXT pokušava taj proces obaviti unaprijed, tako da stranica bude u memoriji u trenutku kada je potrebna.
Tehnologija se implementira kao Linux kernel modul i ne zahtijeva GPU. Prema AMD-u, MEXT se nakon pokretanja obučava za manje od sekunde, koristi jednu jezgru EPYC procesora i nastavlja učiti obrasce pristupa tokom rada aplikacije. To je važno jer se način korištenja memorije razlikuje od programa do programa.
Rezultati koje je objavio AMD
AMD je MEXT najviše testirao na aplikaciji Synopsys PrimeTime, koja zahtijeva velike količine memorije pri analizi kompleksnih dizajna. U internim testovima kompanija tvrdi da server s 50 posto punog DRAM kapaciteta zadržava 95 posto performansi sistema s kompletnom memorijom. Pri smanjenju kapaciteta na 25 posto, performanse su navodno iznosile 80 posto punog rezultata.
U drugom testu, tročlani klaster u Azureu s procesorima EPYC pete generacije ostvario je, prema AMD-u, 99 posto performansi punog klastera uz korištenje 50 posto DRAM kapaciteta. Test je koristio Spark SQL opterećenje iz TPC-DS benchmarka, odnosno tip rada u kojem baze podataka veliki dio podataka pokušavaju držati u memoriji kako bi smanjile pristup pohrani.
AMD navodi slične rezultate i za agentic AI. U testu s pet istovremenih agenata, MEXT je navodno ostvario 99 posto performansi punog sistema pri polovini memorijskog kapaciteta, odnosno 85 posto pri četvrtini kapaciteta. Kod posebno zahtjevnog agenta rezultati su iznosili 90 i 88 posto za 50, odnosno 25 posto memorije.
Ove brojke zasad treba posmatrati s oprezom. AMD nije objavio sve fusnote i detalje metodologije testiranja, pa nije moguće nezavisno procijeniti uslove pod kojima su rezultati ostvareni. Također, efekat MEXT-a zavisi od konkretnog radnog opterećenja i njegovih obrazaca pristupa memoriji.
Postepeno uvođenje uz podršku HPE-a
AMD je MEXT interno instalirao na 145 servera, a plan je da se broj poveća na 2.000 servera tokom naredne godine. Kompanija je najavila i partnerstvo s HPE-om, čiji bi serveri trebali donijeti podršku korisnicima.
Trenutna, prva faza uključuje određene EPYC Venice servere s oznakom „MEXT Ready“ i posebnim NVMe diskom ili ležištem namijenjenim za prebacivanje podataka. U drugoj fazi trebale bi biti dostupne MEXT licence i aplikacija RAM View, koja prikazuje koje su memorijske stranice aktivne, a koje dugo nisu korištene. AMD još nije objavio datum početka te faze.
MEXT je za sada vezan za EPYC platformu, dok se eventualna podrška za druge proizvode, uključujući potrošačke uređaje, spominje tek kao dugoročna mogućnost. Tehnologija će se prodavati kroz licencu u paketu s alatom RAM View.
Ako se AMD-ove tvrdnje potvrde u širem radu, MEXT bi mogao smanjiti troškove servera u trenutku kada visoka potražnja za memorijom dodatno opterećuje tržište. Ipak, realnije je očekivati da će najveću korist prvo imati specijalizovane aplikacije. Čak i smanjenje potrebnog DRAM-a za 25 posto bilo bi značajno, dok će mogućnost rada s polovinom memorijskog kapaciteta zavisiti od konkretnih scenarija.