Egyre nagyobb modellek, hosszabb kontextusok és ágensalapú alkalmazások terhelik a GPU-k memóriáját, miközben a kínálat szűkül, az árak pedig emelkednek. Az NVIDIA szerint a full-stack codesign, vagyis a hardver és a szoftver együttes tervezése a kulcs ahhoz, hogy ugyanabból a memóriából több hasznos munka jöjjön ki. A cég közölte, hogy a Blackwell Ultra és a Vera Rubin platform között a GPU-nkénti HBM-kapacitás nagyjából 3%-kal nőtt, az ágensalapú áteresztőképesség dollárra vetítve viszont akár 30-szorosára a SemiAnalysis AgentX tesztjében.
Miért nyomja az ágensalapú AI a HBM-et?
A csúcsmodellek ma már több billió paraméterrel dolgoznak, ezek tartalmazzák azt, amit a modell a tanítás során megtanult. Emellett nő a KV cache is, amely az egyes aktív kérések kontextusát tárolja, hogy a modellnek ne kelljen újra feldolgoznia ugyanazt az információt. Az ágensalapú munkafolyamatok ismételt modell- és eszközhívások során viszik tovább a korábbi kontextust, egyes esetekben akár 3 millió tokent is feldolgozva. Ezért egy kérés munkamemóriája idővel egyre nő.
A retrieval-augmented generation (RAG) további vállalati információt tesz a promptokba, így még több kontextust kell feldolgozni és megtartani. Következtetéskor a HBM főként a modellparamétereket és a KV cache-t tárolja, ezért a nyomás itt a legnagyobb.
Memóriahierarchia az AI-gyárakban
A kapacitás bővítése kézenfekvő válasz, de az NVIDIA érvelése szerint a kapacitás csak annyit ér, amennyit a sávszélesség mozgatni tud. A HBM olyan, mint egy raktár, a memória-sávszélesség pedig a rakodókapuk. Nagyobb raktárba több áru fér, de a kapuk szabják meg, mennyi mozgatható egyszerre. Ha minden felhasználó gyors választ vár, egy ponton a sávszélesség már nem tudja olyan gyorsan szállítani az adatot, ahogy a számítási kapacitás felhasználná. Ezt hívják memory wall-nak. Ezen túl a plusz HBM már csak költséget és fogyasztást jelent.
Az adatnak ugyanakkor nem kell végig a leggyorsabb, legdrágább szinten laknia. A hierarchia a következő:
- GPU HBM: a leggyorsabb, legdrágább és legkeresettebb szint;
- CPU-memória;
- helyi SSD-k;
- megosztott tárolók, amelyek sebességet cserélnek kapacitásra és alacsonyabb bitenkénti költségre.
Full-stack codesign a gyakorlatban
Az NVIDIA három területen csökkenti a HBM terhelését.
Kisebb modellsúlyok
Az NVFP4 formátum kevesebb helyet igényel a súlyoknak, mint az FP8, amely a Hoppernél a legalacsonyabb elérhető pontosság. A cég szerint több friss modell érkezett NVFP4 checkpointtal, például a FLUX.2 [klein], az Inkling, a Beam 1.0, a Meta Muse Spark, a Step 5 Preview és a Nemotron 3.5 Super VL. Egy NVL72 rendszerben a súlyok akár 72 GPU között is szétoszthatók, így több HBM marad a KV cache-nek és az egyidejű felhasználóknak.
KV cache zsugorítása és kiszervezése
Az NVFP4 a KV cache-re alkalmazva is kisebb helyet foglal az FP8-nál, így több kontextus maradhat a HBM-ben. A Vera CPU gyorsabb eszközfuttatással rövidíti a KV cache tétlenségét. Nagy LPDDR memóriája NVLink-C2C kapcsolaton át csatlakozik a Rubin GPU-khoz, így a szüneteltetett kontextus közel várhat, és gyorsan visszatérhet. A használaton kívüli kontextust a Dynamo szoftver az NVIDIA CMX kontextusmemória-tárolóba mozgatja, majd újrafelhasználás előtt visszahozza.
A CMX a cég leírása szerint a HBM-nél jóval alacsonyabb bitenkénti költségű szint. A helyi SSD-kkel ellentétben több szerver között megosztott, a vállalati tárolókhoz képest pedig kihagyja a hosszú távú adatvédelem terhét. A partnerek között szerepel a Cloudian, a DDN, a Dell Technologies, az Everpure (korábban Pure Storage), a HPE, az IBM, a NetApp, a VAST és a WEKA. A Dynamo KV Cache Reuse egyetlen rendszerszintű erőforrásként kezeli a KV cache-t a GPU-memória, a CPU-memória és a tároló között.
Kompakt RAG-beágyazások
A Nemotron Retriever modellek kisebb beágyazásokat állítanak elő jobb találati pontossággal. A cuVS könyvtár pedig lehetővé teszi, hogy az index CPU-n és tárolón épüljön és szolgáljon ki. A tudásbázis így sosem foglal HBM-et, csak a modellnek szükséges szövegrészek kerülnek a kontextusba.
Mit mutatnak a számok?
A SemiAnalysis AgentX DeepSeek V4 Pro munkaterhelésén az NVIDIA állítása szerint a GB300 NVL72 felhasználónként 100 token/s mellett akár 10-szer nagyobb áteresztőképességet ad dollárra vetítve, mint a H200 platform, miközben a GPU-nkénti HBM nagyjából megduplázódott. 125 token/s felhasználónként a Vera Rubin NVL72 akár 30-szor jobb értéket ér el, mint a GB300 NVL72, mindössze nagyjából 3%-kal több HBM-mel GPU-nként. Az AI-gyárak üzemeltetőinek az számít, hogy a teljesítménykeretből és a válaszidő-igényekből hány hasznos token jön ki. Minél több token jut egy wattra, annál alacsonyabb a tokenenkénti költség. Az adatok a gyártó saját állításai.
A memóriapiaci feszültség más területeken is megjelenik, erről szól például a Z-Angle Memory, az Intel és a SoftBank lehetséges HBM-riválisa is.
Gyakori kérdések
Mi az a memory wall?
Az a határ, amelynél a memória-sávszélesség már nem tudja olyan gyorsan szállítani az adatot, ahogy a számítási egységek feldolgoznák. Ezen túl a további HBM-kapacitás nem hasznosítható, de költséget és fogyasztást jelent.
Mit csinál az NVIDIA CMX?
Megosztott, kontextusmemóriára épített tárolószint, amely a HBM-nél jóval olcsóbb bitenként. A használaton kívüli KV cache-t tárolja, a Dynamo pedig újrafelhasználás előtt visszahozza.
Miért fontos az NVFP4?
Az FP8-nál kisebb helyen tárolja a modellsúlyokat és a KV cache-t. Így több hely marad a kontextusnak és az egyidejű felhasználóknak.
Forrás: NVIDIA Blog
