Az NVIDIA Vera CPU az AI-ágensek korában egyszerre ígér nagy áteresztőképességet és gyors válaszidőt. A vállalat szerint egyetlen Vera processzor jobban teljesít, mint a leggyorsabb és a legenergiahatékonyabb x86-os CPU is. Ez azért fontos, mert az AI-gyárakat ma elsősorban a rendelkezésre álló áramellátás korlátozza.
Miért számít a CPU az AI-ágenseknél?
Az AI-ágensek nem csupán válaszokat generálnak. Információt keresnek, adatbázisokat kérdeznek le, kódot írnak és tesztelnek, valamint cselekvéseket hajtanak végre. A feladatok során az ágensek folyamatosan váltanak a GPU-n futó következtetés és a CPU-n zajló végrehajtás között, így minden lépés processzoridőt igényel.
Minél több ágenst állítanak munkába a vállalatok, annál fontosabb, hogy a CPU gyorsan hajtsa végre ezeket a lépéseket, és egyszerre sok ágenst szolgáljon ki. Mindezt a rendelkezésre álló energiakereten belül kell megoldani. Az NVIDIA érvelése szerint a szolgáltatóknak úgy kell több ágenst támogatniuk, hogy az egyes ágensek ne várjanak tovább a munkájuk elvégzésére.
Egy CPU a gyors és a sűrű x86 helyett
A cég szerint a Vera egyetlen processzorban kínál gyors ágensteljesítményt és magas kapacitást wattonként. A szolgáltatóknak így nem kell gyors és sűrű x86-os alkatrészeket keverniük a sebesség és a kapacitás egyensúlyához. A gyártó egy 100 megawattos adatközponti összehasonlításban mérte össze a Verát az x86-os alternatívákkal:
- a leggyorsabb x86 CPU-hoz képest iparágvezető ágenssebesség mellett 1,6x több ágenst tesz lehetővé wattonként;
- a legenergiahatékonyabb x86 CPU-hoz képest 2x gyorsabb ágenssebességet nyújt, vezető energiahatékonyság mellett.
A platformról korábban is írtunk: az NVIDIA Vera CPU az AMD EPYC-nél is gyorsabbnak bizonyult AI-feladatokban, az AMD pedig a 256 magos EPYC Venice-szel válaszolt. Ezek gyártói állítások, független mérés nem szerepel a forrásban.
Partnerek eredményei
A korai felhasználók a gyártó szerint produkciós jellegű tesztekben hasonló teljesítményt láttak:
- Perplexity: az ágensalapú kódolási feladatokat 1,5x gyorsabban futtatta, mint hagyományos CPU-kon, és egy készülő éles rendszerben tervezi bevetni a Verát.
- DeepInfra: az ágensek orkesztrációjában a legjobb x86 processzor sebességének akár 2,2-szeresét érte el, a négy tesztelt architektúra közül a leggyorsabbat.
- ClickHouse: a szabványos binárisa Vera-specifikus hangolás nélkül közel lineárisan skálázódott 176 magon, és vezeti a ClickBench hardverranglistáját.
- DuckLabs: a TPC-H SF1000 medián teljesítményében körülbelül 1,5x-ét érte el egy Intel Xeon 6 alapnak.
- Daytona: 1000 ágens-homokozót 10,8 másodperc alatt indított el, szemben az x86-on mért 88,4 másodperccel, és 2000 párhuzamos homokozónál 12,7 elvégzett feladatot teljesített másodpercenként.
- Modal: magonként akár 2x homokozó-áteresztőképességet ért el a hasonló x86 hardverhez képest, az előny pedig nagy terhelésnél nő.
A Vera a szélesebb Vera Rubin ökoszisztéma része is, amelyről az AI-gyárak hatékonyságáról szóló cikkünkben írtunk.
Gyakori kérdések
Mire használják az AI-ágensek a CPU-t?
A keresés, adatbázis-lekérdezés, kódírás és tesztelés, valamint a cselekvések végrehajtása CPU-n fut. Az ágensek feladatonként váltogatnak a GPU-s következtetés és a CPU-s végrehajtás között.
Mit állít az NVIDIA a Vera hatékonyságáról?
A gyártó szerint a leggyorsabb x86 CPU-hoz képest 1,6x több ágenst bír wattonként. A legenergiahatékonyabb x86 CPU-hoz képest 2x gyorsabb ágenssebességet ad.
Ki használja már a Verát?
A forrás szerint a Perplexity, a DeepInfra, a ClickHouse, a DuckLabs, a Daytona és a Modal is tesztelte. A Perplexity egy készülő éles rendszerben be is vetné.
Forrás: NVIDIA Blog
