A Google kibővíti nyolcadik generációs TPU-kínálatát: megérkezett a Google TPU 8tx és a TPU 8i Max. Először fordul elő, hogy a cég egyetlen évben négy különálló rendszerkonfigurációt mutat be. Ez azonban nem négy új lapkatervet jelent. A 8tx meglévő szilíciumra épül, és a bizalmas számításra (confidential computing) fókuszál, ami az AMD-nek is fontos nyereség. A 8i Max két 8i lapkát egyesít egyetlen tokozásban, hogy a hatalmas kontextusablakokat kezelje.
Hálózati háttér: Boardfly a torusz helyett
A Hot Chips 2026-on már szó esett arról, hogy a Google a különböző munkafolyamatokhoz eltérően specializálja a hálózatot. A következtetésre szánt TPU 8i Boardfly topológiát használ, amelyben a hálózati ugrások maximális átmérője hét. A tanításra szánt torusz kialakításban ez tizenhat ugrás. A különbség csökkenti a késleltetést a valós idejű következtetésnél. Ez jól mutatja, hogy a Google inkább az összekötéseket szabja a feladathoz, mint hogy egyetlen hálózatra építsen.
A témához kapcsolódik, hogy egyre több AI-csapat vált Google, AMD és Intel hardverre.
TPU 8tx: bizalmas számítás AMD EPYC Turin gazdákkal
A TPU 8tx a generáció harmadik rendszere. Szabályozott környezetben működő vállalatokat és kormányzati szerveket céloz, amelyek saját vagy élvonalbeli modelleket futtatnak érzékeny adatok mellett. Ugyanazt a szilíciumot használja, mint a tanításra szánt TPU 8t. A Google viszont egyedi, 5. generációs AMD EPYC „Turin” gazdagépekkel párosította, így a biztonság a hardverrétegbe épül.
Az adatokat általában tárolás közben és átvitelkor titkosítják, feldolgozáskor viszont fel kell oldani őket a memóriában. A confidential computing ezt a hézagot zárja be: a használatban lévő adatot egy elszigetelt, megbízható végrehajtási környezetben titkosítja.
Miért pont Turin?
- A TPU 8t PCIe Gen5 x16 interfészéhez a Turin illeszkedik.
- Kétfoglalatos Turin-konfiguráció 128 Gen5 sávot ad, így négy TPU és a nagy sebességű hálózati kártyák mellett sincs I/O-túlfoglalás.
- Egy Gen6 gazda, például az AMD EPYC Venice, Gen5 sebességre lépne vissza, miközben nem adna több gyorsítósávszélt. Ez igazodik a Google 2027-es hardverminősítési ütemtervéhez.
A 8tx a TPU 8i Boardfly hálózatát használja a torusz helyett. Ez csökkenti a lapkák közti ugrásokat, ami a sok egymás utáni következtetési hívást végző többlépéses ágenseknek fontos. A Google szerint akár kétszer kisebb a késleltetés a TPU 8t-hez képest, közel nulla teljesítményvesztéssel. Az EPYC-vonalról bővebben: AMD EPYC 9006 Venice.
TPU 8i Max: dupla memória-sávszélesség
A negyedik rendszer, a TPU 8i Max a memóriafalat célozza. Ha sok ágens dolgozik egyszerre egy teljes kódbázison vagy órákon át tartó videón, előbb a memória-sávszélesség szűk keresztmetszet, mint a számítási teljesítmény. A Google két alacsony késleltetésű TPU 8i lapkát egyesített egyetlen többlapkás tokozásban.
- kétszeres számítási kapacitás és kétszeres SRAM a TPU 8i-hez képest
- 384 GB nagy sávszélességű memória, nagyjából harmadával több
- a HBM-sávszélesség a duplájára, 17,2 TB/s-ra nő
- az on-chip SRAM 768 MB-ra nő
A Google a ServeTheHome kérdésére azt közölte, hogy ha az adatnak a bizalmas számítási tartományon belül kell maradnia, a kiszolgáláshoz és a következtetéshez a TPU 8tx a választás. Ez ugyanazt az alacsony késleltetésű Boardfly topológiát őrzi.
Mit jelent ez az AMD-nek?
A Google a TPU-kínálatot az AI-verem különböző részeihez, sőt eltérő ügyfelekhez szabja. A 8tx inkább egyedi termék a bizalmas számításhoz, a 8i Max pedig a következtetésre készült. Az AMD-nek ez nem hoz azonnali, 10%-os szerverprocesszor-piacirész-növekedést. Mégis nagy nyereség: EPYC kerül nem AMD-gyorsítós rendszerbe, és egy nagy hyperscaler foglalatát nyeri el a bizalmas számítás terén. A Google és az AI-hardver kapcsolatáról lásd még: OpenAI Google TPU vásárlás.
Gyakori kérdések
Mi a TPU 8tx?
A nyolcadik generáció harmadik rendszere, amely a TPU 8t szilíciumát használja egyedi 5. generációs AMD EPYC Turin gazdákkal. Szabályozott vállalatokat és kormányzati szerveket céloz.
Miben más a TPU 8i Max a TPU 8i-hez képest?
Két TPU 8i lapkát tartalmaz egy tokozásban. Duplázza a számítási kapacitást, az SRAM-ot (768 MB) és a HBM-sávszélességet (17,2 TB/s), a HBM-kapacitás pedig 384 GB.
Melyik rendszert válasszák, ha az adatnak bizalmasnak kell maradnia?
A Google szerint a következtetéshez és kiszolgáláshoz a TPU 8tx-et, mert az a bizalmas számítási tartományon belül tartja az adatot.
Forrás: ServeTheHome
