Egy AI-modell betanításához GPU-k ezrének kell összehangoltan dolgoznia, ehhez pedig gyors, hatékony és megbízható hálózat kell. A felhőszolgáltató Lambda ezt a láncszemet az NVIDIA Photonics co-packaged optics (CPO) kapcsolóival erősíti: a rendszer NVIDIA GB300 NVL72 rackeket köt össze, összesen több mint 10 000 GPU-val. A cél alacsonyabb fogyasztás, nagyobb ellenállóképesség és hosszabb átlagos idő a megszakadásokig (MTBI).
„A hálózatnak lépést kell tartania az egyre nagyobb AI-fürtök igényeivel” – fogalmazott Dave Ward, a Lambda felhőszolgáltatásokért felelős elnöke. Szerinte a co-packaged optics ekkora léptékű bevezetése fontos lépés a következő generációs AI-hoz szükséges infrastruktúra felé. A bejelentés az NVIDIA SC26-os közleményei közé tartozik, és kapcsolódik az AI-infrastruktúra ellátási láncáról szóló témákhoz is.
Mit hozott a Photonics a Lambda tesztjeiben?
A cég saját mérései szerint a hálózati késleltetés, vagyis az adatmozgatáshoz szükséges idő rack szinten körülbelül 4%-kal, pod szinten akár körülbelül 10%-kal csökkent. A rack, a skálázható egység (scalable unit) és a pod konfigurációkban az áteresztőképesség ugyanakkora maradt, mint a hagyományos, dugaszolható optikával.
Energiahatékonyság és ellenállóképesség nagy léptékben
A hálózat az AI-gyárak termelékenységének közepén áll. Egy nagy tanítási feladatnál egyetlen megszakadt link is ezernyi GPU-t állíthat le. Ágens-alapú inferenciánál egy hálózati kiesés lavinaszerű késleltetést okozhat sok ágensnél. Minden kiesés időbe kerül, és minden hálózatra költött watt hiányzik a számításból.
Az NVIDIA Photonics a dugaszolható transzivereket a kapcsolócsomagra integrált optikai motorokkal váltja ki. Ezzel akár ötszörös energiahatékonyságot és akár tizenötszörös megbízhatóságot ígér a hagyományos pluggable optikához képest. Emellett négyszer kevesebb lézert használ, tehát kevesebb alkatrész hibásodhat meg.
Hűvösebb optika, cserélhető fényforrások
A Lambda telepítésében használt kapcsolók mindegyike 144 porttal rendelkezik, portonként 800 Gb/s sebességgel. Folyadékhűtés viszi el a hőt a kapcsolóchipről és az optikai motorokról. A cég jelentése szerint az optika középhőmérséklete 36 °C, szemben a hagyományos pluggable optika 51 °C-ával, a jelintegritás pedig stabilabb.
- Minden kapcsolóhoz 18 kivehető külső fényforrás tartozik, amelyek fényt adnak az optikai motoroknak.
- Az optikai motorok a chip mellett, ugyanazon a csomagon ülnek, és az elektromos jeleket fénnyé alakítják.
- A fényforrás-modulokat a technikusok helyszínen cserélhetik, míg a hagyományos optikánál lézerhibánál az egész modult ki kell cserélni.
- Az elektromos útvonal hüvelykekről milliméterekre rövidül, ami csökkenti a jelveszteséget.
- Nincs szükség retimer chipekre, ami csökkenti a fogyasztást és a jelút alkatrészeinek számát.
Gyakori kérdések
Mi az a co-packaged optics?
Olyan megoldás, amelyben az optikai motorok a kapcsolóchippel azonos csomagon helyezkednek el, a külön dugaszolható transziverek helyett.
Hány GPU-t köt össze a Lambda hálózata?
A telepítés NVIDIA GB300 NVL72 rackeket kapcsol össze, összesen több mint 10 000 GPU-val.
Lassabb-e a CPO a hagyományos optikánál?
Nem, a Lambda tesztjei szerint az áteresztőképesség azonos, a késleltetés pedig rack szinten kb. 4%-kal, pod szinten akár kb. 10%-kal csökkent.
Forrás: NVIDIA Blog













