Az NVIDIA MMS1X00-N5400 jelölésű optikai modul a legmodernebb, 400 gigabites Ethernet-infrastruktúrák egyik alapelemévé válik az AI-klaszterekben. A QSFP112 formatumú, 1310 nm-es hullámhosszon működő adó-vevő egységet a ServeTheHome szerkesztői kifejezetten azért szerezték be, hogy NVIDIA GB300 AI Station rendszereiket egy NVIDIA Spectrum-X switchhez kapcsolják. A modul vizsgálata számos olyan részletet tárt fel, amelyek megkülönböztetik a korábbi generációs megoldásoktól.
NVIDIA QSFP112 modul: forma, jelzés és csatlakozók
A modul QSFP112 formatumban készült. A jelölés könnyen dekódolható: a QSFP a négycsatornás (quad-channel) kialakítást jelöli, a 112-es szám pedig 112G PAM4 jelzésátvitelt takar. Ez azt jelenti, hogy a modul összesen négy, egyenként 112 Gbps-os csatornán keresztül éri el a 400 Gbps összteljesítményt – és kompaktabb megoldást nyújt, mint az 800 Gbps vagy 1,6 Tbps átvitelhez használt, nagyobb OSFP formatumú modulok.
A csatlakozó típusa MPO-12, vagyis tizenkét szálat tartalmaz. Mivel a kialakítás 4×112G elvű, a tizenkét szálból csupán nyolcat használ ténylegesen az adatátvitelhez. Ez fontos különbség a QSFP56-DD típusú modulokhoz képest, amelyek nyolc, egyenként 56 Gbps-os PAM4 csatornát alkalmaznak, és az eltérő csatornaszám miatt más fizikai csatlakozót igényelnek.
A DR4/LR4 típusú optikákkal szemben a QSFP112-es megoldás egyik előnye, hogy egy 400 Gbps sebességű, 500 méteres DR4 összeköttetéshez nincs szükség gearboxra a modulon belül – ellentétben a QSFP56-DD alapú megoldásokkal. Az NVIDIA Vera Rubin és a nagy AI-infrastruktúrák hálózati igényeiről korábbi cikkünkben is szó volt: az NVIDIA Vera Rubin és a DSX rendszer hatékonyságát részletesen elemeztük.
Hűtési megoldás: külső hőelnyelő a modulon
Figyelemre méltó tervezési döntés, hogy az NVIDIA kis méretű hőelnyelőket (heatsink) helyezett a modulok külső felületére, amelyek a NIC-ből és a switchből némileg kinyúlnak. A hagyományos 400 Gbps-os portok esetében a hűtés jellemzően az eszköz belső kialakítása révén oldott meg, itt azonban az NVIDIA egy külső megoldást választott.
Ennek különösen a GB300 AI Station rendszereknél van jelentősége, amelyek folyadékhűtést alkalmaznak, és ahol az optikai modulok aktív hűtése nem megoldott. A mérések során a modulok a 40°C-os középérték közelében működtek, ami messze elmarad a maximálisan megengedett hőmérséklettől. A maximális teljesítményfelvétel 10 W, amit az mxlink eszközzel leolvasva is megerősítettek.
400GbE kapcsolat az NVIDIA ConnectX-8 NIC-en
A modul tesztelése során az NVIDIA GB300 AI Station rendszert csatlakoztatták egy nagy teljesítményű switchhez, és a kapcsolat szinte azonnal, automatikusan tárgyalt 400 Gbps sebességre – ezt az ethtool kimenetele is igazolta az NVIDIA ConnectX-8 NIC-en. A 400GbE-s sávszélesség elérése gond nélkül megtörtént.
A modul segítségével lehetővé válik közvetlen GB300 AI Station–GB300 AI Station összeköttetés is, ehhez elegendő a ConnectX-8 NIC-ek és egy 12 szálú MPO/MTP-12-es egymódusú kábel. Az NVIDIA B200 GPU-k drágulásáról és az NVIDIA AI-infrastruktúrájának bővüléséről korábban is írtunk: az NVIDIA B200 GPU ára 58%-kal emelkedett, ami jelzi, hogy a prémium AI-hardver piac egyre komolyabb befektetési igényt támaszt.
Miért érdemes NVIDIA saját optikát választani AI-klaszterekhez?
A ServeTheHome szerkesztői hangsúlyozzák, hogy bár a modul ára magasabb, mint egy DAC (Direct Attach Cable) kábelé, a befektetés indokolt. Nagyméretű AI-klaszterekben az NVIDIA saját optikái magasabb hőmérsékleten is megbízhatóbban teljesítenek, mint egyes népszerű generikus modulok – különösen a meleg folyosó (hot-aisle) oldalán, ahol a hőterhelés számottevő lehet.
A flexibilitás is lényeges szempont: a modulok segítségével a switch cserélhető anélkül, hogy az egész kábelezést újra kellene tervezni, és a meglévő száloptikás infrastruktúrával is zökkenőmentesen integrálhatók. Az AI-klaszterek hálózati versenyébe más gyártók is beléptek: a Huawei Ascend 960DT szintén az NVIDIA-val versenyez a prémium AI-infrastruktúra-piacon, ahogy az Euclyd nevű NVIDIA-kihívó is Samsung befektetéssel erősített.
- Formatuma: QSFP112 (kompaktabb, mint az OSFP)
- Jelzésátvitel: 4×112G PAM4, összesen 400 Gbps
- Hullámhossz: 1310 nm
- Csatlakozó: MPO-12 (12 szálból 8 aktív)
- Maximális teljesítményfelvétel: 10 W
- Működési hőmérséklet (mért): ~40°C körül
- Kompatibilis platform: NVIDIA GB300 AI Station, ConnectX-8 NIC, Spectrum-X switch
- Gearbox szükséges: nem (ellentétben a QSFP56-DD alapú DR4 megoldásokkal)
Gyakori kérdések
Mi a különbség a QSFP112 és a QSFP56-DD között?
A QSFP112 négy, egyenként 112G PAM4 csatornát használ a 400 Gbps eléréséhez, míg a QSFP56-DD nyolc, egyenként 56G PAM4 csatornát alkalmaz. A különböző csatornaszám eltérő fizikai csatlakozót és – DR4-es összeköttetésnél – gearbox szükségletet is jelent a QSFP56-DD esetén.
Miért van szükség külső hőelnyelőre az NVIDIA MMS1X00-N5400 modulon?
Az NVIDIA GB300 AI Station folyadékhűtést alkalmaz, és az optikai modulok aktív hűtése nem biztosított az eszközön belül. A modulra szerelt kis külső heatsink segít a hőelvezetésben, így a modul a mért ~40°C-os tartományban üzemel, messze a maximális határérték alatt.
Hány szálat használ ténylegesen az MPO-12 csatlakozó?
Az MPO-12 csatlakozóban tizenkét optikai szál található, de a 4×112G kialakítás miatt a modul ténylegesen csak nyolc szálat vesz igénybe az adatátvitelhez.
Milyen eszközök között lehet közvetlen kapcsolatot kialakítani ezzel a modullal?
A modul lehetővé teszi közvetlen GB300 AI Station–GB300 AI Station összeköttetést is, ehhez ConnectX-8 NIC-ekre és egy 12 szálú MPO/MTP-12-es egymódusú kábelre van szükség – switch beiktatása nélkül.
Forrás: ServeTheHome
