A mesterséges intelligencia infrastruktúra egyik legkritikusabb, mégis legkevésbé látványos kihívása a hálózati és alkalmazásréteg hatékony kezelése. Az F5 BIG-IP Next for Kubernetes – röviden BNK – megoldás erre a problémára kínál választ: az NVIDIA BlueField-3 DPU-kra telepítve leveszi a terhet a drága GPU-szerverek processzormagjaira, így azok a tényleges AI-munkaterhelésre koncentrálhatnak. A ServeTheHome csapata Kaliforniában járt, hogy az F5 laborjában személyesen is megismerje a rendszert.
Mit csinál az F5 BIG-IP Next for Kubernetes?
Az F5 BNK az ügyfelek és a GPU-infrastruktúra között helyezkedik el, és több kritikus feladatot lát el egyszerre. A megoldás az LLM-forgalom irányítását (LLM routing), a token-gazdálkodást (token governance), valamint az L4–L7 rétegek közötti hálózati biztonságot kezeli – mindezt a hálózat peremén, mielőtt a kérések elérnék a GPU-kat.
A megoldás futtatható hagyományos CPU-alapú szervereken is, ám ebben az esetben értékes processzormagokat foglal le, amelyek GPU-klaszterekben kimondottan szűkös erőforrásnak számítanak. Az NVIDIA BlueField-3 DPU-kon való telepítés éppen ezt a problémát oldja meg: a hálózati és biztonsági logika kiszervezhető a dedikált adatfeldolgozó egységekre, a gazdagép CPU-i pedig felszabadulnak.
A labor felépítése: Supermicro szerverek és BlueField-3 DPU-k
A tesztlabor szívét Supermicro gyártmányú GPU-szerverek alkotják, amelyek NVIDIA H100 „Hopper” generációs gyorsítókártyákkal vannak felszerelve. A konfiguráció figyelemre méltó részlete, hogy a Supermicro GPU-szerverek mindegyike két NVIDIA BlueField-3 DPU-val rendelkezik, míg a rack tetején elhelyezett 2U-s szerverek szerver-egységenként nyolc DPU-t tartalmaznak.
A klaszter hálózati rétege is komplex képet mutat. A labor a következő hálózati típusokat működteti párhuzamosan:
- GPU–GPU kommunikációs hálózat
- GPU–tárolás összeköttetés
- Felhasználói és alkalmazásréteg hálózata
- Vezérlősík (control plane) hálózatok a csomópontokhoz és a gazdagép operációs rendszerekhez
- Switch-kezelési, hűtési infrastruktúra, PDU és soros konzolszerver hálózatok
- A BlueField-3 DPU-k saját menedzsment interfészei
A hálózati portok egy része alacsony sebességű összeköttetéseket kiszolgáló, míg a nagy sebességű kapcsolatok manapság 400 Gbps-os, illetve 800 Gbps-os portokon futnak. A laborban NVIDIA hálózati switchek gondoskodnak a nagy sávszélességű forgalom kezeléséről, míg a terhelésteszteléshez Keysight IxNetwork és CyPerf rendszereket alkalmaznak, amelyek egyenként 1,6 Tbps feletti forgalmat képesek generálni.
Érdemes megjegyezni, hogy a GPU-szerverek mellett a klaszterben dedikált Kubernetes hoszt-szerverek és klasztertároló szerverek is helyet kapnak – az AI-infrastruktúra tehát korántsem kizárólag GPU-egységekből áll.
Miért fontos a GPU-hatékonyság növelése?
A ServeTheHome szerkesztője, aki személyesen látogatta meg a labort, külön kiemelte: ha sikerül érdemben növelni a GPU-klaszterek teljesítményét anélkül, hogy több hardvert kellene bevetni, az közvetlen hatással van az energiafelhasználásra és a fizikai kapacitásra is. Ugyanannyi energiafelhasználásból és GPU-lábnyomból több teljesítmény kinyerése napjainkban az egyik legfontosabb tervezési szempont – mindkét tényező komoly korlátot jelent a valódi nagy léptékű AI-telepítéseknél.
A next-gen AI platformok tervezése során egyre meghatározóbb szerepet kap az a felismerés, hogy a GPU-k melletti kiszolgáló infrastruktúra – hálózat, biztonság, alkalmazásszállítás – szintén szűk keresztmetszet lehet, ha nem kezelik megfelelően. Az F5 BNK megközelítése lényegében azt a kérdést teszi fel: miért futtassuk a hálózati és biztonsági stack-et a gazdagép CPU-in, ha erre dedikált silicon áll rendelkezésre?
Az F5 hagyományosan hardveres appliance-okon szállította BIG-IP termékcsaládját. A BNK-megoldás ennek a funkcionalitásnak a nagy részét portálja át az NVIDIA BlueField DPU-kra, ami egyúttal azt is jelenti, hogy a korábbi fizikai appliance-ek szerepét részben átveheti a DPU-réteg – rugalmasabb és a meglévő GPU-klaszterbe integrálható módon.
Gyakori kérdések
Mi az az F5 BNK, és mire való?
Az F5 BNK a BIG-IP Next for Kubernetes rövidítése. Ez egy alkalmazásszállítási és biztonsági megoldás, amely az ügyfelek és a GPU-alapú AI-infrastruktúra közé ékelődik, és LLM-forgalom irányítást, token-gazdálkodást, valamint L4–L7 hálózati biztonságot valósít meg a hálózat peremén.
Miért előnyösebb DPU-n futtatni a BNK-t, mint CPU-n?
Ha a BNK hagyományos CPU-magokon fut, azok nem állnak rendelkezésre a GPU-klaszter egyéb feladataihoz. Az NVIDIA BlueField-3 DPU-kra telepítve a megoldás leveszi a terhet a gazdagép processzorairól, amelyek így teljes egészében más munkaterhelésre fordíthatók.
Milyen GPU-kat és szervereket alkalmaztak a tesztlaborban?
A labor Supermicro gyártmányú szervereket használt NVIDIA H100 „Hopper” generációs GPU-kkal. A Supermicro GPU-szerverek kétféle DPU-konfigurációban szerepeltek: egyes szervereknél két, míg a 2U-s rack-tetői egységeknél nyolc BlueField-3 DPU volt telepítve.
Mekkora hálózati sávszélességgel dolgoznak ezek a klaszterek?
A nagy sebességű hálózati portok manapság jellemzően 400 Gbps-os vagy 800 Gbps-os sebességen üzemelnek. A terheléstesztelő rendszerek – például a Keysight IxNetwork és CyPerf – egyenként 1,6 Tbps feletti forgalom generálására képesek.
Forrás: ServeTheHome
