Az NVIDIA bemutatta a NVIDIA Minerva nevű AIOps-platformot, amely segít korábban megtalálni a hibákat, és termelékenyen tartani az AI-gyárakat. A rendszer egyesíti az infrastruktúra és az AI-munkafolyamatok telemetriáját, majd erre épülő, célra tervezett AI-modellekkel alakítja azt időben használható, konkrét teendőket adó információvá.
Miért kell megfigyelőrendszer az AI-gyárakhoz?
Az AI-gyárak a világ legbonyolultabb üzemei közé tartoznak. Rengeteg GPU dolgozik bennük gyors hálózatokon összekötve, hogy modelleket tanítsanak, és AI-alkalmazásokat szolgáljanak ki. Ekkora méretnél egyetlen leromlott állapotú alkatrész is lelassíthat egy egész feladatot. A figyelmeztető jelek könnyen elkerülhetik a figyelmet. Ilyen lehet például a társainál melegebben futó GPU, vagy a terhelés alatt teljesítményt vesztő NVMe-meghajtó.
A Minerva az úgynevezett AI-gyár hozamára (AI factory yield) koncentrál. Ez azt mutatja meg, mennyi hasznos munkát állít elő az infrastruktúra. A mérőszámai a GPU-órák, a goodput, a klaszter rendelkezésre állása és a tokentermelés.
Dinamikus tudásgráf az infrastruktúráról
A hagyományos monitorozó eszközök gyakran külön nézetekre bontják az adatközpontot. A hálózati, a számítási, a megbízhatósági (SRE) és a gépi tanulási csapat más-más részt lát. A Minerva az NVIDIA GPU-k, a hálózat, a tároló, az ütemezők és a munkafolyamatok jeleit köti össze.
Ezekből dinamikus tudásgráfot épít, amely logikailag leképezi a GPU-kat, SuperNIC-eket, switcheket és kábeleket, valamint a rajtuk futó feladatokat. Így az üzemeltetők egy lassú tanítási feladattól el tudnak jutni az azt érintő alkatrészig. Ez akár több százezer GPU-s gyárban is működik.
- óránként milliárdnyi adatpontot elemez felügyelt és felügyelet nélküli gépi tanulással;
- megtanulja a normális működést, és felismeri a korábban nem látott anomáliákat;
- előrejelzi a kialakuló hibákat;
- a gyár topológiája alapján korrelálja a kapcsolódó eseményeket.
Ahelyett, hogy minden tünetet az üzemeltetőhöz küldene, az eseményviharból egy fókuszált incidenst képez, valószínű kiváltó okkal.
AI-asszisztens és automatizálás
A Minerva natív AI-asszisztenst tartalmaz, és külső ágens-alapú AI-eszközökhöz is csatlakozik. Ez élő telemetriára épülő természetes nyelvi felületet ad. A klaszter állapotát beszélgetésben lehet vizsgálni, a rendszer pedig javítási javaslatot ad. A csapatok az emberi jóváhagyást is megtarthatják, és a javításokat kézzel hajthatják végre. Infrastruktúra-API-kon és külső rendszereken keresztül automatizálást is köthetnek hozzá.
Mit nyernek vele az üzemeltetők?
A riasztáscunami helyett a Minerva az összetartozó problémákat egyetlen, teendőt tartalmazó elemmé fogja össze. Az AIOps-csapatok így a reaktív helyett proaktív karbantartásra válthatnak, ami növeli a GPU-k üzemidejét. Az NVIDIA három területet emel ki:
- hosszabb idő a megszakítások között: a hibát még a bekövetkezte előtt észleli;
- gyorsabb javítás: incidens esetén pontosan megjelöli a problémát;
- átláthatóbb működés: az adatáradatból csak a néhány valóban fontos riasztás marad.
Az egyik felhasználó az IREN. Denis Skrinnikoff technológiai igazgató szerint a Minerva egyetlen nézetet ad a hálózatról, a GPU-król és a rajtuk futó feladatokról. Így a hibaelhárítás helyett a proaktív karbantartásra tudnak többet figyelni.
Kik vezetik be?
Az IREN mellett az Aolani, a Bitdeer AI, az IBM, a Jio, a Lambda, a Quake AI és a Tesla tervezi a Minerva bevezetését. A Dell Technologies, a Lenovo és a Supermicro a saját AI-gyár-üzemeltetési portfóliójában kínálja majd a megoldást.
Az NVIDIA infrastruktúra-oldali újításairól korábban is írtunk, például az NVIDIA DSX áramellátási megoldásáról és a szállítókonténerbe épített Vera Rubin rendszerről.
Gyakori kérdések
Mi az NVIDIA Minerva?
AIOps-platform AI-gyárakhoz, amely az infrastruktúra és a munkafolyamatok telemetriáját egyesíti. Célra tervezett AI-modellekkel ad belőle használható információt.
Mit jelent az AI-gyár hozama?
Azt méri, mennyi hasznos munkát állít elő az infrastruktúra. Ide tartoznak a GPU-órák, a goodput, a klaszter rendelkezésre állása és a tokentermelés.
Automatikusan javít a rendszer?
Nem feltétlenül. Az üzemeltetők emberi felügyelettel, kézzel is végrehajthatják a javításokat. Infrastruktúra-API-kon keresztül viszont automatizálást is köthetnek hozzá.
Kik használják vagy kínálják?
Az IREN már használja. Az Aolani, a Bitdeer AI, az IBM, a Jio, a Lambda, a Quake AI és a Tesla bevezetést tervez. A Dell, a Lenovo és a Supermicro portfóliójában is megjelenik.
Forrás: NVIDIA Blog
