A szimulációs fejlesztés egyik legnagyobb kihívása, hogy egy ötletből működő alkalmazás legyen: összekell gyűjteni az eszközöket, össze kell kapcsolni a fizikai motort és a renderelést, majd ellenőrizni, hogy a jelenet valóban az elvárt módon viselkedik-e. Az NVIDIA fejlesztői és mérnökei most frontier AI-modelleket — köztük a GPT-6 Astrát és a Claude Fable 5-öt — kombinálják az NVIDIA Omniverse-könyvtárakkal, hogy ezt a folyamatot természetes nyelvi utasításokkal vezéreljék. Az eredmény: raktári humanoid robotszimulátorok, önvezető tesztkörnyezetek, digitális ikrek és még sok más — néhány napos iteratív munkával.
Mit nyújt az NVIDIA Omniverse AI-ügynökökkel párosítva?
Az Omniverse-könyvtárak GPU-gyorsított fizikaszimulációt, renderelést és szenzorszimulációt biztosítanak. A fejlesztők természetes nyelvű utasításokkal irányítják az AI-ügynököket, majd átnézik az eredményeket és pontosítják az irányt. Az ügynökök olyan könyvtárakat kötnek össze, mint az ovphysx (fizika), az ovstage (jelenetfrissítés), az ovrtx (renderelés) és az ovui (felhasználói felület), miközben animációs és alkalmazáskódot is generálnak. Ez a megközelítés illeszkedik ahhoz a trendhez, amelyet korábban a Dell Project Frontier szoftverplatform esetében is láthattunk: az iparági szereplők egyre inkább AI-alapú keretrendszerekkel gyorsítják fel a fejlesztési ciklusokat.
Az alábbiakban hat konkrét projektet mutatunk be, amelyeket NVIDIA-s mérnökök valósítottak meg ezzel a módszerrel.
Hat valós projekt: raktártól az űrállomásig
1. Humanoid robotszimulátor raktári környezetben
Frank DeLise, az NVIDIA Omniverse termékmenedzsere az Astrát használta arra, hogy egy SimReady raktárat és egy humanoid robotot interaktív szimulátorrá alakítson, amely első és harmadik személyű nézetet is támogat. Az ügynök összekapcsolta az Omniverse fizikai, jelenetkezelési, renderelési és felhasználóifelület-könyvtárait, majd a simready-foundation eszközzel létrehozta a fizikai jelenetet, végül animációs és alkalmazáskódot generált.
2. Önvezető járművek tesztkörnyezete
Doyub Kim, az NVIDIA szimulációtechnológiai csapatának vezetője az Astrával építette fel a Zero to Alpamayo nevű, újrafelhasználható szimulációs környezetet, amely San Francisco Market Street utcájára épül. Kim az ügynököt arra kérte, hogy térképezze fel a munkafolyamatot, majd lépésről lépésre kapcsolja össze az eszközkészítést, a forgalomszimulációt, az Omniverse RTX szenzorszimulációt és az Alpamayo önvezetési modellt — minden integrációs lépést ellenőrizve. Egy külön kísérletben a Cosmos3-Nano modell az időjárási és fényviszonyokat variálta a rögzített szimulációs videókban, hogy összehasonlíthassák a vezető modell reakcióit azonos forgatókönyv különböző körülmények között.
3. Digitális ikrek szenzorkülönbségek alapján
Ashley Reid, az RTX szenzorvalidációs csapat tagja Astra- és Claude Fable 5-ügynököket irányított arra, hogy valódi kamera- és nyers LiDAR-adatokat hasonlítsanak össze szimulált megfelelőikkel. Körülbelül három nap alatt az ügynökök két digitális ikret hoztak létre nulláról, és két meglévőt fejlesztettek tovább. Az iteratív munkafolyamatban az ügynökök mérték a különbségeket, módosítottak vagy létrehoztak OpenUSD-jeleneteket, és ellenőrizték az eredményeket — a hiányzó objektumok, geometriák és anyagok javításával, amelyek elfogadhatóságát kamera- és LiDAR-metrikák alapján ítélték meg.
4. Robo Olympics: sport-mozgások szimulálása
Tae Kim, az NVIDIA Omniverse mérnöki és termékfejlesztési vezetője sportvideokon és természetes nyelvű utasításokon alapuló kísérlettel vezette az Astrát a Robo Olympics projekt megvalósításában, amelyben szimulált Unitree G1 humanoid robotok sportmozgásokat hajtanak végre. Az ügynök vezérlőket épített, majd fizikai szimulációs próbák alapján finomított rajtuk. A Newton Physics Engine szimulálta a viselkedést, a nyílt forráskódú NVIDIA Warp keretrendszer gyorsította a számításokat, az ovrtx pedig renderelte a jeleneteket. Egy kísérletben a robot 100 szimulációs próbából 64-ben sikeresen ugrott át egy akadályt.
5. Robotos szétszerelés CAD-tervezéssel
Jens Jebens, az OpenUSD termékmenedzsere az Astrával egy autó felfüggesztési rendszerét modelleztetette a PTC Onshape-ben, majd az NVIDIA Isaac Sim-ben konfigurálta. Az ügynök megmérte a rendelkezésre álló teret, és tervezett egy csavarkulcsot, amellyel a robot elérte a felfüggesztés csavarjait. A szimulációban egy felfüggesztési alkatrész sikeres eltávolítása meg is valósult — ez kiindulópontot jelent a robot betanításához.
6. A Nemzetközi Űrállomás a böngészőben
Nic Johns, az NVIDIA mérnöki igazgatója egyetlen prompttal kérte meg az Astrát, hogy NASA-eszközökből OpenUSD formátumú Nemzetközi Űrállomás-modellt állítson össze telemetriaadatokkal. Egy követő prompttal a jelenetet úgy állította be, hogy a Föld nappali oldala is látható legyen. A munkafolyamat a Blendert használta az eszközök előkészítéséhez, az Omniverse-könyvtárak gondoskodtak a renderelésről (ovrtx), a jelenet futtatásáról (ovstage) és a streamingről (ovstream).
Rögzített szobák szimulációs tesztkörnyezetté alakítva
Chirag Majithia, az Isaac mérnöki alkalmazások csapatából sztereokamera-felvételekből szerkeszthető OpenUSD-stúdiót hozott létre az Astra irányításával. A munkafolyamat a PyCuSFM, a FoundationStereo és az nvblox eszközöket kombinálta a rekonstrukcióhoz, míg a felhasználó felügyelte az objektumok kiválasztását és elhelyezését. USD Content Agents konfigurálták az objektumok mozgását és kölcsönhatásait, az Isaac Sim-tesztek pedig az ajtók és fiókok ütközési viselkedésének finomítását segítették.
Az itt bemutatott projektek azt szemléltetik, hogy a frontier AI-modellek és az Omniverse-könyvtárak kombinációja a szimulációs fejlesztést természetes párbeszéddé alakítja: a fejlesztő irányít, az ügynök kódot és jeleneteket generál, az ember pedig ellenőriz és pontosít. Az NVIDIA bejelentése szerint további projektek és példák várhatók mind az NVIDIA csapataitól, mind az ökoszisztéma fejlesztőitől.
Gyakori kérdések
Milyen AI-modelleket használnak ezekben a projektekben?
A bemutatott projektekben elsősorban a GPT-6 Astra és a Claude Fable 5 frontier AI-modelleket alkalmazzák az NVIDIA Omniverse-könyvtárakkal együtt. Az ügynökök természetes nyelvű utasítások alapján generálnak kódot és konfigurálnak szimulációs jeleneteket.
Mennyire gyorsan lehet digitális ikerrendszereket létrehozni ezzel a módszerrel?
Ashley Reid esetében körülbelül három nap alatt sikerült két digitális ikert nulláról felépíteni, és két meglévőt fejleszteni — iteratív, ügynökvezérelt munkafolyamattal, ahol a mérési eredmények vezérelték a következő lépéseket.
Milyen Omniverse-könyvtárakra támaszkodnak ezek az alkalmazások?
A projektekben többek között az ovphysx (fizika), ovstage (jelenetkezelés), ovrtx (renderelés), ovui (felhasználói felület) és ovstream (streaming) könyvtárak szerepelnek, amelyek GPU-gyorsított szimulációs képességeket biztosítanak.
A Robo Olympics kísérletben mekkora sikerarányt ért el a humanoid robot?
A kísérlet során a szimulált Unitree G1 humanoid robot 100 próbából 64-szer sikeresen ugrott át egyetlen akadályon. Az eredmények visszajelzést adtak a robot időzítésének és vezérlésének javításához.
Forrás: NVIDIA Blog
