A robotszimuláció már nemcsak a járás és gurulás tanítására jó: a kutatók ma már finom mozdulatokat is szimulációban gyakoroltatnak a robotokkal, például fogaskerekek illesztését, kábelek csatlakoztatását vagy apró alkatrészek összeszerelését. Az NVIDIA az austini Conference on Robot Learning (CoRL) konferencián új nyílt robotikai technológiákat mutatott be, köztük világ-akció modellt, szimulációs eszközöket, tesztkészleteket és ágens-alapú munkafolyamatokat.
A konferencián egy új irány, az agentic robotika is előtérbe került. Ez olyan megközelítés, amelyben élvonalbeli ágensek értelmezhető kódot hoznak létre fizikai robotrendszerek számára. A cél, hogy a laboratóriumi bemutatókból ipari alkalmazás legyen. Ehhez a robotoknak komplex feladatokat kell megtanulniuk, változó körülmények között is megbízhatóan kell teljesíteniük, és a hibákból is tanulniuk kell.
Két NVIDIA-tanulmány a legjobb cikkek között
A CoRL több ezer beküldése közül hat döntős jutott a Best Paper díjra. Közülük kettő NVIDIA-munka:
- GRAIL (Generating Humanoid Loco-Manipulation from World Models): digitális generálási folyamat 3D-s eszközökhöz és szimulátorra kész jelenetekhez.
- RoboTTT (Context Scaling for Robot Policies): robotmodell és tanítási recept, amely a vizuomotoros kontextust három nagyságrenddel növeli a legjobb jelenlegi megoldásokhoz képest, a következtetési késleltetés növekedése nélkül.
Az NVIDIA partnerei között van az Ambi Robotics, a Bosch Research, a Dexmate, a Dyna Robotics, a FieldAI, a Flexion, a Noitom Robotics, a Siemens, a Skild AI, az RLWRLD, a UC Berkeley, a Walden Robotics és a Washingtoni Egyetem.
GR00T 2: világ-akció modell a Cosmosra építve
A GR00T 2 nyílt, élvonalbeli világ-akció modell az NVIDIA Cosmosra építve. Sokféle robot- és emberi adaton tanították, köztük 100 000 óra nyílt forrású, egocentrikus emberi adaton. A főbb tulajdonságai:
- az 50 értékelt feladatból 40-et legalább egyszer teljesített feladatspecifikus demonstráció nélkül;
- emberi bemutatókból tanul, és a készségeket robotdemonstráció nélkül viszi át különböző robottestekre;
- feladatonként egyetlen demonstrációval átlagosan 71%-os sikert ért el az 50 feladaton, öt demonstrációval 95%-ot;
- AI-ágensek az API-ján és a kiegészítő eszközein keresztül sorba tudják rendezni a készségeket, és hibából is helyreállnak.
A modell a RoboCasa365, RoboLab, RoboDojo és MolmoSpaces tesztekben a három legjobb között szerepel, több ranglistagyőzelemmel. A Nexuni robotos ruhakezeléshez teszteli, a Foxconn szervergyártási gyárautomatizáláshoz alkalmazza, a Siemens pedig ipari felhasználási esetekben értékeli. A MicroAGI megerősítéses tanulással utótanított GR00T 2-t használ Ethernet-kábelek cseréjére egy YAM robotkarral; a szimulációs környezetek létrehozását és kalibrálását ágens-alapon automatizálja az Isaac Lab 3.0 és a Newton segítségével.
Adatgyűjtés és annotálás
Az új, nyílt Video to Data munkafolyamat emberi videóból szimulált robotdemonstrációkat készít, hozzá kihívást is hirdettek. Az NVIDIA EgoHand nyílt modell 3D-s kézmozgást rekonstruál a Noitom Robotics adataival tanítva. A modell az indulás óta eltelt két hétben több mint 40 000 letöltést ért el a Hugging Facen.
Isaac Lab 3.0 és Newton: gyorsabb szimuláció
Az Isaac Lab nyílt forrású robottanulási keretrendszer. A 3.0-s kiadással ágensek segítségével gyorsan felállíthatók a tanítási környezetek szimulációra kész eszközökkel, váltani lehet a PhysX és a Newton fizikai megoldók között, renderelőt lehet választani az észlelésalapú tanításhoz, és új megerősítéses utótanító könyvtár is elérhető az alapmodellekhez, például a GR00T-hoz.
A Newton nyílt forrású fizikai motorral szorosabb az integráció, így az Isaac Lab már deformálható tárgyakat is modellez, például kábelt és ruhát, valamint sok csuklós rendszert, például soklevelű robotkezeket. Egy látásalapú, ügyes manipulációs tesztben az Isaac Lab 3.0 a Newtonnal akár 2,5-szeres tanítási átbocsátást ért el az Isaac Lab 2.3 és a PhysX párosához képest.
Partnerek a gyakorlatban
- Skild AI: bemutatta a STEEL-t, a Newtonra épülő merevtest-fizikai megoldót.
- Flexion: a Reflect robotintelligencia-modelljét tanítja Isaac Labbal és Newtonnal.
- FieldAI: a Newtont, az Isaac Labot és az Isaac Simet használja strukturálatlan környezetekre szánt szabályzatok tanítására és validálására.
- Dyna Robotics: a Taku félhumanoid robot egésztest-vezérlőit tanítja párhuzamos szimulációval.
- Walden Robotics: az Isaac Sim fotorealisztikus renderelésével tanít és értékel.
- Dexmate: kódoló ágensekkel próbáltat manipulációs stratégiákat a Vega robotjához.
AlphaNIST és a Success-Guided Sampling
Az Isaac Labban készült AlphaNIST egyetlen szabályzattal tanulja meg a NIST Assembly Task Board mind a 20 feladatát, milliméteres alkatrészekkel, csupán igen/nem sikerjelzéssel. Több mint 98%-os tanítási sikert ér el, szemben a külön feladatonkénti szabályzatok 81%-ával, nagyjából 39-szer kevesebb GPU-idővel. Mögötte a Washingtoni Egyetem és az NVIDIA Success-Guided Sampling (SGS) módszere áll, amely a gyakorlást azokra a feladatokra összpontosítja, amelyeket a szabályzat nagyjából az esetek felében teljesít. Így a tanítás egymillió párhuzamos környezet fölé skálázható.
Ipari tesztkészletek a robotok értékeléséhez
A megbízható működés a változó körülmények között külön kihívás. Az Isaac Lab-Arena nyílt forrású keretrendszer ismételhető értékeléseket állít össze, és szabályzatokat futtat ezernyi változatban párhuzamosan. Az elemzések megmutatják, mely körülmények okoznak hibát, így látszik, mit kell javítani a következő tanításnál. A 0.4-es verzió fejlesztői előzetese a CoRL-re érkezik. Két új nyílt tesztkészlet, a DexBench és a VABAR az elsők között méri a robotok ügyességét és alkalmazkodóképességét ipari feladatokon az Isaac Lab-Arena és a Newton használatával. A DexBench az RLWRLD és az NVIDIA közös fejlesztése.
Az NVIDIA robotikai törekvéseiről korábban is írtunk, például a fizikai AI koreai együttműködéseiről.
Gyakori kérdések
Mi a GR00T 2?
Nyílt, élvonalbeli világ-akció modell, amely az NVIDIA Cosmosra épül. Emberi és robotadatokból tanul, és ügyes manipulációs készségeket sajátít el.
Mit hoz újat az Isaac Lab 3.0?
Ágensekkel gyorsabban felállíthatók a környezetek, váltható a PhysX és a Newton, és új megerősítéses utótanító könyvtár is van. Egy tesztben akár 2,5-szeres tanítási átbocsátást mért az Isaac Lab 2.3-hoz képest.
Mi az az AlphaNIST?
Az Isaac Labban készült megoldás, amelyben egyetlen szabályzat tanulja meg a NIST Assembly Task Board mind a 20 feladatát. Több mint 98%-os tanítási sikert ér el.
Forrás: NVIDIA Blog
