Az NVIDIA új képességekkel bővítette a Cosmos platformot, amely a fizikai AI-rendszerek világmodelljeinek fejlesztését segíti. A csomagban új tanítóeszközök, szimulációs checkpointok és Cosmos Data Factory blueprintek is vannak. Az NVIDIA szerint a platform hat különböző nyílt modellranglistán szerepel az első öt között.
Cosmos Data Factory: jobb tanítóadatok
A világmodellek építése multimodális, többérzékszervű adatokkal kezdődik. A Cosmos Data Factory az adatok címkézéséhez, válogatásához, bővítéséhez és kiértékeléséhez nyújt eszközöket nagy léptékben. A videós tanítóadatokat válogató, GPU-gyorsított Cosmos Curator mostantól multimodális, többérzékszervű bemeneteket és feldolgozóblokkokat is támogat.
A Data Factory öt felhőalapú blueprintet kínál. Elérhetők a GitHubon, valamint a Microsoft Azure, a Nebius és a CoreWeave felületén:
- Autonomous Vehicle Dataset Generation: válogatja és címkézi a vezetési adatokat, majd nehezen rögzíthető helyzetekről szintetikus példákat ad hozzá.
- Image Attribute Augmentation: változtatja a tárgyak megjelenését, hogy javuljon a képkeresés.
- Event Video Generation: állóképekből szintetikus videókat készít ritka vagy veszélyes eseményekről.
- Defect Image Generation: nyomtatott áramköri lapok, fém és üveg hibáiról készít képeket ellenőrző modellekhez.
- Video Data Augmentation: a jelenetszerkezet megőrzése mellett módosítja az időjárást és a fényviszonyokat.
Cégek, amelyek már használják
- A Porsche a Volkswagen-csoport márkái közötti közös autonóm adatciklust vezeti a Voxel51-en keresztül, Microsoft Azure-on. A várakozások szerint ez akár 90%-kal csökkentheti az ismételt valódi tesztvezetéseket, a fejlesztési ciklusidőt pedig akár 85%-kal.
- Az ANYbotics több mint 1500 szintetikus videóklipet generált. Ipari ellenőrző robotjait így tanítja a folyadékszivárgások és más változások felismerésére.
- Az Ultralytics a YOLO modelljét valódi képekkel és célzott szintetikus hibákkal tanította újra. Javult a hibák lokalizálása és a recall.
Cosmos Framework és Cosmos 3: tanítás, finomhangolás, optimalizálás
A berlini GTC-n az NVIDIA a Cosmos Framework tanítási, optimalizálási és telepítési eszközeit és receptjeit ágensképességként több nyílt modellre is kiterjesztette. Ezt a Cosmos 3 mellett jelentette be. A fejlesztők és az ágensek így finomhangolással és megerősítéses tanulással igazíthatják a GR00T, az Alpamayo, a QWEN, a Pi0.5 és más kompatibilis Hugging Face modelleket. Desztillációval és kvantálással optimalizálhatják őket, majd nagy teljesítményű inferenciával telepíthetik.
A MicroAGI robotikai kutatólabor a Cosmos 3-at emberi tárgykezelést mutató videókon tanította tovább. A 32 milliárd paraméteres reasonert 8 milliárd paraméteres Nano modellre desztillálta, pontosságvesztés nélkül. A Roboflow-n a fejlesztők címkézhetnek és utántaníthatnak Cosmos 3-at, majd Roboflow által üzemeltetett vagy helyi NVIDIA GPU-kon futtathatják gyárakban és raktárakban.
Szimuláció és gyorsabb inferencia
Az új Cosmos 3 Nano modellvariánsok szimulációhoz készültek. Ismételhető, nehezen rögzíthető, többnézetű és többszenzoros forgatókönyvekben tesztelhetők velük autonóm policyk. A kód lehetővé teszi, hogy a fejlesztők saját policyjaikat tanítsák és értékeljék autonóm járművekhez és kétkezes robotokhoz, interaktív szimulációkban, valós tesztek előtt.
A frissített Cosmos 3 NIM mikroszolgáltatások validált konfigurációkban akár kétszer gyorsabb inferenciát adnak minőségvesztés nélkül. A folyamatos videóelemzés másodpercen belüli riasztásokat tesz lehetővé. Az új NVIDIA Metropolis Blueprint a videókereséshez és -összefoglaláshoz (VSS 3.3) egyetlen promptból készít videós AI-alkalmazást. Ugyanazzal a GPU-val 40%-kal több videófolyam felügyeletét teszi lehetővé.
Az ADNOC a Fogsphere MistIQ ágensplatformját használja, amely Cosmosra és a Metropolis VSS Blueprintre épül. Valós időben észleli a biztonsági kockázatokat 65 telephelyen. A ritka eseményekhez a Fogsphere a Cosmos Data Factoryval szintetikus tanítóadatot is generál, így nem kell veszélyes helyzeteket fizikailag megrendezni.
A Cosmos platform moduláris és nyílt. A Data Factory adatkészleteket generál, a Framework tanítja és adaptálja a világmodelleket, a támogatott modellek pedig NIM mikroszolgáltatásokon keresztül telepíthetők. Az NVIDIA európai bejelentéseihez kapcsolódik az új nyílt NVIDIA modellek témája is.
Gyakori kérdések
Mi az a Cosmos Data Factory?
Adatok címkézésére, válogatására, bővítésére és kiértékelésére szolgáló eszközök és ágensképességek gyűjteménye fizikai AI tanításához. Öt felhőalapú blueprintet tartalmaz.
Hol érhetők el a blueprintek?
A GitHubon, valamint a Microsoft Azure, a Nebius és a CoreWeave felületén.
Mely modellek adaptálhatók a Cosmos Frameworkkel?
Például a GR00T, az Alpamayo, a QWEN, a Pi0.5 és más kompatibilis Hugging Face modellek, finomhangolással és megerősítéses tanulással.
Mennyivel gyorsabbak a Cosmos 3 NIM mikroszolgáltatások?
Validált konfigurációkban akár kétszer gyorsabb inferenciát nyújtanak minőségvesztés nélkül.
Forrás: NVIDIA Blog
