Az NVIDIA kiadta a Nemotron 3.5 Super VL modellt, egy nyílt, 120 milliárd paraméteres rendszert, amelyet a cég szerint a gyors és pontos, folyamatosan működő, speciális ügynökökhöz szántak. Mellé két új, éleszközökre szabott modell is érkezett: a Nemotron 3.5 Bolt 74B-A9B 24GB és a Bolt E4B 4GB. A három modell együtt a nagyvállalati szerverektől a helyi hardverig lefedi az ügynökalapú AI-telepítések teljes skáláját.
Nemotron 3.5 Super VL: nagy pontosság kisebb méretben
A Nemotron Coalitionnel együttműködésben készült Super VL a multimodális ügynöki feladatokban, vagyis az utasításkövetésben, az eszközhasználatban, a többlépéses üzleti munkafolyamatokban és a vizuális megértésben ad az NVIDIA állítása szerint vezető pontosságot. Eredménye a cég legnagyobb következtető modelljével összevethető, mindezt nagyjából ötödannyi paraméterrel.
A gyártó szerint a saját kategóriájának leggyorsabb nyílt ügynökmodellje: az Artificial Analysis Intelligence Index alapján akár ötszörös átviteli sebességet nyújt a hasonló modellekhez képest. A zárt modellekkel szemben a szervezetek a saját adataikon tovább taníthatják, saját infrastruktúrán futtathatják, és felügyelhetik, amit építenek.
Mit lát a modell?
A vizuális képességek a gyakorlatban előforduló feladatokra szólnak: szövegfelismerés, táblázatok, diagramok és strukturált információk olvasása dokumentumokból. A modell weboldalakat, PDF-eket és képeket is értelmez, és a látottak alapján cselekszik. Mivel a szöveges és a vizuális megértés egy modellben van, az ügynököknek nem kell külön rendszerek között irányítaniuk a feladatokat.
Nemotron 3.5 Bolt: ügynökök a helyi gépen
A Bolt 74B-A9B 24GB a mindennapi ügynöki feladatokat futtatja helyben NVIDIA RTX és DGX Spark gépeken. Natív 2 bites kvantálást használ, így belefér 24 GB memóriába, és más alkalmazások mellett is futhat. A felhasználók a népszerű helyi ügynökkeretrendszerekre bízhatnak webes kutatást, írást vagy hibakeresést a felhőbe küldés nélkül. A forrás szerint a PinchBenchen az első, a BrowseComp tesztben a második a kategóriájában a nyílt modellek között.
A Bolt E4B 4GB fizikai és beszélgető ügynököknek készült GeForce RTX, Jetson és RTX/DGX Spark eszközökre. Természetes beszélgetést és többfordulós ügynöki képességeket ötvöz, gyors helyi hangasszisztensekhez, interaktív karakterekhez és beágyazott felületekhez.
Ki használja, és hol érhető el?
A Super VL-t tucatnyi szervezet tanítja tovább a saját adatain. A Scale AI a Skydance hitelfinanszírozási és az EY átvilágítási ügynökéhez, az AfterQuery a Hebbia számára, az AI21 és az Alice kiberbiztonsági ellenállóképességhez, a Mercor kódoló ügynökökhöz igazította. A szoftveres integrátorok között van az Atlassian, a CrowdStrike, a Dassault Systèmes, a Perplexity és a Salesforce is.
- A modell nyílt súlyokkal, nyílt adathalmazokkal és tanítási receptekkel érkezik.
- Körülbelül 26 billió tokenen tanították, majd nagyjából 3,8 millió mintával és megerősítéses tanulással finomították.
- Testreszabás: NVIDIA NeMo, Python-alapú folyamatok és nyílt adathalmazok.
- Az NVIDIA NIM mikroszolgáltatásként csomagolja, kéthetente biztonsági és teljesítményfrissítéssel.
- Az NVIDIA Dynamóval akár 8-szor több felhasználót szolgálhat ki 85%-kal alacsonyabb késleltetéssel.
A Super VL elérhető a Hugging Face-en, az Open Routeren, a ModelScope közösségében és NIM-ként. Fut DGX Sparkon, DGX Stationön, RTX PRO és RTX rendszereken, Jetsonon és felhős környezetben is. A Bolt 74B-A9B a Hugging Face-en érhető el llama.cpp, Ollama, LM Studio, Unsloth és vLLM támogatással, és az október 16-án érkező RTX Spark laptopokra készült. A Bolt E4B október 23-án jön. Az NVIDIA ügynökbiztonsági törekvéseiről korábban írtunk.
Gyakori kérdések
Mikor jelenik meg a Bolt E4B?
Az NVIDIA szerint a Bolt E4B 4GB október 23-án érkezik, a másik két modell már elérhető.
Mennyi memória kell a Bolt 74B-A9B-hez?
A natív 2 bites kvantálásnak köszönhetően 24 GB memóriába fér, így más alkalmazások mellett is futhat.
Taníthatók tovább a modellek?
A Super VL nyílt súlyokkal, adathalmazokkal és receptekkel jön, és a NeMo segítségével saját adatokon testre szabható.
Forrás: NVIDIA Blog
