Remiantis NVIDIA pateiktais materijalais, Cosmos 3 yra pirmasis pasaulyje visiškai atviras omnimodalų fizinio AI pagrindinis modelis. Sukurtas naudojant NVIDIA nuosavybės hibridinės Transformer architektūrą, modelis integruoja tiek reasoning, tiek generation šakas, leidžiančias vizualinį reasoning, pasaulio generavimą ir veiksmų prognozavimą viename modelyje. Jis gali tiksliai atkurti realaus pasaulio fizikos taisykles, tokias kaip gravitacija, susidūrimas ir trintis. Skirtingai nuo bendrų multimodalų modelių, kurie daugiausia skirti pramogų turinio kūrimui, Cosmos 3 natūraliai palaiko penkių modalų įvedimą ir generavimą: tekstą, vaizdus, vaizdo įrašus, aplinkos garsus ir žmogaus bei robotų judėjimą. Išankstinis mokymas buvo atliktas didelio masto fiziškai anotuotais duomenų rinkiniais, todėl modelis gali savarankiškai generuoti realistiškus scenų duomenis ir judėjimo trajektorijas, kurios atitinka realaus pasaulio fizikos dėsnius.
Oficialiai pateikta informacija rodo, kad Cosmos 3 yra planuojamas keliuose modelių lygiuose. Super versija, turinti didesnius parametrus, skirta automobilių gamintojams ir humanoidinių robotų įmonėms didelės apimties duomenų sintezei ir pažangių algoritmų plėtrai. Bazinė versija orientuota į mažas ir vidutines R&D komandas įvairiose pramonės šakose, o Tiny versija optimizuota vietiniam diegimui ant kraštinių ir integruotų aparatų. NVIDIA visiškai atvėrė modelio svorius, šaltinio kodą ir palaikančius vertinimo duomenų rinkinius, susiję ištekliai yra prieinami atvirose platformose, tokiose kaip Hugging Face ir GitHub. Globalūs kūrėjai gali nemokamai pasiekti šiuos išteklius ir juos pritaikyti pagal poreikį. Kalbant apie diegimo efektyvumą, NVIDIA teigia, kad modelis gali sutraukti tradicinius simuliacijų ir derinimo ciklus robotikos, autonominio vairavimo ir pramonės skaitmeninių dvynių projektams nuo kelių mėnesių iki tik kelių dienų, padedant sumažinti duomenų rinkimo ir testavimo kaštus fizinio AI vystymui.
Kartu su produkto paskelbimu NVIDIA taip pat atskleidė savo ekosistemos strategiją, sudarydama NVIDIA Cosmos Coalition, globalų bendradarbiavimo aljansą. Įkūrimo nariai apima pirmaujančias AI laboratorijas ir robotikos įmones, tokias kaip Agile Robots, Black Forest Labs, Runway, LTX ir Skild AI. Pagal aljanso bendradarbiavimo rėmus, narių organizacijos gali dalytis visa Cosmos 3 technologijų krūva, pasiekti NVIDIA DGX Cloud kompiuterinių išteklių pagal poreikį ir keistis algoritmais, standartizuotais testais ir realiais pramonės testavimo duomenimis. Aljansas siekia bendradarbiauti kuriant bendrus standartus atvirų pasaulio modelių ir pagreitinti naujos kartos fizinio AI technologijų iteracijas ir komercinimą.
Viešai prieinama informacija rodo, kad kelios automobilių gamintojos ir automatizavimo įrangos gamintojai jau pradėjo vidinį projekto, pagrįsto Cosmos 3, testavimą. Galimi diegimo scenarijai apima humanoidinių robotų kūrimą, autonominio vairavimo simuliavimą, pramoninį vizualinį patikrinimą ir realistinį skaitmeninio turinio kūrimą.