Новини›Нови модели›NVIDIA пусна нови отворени модели Cosmos 3 за симулиране на светове
Нови модели

NVIDIA пусна нови отворени модели Cosmos 3 за симулиране на светове

Hugging Face · четвъртък, 5 ноември, 21:35 · 1 мин четене

Четири контролни точки за интерактивна симулация и генериране на шофьорски сцени

NVIDIA добави четири нови отворени контролни точки към семейството си Cosmos 3. Те са предназначени за генериране на интерактивни симулации на света и на мултисензорни сцени за шофиране с няколко камери. И четирите са дообучени варианти на Cosmos 3 Nano и имат 16 милиарда параметъра за обучение. Моделите се разпространяват с лиценз OpenMDW1.1, който позволява търговска и нетърговска употреба.

За роботиката са предложени два подхода. Sim-Bimanual предсказва какво ще се случи визуално след дадено действие на двуръкия робот. Sim-Transfer взема управлението от физичен симулатор и създава цветните кадри, които политиката на робота може да използва.

За автономното шофиране Transfer-Auto генерира синхронизирано видео от до 11 камери, включително рибешкоока леща, и може да създава RGB и LiDAR данни заедно. Sim-Auto е бърз потоков вариант на същия модел, който генерира кратки части видео и LiDAR в малко стъпки на изчистване.

Предсказването се прави на по-малки стъпки, така че новите контроли влияят по-често на резултата.

NVIDIA публикува и техническия доклад с обучителния процес, както и демонстрации. Отворените тегла дават на изследователите общо начало за адаптиране на моделите и сравняване на методи.

Още новини