NVIDIA пусна нови отворени модели Cosmos 3 за симулиране на светове
Hugging Face · четвъртък, 5 ноември, 21:35 · 1 мин четене
Четири контролни точки за интерактивна симулация и генериране на шофьорски сцени
NVIDIA добави четири нови отворени контролни точки към семейството си Cosmos 3. Те са предназначени за генериране на интерактивни симулации на света и на мултисензорни сцени за шофиране с няколко камери. И четирите са дообучени варианти на Cosmos 3 Nano и имат 16 милиарда параметъра за обучение. Моделите се разпространяват с лиценз OpenMDW1.1, който позволява търговска и нетърговска употреба.
За роботиката са предложени два подхода. Sim-Bimanual предсказва какво ще се случи визуално след дадено действие на двуръкия робот. Sim-Transfer взема управлението от физичен симулатор и създава цветните кадри, които политиката на робота може да използва.
За автономното шофиране Transfer-Auto генерира синхронизирано видео от до 11 камери, включително рибешкоока леща, и може да създава RGB и LiDAR данни заедно. Sim-Auto е бърз потоков вариант на същия модел, който генерира кратки части видео и LiDAR в малко стъпки на изчистване.
Предсказването се прави на по-малки стъпки, така че новите контроли влияят по-често на резултата.
NVIDIA публикува и техническия доклад с обучителния процес, както и демонстрации. Отворените тегла дават на изследователите общо начало за адаптиране на моделите и сравняване на методи.


