MBZUAI пусна PAN 2, отворен световен модел с 29 милиарда параметъра
MarkTechPost · сряда, 11 ноември, 09:38 · 1 мин четене
Моделът симулира до 20 секунди действие като видео и е под лиценз Apache 2.0.
Институтът за базови модели към MBZUAI публикува PAN 2, нов отворен световен модел за физически AI. Той получава сцена и текстово действие и показва като видео какво ще стане след това действие. Тегловете, кодът за обучение и кодът за работа са публикувани под лиценз Apache 2.0, така че може да се ползват свободно.
В основата на модела стои езиков модел, който планира действието, и дифузионен трансформър с 29 милиарда параметъра, който създава видеото. Според разработчиците PAN 2 може да симулира до 20 секунди от развитието на действието. Наследникът на PAN, пуснат през ноември 2025 година, е замислен така, че агент първо да проиграва няколко варианта на план, а после да извърши най-добрия.
Институтът твърди, че езиковата част има решаващо значение. Без концептуално разсъждение завършването на целия план пада от 34 на 0 процента, а на отделните стъпки от 75 на 8,7 процента. Разработчиците са изключили от обучението видео от игри, анимации и симулации, а тест с по-малък модел от 9 милиарда параметъра е спечелил 58 процента от гласовете при сляпо сравнение.
PAN 2 поддържа генериране от текст и от изображение. Може да се пусне през Hugging Face Diffusers, vLLM, FastVideo или скрипта в репото. По подразбиране клипът е около 10 секунди. Моделът изисква много видеопаметта, като разработчиците не посочват колко точно. Институтът препоръчва и отделен филтър за безопасност, който според тях намалява опасните резултати от 33,9 на 1,5 процента.


