Thinking Machines пусна Inkling 2 Small, модел с 594 милиарда параметъра
MarkTechPost · неделя, 8 ноември, 23:41 · 1 мин четене
Моделът използва 17 милиарда активни параметъра и приема текст и изображения
Thinking Machines Lab пусна Inkling 2 Small, първия модел от второто поколение Inkling. Това е разредена MoE архитектура с 594 милиарда параметъра, от които 17 милиарда са активни при всяко обработване. Моделът приема текст и изображения, а отговаря с текст. Аудио засега не се поддържа.
По Artificial Analysis Intelligence Index моделът получава 31 точки, докато предшественикът му Inkling Small получава 13 на същия тест. Инклинг 2 Small е насочен към програмиране с агенти, работа с изображения и задачи със знания.
Тежестите на модела засега не са публични. Компанията планира да ги пусне под лиценз Apache 2.0 следващата седмица, след външни проверки за безопасност.
Моделът има 48 слоя трансформър и при всеки токен избира 8 от 384 експерта. За изображенията работи енкодер с 292 милиона параметъра, който разделя картинката на парчета по 20 на 20 пиксела. Обучението използва 1075 стъпки и 17 милиона опита, като продължи 9 дни на 2048 графични процесора. Кодирането заема 65 процента от токените при обучението с подсилване.
Инклинг 2 Small е достъпен в Tinker за фина настройка и генериране на отговори.


