Новини›Nog›Baidu пусна ERNIE 5.5 Flash Base с 280 милиарда параметъра
Nog

Baidu пусна ERNIE 5.5 Flash Base с 280 милиарда параметъра

MarkTechPost · четвъртък, 5 ноември, 23:33 · 1 мин четене

Базов модел с 14 милиарда активни параметъра, обучен върху 33,5 трилиона токена.

Baidu пусна ERNIE 5.5 Flash Base, нов езиков модел с 280 милиарда параметъра. При всяка стъпка от работата активни са само 14 милиарда от тях, защото моделът използва архитектура Mixture-of-Experts. Това е т.нар. базов модел, което означава, че е спрян в края на предварителното обучение. Не е прекаран през допълнително обучение с инструкции или с обратна връзка, така че е подходящ, ако искаш да сравниш собствено дообучение от една и съща отправна точка.

Моделът е само за текст и има 43 слоя с размер на скритото представяне 4096. Обучен е от нулата върху 33,5 трилиона токена с оптимизатора Muon. Към данните за обучение са добавени много код и дълги текстове, тъй като такова съдържание е трудно да се добави по-късно.

За сравнение Baidu е изпитал модела със същите задачи, промпти и настройки като други базови модели, включително DeepSeek-V4-Flash-Base и Tencent Hy3-preview-Base. ERNIE 5.5 Flash Base е по-добър в повечето тестове, но губи в шест задачи. DeepSeek води при китайски въпроси, а Hy3 - при BBH и FullStackBench. Това са резултати на самата Baidu.

Тегловете са публикувани в Hugging Face и ModelScope, в FP8 и BF16 формат. Моделът може да се пусне със SGLang или vLLM и приема до 1 048 576 токена наведнъж. Тъй като е базов, работи през completions интерфейса, а не като чат.

За обучението е използвано ядрото FlashMask-4, което според Baidu е до 175% по-бързо при предаване напред в сравнение с FlashAttention-4 на SM100 GPU.

Още новини