Новини›Suara›Liquid AI пусна LiquidCodec, стрийминг аудио кодек с 74 милиона параметъра
Suara

Liquid AI пусна LiquidCodec, стрийминг аудио кодек с 74 милиона параметъра

MarkTechPost · петък, 13 ноември, 00:43 · 1 мин четене

Кодекът работи на 12,5 Hz с 12 кодови таблици и е многократно по-бърз от реалното време на процесор.

Liquid AI публикува LiquidCodec, аудио кодек с около 74 милиона параметъра, който стои зад моделите LFM3-Audio-2B и LFM3-Omni-2B. Той превръща реч в токени, които езиков модел може да предскаже, и после ги връща обратно в звук. Теглата са публикувани в Hugging Face, така че можеш да ги пробваш сам.

Кодекът компресира аудио с честота 24 kHz в 12 потока от токени. Всеки кадър от 80 милисекунди се превръща в 12 дискретни токена. Компанията го сравнява с Mimi на Kyutai, който има 96,2 милиона параметъра и е използван в по-стар модел на Liquid AI.

Процесът е кодиране, квантуване и декодиране. Квантуването е групово, така че всички 12 таблици могат да се предсказват едновременно, което ускорява работата. Декодерът предсказва спектралните коефициенти директно, без по-тежко възстановяване на вълната.

Обучението е в два етапа. Първият използва 264 000 часа реч на 107 езика, а вторият 55 000 часа реч с пълна честота, за да се махнат металическите звуци. Компанията казва, че кодекът обработва кодирането около 361 пъти по-бързо от реалното време и декодирането около 87 пъти, при тест на един процесорен поток на Apple M4 Max. Това са собствени данни на компанията.

За работа на устройства има GGUF версии в формати Q4_0, Q4_K_M и Q8_0 за llama.cpp. При Q4_0 декодерът е 3,5 пъти по-малък, а качеството според метриката ViSQOL почти не пада.

Още новини