Stanford отвори Memorilla: памет за замразени езикови модели с 16 токена
MarkTechPost · събота, 14 ноември, 12:21 · 1 мин четене
Новият модул сбива цял набор от документи в 16 вектора и работи с Qwen3-8B.
Изследователи от Станфорд пуснаха Memorilla, отворена система за памет за големи езикови модели. Тя прочита цяла колекция от документи и подава на замразен модел само 16 паметни токена. Така моделът може да отговаря на въпроси, без да държи всички документи в контекста си.
При тест с Qwen3-8B на FactKG Memorilla достига 84,33%, докато при подаване на всички документи в контекста резултатът е 80,43%. Това става с 108 пъти по-малко токени от документите.
В модула се обучава само паметта, около 194 милиона параметъра за декодера от 8 милиарда. Обучението има три етапа и отнема около 19 часа на четири H100 GPU. Данните са от Wikipedia и десет набора за въпроси и обобщения.
Скоростта също се променя. На един H100 отговорът при 512 документа е за 0,74 секунди, а при пълния контекст за 19,9 секунди. Има и кеш, който скъсява отговора до милисекунди при милиони документи.
Не във всичко Memorilla е най-добра. На PubMedQA LLMLingua-2 е по-точен, а при PersonalizationV4 и NarrativeQA е по-добър MemoRAG. Резултатите са съобщени от самите изследователи.
Кодът, обучителните рецепти и контролните точки са публични под лиценз Apache 2.0. Който иска да пробва, може да го пусне на Linux с uv. Първото стартиране сваля около 25 GB модели.


