Новини›Otras›Sleep рамката на Google: LLM модели, които запазват знанията си
Снимка: Google Research
Otras

Sleep рамката на Google: LLM модели, които запазват знанията си

Google Research · вторник, 27 октомври, 19:35 · 1 мин четене

Нов подход, при който моделът учи на етапи, като между активна работа има офлайн консолидация.

Google Research представя нова рамка за непрекъснато учене на големи езикови модели. Досега повечето модели след пускането си остават почти статични, с фиксирана дата на знанията, и не могат лесно да научават нови неща.

Проблемът е, че ако просто обновяваш параметрите с нови данни, моделът често забравя старите задачи, което се нарича катастрофично забравяне. От друга страна, ако разчита само на контекста в конкретния разговор, знанието изчезва, щом сесията приключи.

Предложението е моделът да има два етапа. В активния етап той работи и получава нова информация. В офлайн етапа, наречен sleep, той консолидира краткосрочното съдържание в дългосрочни параметри. Това става чрез разширена памет със смесени експерти и нискоранг структури, които пазят новите факти, без да презаписват старите.

Вторият етап е нещо като сънуване. Моделът сам генерира синтетични примери, като понякога активира случайни експерти, а после избира най-полезните за учене. Така той може да подобри разсъжденията си.

В тестовете методът показва добри резултати. При непознати езици като манджурски и калангски загубата на качество е почти нулева при последователно учене. При дълъг контекст до 10 милиона токена моделът запазва почти перфектна точност. При факти от SQuAD резултатът е 48,9 процента за една задача и 46,2 процента при продължено предварително обучение.

Още новини