Новини›Nog›Transformers въвежда Model Integration Contracts за по-бързи тестове на моделите
Снимка: Hugging Face
Nog

Transformers въвежда Model Integration Contracts за по-бързи тестове на моделите

Hugging Face · вторник, 3 ноември, 02:00 · 1 мин четене

Малки фиксирани модели на CPU хващат грешки, преди да стигнат до основния код

Transformers поддържа над 750 типа модели и има набор от тестове с над 88 000 теста на CPU и над 200 000 на GPU. Интеграционните тестове зареждат реални контролни точки, но пускането им при всяка промяна би изисквало много GPU през целия ден, затова регресиите понякога стигат до основния код.

Екипът предлага да се намалява самият модел. Създава се фикстура: малък модел, направен от конфигурацията на реалната контролна точка, с по-малко и по-тесни слоеве, но със същите видове слоеве. Токенизаторът и процесорните файлове остават непроменени.

Те предлагат стандарт за опаковане на тези тестове, наречен transformers-mic. Един Model Integration Contract се състои от фикстура, описание на начина на употреба и изчислени базови резултати. Договорът важи, ако пускането върху фикстурата дава същите резултати.

Пример е регресия от 30 юли 2026 г. в UMT5. Декодерът можеше да вижда бъдещи токени по време на обучение, като SDPA вариантът се оказа задължителен за откриване. Фикстурата хвана грешката при всеки от засегнатите комити, а проверката отне около 13 секунди на CPU.

Инструментът tmic създава договорите, а част от работата се прави с LLM, което се проверява от хора. Тестовете показват, че случайно инициализираните фикстури хващат по-малко изкуствени грешки от обучените, но все още има отворени въпроси.

Още новини