Новини›Another›Работи ли твоят модел на AWS Trainium? Провери го сега
Another

Работи ли твоят модел на AWS Trainium? Провери го сега

Hugging Face · петък, 23 октомври, 03:00 · 2 мин четене

Hugging Face пусна Space, който показва кои модели работят на Trainium без промени

Hugging Face публикува нов инструмент, с който можеш да разбереш дали даден модел от платформата работи на AWS Trainium без промени в кода. Той се казва torch-neuronx model support Space и проверява най-популярните модели от Hub. Резултатът показва дали моделът се зарежда и генерира текст върху Trainium, и дава готов скрипт, с който сам можеш да го пуснеш.

В началото Space показва избрана група модели, подбрани по брой изтегляния и по популярност. За всеки ред виждаш резултата, броя ядра на Trainium, върху които е разпределен моделът, времето за изпълнение заедно с компилацията и пиковата памет на устройството. Ако търсиш конкретен модел, превключи на изгледите Trending или Downloads и напиши част от името му. Можеш да избереш и версиите на Neuron компилатора и на Transformers.

За всеки тестван модел Space показва стека, на който е изпитан, пакетите, които трябва да инсталираш, и скрипта run.py. Скриптът зарежда модела с from_pretrained, генерира текст със статичен кеш и torch.compile с backend neuron. На инстанция Trainium2 инсталираш пакетите и пускаш python3 run.py. Не е нужен torchrun, защото скриптът сам стартира нужните процеси. При първото пускане моделът се компилира, но можеш да копираш вече готовите графи от публичния кеш в хранилището aws-neuron.

Тестът зарежда модела върху най-малкия брой ядра, които побират теглата му, и генерира 32 токена. При едно ядро резултатите се сравняват с CPU изпълнение на същия модел. Засега се тестват само модели, които се побират на 4 устройства Trainium2, и то само текстови и изображение-към-текст модели. PASS не означава нищо за скорост или за по-дълги генерации.

Всичко се показва от публичен набор от данни aws-neuron/torch-neuronx-model-support, който можеш да прочетеш и директно с pandas. Разработчиците планират да добавят и други задачи като diffusers и sentence transformers.

Още новини