Новини›Ещё›Hugging Face пусна TorchTPU: TPU вече работи директно с PyTorch
Ещё

Hugging Face пусна TorchTPU: TPU вече работи директно с PyTorch

Hugging Face · вторник, 20 октомври, 03:00 · 2 мин четене

Моделите от Hub се пращат на TPU с една дума, без torch_xla и без JAX

От Hugging Face обявиха TorchTPU, нов бекенд за PyTorch, който третира TPU като обикновено устройство. Досега да пуснеш PyTorch код на TPU означаваше порт към torch_xla или учене на JAX. Сега моделите от Hub се изпращат на TPU директно, а Transformers, Diffusers и Kernels работят на него без допълнителна настройка.

TPU са AI чиповете на Google, създадени за матричните изчисления, на които се крепят невронните мрежи. Те са налични в Google Cloud, от един чип до големи групи от хиляди чипове, и са подходящи за обучение и за обслужване на много заявки.

До момента работата с PyTorch на TPU минаваше през PyTorch/XLA. Тя работеше, но тензорите се изпълняваха лениво, понякога кодът не вървеше точно както очакваш, а малки промени можеха да предизвикат прекомпилиране на графа. Optimum TPU даваше инференс и обучение за моделите на Hugging Face, но с TorchTPU вече не е нужен за Transformers и Diffusers.

В Transformers зареждаш модел на TPU с device_map=tpu, а в Diffusers използваш pipe.to(tpu). Режимът по подразбиране е eager, но можеш да добавиш torch.compile за по-голяма скорост. За големи модели TensorParallelConfig разпределя трансформъра по чиповете още при зареждането, така че целият модел не трябва да се побира на един чип.

В Kernels Hub има готови TPU ядра, написани на Pallas. По думите на екипа при MoE модел с батч 64 декодирането е 21,5 пъти по-бързо на Qwen3-30B-A3B и 12,8 пъти на Gemma 4 26B-A4B.

Тестовете на Transformers вече минават и на TPU: 96,5% от тестовете, които се пускат там, са успешни. Екипът е подал 34 проблема към TorchTPU, от които 19 са оправени. Инсталацията на TPU виртуална машина е една команда с pip и допълнителен индекс за CPU версията на torch.

Още новини