Новини›Încă›PyTorch 2.15 на Mac: FP8, по-бързи LLM модели и повече операции на MPS
Снимка: Hugging Face
Încă

PyTorch 2.15 на Mac: FP8, по-бързи LLM модели и повече операции на MPS

Hugging Face · вторник, 20 октомври, 03:00 · 1 мин четене

Новата версия донася FP8 тензори, по-бързо декодиране на езикови модели и нови Metal ядра

PyTorch 2.15 носи няколко важни промени за всеки, който пуска модели на Mac през MPS. Най-новото е поддръжката на FP8: тензорите float8_e4m3fn вече работят на MPS и заемат половината памет на BF16. С функцията F.scaled_mm можеш да умножаваш такива тензори, като избираш мащабиране за целия тензор или за всеки ред.

Езиковите модели също работят по-бързо. При декодиране всеки нов токен минава през модела като един ред, затова големите матрични умножения се превръщат в умножения матрица по вектор. Версия 2.15 свързва такива умножения с F.linear и добавя нативно групово умножение за модели тип смес от експерти. Qwen3.6-35B-A3B, например, скача от 9,4 на 61,3 токена в секунда на M3 Ultra.

Промени има и при линейната алгебра. Комплексни LU разлагания и триъгълни решаватели вече работят на GPU, а малки матрици до 4 на 4 се обръщат с едно Metal ядро. Softmax върху речника е около 8 пъти по-бърз.

За аудио и видео има подобрения при конволюции, паддинг, dropout и интерполация. Декодирането на видео VAE при Wan2.2 използва максимум 8 GiB памет вместо 270 GiB.

За да ползваш новата версия, ти трябва Mac с Apple silicon, macOS 15 или по-нов и Python 3.11 или по-нов. Инсталацията става с uv pip install torch==2.15.0 от индекса на PyTorch.

Още новини