Zyphra пусна ZYFA: FP8 внимание за AMD MI355X до 1,76 пъти по-бързо
MarkTechPost · петък, 6 ноември, 19:28 · 1 мин четене
Отворен код за по-бързо обработване на дълги текстове на AMD чипове.
Zyphra пусна ZYFA, набор от ядра за FP8 и BF16 внимание при обработката на входа на моделите за AMD Instinct MI355X. Кодът е с отворен код под лиценз Apache 2.0, така че всеки може да го ползва и да го проучи.
На реални активации от модели ядрата за FP8 работят между 1,16 и 1,76 пъти по-бързо от AITER, основната библиотека на AMD. При размер на главата 128 грешката на FP8 е с между 62 и 78 процента по-ниска от тази на AITER.
FP8 матричните операции са два пъти по-бързи от BF16, но ускорението важи само за двете матрични умножения. Softmax между тях се смята на векторното устройство със същата скорост при двете прецизности. Zyphra успя да намали тази част от цикъла с по-проста формула за вероятностите, така че матричният блок да е зает около 86 процента от времето, вместо 60.
Ядрата за FP8 са написани като асемблерен код, генериран от Python скрипт, а BF16 версиите са на HIP. Част от трика е, че вероятностите се мащабират със степен на двойката преди закръгляне, което се отчита директно от новата матрична инструкция на CDNA4.
Най-голямото ускорение, 1,76 пъти, е при DeepSeek-V2-Lite. При Mistral-7B и Qwen3-8B разликата е около 1,16 до 1,17 пъти. Zyphra отбелязва, че на MI355X часовникът се сменя според това колко бита се променят, затова препоръчва сравнения на реални данни при стабилна честота.


