Новини›Yderligere›Google добавя два нови TPU чипа за поверителен AI и за по-голяма памет
Снимка: The Decoder
Yderligere

Google добавя два нови TPU чипа за поверителен AI и за по-голяма памет

The Decoder · понеделник, 9 ноември, 14:59 · 1 мин четене

TPU 8tx пази данните защитени и по време на работа, а TPU 8i Max събира два чипа в един пакет.

Google разшири осмото поколение своите AI ускорители TPU с два нови варианта. TPU 8tx е за работа с поверителни данни, които остават криптирани и по време на обработка. TPU 8i Max е за задачи, които изискват много памет, като работа с големи кодови бази или часове видео. За първи път компанията е пуснала четири TPU системи в рамките на една година.

Два нови варианта, но без нов чип. Google не е направила ново поколение процесор. Вместо това е променила опаковката, мрежата и паметта около същия чип. Така новите версии излизат за месеци, а не за години.

TPU 8tx е предназначен за компании и държавни агенции, които работят с чувствителна информация. Обикновено данните са криптирани при съхранение и пренос, но трябва да се декриптират в паметта, когато процесорът ги обработва. Google казва, че при 8tx данните и теглата на модела остават защитени и изолирани дори по време на работа. Системата ползва и мрежата Boardfly, която е създадена за работа в реално време. Според Google може да намали закъснението до два пъти спрямо TPU 8t.

TPU 8i Max решава проблема с паметта. Когато AI агенти работят едновременно с голям обем данни, скоростта на паметта става ограничение. Затова Google е сложила два чипа TPU 8i в един пакет. Резултатът е два пъти повече изчислителна мощ, памет и пропускателна способност в същия шкаф.

Google също прави TPU по-лесни за ползване. TorchTPU е публикуван като отворен код, така че PyTorch код да работи на TPU с малко промени. Поддържат се и инструменти като vLLM и SGLang. Компанията вече има около 100 външни клиенти.

Още новини