Новини›อีก›NVIDIA Dynamo рецепти за четири водещи корейски отворени модела
Снимка: NVIDIA
อีก

NVIDIA Dynamo рецепти за четири водещи корейски отворени модела

NVIDIA · понеделник, 9 ноември, 07:00 · 1 мин четене

Готови конфигурации за внедряване на B200 GPU, до 2x по-добра производителност

NVIDIA публикува готови рецепти за внедряване, оптимизирани за Dynamo, за четири от водещите отворени модела в Корея. Това са A. X K2 от SK Telecom, K-EXAONE 2.0 от LG AI Research, Solar Open 2 от Upstage и Motif-3 от Motif Technologies.

Когато моделът стане твърде голям за един GPU, той трябва да се раздели между няколко карти. Тогава трябва внимателно да се управлява как заявките се насочват и как частите си комуникират, иначе производителността пада. Именно това решава NVIDIA Dynamo.

Той се грижи за маршрутизирането и комуникацията между частите на модела, за да се възползва максимално от хардуера.

Рецептите са оптимизирани за NVIDIA B200 GPU. Според NVIDIA те дават до два пъти по-висока производителност веднага след инсталацията, без ръчно настройване. Целта е разработчиците да пуснат корейските модели в работна среда по-бързо и да ги направят достъпни за по-широк кръг хора.

Още новини