Новини›Daha›Buoyant пусна Kinference, отворен контролен слой за AI модели в Kubernetes
Daha

Buoyant пусна Kinference, отворен контролен слой за AI модели в Kubernetes

MarkTechPost · събота, 7 ноември, 10:16 · 1 мин четене

Инструментът насочва заявките към vLLM сървъри и по думите на Buoyant намалява медианното време до п

Компанията Buoyant, която стои зад Linkerd, пусна Kinference, отворен проект под лиценз Apache 2.0 за изграждане на платформи за изводи с AI модели в Kubernetes. Kinference работи пред група от vLLM сървъри и решава към кой от тях да отиде всяка заявка. Всичко се управлява от един слой: правила за насочване, ограничения на броя токени, балансиране според кеша на ключовете и метрики за всеки клиент.

Инструментът е предназначен за екипи, които пускат много отворени модели за много вътрешни потребители. Kinference не замества самия сървър с модела, а стои над него. Състои се от два основни елемента: трафик шлюз и обработвач, който получава gRPC заявки и връща избрания край. Конфигурацията се пише в пет вида ресурси на Kubernetes.

Правилата се описват декларативно и могат да отчитат клиента, модела, състоянието на GPU групите и тагове. Най-често се използва предсказване на времето до първия токен, така че заявката да отиде към сървъра, който най-вероятно ще отговори най-бързо. Правилата се пазят в git и могат да се проверяват офлайн с командния инструмент kinfctl.

В собствен тест Buoyant сравнява Kinference с обикновено балансиране в Kubernetes, при което заявките отиват на случаен под. При споделен префикс медианната латентност е паднала с 45%, а при многократни разговори с 32%. Пиковото количество заявки, които покриват зададеното ограничение за време, е било около 7,4 пъти по-голямо. Тези числа са на самата компания и сравнението е с произволно разпределение, не с други интелигентни балансьори.

Инсталацията е описана в пет стъпки и включва Helm диаграми и готови Grafana табла. Кодът и документацията са в GitHub хранилището на проекта.

Още новини