Новини›Ešte›llama.cpp v1.0.0: по-здрава основа за локалния AI екосистем
Ešte

llama.cpp v1.0.0: по-здрава основа за локалния AI екосистем

Hugging Face · петък, 13 ноември, 16:05 · 1 мин четене

Първа стабилна версия на библиотеките llama.cpp и ggml с ясни правила за промени

Екипът на Hugging Face пусна версия 1.0.0 на библиотеките llama.cpp и ggml. Тя показва, че проектът вече е достатъчно зрял, за да разчитат на него много други приложения. Оттук нататък промени, които чупят съвместимостта на интерфейсите, ще се отбелязват със смяна на главната версия, за да знаят разработчиците какво ги очаква.

llama.cpp позволява да се пускат големи езикови модели, включително мултимодални, на много различни устройства. От обикновен личен компютър до мощни сървъри. Това става възможно благодарение на квантизацията, оптимизираните бекенди и преносимата реализация на C и C++. Според създателите това е една от най-леките и гъвкави основи за продукти с AI, които работят локално и пазят личните данни.

Проектът е на около три години и половина, а в него вече разчитат много приложения. Затова публичните интерфейси (заглавните файлове) вече са ясно отбелязани. Версия 1.0.0 важи за libllama и libggml.

Разработката продължава с по-бързи темпове. Екипът използва HF Buckets и HF Jobs, за да мащабира системата за автоматични проверки, която пази качеството на всяка промяна в основните клони. Хардуерната поддръжка идва от NVIDIA, AMD, Qualcomm, Arm, IBM и Intel. Екипът добавя и собствени сървъри за тестове на всички основни платформи. Засега llama.cpp поддържа над 150 архитектури на модели.

Още новини