AnyLanguageModel 1.0: една година локални модели на Apple платформи
Hugging Face · вторник, 20 октомври, 03:00 · 1 мин четене
Версия 1.0 позволява същия код да работи с локални и облачни модели в Swift приложения
Hugging Face публикува версия 1.0 на AnyLanguageModel, библиотека, която дава на разработчиците на Swift приложения удобен начин да избират модел за своето приложение. Тя е директна замяна на Foundation Models framework на Apple, така че за да започнете, достатъчно е да смените импортирането от FoundationModels на AnyLanguageModel. Същият код на сесията после работи със системния модел, с отворени модели през llama.cpp, MLX и Core ML, а също и с облачни доставчици.
Поддръжката на облачни модели е разширена. Чрез Inference Providers може да се използват отворени модели, които са твърде големи за устройството, и то със същия код. Облачните доставчици получават същите възможности като локалните модели: структурирано генериране, извикване на инструменти със поточно предаване и информация за използваните токени. Разсъжденията вече са част от записа на разговора, а при смяна на доставчик блоковете с разсъждения се пропускат автоматично, ако новият доставчик не може да ги обработи.
API ключовете вече се подават чрез функция, а не като низ, така че приложението може да взима краткотрайни токени от собствения си сървър. Библиотеката работи и на Linux, което позволява същия код да се ползва и на сървър.
Паралелно са излезли swift-huggingface 1.0 и swift-xet 1.0, които донасят по-бързо изтегляне на модели от Hub към Swift приложения. Най-малките популярни модели вече се побират на iPhone, а Qwen3.8 27B работи на Mac с 32 GB памет или повече. За MLX модел е нужен един ред код.


