Разработчик Георги Герганов объявил о выходе версий 1.0.0 библиотек libllama и libggml, которые входят в открытые проекты llama.cpp и ggml. Главное изменение — правила версионирования: разработчикам приложений станет проще понять, когда обновление библиотеки может потребовать изменений в их коде, сообщает IT Home.
Повышение первой цифры версии будет обозначать несовместимые изменения публичного C API или двоичного интерфейса библиотек. Вторая цифра отведена для обратно совместимых нововведений, в том числе поддержки новых моделей и аппаратных платформ. Третья — для исправлений ошибок, не меняющих API. Это особенно полезно тем, кто встраивает libllama или libggml в собственные приложения.
llama.cpp позволяет запускать языковые модели на компьютерах и серверах. Проект уже поддерживает более 150 вариантов архитектур моделей; эта цифра описывает его текущие возможности, а не число моделей, добавленных в версии 1.0.0. Для работы на разных устройствах ggml использует отдельные аппаратные модули, которые можно собирать как динамические библиотеки и загружать при необходимости. Команда также расширяет автоматические проверки на оборудовании разных производителей.
Источник: IT Home.
