Liquid AI представила LFM2.5-24B-A2B — текстовую модель для ИИ-агентов, которую можно запускать на собственном устройстве. Компания опубликовала её веса для загрузки и предложила отдельный доступ через API, сообщает PC Watch.
У модели 24 млрд параметров, но при обработке каждого токена задействуется лишь часть из них — около 2,45 млрд согласно подробной спецификации. Такая архитектура снижает объём вычислений на токен. Контекст достигает 131 072 токенов; модель рассчитана на задачи из нескольких шагов и вызов внешних инструментов агентом.
По измерениям Liquid AI, на системе с Apple M5 Max модель генерировала 184 токена в секунду и занимала 15 ГБ памяти. Компания использовала llama.cpp, квантование Q4_K_M и входной контекст длиной 4000 токенов. Это результат для указанных условий, а не скорость любой версии модели на любом ноутбуке.
Веса доступны по лицензии LFM Open License v1.0: использование в целом бесплатно, включая коммерческое, но компаниям с годовой выручкой от $10 млн для коммерческого применения нужна коммерческая лицензия. Через Liquid Console модель также доступна по API: $0,10 за миллион входных токенов, $0,05 за миллион кешированных входных и $1 за миллион выходных. Для локального запуска заявлена поддержка форматов и сред, включая GGUF для llama.cpp и MLX для Apple Silicon.
Источник: PC Watch.
