DiffuSpace опубликовала веса языковой модели Clover-35B-A3B-Preview под лицензией Apache 2.0, допускающей коммерческое использование. В отличие от моделей, которые пишут ответ по одному токену, она генерирует текст блоками. Модель рассчитана прежде всего на задачи программирования и работу с инструментами, сообщает PC Watch.
У Clover 35 млрд параметров, но при обработке запроса задействуются 3 млрд: такая схема называется смесью экспертов, или MoE. Модель принимает только текст, а её контекстное окно — до 131 072 токенов на запрос и ответ вместе. Код для запуска через Transformers уже доступен на Hugging Face. Поддержку SGLang и llama.cpp DiffuSpace заявила, но инструкции и соответствующий код для них пока только планирует опубликовать.
В опубликованном DiffuSpace тесте на GeForce RTX 5070 Ti с 16 ГБ видеопамяти модель после квантования до INT4 выдавала 101,8 токена в секунду на заданиях MATH-500. Для сопоставимых моделей MiniCPM и Qwen компания приводит 48,5 токена в секунду — примерно вдвое меньше. Это сравнение относится именно к указанным настройкам и заданиям. В тестах на решение задач программирования DiffuSpace также приводит результат 73,6 для SWE-bench Verified и 51,7 для Terminal-Bench 2.1.
Источник: PC Watch.
