Компания SenseTime выпустила модель SenseNova Loop-9B и открыла доступ к её весам и сопутствующему коду. По данным компании, для развёртывания модели с 4-битными весами может хватить 10 ГБ видеопамяти. При длинном контексте памяти потребуется больше.

В Loop-9B около 9 млрд параметров. Часть слоёв использует общие веса и выполняется дважды: так 32 физических слоя дают 56 вычислений слоёв за один проход модели. Этот подход позволяет увеличить глубину вычислений без соответствующего роста числа параметров. Модель принимает текст и изображения, отвечает текстом; заявленная максимальная длина контекста — 512 тысяч токенов.

Объём 4-битных весов составляет около 4,9 ГБ. Для обработки контекста длиной 256 тысяч токенов компания приводит другую оценку: примерно 15 ГиБ видеопамяти при 4-битных весах и 8-битном KV-кеше — памяти, в которой модель хранит данные уже обработанных токенов. Официальная 4-битная версия AWQ доступна вместе с моделью.

В опубликованном компанией сравнении с Qwen3.8-27B модель Loop-9B набрала 41,36 балла против 44,60 в NL2Repo и 65,31 против 65,01 в AIDABench. Результаты и характеристики приводит IT Home; веса и код размещены в коллекции SenseNova на Hugging Face.

Продолжение после рекламы

Источник: IT Home.

Рейтинг: 0 / 5. Оценок: 0

Рекомендуем почитать

Оставьте комментарий

Перед оставлением комментария, пожалуйста, ознакомьтесь с правилами комментирования.