Cambricon сообщила об адаптации модели SenseNova Loop-9B для своей платформы MLU в день её выпуска. По сообщению IT Home, модель теперь может выполнять инференс — генерацию ответов — через vllm_mlu, реализацию системы запуска моделей vLLM для чипов MLU.

Главная сложность связана с устройством SenseNova Loop-9B: модель повторно использует часть слоёв, поэтому 32 физических слоя декодера выполняют 56 последовательных вычислений. Cambricon представила повторения как отдельные шаги для стандартного механизма выполнения vLLM, но сохранила для них общие веса. По заявлению компании, такое представление не увеличивает объём памяти, занятый весами, по сравнению с вариантом на 32 слоя.

Для основных вычислительных блоков Cambricon использовала существующие операторы vllm_mlu, а для обработки изображений — компоненты, применяемые при запуске Qwen3.5-VL. Компания также объединила вычисления в механизме маршрутизации mHC, чтобы сократить число запусков вычислительных задач. Данных о скорости работы SenseNova Loop-9B на MLU в сообщении нет.

Источники: IT Home, IT Home.

Продолжение после рекламы

Рейтинг: 0 / 5. Оценок: 0

Рекомендуем почитать

Оставьте комментарий

Перед оставлением комментария, пожалуйста, ознакомьтесь с правилами комментирования.