Meituan открыла мультимодальную модель LongCat-2.5, которую представила 2 ноября. Как сообщает IT Home, модель распространяется по лицензии MIT: её можно использовать для коммерческого развёртывания и дообучения без дополнительного разрешения. Она рассчитана на длительные задачи, в том числе работу с кодом и визуальными материалами.
У LongCat-2.5 в общей сложности 1,6 трлн параметров, но при обработке каждого токена задействуется около 48 млрд. Заявленная длина контекста — до миллиона токенов. Разработчики также адаптировали модель для чипов с ограниченными объёмом видеопамяти и пропускной способностью памяти.
Для задач, где нужно одновременно разбирать изображение и писать код, команда изменила обработку визуальных данных: изображение преобразуется в токены нескольких уровней детализации, которые обрабатываются вместе с текстом основной частью модели. Визуальные токены можно заранее вычислить и сохранить, чтобы уменьшить объём вычислений во время работы. По заявлению разработчиков, модель стала лучше справляться с созданием кода по визуальным материалам, включая задачи дизайна и 3D.
Для эффективного инференса используется схема W4A4: веса экспертов и активации квантуются до 4 бит, а вычисления выполняются с помощью матричных блоков INT4.
Источник: IT Home.
