Tencent открыла веса языковой модели Hy4: разработчики могут скачать их и развернуть модель самостоятельно. Веса опубликованы на GitHub, Hugging Face, ModelScope и GitCode. Как сообщает IT Home, саму Hy4 представили ещё 4 ноября — теперь Tencent выпустила обещанные веса.
Hy4 построена по архитектуре MoE, или «смеси экспертов»: при обработке запроса используется часть параметров модели. Из 770 млрд параметров активируются 49 млрд. Tencent также указывает контекстное окно более миллиона токенов — это объём текста, который модель может учитывать в одном запросе.
18 ноября компания открыла более компактную Hy4 flash. С публикацией весов Hy4, по заявлению Tencent, открыта вся линейка языковых моделей Hunyuan. Hy4 и Hy4 preview распространяются по лицензии Apache 2.0, которая разрешает коммерческое использование и изменение моделей.
Вместе с весами Tencent выпустила карточку оценки безопасности Hy4. В ней компания раскрыла результаты проверок, в том числе по кибербезопасности и биобезопасности.