Tencent открыла веса языковой модели Hy4: разработчики могут скачать их и развернуть модель самостоятельно. Веса опубликованы на GitHub, Hugging Face, ModelScope и GitCode. Как сообщает IT Home, саму Hy4 представили ещё 4 ноября — теперь Tencent выпустила обещанные веса.

Hy4 построена по архитектуре MoE, или «смеси экспертов»: при обработке запроса используется часть параметров модели. Из 770 млрд параметров активируются 49 млрд. Tencent также указывает контекстное окно более миллиона токенов — это объём текста, который модель может учитывать в одном запросе.

18 ноября компания открыла более компактную Hy4 flash. С публикацией весов Hy4, по заявлению Tencent, открыта вся линейка языковых моделей Hunyuan. Hy4 и Hy4 preview распространяются по лицензии Apache 2.0, которая разрешает коммерческое использование и изменение моделей.

Вместе с весами Tencent выпустила карточку оценки безопасности Hy4. В ней компания раскрыла результаты проверок, в том числе по кибербезопасности и биобезопасности.

Продолжение после рекламы

Источники: IT Home, IT Home.

Рейтинг: 0 / 5. Оценок: 0

Рекомендуем почитать

Оставьте комментарий

Перед оставлением комментария, пожалуйста, ознакомьтесь с правилами комментирования.