Европейская облачная компания OVHcloud представила своё первое семейство ИИ-моделей Olala и его первую модель — Olala mini 7A1B. Из 7 млрд её параметров при работе задействуется 1 млрд. Компания планирует опубликовать модель на Hugging Face под открытой лицензией Apache 2.0, сообщает IT Home.

По данным издания, модель может работать на видеокарте с 8 ГБ памяти. Для RTX A4500 указана скорость генерации 160 токенов в секунду, а при работе только на процессоре — 50 токенов в секунду. Характеристики процессорной системы не приведены, поэтому эти показатели нельзя использовать для прямого сравнения оборудования.

OVHcloud сообщила, что обучала модель на трёх европейских публичных суперкомпьютерах с ускорителями NVIDIA GH200, A100 и H100. Общие затраты компания оценила в 7 млн евро. Начальная версия поддерживает контекст в 32 тысячи токенов — объём текста, который модель может учитывать за один раз. В версии 1.1, запланированной на конец 2026 года, компания рассчитывает увеличить его до 128 тысяч токенов и улучшить математические способности модели.

Источник: IT Home.

Продолжение после рекламы

Рейтинг: 0 / 5. Оценок: 0

Рекомендуем почитать

Оставьте комментарий

Перед оставлением комментария, пожалуйста, ознакомьтесь с правилами комментирования.