Команда ИИ-разработчиков miHoYo и исследователи из нескольких университетов открыли GameScaling — серию моделей, которые получают изображение игры и выдают команды для клавиатуры и мыши. В серию входят восемь версий с числом параметров от 0,8 до 27 млрд. О выпуске сообщает IT Home; код и веса моделей опубликованы в репозитории проекта.
Модель учитывает текущий кадр, часть предыдущих кадров и историю действий, после чего формирует следующую последовательность нажатий и движений мыши. Один такой ответ охватывает около 200 мс игрового времени: шесть шагов по 33 мс. Это длительность запланированных действий, а не заявленное время обработки запроса. Фактическая скорость работы зависит от размера модели, оборудования и нагрузки.
Для каждого из четырёх размеров выпущены варианты S1 и S3. S1 обучали только на данных Minecraft, а S3 — на данных нескольких игр; доля Minecraft в этом наборе составляет 27%. Согласно описанию проекта, для каждой версии использовали 1600 часов записей игрового процесса. Среди описанных задач — добыча ресурсов и создание предметов в Minecraft, бои и поиск пути в Doom, а также решение головоломок в сценариях побега из комнаты.
Разработчики предоставили клиент для запуска модели, примеры кода и поддержку развёртывания через vLLM. По данным репозитория, версии до 9 млрд параметров можно запускать на одной видеокарте, а модель на 27 млрд требует двух видеокарт при параллельных вычислениях. Код и веса распространяются по лицензии Apache 2.0.
Источник: IT Home.
