Исследовательская команда miHoYo представила Gamer — ИИ-модель, которая управляет 2D- и 3D-играми по изображению с экрана. Как сообщает IT Home, модель не считывает внутренние данные игры и не использует специальные игровые API: она получает изображение пять раз в секунду и выдаёт команды клавиатуре и мыши с частотой 30 раз в секунду.
Команда показала, как Gamer выполняет сюжетные задания, исследует локации и решает головоломки в «Хонкай: Звёздная железная дорога». В испытании разработчиков версия Gamer-RL после обучения с подкреплением достигла средней успешности 49,7% на 40 заданиях в мини-играх, с которыми ранее не сталкивалась. Она превзошла базовую модель без дополнительной настройки.
Для обучения использовали более 10 тысяч часов записей управления клавиатурой и мышью в разных играх. Разработчики также создали систему Streaming-vLLM: на оборудовании с NVIDIA H200 она сократила задержку обработки запроса с 1306 до 65,12 мс. Это показатель работы системы в указанной конфигурации, а не частота обновления изображения, которое получает модель.
Команда рассматривает Gamer как исследовательский проект, среди возможных применений которого — тестирование игр и помощь людям с ограниченными возможностями. Разработчики заявили, что не поддерживают использование модели для читерства. Сейчас опубликованы лишь общие файлы раннего этапа исследования: данные обучения, связанные с «Хонкай: Звёздная железная дорога», и веса модели после обучения или настройки на этих данных не выпущены.
Источник: IT Home.