Исследователи Apple представили HALO — систему автономного управления человекоподобным роботом. В препринте команда сообщает о средней успешности 91% в 360 испытаниях отдельных заданий на Unitree G1. Тесты проходили в шести реальных пространствах, которые заранее не сканировали и не картографировали.
HALO разделяет управление на три уровня. Модуль на базе визуально-языковой модели работает с изображением и заданием, генератор создаёт движения, а обученный с подкреплением трекер управляет их исполнением с частотой 50 раз в секунду. Для первых двух модулей на робота установили Mac mini с чипом M4 Pro и 64 ГБ памяти; трекер работает на штатном бортовом чипе G1. Команда также опубликовала код подготовки данных, обучения и запуска системы.
С более длинными заданиями HALO справлялась реже. Три последовательности действий проверяли по 10 раз в одном реальном окружении: средняя успешность составила 70%. Самую сложную последовательность — пройти согнувшись под препятствием, дойти до цели и толкнуть коробку — робот выполнил в 5 случаях из 10.
По словам исследователей, системе пока трудно выполнять задачи с частым контактом с предметами: она в основном полагается на камеры и теряет информацию, когда предмет закрыт или выходит из кадра. Подготовка новых физических задач тоже требует участия человека — написания подсказок и задания ключевых положений движения.
Источник: IT Home.
