Компания Ant Lingbo открыла модель LingBot-Touch, которая помогает роботам использовать данные датчиков касания при выполнении действий. Как сообщает IT Home со ссылкой на компанию, в 26 испытаниях на реальных роботах подключение модели повысило среднюю успешность задач у четырёх моделей управления движением на 14–26 процентных пунктов по сравнению с работой без осязания.
LingBot-Touch обрабатывает сигналы трёх типов датчиков — магнитных, визуально-тактильных и пьезорезистивных — и преобразует их в единое представление контакта. Оно описывает, где пальцы касаются предмета, с какой силой и как контакт меняется со временем. Такая информация нужна, например, при откручивании крышки: по изображению трудно понять, ослабла ли она или пальцы проскальзывают по её поверхности.
В одном из испытаний модель T-Rex управляла роботизированной кистью Sharpa Wave при откручивании крышки. По данным команды, без осязания успешность составила 56,25%, при подаче необработанных сигналов датчиков — 62,5%, а с LingBot-Touch — 90%. В программу испытаний также вошли перелистывание страниц и распознавание костяшек маджонга; использовались кисти Sharpa Wave и XHand.
Модель предварительно обучили почти на 5000 часах реальных тактильных данных. Все 26 испытаний команда провела с облегчённой версией LingBot-Touch-Tiny, у которой около 5,3 млн параметров. Отдельно разработчики проверили перенос на XHand: установленной на ней модели магнитного датчика не было в данных предварительного обучения. Параметры LingBot-Touch оставили без изменений, обучив на демонстрациях с XHand только модель управления движением.
Источник: IT Home.
