Калифорнийская компания Dyna Robotics представила новую модель DYNA-2, обученную более чем на миллионе часов видео от первого лица, снятого людьми. Это примерно 170 лет непрерывного бодрствования. Подход позволяет роботам учиться физическим навыкам, наблюдая за тем, как люди взаимодействуют с предметами, а не только за счёт дорогой телеоперации.
DYNA-2 — это World-Action Model. Она одновременно предсказывает следующий кадр и следующее действие. Во время предварительного обучения робот вообще не видел данных о действиях других машин — только человеческое видео. Благодаря этому система формирует общее понимание того, как меняется окружение и как объекты реагируют на движения.
Позже модель можно адаптировать к конкретной платформе всего за несколько часов дообучения. В одном из тестов 13 минут данных хватило, чтобы пара пятипалых роботизированных рук научилась откручивать крышку бутылки.
Результаты
В задачах высокоточного производства доля успешных выполнений выросла с 20% до 80–90% только за счёт увеличения масштаба предобучения. Модель работает на стационарных манипуляторах, прототипах гуманоидов и ловких кистях.
По сравнению с предыдущей версией DYNA-1, построенной по архитектуре vision-language-action, новая модель показала 87% успешных прохождений контроля качества против 46%. Она также лучше справляется с неожиданными помехами: во время тестов с нарезкой еды и уборкой рабочего места DYNA-2 восстанавливалась самостоятельно, тогда как старая версия требовала вмешательства человека.
На задачах следования инструкциям, где нужно выполнять разные физические действия по команде, метод совместного обучения на видео улучшил результаты на 133%.
Почему это важно
«Годами развитие роботов общего назначения упиралось в нехватку данных: собирать физические данные телеоперации вручную просто невозможно масштабировать до уровня общего интеллекта, — отметил сооснователь Dyna Robotics Джейсон Ма (Jason Ma). — Данных о действиях мало, а видео — повсюду. С DYNA-2 мы показали, что физическую интуицию можно получить напрямую из человеческого видео, а не только после миллионов часов работы на роботе-манипуляторе».
Роботы компании на предыдущей модели DYNA-1 уже работают в отелях, ресторанах и прачечных. Новая версия должна помочь машинам быстрее осваивать новые физические задачи без огромных объёмов данных, собранных специально для каждого типа робота.
Dyna Robotics основана Линдоном Гао, Йорком Янгом и бывшим исследователем DeepMind Джейсоном Ма. Среди инвесторов — CRV и First Round.
