Инженеры из лаборатории CSAIL Массачусетского технологического института (MIT) представили новую систему управления роботами, которая использует только камеру и не требует встроенных сенсоров или заранее прописанных моделей. Разработка под названием Neural Jacobian Fields (NJF) открывает путь к обучению роботов на основе визуального восприятия, позволяя им самостоятельно осваивать управление собственным телом.
От программирования к обучению
Вместо традиционного подхода, основанного на ручной настройке сенсоров и математических моделей, система NJF позволяет роботам учиться на собственных действиях. Всё, что нужно — камера, которая наблюдает за движениями робота. Алгоритм фиксирует, как тело реагирует на команды, и на основе этой информации формирует внутреннюю модель.
«Сегодня большинство задач в робототехнике требуют сложного программирования. Мы хотим, чтобы в будущем достаточно было показать роботу, что делать, и он сам понял, как к этому прийти», — объясняет ведущий автор исследования Сиже Лестер Ли, аспирант MIT CSAIL.
Большинство современных роботов создаются с жёсткой конструкцией и множеством сенсоров, чтобы их было проще контролировать. Однако мягкие или биоинспирированные роботы (например, с гибкими частями тела) гораздо сложнее поддаются моделированию. NJF предлагает альтернативу: вместо адаптации конструкции под модель — дать роботу возможность изучать себя самого через наблюдение.
Это освобождает инженеров от необходимости оснащать роботов дорогостоящими сенсорами или ограничивать их формы. Даже платформы без каких-либо встроенных датчиков успешно обучаются двигаться с помощью NJF.
Обучение через наблюдение
В основе NJF лежит нейросеть, которая изучает два ключевых аспекта робота: его трёхмерную форму и реакцию на команды. Система вдохновлена технологией Neural Radiance Fields (NeRF), которая воссоздаёт 3D-сцены по изображениям. Однако NJF идёт дальше — она обучает так называемое «якобианово поле», которое показывает, как конкретные точки тела робота перемещаются в ответ на управляющие сигналы.
Обучение происходит через случайные движения, которые фиксируют несколько камер. Система самостоятельно определяет взаимосвязь между командами и движением — без участия человека и без знания структуры робота. После обучения для управления требуется лишь одна камера, которая обеспечивает обратную связь в реальном времени с частотой около 12 Гц.
NJF была успешно испытана на различных типах роботов: от мягкой пневматической руки до жёсткой механической ладони и 3D-печатной руки. Даже вращающаяся платформа без сенсоров смогла обучиться точному управлению.
Авторы считают, что подобные системы можно применять за пределами лабораторий: в сельском хозяйстве, на стройках, в домашних условиях и на складах — там, где традиционные методы позиционирования и управления не справляются. Камера заменяет собой GPS, трекинг-системы и сложные сенсоры, обеспечивая автономную адаптацию в сложной среде.
На данный момент NJF необходимо обучать заново для каждого робота, используя несколько камер. Система не обрабатывает силу касания и пока не применима в задачах, где важна тактильная обратная связь. Тем не менее, команда уже работает над улучшениями: повышением обобщающей способности, устойчивостью к перекрытиям в кадре и расширением горизонта прогнозирования.
«Так же, как человек осваивает управление своим телом, наблюдая и экспериментируя, NJF даёт роботам аналогичное самосознание — только через зрение. Это фундамент для гибкого поведения в реальном мире», — говорит Ли.
