Исследователи из Университета Тохоку в Японии и института VISTEC в Таиланде собрали шестиногого робота, который не получает готовую схему шага. Вместо этого ИИ смотрит, как движется палочник, и выводит общие правила координации ног. На неровной земле машина сама перестраивает походку.
Такой подход нужен там, где колёса буксуют: завалы, пересечённая местность, зоны катастроф. Обычные роботы идут заранее прописанным аллюром. Стоит поверхности измениться — шаблон ломается.
Как робот учится у насекомого
Метод называется adversarial inverse reinforcement learning, или AIRL. Система не копирует каждый взмах лапки. Она пытается понять цель за «идеальным» примером и выучить, за что насекомое «получает награду» за устойчивый шаг.
Для обучения взяли записи ходьбы палочника Medauroidea extradentata по ровному полу — движения всех 18 суставов ног. Затем AIRL соединили с алгоритмом обучения с подкреплением PPO. Одна нейросеть сравнивает шаг робота с примером насекомого, другая формирует функцию награды, которая подталкивает к похожей координации.
Контроллер смотрит на наклон корпуса, углы суставов и касание земли каждой ногой — и выдаёт команды на 18 суставов. Отдельную походку инженеры не программируют.
Что происходит, когда земля портится
Выученный контроллер дал устойчивый шаг, похожий на координацию палочника. Важнее другое: хотя учили только на ровном полу, робот пошёл и по неровностям. Корпус сильнее качало, скорость чуть упала, но машина не упала. Ритм ног сменился на более волнообразный — как раз удобный для ухабов.
Затем отключили одну из шести ног, имитируя поломку. Контроллер не твердил старый рисунок: перераспределил нагрузку между оставшимися конечностями и удержал равновесие. Этого в обучающих данных не было.
Ещё один результат — перенос «награды» на другую модель робота. Прямо скопировать политику ходьбы не вышло: другие пропорции, суставы, моторы. А вот перенести функцию награды из AIRL удалось. Новая политика выучила согласованный шаг за 70 тысяч циклов обучения. Если награду строить только из скорости, потребовалось около 200 тысяч.
На живом роботе RedMirror института VISTEC провели предварительный тест. Ходьба и работа корпуса качественно совпали с симуляцией. Биологические данные, выходит, могут стать практическим сырьём для машин, которым придётся идти по меняющейся земле — и даже после потери ноги.
