Одна из главных проблем современной робототехники — нехватка данных для обучения. В отличие от языковых моделей, которым достаточно текстов, роботам нужно физически взаимодействовать с предметами в самых разных условиях. Тренировать их в реальном мире дорого, долго и требует постоянного контроля человека. Исследователи Массачусетского технологического института (MIT) предложили решение: систему под названием SceneSmith, которая автоматически создаёт детализированные трёхмерные комнаты, где роботы могут безопасно отрабатывать бытовые навыки.
Система опирается на трёх специализированных ИИ-агентов, которые работают вместе. Первый — «дизайнер» — создаёт планировку комнаты и расставляет мебель с предметами. Второй — «критик» — оценивает, насколько сцена выглядит реалистично, и предлагает правки: например, убрать объект, который явно не подходит для кухни или гостиной. Третий — «оркестратор» — руководит всем процессом, решая, когда сцена готова, а когда нужно продолжить доработку.
В основе лежит мультимодальная модель GPT-5.2 от OpenAI, обученная на огромных массивах текстов и изображений. Благодаря этому система понимает, как обычно устроены реальные помещения и где принято размещать те или иные вещи. Пользователю достаточно описать комнату обычным языком: «гараж с машиной, верстаком, стопкой шин и лестницей у стены» — и SceneSmith сгенерирует соответствующее виртуальное пространство.
По сравнению с предыдущими подходами новые сцены содержат до шести раз больше интерактивных объектов. Это даёт роботам значительно больше возможностей для обучения.
Чему учатся роботы
С помощью SceneSmith исследователи создали более 1300 виртуальных сред: обычные квартиры, офисы, магазины и тематические пространства. В них роботы отрабатывали типичные домашние задачи — класть фрукты на тарелки, переставлять банки с напитками с полки на стол, открывать шкафы и ставить чашки в раковину.
Для проверки систему протестировали на 100 разных сценах. Специальный ИИ-агент оценивал, справился ли робот с заданием. Человеческие эксперты согласились с этими оценками более чем в 99 процентах случаев. Более того, контроллер, обученный в основном на реальных данных, успешно выполнял задачи даже в незнакомых ему сценах SceneSmith — например, доставал яблоко из миски и клал его на разделочную доску.
В пользовательских исследованиях с участием более 200 человек свыше 90 процентов участников оценили окружения SceneSmith как более реалистичные, чем те, что создавались прежними методами. Система также лучше следовала текстовым инструкциям. Кроме того, она умеет генерировать новые 3D-объекты и присваивать им реалистичные физические свойства: массу, трение и особенности движения.
Ограничения и перспективы
Пока создание одной детализированной сцены занимает несколько часов — ИИ тщательно проверяет каждый объект и расположение. Исследователи рассчитывают, что более мощные вычисления и расширенные библиотеки 3D-моделей значительно ускорят процесс. Это позволит роботам получать гораздо больше разнообразных тренировочных данных и быстрее готовиться к работе в реальном мире.
SceneSmith показывает, как генеративный ИИ может снимать одно из главных узких мест робототехники — нехватку безопасных и разнообразных сред для обучения. Если технологию удастся ускорить и масштабировать, роботы смогут отрабатывать сложные бытовые навыки гораздо эффективнее, чем сейчас.
