Роботы всё чаще действуют самостоятельно: перемещаются по незнакомым помещениям, взаимодействуют с предметами и принимают решения на основе информации, полученной с камер и датчиков. Но у таких систем есть одна серьёзная проблема: они могут ошибаться в распознавании объектов, а затем сохранять ошибочные сведения в своей памяти и использовать их в дальнейшем.
Исследователи Массачусетского технологического института (MIT) разработали систему искусственного интеллекта, которая позволяет роботам обнаруживать подобные ошибки, оценивать достоверность собственных воспоминаний и при необходимости переписывать их.
Новая технология получила название UQ-DAAAM. Она не просто улучшает распознавание объектов, а помогает роботам понимать, насколько можно доверять уже полученной информации.
Почему роботам приходится исправлять собственную память?
Чтобы ориентироваться в окружающей среде, современным роботам недостаточно просто анализировать изображение с камеры в текущий момент. Им необходимо запоминать расположение предметов, особенности помещений и результаты предыдущих наблюдений.
Для этого исследователи ранее разработали систему DAAAM, использующую модель компьютерного зрения, способную описывать объекты естественным языком. Например, обнаружив на изображении определённый предмет, искусственный интеллект формирует его словесное описание. Затем эта информация сохраняется в виде трёхмерной карты окружающей среды.
Благодаря такому подходу робот может не только распознавать объекты, но и обращаться к накопленным сведениям при выполнении последующих задач. Например, отвечать на вопросы о расположении предметов или вспоминать, когда он встречал их в последний раз.
Однако у первоначальной системы обнаружилось слабое место.
Если объект виден лишь частично, находится далеко от камеры или попал в кадр при плохом освещении, алгоритм может ошибиться. Размытое изображение способно привести к совершенно неправильной интерпретации: например, система может принять серый дымоход на крыше за белку.
Проблема заключается не столько в самой ошибке распознавания, сколько в её последствиях. Если неверное описание попадает в долговременную память робота, оно может повлиять на его дальнейшие решения. Иными словами, однажды ошибившись, машина рискует продолжать действовать исходя из ложных сведений.
Именно эту проблему и призвана решить UQ-DAAAM.
Как работает технология UQ-DAAAM?
Название новой системы расшифровывается как Uncertainty Quantification for Describe Anything, Anywhere, at Any Moment — количественная оценка неопределённости при описании объектов в любом месте и в любой момент.
В основе разработки лежит сочетание трёх технологий:
- компьютерного зрения, позволяющего анализировать изображения;
- больших языковых моделей, способных формировать и сопоставлять текстовые описания;
- математической оценки неопределённости, помогающей определить достоверность полученных результатов.
Главное отличие UQ-DAAAM от предыдущих решений заключается в том, что система не принимает первое распознавание за безусловную истину. Вместо этого она проверяет, насколько описание соответствует действительности.
Для этого используются изображения одного и того же объекта, полученные с разных ракурсов.
Когда робот перемещается по помещению, его камеры могут многократно фиксировать один и тот же предмет. Новая система использует эти дополнительные наблюдения, чтобы проверить ранее сохранённое описание.
Сначала алгоритм оценивает уверенность модели в отдельных словах, использованных для характеристики объекта. Затем он сравнивает полученное описание с вариантами, сформированными на основе изображений с других точек обзора.
Результаты двух проверок объединяются в единый показатель неопределённости. Если он превышает установленный порог, система считает первоначальное описание потенциально недостоверным и запускает процедуру его уточнения.
Таким образом, робот получает возможность обнаруживать собственные ошибки не только в момент распознавания, но и спустя некоторое время, когда появляются дополнительные сведения.
Как робот выбирает, что нужно перепроверить?
Интересная особенность разработки заключается в том, что она не анализирует заново все изображения подряд. Вместо этого используется специальный алгоритм, который выбирает наиболее информативные ракурсы.
Предположим, робот принял дымоход за какой-то другой объект. Вместо повторного анализа всех доступных фотографий система может выбрать изображение, на котором виден дым, поднимающийся из трубы. Такая деталь поможет точнее определить, что именно находится перед камерой.
Исследователи математически доказали, что предложенный метод позволяет находить полезные изображения без необходимости многократно запускать модель компьютерного зрения для каждого нового кадра.
Это существенно снижает вычислительную нагрузку. Для мобильных роботов, располагающих ограниченными ресурсами процессора и памяти, подобная оптимизация особенно важна.
После отбора дополнительных изображений большая языковая модель объединяет содержащиеся в них описания и формирует обновлённую характеристику объекта.
При этом система учитывает два важных фактора: более свежие наблюдения получают больший вес, а описания с меньшей степенью неоднозначности считаются более надёжными.
В результате робот получает исправленное описание, которое заменяет прежнюю запись в его памяти и может использоваться при выполнении будущих задач.
Насколько эффективна новая система?
Исследователи MIT уже проверили работу UQ-DAAAM в экспериментальных условиях.
Результаты оказались обнадёживающими:
- Система смогла устранить неоднозначность распознавания примерно для 92% объектов в окружающей среде робота.
- Для уточнения описания каждого объекта в среднем потребовалось всего два дополнительных текстовых описания.
- Точность характеристик объектов увеличилась на 5% по сравнению с существовавшими на тот момент передовыми методами.
Кроме того, новая технология улучшила способность роботов отвечать на вопросы об окружающих предметах: что это за объекты, где они находятся и когда робот встречал их в последний раз.
Последний показатель особенно интересен. Он демонстрирует, что усовершенствование памяти влияет не только на качество распознавания, но и на способность машины использовать накопленные знания.
Где пригодится технология?
Возможность самостоятельно обнаруживать и исправлять ошибки памяти может оказаться полезной для самых разных робототехнических систем.
Например, автономные мобильные роботы смогут надёжнее ориентироваться в незнакомых зданиях, не полагаясь на ошибочные сведения о расположении предметов. Роботы-манипуляторы, взаимодействующие с окружающими объектами, получат более точную информацию о том, с чем именно имеют дело.
Особое значение технология может приобрести в условиях, где качество изображения постоянно меняется: при слабом освещении, частичном перекрытии объектов или движении камеры.
Впрочем, разработка пока находится на исследовательской стадии. Команда MIT планирует адаптировать её для различных робототехнических платформ, в том числе для мобильных роботов-манипуляторов.
Ещё одно направление дальнейшей работы — создание механизмов, которые позволят роботу самостоятельно определять участки окружающей среды с высокой степенью неопределённости и возвращаться туда для получения более качественных изображений.
Роботам предстоит научиться сомневаться в собственных выводах
Разработка MIT затрагивает одну из фундаментальных проблем автономного искусственного интеллекта: машина должна не только получать информацию об окружающем мире, но и понимать ограничения собственных знаний.
Ведь надёжность робота определяется не исключительно тем, насколько хорошо он распознаёт объекты. Не менее важно, умеет ли он обнаруживать ситуации, в которых может ошибаться, и корректировать свои представления при появлении новых данных.
UQ-DAAAM предлагает именно такой подход. Вместо того чтобы считать однажды полученную информацию неизменной истиной, робот получает возможность возвращаться к прежним наблюдениям, сопоставлять их с новыми и обновлять собственную память.
Это важный шаг на пути к созданию действительно автономных машин, способных не просто выполнять заданные команды, но и критически оценивать информацию, на которой основаны их решения.
