Создан робот-повар, который использует нейросети и компьютерное зрение, чтобы автоматически запоминать рецепты из кулинарных видео.
Робот-повар - не новая идея. Еще в 2015 году компания Moley Robotics представила робота, который мог подбирать кухонную утварь и использовать специально разработанную кухню для приготовления еды. В 2020 году рестораны White Castle начали тестировать роботов Flippy, позволяющих автоматизировать процесс помешивания макарон.
Но теперь исследователи из Кембриджского университета решили создать по-настоящему умного «робо-шеф-повара». Они построили робота, который может воссоздать тот или иной рецепт, просто анализируя видео с едой.
Как это работает?
Исследователи предоставили системе в общей сложности 16 демонстраций видео с небольшими вариациями рецептов и использовали несколько общедоступных нейронных сетей, чтобы преобразовать их в серию задач, которые робот может выполнить. Каждый кадр видео был проанализирован с помощью систем OpenPose и YOLOv5m для обнаружения рук повара, ингредиентов и соответствующей посуды. Затем исследователи использовали статистический подход, называемый скрытой марковской моделью (HMM), чтобы определить последовательность действий вместе с их длиной, а также пропорциями ингредиентов.
После этого готовому роботу показали видео с рецептами восьми различных салатов. Робот правильно идентифицировал их ингредиенты с точностью 93% и смог определить действия, необходимые для их приготовления с точностью 83%.
Стоит отметить, что исследователи снимали весь процесс приготовления салатов и не использовали никаких эффектов перехода или быстрых сокращений, которые типичны для рецептов, которые размещаются на YouTube или TikTok. Для этого есть веская причина: роботу нужен четкий взгляд на ингредиенты, и он пока не может хорошо распознавать быстрые движения.
Впрочем, разработчики обещают, что со временем повара-роботы смогут быстро и легко понимать рецепты из видео в социальных сетях.
Разработка описана в журнале IEEE Access.
