Учёные из Токийского университета науки представили прорывную систему HEAPGrasp, которая позволяет промышленным роботам уверенно захватывать прозрачные и отражающие объекты — стекло, блестящий металл, прозрачный пластик — без использования дорогостоящих датчиков глубины.
Традиционные 3D-системы (лидары, стереокамеры) часто «слепнут» на таких поверхностях: свет отражается или проходит насквозь, что приводит к ошибкам и необходимости вмешательства человека. Новая система решает проблему радикально — она использует только обычную RGB-камеру и силуэты объектов.
Как работает HEAPGrasp
Система снимает объект с разных ракурсов, выделяет его контуры с помощью семантической сегментации и восстанавливает трёхмерную форму по методу Shape from Silhouette (форма из силуэта). Поскольку метод опирается исключительно на очертания, прозрачность и блики больше не мешают.
Чтобы сократить время работы, исследователи добавили алгоритм планирования траектории камеры на основе глубокого обучения. Он выбирает оптимальные точки съёмки, сокращая лишние движения робота на 52% и общее время выполнения задачи на 19%.
Результаты испытаний
В 20 реальных сценариях с комбинациями прозрачных, матовых и зеркальных объектов система показала 96% успешных захватов при использовании всего одной камеры. Это значительно превосходит существующие методы.
«Даже когда информация о глубине ненадёжна, захват возможен, если надёжно захватываются контуры объекта», — объясняет один из авторов, Шого Араи.
HEAPGrasp легко интегрируется в существующие роботизированные системы, не требует дорогого оборудования и упрощает внедрение на производстве. Технология особенно востребована в логистике, пищевой промышленности, производстве и складской автоматизации, где часто встречаются смешанные материалы.
Исследование опубликовано в журнале IEEE Robotics and Automation Letters.
