Гуманоидные роботы и виртуальные аватары стремительно приближаются к тому моменту, когда их будет трудно отличить от настоящих людей. За этим стоят не только улучшенные материалы и анимация, но и серьёзные достижения в области компьютерного зрения и искусственного интеллекта.
Новое исследование китайских учёных показывает, что ключ к реалистичности может скрываться в точном анализе геометрии человеческого лица. Команда разработала масштабную базу трёхмерных лиц и алгоритм, который способен находить ключевые точки лица прямо в 3D-данных — без использования двумерных изображений или шаблонных моделей.
Работу возглавили профессор Song Zhan из Shenzhen Institutes of Advanced Technology при Chinese Academy of Sciences и исследователь Ye Yuping из Fujian University of Technology.
Что такое 3D-ключевые точки лица
Чтобы робот или виртуальный персонаж выглядел естественно, ему нужно правильно воспроизводить мимику и распознавать лица людей. Для этого используются так называемые facial landmarks — ключевые точки лица.
К ним относятся, например:
- уголки глаз
- кончик носа
- контуры губ
- линии скул и подбородка
Когда эти точки точно определены в трёхмерном пространстве, система может корректно анимировать выражения лица, отслеживать эмоции или идентифицировать человека.
Однако большинство существующих технологий работают через двумерные изображения, а затем пытаются восстановить трёхмерную форму. Такой подход часто приводит к неточностям: текстуры могут быть искажены, а цифровые модели — отличаться от реальной анатомии.
Новый метод решает проблему иначе — он работает непосредственно с геометрией лица.
Огромная база реальных 3D-лиц
Чтобы обучить систему, исследователи сначала создали собственную установку для захвата трёхмерных данных лица.
В результате появилась база данных примерно из 200 тысяч высокоточных 3D-сканов лиц. Помимо этого, в неё вошли:
- набор 3D-лиц с различными выражениями
- стандартизированная база ключевых точек лица
- высокоточная 3D-модель человеческого тела
- динамический набор 4D-мимики (трёхмерная геометрия плюс движение во времени)
По сути, это один из крупнейших в мире структурированных наборов реальных биометрических 3D-данных. Проект был включён в региональную программу развития качественных датасетов для ИИ.
Как работает новая модель ИИ
Главная технологическая новинка — нейросеть CF-GAT (Curvature-Fused Graph Attention Network).
Вместо обычных изображений она анализирует облака точек (point cloud). Это набор координат в пространстве, которые описывают форму лица без текстур и цветов.
Алгоритм работает в несколько этапов:
- Геометрическая выборка — система уменьшает количество точек, сохраняя важные изгибы поверхности лица.
- Анализ кривизны — форма поверхности кодируется как геометрический признак.
- Механизм внимания графовой сети — модель выделяет важные участки лица и отслеживает взаимосвязи между ними.
В результате нейросеть напрямую вычисляет координаты ключевых точек лица в 3D-пространстве, не опираясь на текстуры или заранее заданные шаблоны.
Точнее и устойчивее к шуму
Во время испытаний новая система показала несколько преимуществ по сравнению с традиционными методами:
- более высокая точность определения ключевых точек
- лучшая устойчивость к шумам и ошибкам сканирования
- способность работать с разными формами лиц
Особенно заметно улучшилась точность для мелких деталей мимики — именно тех элементов, которые делают выражения лица естественными.
Где пригодится такая технология
Точная 3D-геометрия лица открывает множество практических применений. Среди них:
- гуманоидные роботы с более реалистичной мимикой
- биометрические системы распознавания личности
- виртуальные аватары для метавселенных и игр
- медицинские системы анализа лица
- цифровые персонажи в кино и анимации
По мере того как андроиды начинают появляться в сфере услуг, медицине и развлечениях, именно такие технологии будут определять, насколько «живыми» они кажутся людям.
Результаты исследования опубликованы в научном журнале IEEE Transactions on Circuits and Systems for Video Technology.
