Учёные из Таллиннского университета разработали систему, которая позволяет искусственным агентам не просто «говорить», но и естественно реагировать мимикой на эмоции человека. Это важный шаг от статичных цифровых аватаров к по-настоящему живому взаимодействию в виртуальных помощниках, играх и метавселенных.
Докторант Абдалла Хусейн Шам (Abdallah Hussein Sham) создал Enactive Facial Expression Pipeline (EFEP) — модульную систему на основе обычной веб-камеры. Она работает в реальном времени по принципу двустороннего общения:
- Считывает выражение лица человека
- Оценивает, какую естественную реакцию это выражение должно вызвать
- Генерирует соответствующую мимику у ИИ-агента
В отличие от старых подходов, которые использовали общие ярлыки («радость», «грусть»), новая система анализирует движения отдельных лицевых мышц. Это даёт более точный и стабильный контроль над выражением лица.
Для обучения исследователи объединили существующие датасеты с новым набором данных, собранным от 60 участников в пяти различных социальных сценариях.
Одним из ключевых выводов стало влияние демографического разнообразия. Модели, обученные только на данных одной группы людей, показывали заметное снижение точности. При использовании разнообразных данных этот разрыв практически исчез. Такой подход повышает справедливость и инклюзивность технологии.
Система пока ограничена низкорисковыми областями в соответствии с EU AI Act — интерактивные медиа, игры, креативные приложения и исследования пользовательского опыта. Здесь качество невербального общения особенно важно.
В будущем технологию планируют расширить, добавив распознавание голоса и языка тела, чтобы взаимодействие человека с ИИ стало ещё более естественным.
«Значимое взаимодействие возникает не из чтения одного статичного снимка лица, а из непрерывного обмена между человеком и агентом», — подчёркивает автор исследования.
