Ученые Университета штата Нью-Йорк в Буффало (США) разработали инструмент, который автоматически выявляет дипфейки, анализируя отражения в глазах человека.
“Роговица - почти идеальная полусфера, которая очень хорошо отражает свет. Значит, все, что отражает свет на глаза, будет отображаться на роговице. Причем два глаза будут иметь очень похожие узоры отражений, потому что они видят примерно одно и то же. Обычно, мы этого не замечаем, когда смотрим на лицо”, - говорит профессор Сивэй Лю, автор разработки.
Когда мы смотрим на что-то, образ того, что мы видим, отражается в наших глазах. На реальной фотографии или видео отражения в глазах обычно кажутся одинаковыми по форме и цвету.
Однако большинство изображений, генерируемых искусственным интеллектом, включая генеративные сети (GAN), не могут точно или последовательно имитировать отражения в глазах. Инструмент использует этот недостаток, выявляя отклонения в отраженном свете.
Для экспериментов ученые использовали реальные фотопортреты с сервиса Flickr, а также поддельные изображения, сгенерированные с помощью онлайн-инструмента thispersondoesnotexist.com. Все портреты имели разрешение 1024х1024. Реальные и фальшивые люди смотрели прямо в камеру при хорошем освещении.
Сперва инструмент составляет карту лица, затем анализирует глаза и практически попиксельно сопоставляет отражения на каждом глазном яблоке. При этом учитывается не только форма узора, но и оттенок и интенсивность отражения.
Тесты показывают, что инструмент способен выявить дипфейк с точностью до 94%. Но и у него есть ограничения. Во-первых, инструмент может принять реальное фото за подделку, если глаза на фото ретушировались. Во-вторых, он не сработает если глаза на фото закрыты, либо виден только один глаз.
Статья “Обнажение лиц, генерируемых GAN, с использованием противоречивых отражений роговицы” доступна в репозитории arXiv.
