Группа исследователей из Китайской академии наук и Городского университета Гонконга разработала инструмент DeepFaceDrawing, который превращает схематичные эскизы в реалистичные фотопортреты.
Подобные инструменты, основанные на нейросетях и машинном обучении, создавались и раньше. Но для генерации реалистичных портретов им требовались более качественные входные данные. Чтобы результат обработки походил на настоящую фотографию, исходный рисунок должен был иметь правильную форму либо сопровождаться четкими картами границ. В целом, предыдущие разработки подобного типа воспринимали исходные данные как жесткую инструкцию, от которой нельзя отступать, а потому часто генерировали искаженные и кривые портреты.
DeepFaceDrawing действует более гибко. Ключевая идея нового подхода заключается в том, что нейросеть воспринимает эскиз не как жесткую инструкцию, а как набор рекомендаций с мягкими границами. Условно говоря, разработчики позволяют искусственному интеллекту немного “пофантазировать”. В результате получаются портреты, практически неотличимые от реальных фотографий, но при этом очень похожие на исходные эскизы.
Алгоритм обучен на портретах 17000 знаменитостей со всего мира. В целом, система состоит из трех основных модулей - CE (встраивание компонентов), FM (разметка офобенностей) и IS (синтез изображений). Модуль CE разбивает эскиз на части и отдельно анализирует пять областей - левый глаз, правый глаз, нос, рот и общие черты лица. Модули FM и IS вместе образуют нейросеть, которая отвечает за формирование изображения и его сопоставление с эскизом. Система генерирует реалистичные лица с разрешением 512х512 пикселей.
Полная статья “DeepFaceDrawing: Генерация изображений лиц из эскизов” доступна для ознакомления в базе данных arXiv.
Если хотите получать новости через мессенджер, подписывайтесь на новый Telegram-канал iGate
