Исследователи Университета Дьюка (Северная Каролина, США) разработали искусственный интеллект PULSE, который может умеет превращать размытые, неузнаваемые изображения лиц людей в невероятно детализированные портреты. Раньше такое можно было увидеть только в плохом шпионском кино.
Существующие алгоритмы позволяют масштабировать изображение лица примерно в восемь раз относительно его исходного разрешения. PULSE повышает четкость в 64 раза. ИИ может выдать четкое изображение буквально из нескольких пикселей. При этом он просто “додумывает”, как могут выглядеть мелкие особенности, вроде тонких морщин, ресниц и волос, которых нет на исходном кадре.
“Никогда раньше на основе некачественных изображений не генерировались фотографии в высоком разрешении с таким количеством мелких деталей”, - говорит Синтия Рудин, ведущий автор проекта.
Важно отметить, что PULSE не может быть использован для идентификации людей. Даже самый мощный ИИ не может превратить расфокусированную фотографию с камеры наблюдения в точное изображение реального человека. Скорее, алгоритм генерирует новые лица на основе крайне ограниченной информации.
Вот, например, как PULSE обработал фотографии своих создателей:
Верхний ряд - оригинальные портреты. Средний ряд - портреты с сильно ухудшенным качеством. Нижний ряд - результат работы искусственного интеллекта. Как видите, портреты PULSE ощутимо отличаются от оригинальных снимков. Но даже такой результат впечатляет. Ведь алгоритм может работать не только с портретами.
Фотографии лиц были взяты разработчиками лишь для демонстрации концепции. На деле же, после должного переобучения PULSE сможет улучшать качество любых снимков. Например, скан небольшой пейзажной фотографии он сможет превратить в гигантские детализированные фотообои. Технология может найти применение в медицине, микроскопии и астрономии.
Как это работает?
Традиционные алгоритмы для повышения качества фото пытаются дорисовывать изображения попиксельно. Они попросту “угадывают”, какие дополнительные пиксели необходимо вставить в фото на основании соседних точек. Такой подход хорошо восстанавливает общую форму объекта, но плохо работает с мелкими деталями. Например, на портретах часто теряются или размываются волосы
Команда Университета Дьюка придумала другой подход. Вместо того, чтобы восстанавливать изображение попиксельно, система сразу генерирует лица в высоким разрешении, а затем ухудшает результат собственной работы, пытаясь добиться его точного соответствия с низкокачественным исходником.
В основе такой разработки лежит инструмент, известный как “генеративная состязательная сеть” (GAN). В состав GAN входят две нейросети, обученные на одном наборе данных фотографий. Одна сеть придумывает человеческие лица, другая - ухудшает их и сравнивает ухудшенный результат с оригиналом. Если картинки не совпадают, первая сеть повторяет попытку. И так - до тех пор, пока вторая сеть не сообщит о точном совпадении. В динамике это выглядит так:
PULSE может преобразовать 16x16-пиксельное изображение лица в фотографию с разрешением 1024 x 1024 за несколько секунд. При этом к изображению добавляется более миллиона пикселей.
Подробнее с разработкой можно познакомиться на официальной странице проекта PULSE на сайте Университета Дьюка.
Если хотите получать новости через мессенджер, подписывайтесь на новый Telegram-канал iGate
