Японские исследователи искусственного интеллекта разработали нейросеть, которая способна улучшать и раскрашивать старые черно-белые видео. Похожие нейросети существовали и раньше, но новая отличается от них тем, что работает на основе примеров, создаваемых человеком. Как показывает практика, такой подход позволяет достигать очень правдоподобных результатов.
Для начала пользователю необходимо выбрать несколько кадров из старого видео и раскрасить их вручную. С современными графическими редакторами это доступно каждому - вы без труда найдете на Youtube множество видеоуроков по колоризации старых фотографий.
Раскрашенные кадры загружаются в нейросеть в качестве обучающего материала. Далее искусственный интеллект начинает самостоятельно колоризировать видео. При этом он постоянно обращается к библиотеке образцов и для каждого объекта подбирает наиболее похожий пример.
В процессе работы инструмент показывает, какие образцы были использованы в качестве примеров для раскраски каждого конкретного кадра. Таким образом, если результат оказался неудачным, пользователь видит, что нужно исправить или заменить в базовом наборе образцов. Это очень важно, ведь перед нами первая нейросеть подобного рода, которая наглядно демонстрирует свои внутренние процессы и позволяет их корректировать.
Инструмент не только раскрашивает видео, но и удаляет с него артефакты, мерцания и прочие дефекты, вызванные временем и несовершенством старых технологий съемки. Результат получается потрясающим. Даже самые древние черно-белые хроники начинают выглядеть как современная запись.
В левом верхнем углу вы можете видеть оригинальные кадры старого вестерна. В правом нижнем углу - итоговый результат. Глядя на него, с трудом верится, что изначально фильм был черно-белым.
“Ремастеринг винтажных пленок включает в себя множество подзадач, таких как увеличение разрешения, шумоподавление и усиление контрастности. Эти задачи направлены на восстановление поврежденной пленки до ее первоначального состояния. Кроме того, из-за технических ограничений того времени большая часть винтажных видео либо изначально записана в черно-белом цвете, либо имеет цветопередачу низкого качества, потому необходимо их окрашивание”, - пишут авторы исследования Сатоси Иидзука и Эдгар Симо-Серра.
В статье, опубликованной учеными, можно найти еще много впечатляющих примеров работы нейросети. Нет никаких сомнений в том, что на сегодняшний день это - один из самых качественных и точных инструментов для восстановления и колоризации старых видео. К сожалению, нейросеть пока недоступна пользователям в виде обычного софта. Тем не менее, раз сама технология уже существует, то и появление соответствующей программы не за горами. А значит, очень скоро старые видео начнут обретать новую жизнь.
Если хотите получать новости через мессенджер, подписывайтесь на новый Telegram-канал iGate
