Компания Topaz Labs, известная своими мощными инструментами для улучшения фото и видео, представила новый ИИ-модель, способную автоматически восстанавливать старые видеозаписи. Этот инструмент предназначен для работы с архивными материалами и домашними видео, которые со временем потеряли качество из-за устаревших носителей.
По опубликованным примерам, восстановленные видеозаписи демонстрируют значительное улучшение: повышается детализация, уменьшается уровень шума и устраняются артефакты. Это первый в своем роде диффузионный ИИ-модель для таких задач, работающая полностью в автоматическом режиме без необходимости ручной корректировки видео.
Разработка получила название Project Starlight. Как заявляют в компании, она создана с нуля на основе новой архитектуры и использует более 6 миллиардов параметров, а также современные аппаратные решения от NVIDIA. Для сравнения: GPT-4o от OpenAI, способный обрабатывать текст, аудио, изображения и видео, включает в себя 8 миллиардов параметров.
Topaz Labs обещает, что модель «точно восстанавливает детали» и обеспечивает «уникальную четкость изображения с исключительной согласованностью между кадрами». Особое внимание уделено устранению артефактов движения и несоответствий между объектами на последовательных кадрах.
Принцип работы диффузионных моделей заключается в анализе качественных изображений, добавлении к ним шума и обучении на процессе их деградации. Затем модель применяет обратный процесс, восстанавливая исходное изображение из зашумленного.
Project Starlight автоматически выполняет подавление шума, устранение размытия, увеличение разрешения и сглаживание видео, делая процесс восстановления доступным даже для пользователей без профессиональных навыков в видеомонтаже.
Компания Topaz Labs работает в области программного обеспечения для обработки изображений уже более 20 лет. В 2020 году популярный блогер использовал её инструмент Gigapixel AI для восстановления короткометражного фильма конца XIX века, увеличив его разрешение до 4K и частоту кадров до 60 fps.
На сегодняшний день восстановление старых видеозаписей включает в себя несколько этапов: повышение разрешения, коррекцию цвета, интерполяцию кадров, исправление повреждений и восстановление звука. Существуют различные ИИ-инструменты для каждой из этих задач, однако большинство процессов по-прежнему требует контроля со стороны человека.
Конкуренты Topaz Labs, такие как Tensorpix, также предлагают решения на основе машинного обучения для улучшения видео. Однако их технологии, по имеющимся данным, не используют диффузионные модели, которые являются одним из наиболее перспективных направлений ИИ.
Topaz Labs предоставляет возможность бесплатно восстанавливать видео продолжительностью до 10 секунд. Для обработки роликов до 5 минут потребуется использование кредитов, а максимальное разрешение составит 1080p. В корпоративной версии будет доступна работа с более длинными видео и высоким качеством изображения. Пока не уточняется, сможет ли Project Starlight работать локально или будет интегрирован в другие продукты компании.
Желающие протестировать новинку могут подписаться на обновления Topaz Labs в социальных сетях X, Threads или YouTube, чтобы получить ранний доступ.
