Компания Sony предложила новый способ сделать видеоигры более плавными даже в тех случаях, когда графический процессор не успевает вовремя подготовить очередной кадр. Вместо того чтобы ждать завершения рендеринга, система на основе искусственного интеллекта будет предсказывать, как должна выглядеть следующая картинка, и выводить её на экран заранее.
Соответствующая патентная заявка описывает технологию генерации кадров, которая потенциально позволит уменьшить рывки изображения и избежать дополнительной задержки, характерной для некоторых существующих методов повышения частоты кадров.
Как работает предсказание кадров с помощью ИИ
В современных играх графический процессор (GPU) рассчитывает изображение для каждого кадра. Чем сложнее сцена, тем больше времени может потребоваться на её обработку. Если очередной кадр задерживается, игрок замечает подёргивания и неравномерность движения.
Существующие технологии генерации кадров решают эту проблему, создавая дополнительные изображения между уже отрисованными кадрами. Это позволяет повысить частоту кадров на экране, однако у такого подхода есть особенность: в зависимости от используемого метода системе необходимо дождаться появления следующего настоящего кадра, чтобы вычислить промежуточный.
Sony предлагает действовать иначе. Её разработка должна предсказывать следующий кадр на основании уже доступного изображения, не дожидаясь завершения его полноценной отрисовки.
Для этого используется нейросеть, состоящая из двух основных компонентов — кодировщика и декодировщика. Первый преобразует готовый кадр в компактное числовое представление, содержащее информацию о его содержимом. Затем декодировщик использует эти данные, чтобы сгенерировать предполагаемое изображение следующего момента.
Пока графический процессор работает над настоящим кадром, нейросеть параллельно готовит прогноз. Если предсказанное изображение удаётся получить достаточно быстро, система может вывести его на экран раньше, чем завершится обычный процесс рендеринга.
Таким образом, технология стремится не просто увеличить количество отображаемых кадров, а сократить промежутки между ними.
Зачем системе знать, какие кнопки нажимает игрок
Одного предыдущего изображения не всегда достаточно, чтобы точно предсказать развитие сцены. Например, игрок может резко повернуть камеру, изменить направление движения или начать атаку. Если нейросеть будет ориентироваться исключительно на уже отрисованный кадр, она рискует неверно угадать дальнейшее развитие событий.
Поэтому Sony предусматривает возможность использовать дополнительные данные.
В частности, система может учитывать векторы движения — сведения о направлении и скорости перемещения объектов на экране. Они помогают определить, куда движутся персонажи, элементы окружения и другие детали изображения.
Ещё один возможный источник информации — недавние действия игрока, зарегистрированные контроллером. Если пользователь отклоняет правый стик в определённую сторону, система получает подсказку о вероятном направлении движения камеры. Это позволяет учесть изменение управления ещё до того, как оно полностью отразится в новом кадре.
Объединение изображения, информации о движении и данных контроллера должно сделать прогноз точнее. Впрочем, даже эти сведения не позволяют безошибочно определить, что произойдёт дальше: игровая сцена может резко измениться, а новые объекты — появиться в кадре неожиданно.
Как обучают нейросеть предсказывать изображения
Чтобы такая технология работала, нейросеть необходимо предварительно обучить на последовательностях видеокадров.
В процессе обучения модель получает изображение и пытается предсказать следующее. Затем её результат сравнивают с настоящим кадром из исходной видеопоследовательности. Разница между предсказанным и реальным изображениями выражается через специальную величину — функцию потерь, которая показывает, насколько сильно ошиблась модель.
Обучение повторяется, пока система не научится делать более точные прогнозы. В патенте также описан механизм проверки ошибки относительно заданного порога.
Примечательно, что для такого обучения не обязательно вручную размечать каждый кадр. Следующее изображение в исходном видео уже служит эталоном, с которым можно сравнить результат работы нейросети.
Кроме того, предложенная архитектура допускает генерацию нескольких прогнозируемых кадров. Это потенциально позволит системе заглядывать дальше в будущее, хотя практическая эффективность такого подхода ещё требует проверки.
Можно ли обойтись без искусственного интеллекта
В патентной заявке Sony рассматривается и альтернативный вариант, не требующий нейросети.
Вместо сложной модели система может анализировать движение групп пикселей и смещать их в соответствии с предполагаемым перемещением объектов. Такой метод опирается на уже наблюдаемое движение и пытается продолжить его в следующем кадре.
Это более традиционный подход к созданию синтетических изображений. Он может оказаться проще в реализации, однако его возможности ограничены: если объект внезапно меняет направление или открывается ранее скрытая часть сцены, простого смещения пикселей может оказаться недостаточно.
Оба подхода преследуют одну цель — подготовить изображение заранее, пока графический процессор занят основной работой.
Удастся ли уменьшить задержки в играх
Главное преимущество технологии Sony заключается в потенциальной возможности поддерживать более равномерный вывод кадров, не ожидая завершения каждого этапа обычного рендеринга. Это особенно полезно в требовательных играх, где сложные сцены могут вызывать внезапное падение производительности.
При этом важно различать плавность изображения и отзывчивость управления. Более высокая частота отображения кадров сама по себе не гарантирует, что игра быстрее отреагирует на нажатие кнопки. Если предсказанное изображение не соответствует текущим действиям игрока, визуальные улучшения могут оказаться менее заметными или даже сопровождаться нежелательными артефактами.
Системе также необходимо достаточно быстро выполнять собственные вычисления. Если нейросеть будет требовать слишком много ресурсов или часто ошибаться, преимущества раннего вывода кадров могут оказаться ограниченными.
В опубликованном описании патента нет результатов испытаний, которые позволяли бы оценить реальное влияние технологии на задержку ввода, качество изображения или производительность в конкретных играх.
Пока речь идёт о технической концепции, а не об анонсе готовой функции PlayStation. Сам факт подачи патентной заявки не означает, что Sony обязательно внедрит разработку в коммерческие продукты. Когда и на каких устройствах подобная система может появиться, компания пока не сообщила.
Если предложенный подход удастся реализовать без заметных ошибок и чрезмерных вычислительных затрат, он сможет стать ещё одним инструментом повышения плавности графики. Но окончательный ответ даст только практическая проверка на реальных играх и оборудовании.
