Компания Nvidia уже несколько лет разрабатывает новый метод сжатия текстур, который позволяет экономить память видеокарты. Хотя технология пока находится в стадии бета-тестирования, недавно опубликованная демонстрация показывает, как решения на основе искусственного интеллекта могут помочь справиться с растущими ограничениями VRAM в современных GPU.
Новая технология, называемая Neural Texture Compression (NTC), позволяет значительно сократить объем видеопамяти, необходимый для рендеринга сложной 3D-графики. Хотя пока она не используется в коммерческих продуктах, YouTube-канал Compusemble протестировал официальную демоверсию на современной игровой системе, чтобы оценить ее потенциал и возможное влияние на будущие разработки.
Как объясняет Compusemble, RTX Neural Texture Compression применяет специализированную нейросеть для динамического сжатия и распаковки текстур. В демоверсии Nvidia предусмотрены три режима рендеринга:
- Reference Material – оригинальный режим без использования NTC, при котором текстуры сохраняются в исходном виде, потребляя много дискового пространства и видеопамяти.
- NTC Transcoded to BCn – текстуры перекодируются при загрузке в блоковые форматы сжатия (BCn), что уменьшает объем данных на диске, но дает лишь умеренную экономию VRAM.
- Inference on Sample – текстуры распаковываются в реальном времени только при необходимости, что обеспечивает максимальное снижение нагрузки как на диск, так и на видеопамять.
В ходе тестов при разрешениях 1440p и 4K с переключением между DLSS и TAA было выявлено, что NTC значительно снижает потребление VRAM и дискового пространства, но может также повлиять на частоту кадров. Например, при 1440p с DLSS режим NTC Transcoded to BCn снизил потребление видеопамяти на 64% (с 272 МБ до 98 МБ), а режим Inference on Sample сократил его до 11,37 МБ, что соответствует снижению на 95,8% по сравнению с традиционным сжатием.
Демонстрация проводилась на видеокарте GeForce RTX 4090, где использование DLSS и более высоких разрешений увеличивало нагрузку на тензорные ядра, влияя на производительность в зависимости от настроек и разрешения. Однако в будущих поколениях GPU эта разница может стать минимальной благодаря оптимизации работы NTC и других технологий RTX.
Кроме того, в демоверсии подчеркивается важность кооперативных векторов в современных рендеринг-пайплайнах. Как недавно объяснили в Microsoft, кооперативные векторы ускоряют работу ИИ-алгоритмов в реальном времени, оптимизируя векторные операции. Эти вычисления важны не только для обучения и настройки нейросетей, но и для повышения эффективности рендеринга в видеоиграх.
Таким образом, Neural Texture Compression может стать важным шагом в развитии графических технологий, предлагая баланс между качеством изображения, потреблением видеопамяти и производительностью видеокарт.
