NVIDIA представила технологию под названием Avatar Cloud Engine (ACE), которая позволит геймерам естественным образом общаться с NPC (неигровыми персонажами) и получать соответствующие ответы.
Компания показала технологию на выставке Computex 2023, опубликовав демонстрационное видео Kairos, в котором персонаж игрока по имени Кай голосом общается с NPC по имени Джин - владельцем небольшой лапшичной в футуристическом городе.
«Эй, Джин, как ты», - спрашивает игрок.
«К сожалению, не очень хорошо», - отвечает персонаж.
«Почему так?»
«Меня беспокоит преступность вокруг. В последнее время стало хуже. Мой магазин попал под перекрестный огонь».
Далее NPC в диалоге выдает игроку подсказку о том, как найти лидера одной из городских криминальных группировок. Это, по всей видимости, является началом игрового квеста.
Стоит отметить, что диалог кажется «деревянным» и неестественным. Кажется, даже ChatGPT смог бы выдать более эмоциональные реплики. Тем не менее, идея состоит в том, что вы можете просто говорить в свой микрофон, а игровой персонаж будет отвечать вам, учитывая контекст сказанного. Это - настоящее будущее видеоигр, которое сделает погружение в них более глубоким и реалистичным.
Важно, что технология Avatar Cloud Engine может работать как в облаке, так и локально. То есть, технологию можно интегрировать даже в одиночные игры, не требующие подключения к интернету. Правда, пока это будет работать только на оборудовании NVIDIA.
Avatar Cloud Engine использует NVIDIA NeMo для построения, настройки и развертывания больших языковых моделей, которые можно настраивать с помощью данных об игровом мире и предысторий персонажей, попутно ограничивая NPC от выпадения из образа. Проще говоря, каждый персонаж в игровой вселенной будет знать только то, что ему положено. Деревенский кузнец вряд ли раскроет вам секреты древней магии, а архимаг не сможет дать советов по кузнечному делу.
Для распознавания речи и преобразования речи в текст Avatar Cloud Engine использует инструмент под названием Riva. Технология NVIDIA Omniverse Audio2Face отвечает за то, чтобы выражение лица персонажей соответствовало тому, что они говорят в данный момент.
Демонстрация построена на игровом движке Unreal Engine 5. Попутно она демонстрирует трассировку лучей NVIDIA и другие функции графического процессора.
Пока NVIDIA не анонсировала никаких игр, которые будут использовать технологию, но известно, что технология Omniverse Audio2Face будет использоваться в Fort Solis и украинской «S.T.A.L.K.E.R. 2: Сердце Чернобыля».
