Когда вы смотрите кино, то даже не осознаете, что многие звуки не являются тем, чем кажутся. Например, хруст костей - это, как правило, звук ломающихся макарон, а шаги на снегу - звук сжимаемого пакета крахмала. Специалисты, которые занимаются подбором таких звуков, называются шумовиками. И, кажется, скоро они останутся без работы.
Так шумовиком записывается звук для сцены с душем
Автоматический шумовик
Работа шумовика сложнее, чем может показаться на первый взгляд. Когда на экране разбивается стекло, специалист начинает создавать соответствующий звуковой эффект. При этом он может перебить десятки реальных стекол и потратить целый день, добиваясь звучания, идеально соответствующего отснятой сцене. В общем, это долгий и дорогой процесс.
Ученые Техасского университета в Сан-Антонио создали автоматизированную программу AutoFoley, которая распознает движение на видео и создает собственные искусственные звуковые эффекты, максимально соответствующие сцене. Затем авторы провели исследование того, насколько реалистичным оказывается результат. В ходе опроса большинство людей приняли автоматически генерируемые звуки за настоящие.
“Добавление звуковых эффектов в пост-продакшн с использованием искусства шумовиков было частью киноиндустрии с 1930-х годов. Фильмы кажутся пустыми и неестественными без такого реалистичного саундтрека. Тем не менее, процесс синтеза звука шумовиком требует значительных затрат времени и средств”, - поясняет профессор Джефф Превост из Техасского университета, один из создателей AutoFoley.
Реалистичные результаты
В ходе опроса 41 участник из 53 принял звук, созданный искусственным интеллектом, за подлинную звукозапись. Вы, скорее всего, тоже не заподозрили бы подвоха, ведь результаты работы AutoFoley чертовски правдоподобны. Вот так, например, звучит дождь в исполнении ИИ:
А вот так потрескивает огонь в камине:
Тем не менее, с некоторыми задачами система все еще не справляется. У нее неплохо получается генерировать фоновые звуки, вроде дождя, текущей воды или огня. Но ИИ пока не умеет идеально сопоставлять звук с происходящим на экране. Вот так, по его мнению, должен звучать стук копыт лошади:
Сам по себе стук копыт звучит неплохо, но очевиден некоторый рассинхрон с движениями лошади в кадре. Также ИИ не учитывает, что расстояние до источника звука меняется. По мере того, как лошадь удаляется, стук ее копыт должен становиться тише.
В общем, пока Голливуд не станет массово увольнять шумовиков. Но рано или поздно искусственный интеллект неизбежно вытеснит эту профессию из мира кино.
Работа AutoFoley подробно описана в журнале IEEE Transactions on Multimedia.
Если хотите получать новости через мессенджер, подписывайтесь на новый Telegram-канал iGate
