Представьте, что вы смотрите фильм, в котором герой стоит в левом углу экрана и разговаривает. Но вместо того чтобы доноситься из телевизионных динамиков, его голос звучит именно оттуда, где находится его рот. А если по экрану пролетает мяч, звук его движения перемещается вслед за ним.
Это не фантастика, а новая технология, разработанная исследователями из Корейского института машиностроения и материалов (Korea Institute of Machinery and Materials, KIMM). Она превращает сам экран телевизора в своеобразную акустическую систему, способную воспроизводить звук в определённых точках изображения и перемещать его в реальном времени.
Разработка может изменить привычный подход к организации домашнего звука, сделав просмотр фильмов, спортивных трансляций и другого видеоконтента более реалистичным.
Почему обычному телевизору не хватает реалистичного звука?
В повседневной жизни мы практически не задумываемся о том, откуда именно доносится звук. Если человек говорит, мы слышим его голос со стороны рта. Если на пол падает предмет, звук возникает в месте столкновения. Мозг автоматически сопоставляет акустическую информацию с тем, что видят глаза.
С телевизорами всё иначе. Изображение может занимать всю стену, но звук обычно исходит из нескольких динамиков, расположенных по краям корпуса, под экраном или в отдельной акустической системе.
Получается небольшое противоречие: мы видим, как персонаж разговаривает в одной части экрана, а его голос слышим совершенно из другого места.
Современные технологии объёмного звучания, включая стереосистемы и многоканальный звук, частично решают эту проблему. За счёт нескольких динамиков и цифровой обработки аудиосигнала они создают впечатление, будто звуки окружают зрителя и исходят из разных направлений. Однако добиться точного совпадения источника звука с конкретным объектом на большом экране по-прежнему непросто.
Корейские исследователи предложили другой подход: вместо того чтобы пытаться направить звук от внешних динамиков к нужной точке, они заставили саму поверхность дисплея воспроизводить звук непосредственно в месте появления соответствующего объекта.
Как работает экран с голосовыми катушками?
В основе разработки лежит технология, получившая название Modular Grid-Based Audiovisual Convergence Display — модульный дисплей с интегрированной аудиовизуальной системой.
Её принцип действия напоминает работу обычного громкоговорителя. В традиционной акустической системе электрический сигнал заставляет колебаться мембрану динамика. Она воздействует на окружающий воздух, создавая звуковые волны, которые воспринимает человеческое ухо.
В новой разработке аналогичную функцию выполняет сама панель дисплея.
Для создания экспериментального образца команда использовала экран диагональю около 100 дюймов. Его конструкция включает прозрачную светодиодную плёнку, установленную поверх алюминиевой панели. На обратной стороне разместили 80 электромагнитных приводов — двигателей с голосовыми катушками (Voice Coil Motors, VCM).
Такие приводы широко применяются в технике, где требуется быстрое и точное линейное перемещение. Под воздействием электрического сигнала их подвижные элементы совершают возвратно-поступательные движения.
В данном случае эти движения передаются панели, заставляя её вибрировать. Колебания поверхности воздействуют на воздух и формируют звуковые волны. Таким образом, экран фактически превращается в большую акустическую мембрану.
Но самое интересное заключается не в том, что дисплей способен издавать звуки. Подобные решения существовали и раньше. Главное новшество — возможность управлять областью экрана, которая воспроизводит звук, и перемещать её вслед за происходящим на изображении.
Как система определяет место, откуда должен исходить звук?
На первый взгляд может показаться, что достаточно включить привод, расположенный за нужным участком дисплея. Однако на практике всё гораздо сложнее.
Дело в том, что вибрации не ограничиваются небольшой областью непосредственно над приводом. Они распространяются по всей твёрдой поверхности панели, взаимодействуют друг с другом и могут усиливаться или взаимно компенсироваться.
Поэтому включение одного двигателя вовсе не гарантирует, что звук будет исходить именно из соответствующей точки экрана.
Чтобы решить эту задачу, исследователи сначала изучили, как различные участки панели реагируют на воздействие каждого из приводов. На основе полученных данных система рассчитывает, какие электрические сигналы необходимо подать на отдельные двигатели, чтобы сформировать колебания в заданной области.
Для этого применяется математический инструмент, известный как метод псевдообратной матрицы Мура — Пенроуза (Moore–Penrose pseudoinverse).
Если говорить проще, алгоритм позволяет подобрать оптимальную комбинацию управляющих сигналов для множества приводов. При этом система учитывает не только расположение нужной точки, но и то, как вибрации от разных двигателей распространяются по всей конструкции.
В результате можно сформировать локализованное вибрационное поле — область, в которой колебания достаточно сильны для воспроизведения звука, тогда как на остальных участках экрана их интенсивность существенно ниже.
Когда объект перемещается по изображению, система последовательно меняет комбинацию сигналов, заставляя звуковую область следовать за ним.
Например, если на экране человек начинает говорить, звук появляется в районе его лица. Если затем в кадре возникает движущийся автомобиль, акустический источник может переместиться вслед за ним.
Какую роль играет искусственный интеллект?
Для работы технологии недостаточно точно управлять вибрациями. Необходимо ещё понимать, какой именно объект на экране производит тот или иной звук.
В реальном видеоролике одновременно могут присутствовать речь нескольких людей, музыка, фоновый шум и различные звуковые эффекты. Система должна определить, где находится источник конкретного звука, и отделить его от остальных аудиосигналов.
Для этого разработчики интегрировали алгоритмы искусственного интеллекта, отвечающие за разделение и пространственную локализацию звука.
ИИ анализирует аудиовизуальную информацию, определяет расположение объектов, издающих звуки, и выделяет соответствующие аудиокомпоненты. После этого система связывает каждый обнаруженный источник с нужной областью дисплея.
Благодаря такой автоматизации нет необходимости вручную задавать координаты каждого звука. Технология самостоятельно определяет, где происходит действие, и соответствующим образом управляет приводами.
Первые испытания: точность локализации достигла 99,9%
Результаты экспериментов показали, что разработка уже способна обеспечивать достаточно высокую точность пространственного воспроизведения звука.
По данным исследователей, точность выбора заданных звуковых зон достигла 99,9%. Разница в амплитуде вибраций между активными и неактивными участками дисплея составляла до 35 дБ. Это означает, что системе удавалось эффективно концентрировать колебания в нужной области, одновременно существенно подавляя их на остальных участках панели.
Дополнительную проверку провели с помощью акустической камеры — специального устройства, позволяющего визуализировать распространение звуковых волн и определять их источники. Испытания подтвердили, что положение звуковой области действительно может следовать за движущимися объектами.
На данном этапе исследователям удалось добиться эффективной локализации вибрационного поля в низкочастотном и среднечастотном диапазонах — ниже 500 Гц.
Результаты работы опубликованы в научном журнале Journal of Mechanical Science and Technology.
Где может применяться новая технология?
Одно из главных преимуществ разработки — модульная конструкция. Экран состоит из отдельных элементов, которые можно объединять или разделять в зависимости от требуемого размера дисплея.
Это открывает возможности для масштабирования технологии. В перспективе её можно будет использовать не только в телевизорах, но и в больших светодиодных экранах, цифровых информационных панелях и рекламных дисплеях.
Потенциальные области применения гораздо шире обычных домашних развлечений:
- Домашние телевизоры. Голоса персонажей и звуковые эффекты будут исходить непосредственно из тех участков экрана, где происходит действие.
- Цифровые вывески и информационные дисплеи. Звуковое сопровождение можно будет привязывать к конкретным элементам изображения.
- Мультимедийные выставки и инсталляции. Зритель сможет слышать звуки непосредственно от отдельных объектов визуальной композиции.
- Сценические выступления и медиаискусство. Технология позволит создавать более сложные аудиовизуальные эффекты.
- Автомобильные дисплеи. Интеграция звука непосредственно в экран может оказаться полезной для информационно-развлекательных систем автомобилей.
«Мы планируем расширить технологию, распространив её на модульные светодиодные панели, и продолжить разработку в качестве перспективной базовой технологии для широкого спектра дисплейных решений», — рассказал доктор Дон Джун Ким (Dongjoon Kim), старший научный сотрудник Центра конвергентных технологий AX института KIMM.
Заменит ли экран привычные динамики?
Несмотря на впечатляющие результаты, считать новую разработку полноценной заменой традиционным акустическим системам пока рано.
Один из главных вопросов связан с качеством низкочастотного звучания. Именно глубокий бас создаёт ощущение мощи взрыва, грохота двигателя или удара в кинофильме. Для его воспроизведения обычно используются крупные динамики и отдельные сабвуферы.
Исследователи отмечают, что одновременная работа нескольких модулей дисплея позволяет создавать низкочастотные эффекты, сопоставимые с возможностями крупного низкочастотного динамика. Однако это ещё не означает, что новая система сможет обеспечить такую же мощность, глубину баса и общий диапазон звучания, как специализированная акустика.
Кроме того, необходимость точно управлять вибрациями большой панели предъявляет серьёзные требования к вычислительной системе и конструкции самого дисплея.
Впрочем, разработка решает проблему, которая до сих пор оставалась практически незаметной, но существенно влияла на восприятие больших экранов: несоответствие между визуальным положением источника звука и его реальным акустическим расположением.
Именно в этом заключается её главная ценность. Возможно, в будущем телевизоры перестанут быть просто устройствами, которые показывают изображение и воспроизводят звук. Они смогут объединять обе функции в единую систему, в которой зритель не только видит происходящее, но и слышит его именно там, где оно происходит.
