Система, устройство и способ для совместимого воспроизведения акустической сцены на основе адаптивных функций

Система, устройство и способ для совместимого воспроизведения акустической сцены на основе адаптивных функций

Иллюстрации

Показать все

Реферат

Настоящее изобретение относится к обработке аудиосигналов, и, в частности, к системе, устройству и способу для совместимого воспроизведения акустической сцены на основе информированной пространственной фильтрации.

В воспроизведении пространственного звука звук в местоположении записи (стороне ближнего конца) захватывается с помощью множества микрофонов и затем воспроизводится на стороне воспроизведения (стороне дальнего конца) с использованием множества громкоговорителей или наушников. Во многих применениях, требуется воспроизводить записанный звук таким образом, чтобы пространственное изображение, воссоздаваемое на стороне дальнего конца, было совместимо с исходным пространственным изображением на стороне ближнего конца. Это означает, например, что звук источников звука воспроизводится из направлений, где источники присутствовали в исходном сценарии записи. Альтернативно, когда, например, видео дополняет записанное аудио, является желательным, чтобы звук воспроизводился таким образом, чтобы воссоздаваемое акустическое изображение было совместимо с видеоизображением. Это означает, например, что звук источника звука воспроизводится из направления, где источник является видимым на видео. Дополнительно, видеокамера может оснащаться функцией визуального масштабирования или пользователь на стороне дальнего конца может применять цифровое масштабирование к видео, которое изменяет визуальное изображение. В этом случае, акустическое изображение воспроизводимого пространственного звука должно изменяться соответствующим образом. Во многих случаях, сторона дальнего конца определяет пространственное изображение, с которым воспроизводимый звук должен быть совместимым, при этом оно определяется либо на стороне дальнего конца, либо во время проигрывания, например, когда вовлечено видеоизображение. Следовательно, пространственный звук на стороне ближнего конца должен записываться, обрабатываться, и передаваться таким образом, чтобы на стороне дальнего конца мы все еще могли управлять воссоздаваемым акустическим изображением.

Возможность воспроизводить записанную акустическую сцену совместимым образом с требуемым пространственным изображением требуется во многих современных применениях. Например, современные пользовательские устройства, такие как цифровые камеры или мобильные телефоны, часто оснащены видеокамерой и множеством микрофонов. Это обеспечивает возможность записывать видео вместе с пространственным звуком, например, стереозвуком. При воспроизведении записанного аудио вместе с видео, требуется, чтобы визуальное и акустическое изображение были совместимыми. Когда пользователь увеличивает масштаб с помощью камеры, является желательным воссоздавать эффект визуального масштабирования акустически, чтобы визуальное и акустическое изображения были выровнены при просмотре видео. Например, когда пользователь увеличивает масштаб на человеке, речь этого человека должна становиться менее реверберационной по мере того, как человек показывается более близко к камере. Более того, речь человека должна воспроизводиться из того же направления, где человек показывается в визуальном изображении. Имитация визуального масштабирования камеры акустически в последующем упоминается как акустическое масштабирование и представляет один пример совместимого воспроизведения аудио-видео. Совместимое воспроизведение аудио-видео, которое может включать в себя акустическое масштабирование, также является полезным в телеконференцсвязи, где пространственный звук на стороне ближнего конца воспроизводится на стороне дальнего конца вместе с визуальным изображением. Более того, является желательным воссоздавать эффект визуального масштабирования акустически, чтобы визуальное и акустическое изображения были выровнены.

Первый вариант осуществления акустического масштабирования был представлен в [1], где эффект масштабирования получается посредством увеличения направленности направленного микрофона второго порядка, чей сигнал генерируется на основе сигналов линейного массива микрофонов. Этот подход был расширен в [2] до стерео масштабирования. Более недавний подход для моно или стерео масштабирования был представлен в [3], который состоит в изменении уровней источников звука таким образом, чтобы источник из фронтального направления сохранялся, тогда как источники, приходящие из других направлений, и диффузный звук ослаблялись. Подходы, предложенные в [1, 2], дают результатом увеличение отношения прямого звука к реверберации (DRR) и подход в [3] дополнительно обеспечивает возможность для подавления нежелательных источников. Вышеупомянутые подходы предполагают, что источник звука располагается спереди камеры, и не имеют целью захватывать акустическое изображение, которое является совместимым с видеоизображением.

Хорошо известный подход для гибких записи и воспроизведения пространственного звука представлен посредством направленного аудио кодирования (DirAC) [4]. В DirAC, пространственный звук на стороне ближнего конца описывается исходя из аудиосигнала и параметрической вспомогательной информации, именно направления прибытия (DOA) и диффузности звука. Параметрическое описание обеспечивает возможность воспроизведения исходного пространственного изображения с произвольными установками громкоговорителей. Это означает, что воссоздаваемое пространственное изображение на стороне дальнего конца является совместимым с пространственным изображением во время записи на стороне ближнего конца. Однако, если, например, видео дополняет записанное аудио, то воспроизводимый пространственный звук не необходимо выровнен с видеоизображением. Более того, воссоздаваемое акустическое изображение не может регулироваться, когда визуальное изображение изменяется, например, когда направление просмотра и масштабирование камеры изменяется. Это означает, что DirAC не обеспечивает никакой возможности регулировать воссоздаваемое акустическое изображение для произвольного требуемого пространственного изображения.

В [5], акустическое масштабирование реализовано на основе DirAC. DirAC представляет разумную основу для реализации акустического масштабирования, так как оно основывается на простой, но все же мощной модели сигналов, предполагающей, что звуковое поле в частотно-временной области состоит из одиночной плоской волны плюс диффузный звук. Лежащие в основе параметры модели, например, DOA и диффузность, используются, чтобы разделять прямой звук и диффузный звук и создавать эффект акустического масштабирования. Параметрическое описание пространственного звука обеспечивает возможность эффективной передачи звуковой сцены стороне дальнего конца, при этом еще обеспечивает пользователя полным управлением над эффектом масштабирования и воспроизведением пространственного звука. Даже хотя DirAC использует множество микрофонов, чтобы оценивать параметры модели, применяются только одноканальные фильтры, чтобы извлекать прямой звук и диффузный звук, что ограничивает качество воспроизводимого звука. Более того, предполагается, что все источники в звуковой сцене располагаются на окружности и воспроизведение пространственного звука выполняется со ссылкой на изменяющееся положение аудиовизуальной камеры, что является несовместимым с визуальным масштабированием. Фактически, масштабирование изменяет угол обзора камеры, в то время как расстояние до визуальных объектов и их относительные положения в изображении остаются неизменными, что отличается от перемещения камеры.

Родственный подход является так называемым способом виртуальных микрофонов (VM) [6,7], который учитывает такую же модель сигналов как DirAC, но обеспечивает возможность синтезировать сигнал несуществующего (виртуального) микрофона в произвольном положении в звуковой сцене. Перемещение VM в направлении к источнику звука является аналогичным перемещению камеры в новое положение. VM реализуется с использованием многоканальных фильтров, чтобы улучшать качество звука, но требует несколько распределенных массивов микрофонов, чтобы оценивать параметры модели.

Однако было бы весьма предпочтительным, если бы были обеспечены дополнительно улучшенные концепции для обработки аудиосигналов.

Таким образом, цель настоящего изобретения состоит в том, чтобы обеспечить улучшенные концепции для обработки аудиосигналов. Цель настоящего изобретения решается посредством системы согласно пункту 1 формулы изобретения, посредством устройства согласно пункту 14 формулы изобретения, посредством способа согласно пункту 15 формулы изобретения, посредством способа согласно пункту 16 формулы изобретения и посредством компьютерной программы согласно пункту 17 формулы изобретения.

Обеспечивается система для генерирования одного или более выходных аудиосигналов. Система содержит модуль генерирования сигнала компонент, сигнальный процессор, и интерфейс вывода. Модуль генерирования сигнала компонент сконфигурирован с возможностью принимать два или более входных аудиосигналов, при этом модуль генерирования сигнала компонент сконфигурирован с возможностью генерировать сигнал прямых компонент, содержащий компоненты прямых сигналов упомянутых двух или более входных аудиосигналов, и при этом модуль генерирования сигнала компонент сконфигурирован с возможностью генерировать сигнал диффузных компонент, содержащий компоненты диффузных сигналов упомянутых двух или более входных аудиосигналов. Сигнальный процессор сконфигурирован с возможностью принимать сигнал прямых компонент, сигнал диффузных компонент и информацию направления, при этом упомянутая информация направления зависит от направления прибытия компонент прямых сигналов упомянутых двух или более входных аудиосигналов. Более того, сигнальный процессор сконфигурирован с возможностью генерировать один или более обработанных диффузных сигналов в зависимости от сигнала диффузных компонент. Для каждого выходного аудиосигнала из упомянутых одного или более выходных аудиосигналов, сигнальный процессор сконфигурирован с возможностью определять, в зависимости от направления прибытия, усиление прямого звука, сигнальный процессор сконфигурирован с возможностью применять упомянутое усиление прямого звука к сигналу прямых компонент, чтобы получать обработанный прямой сигнал, и сигнальный процессор сконфигурирован с возможностью комбинировать упомянутый обработанный прямой сигнал и один из упомянутых одного или более обработанных диффузных сигналов, чтобы генерировать упомянутый выходной аудиосигнал. Интерфейс вывода сконфигурирован с возможностью выводить упомянутые один или более выходных аудиосигналов. Сигнальный процессор содержит модуль вычисления функций усиления для вычисления одной или более функций усиления, при этом каждая функция усиления из упомянутых одной или более функций усиления содержит множество значений аргумента функции усиления, при этом возвращаемое значение функции усиления назначено каждому из упомянутых значений аргумента функции усиления, при этом, когда упомянутая функция усиления принимает одно из упомянутых значений аргумента функции усиления, упомянутая функция усиления сконфигурирована с возможностью возвращать возвращаемое значение функции усиления, которое назначено упомянутому одному из упомянутых значений аргумента функции усиления. Более того, сигнальный процессор дополнительно содержит модуль модификации сигналов для выбора, в зависимости от направления прибытия, зависящего от направления значения аргумента из значений аргумента функции усиления для функции усиления из упомянутых одной или более функций усиления, для получения возвращаемого значения функции усиления, которое назначено упомянутому зависящему от направления значению аргумента, от упомянутой функции усиления, и для определения значения усиления, по меньшей мере, одного из упомянутых одного или более выходных аудиосигналов в зависимости от упомянутого возвращаемого значения функции усиления, полученного от упомянутой функции усиления.

Согласно одному варианту осуществления, модуль вычисления функций усиления может, например, быть сконфигурирован с возможностью генерировать таблицу поиска для каждой функции усиления из упомянутых одной или более функций усиления, при этом таблица поиска содержит множество записей, при этом каждая из записей таблицы поиска содержит одно из значений аргумента функции усиления и возвращаемое значение функции усиления, которое назначено упомянутому значению аргумента функции усиления, при этом модуль вычисления функций усиления может, например, быть сконфигурирован с возможностью хранить таблицу поиска каждой функции усиления в постоянной или непостоянной памяти, и при этом модуль модификации сигналов может, например, быть сконфигурирован с возможностью получать возвращаемое значение функции усиления, которое назначено упомянутому зависящему от направления значению аргумента, посредством считывания упомянутого возвращаемого значения функции усиления из одной из упомянутых одной или более таблиц поиска, которые сохранены в памяти.

В одном варианте осуществления, сигнальный процессор может, например, быть сконфигурирован с возможностью определять два или более выходных аудиосигналов, при этом модуль вычисления функций усиления может, например, быть сконфигурирован с возможностью вычислять две или более функции усиления, при этом, для каждого выходного аудиосигнала из упомянутых двух или более выходных аудиосигналов, модуль вычисления функций усиления может, например, быть сконфигурирован с возможностью вычислять функцию усиления панорамирования, которая назначена упомянутому выходному аудиосигналу в качестве одной из упомянутых двух или более функций усиления, при этом модуль модификации сигналов может, например, быть сконфигурирован с возможностью генерировать упомянутый выходной аудиосигнал в зависимости от упомянутой функции усиления панорамирования.

Согласно одному варианту осуществления, функция усиления панорамирования каждого из упомянутых двух или более выходных аудиосигналов может, например, иметь один или более глобальных максимумов, являющихся одним из значений аргумента функции усиления упомянутой функции усиления панорамирования, при этом для каждого из упомянутых одного или более глобальных максимумов упомянутой функции усиления панорамирования, не существует никакое другое значение аргумента функции усиления, для которого упомянутая функция усиления панорамирования возвращает более большое возвращаемое значение функции усиления, чем для упомянутых глобальных максимумов, и при этом, для каждой пары из первого выходного аудиосигнала и второго выходного аудиосигнала из упомянутых двух или более выходных аудиосигналов, по меньшей мере, один из упомянутых одного или более глобальных максимумов функции усиления панорамирования первого выходного аудиосигнала может, например, отличаться от любого из упомянутых одного или более глобальных максимумов функции усиления панорамирования второго выходного аудиосигнала.

Согласно одному варианту осуществления, для каждого выходного аудиосигнала из упомянутых двух или более выходных аудиосигналов, модуль вычисления функций усиления может, например, быть сконфигурирован с возможностью вычислять оконную функцию усиления, которая назначена упомянутому выходному аудиосигналу в качестве одной из упомянутых двух или более функций усиления, при этом модуль модификации сигналов может, например, быть сконфигурирован с возможностью генерировать упомянутый выходной аудиосигнал в зависимости от упомянутой оконной функции усиления, и при этом, если значение аргумента упомянутой оконной функции усиления больше, чем нижний порог окна и меньше, чем верхний порог окна, оконная функция усиления сконфигурирована с возможностью возвращать возвращаемое значение функции усиления, которое больше, чем любое возвращаемое значение функции усиления, возвращаемое упомянутой оконной функцией усиления, если значение аргумента оконной функции меньше, чем нижний порог, или больше, чем верхний порог.

В одном варианте осуществления, оконная функция усиления каждого из упомянутых двух или более выходных аудиосигналов имеет один или более глобальных максимумов, являющихся одним из значений аргумента функции усиления упомянутой оконной функции усиления, при этом для каждого из упомянутых одного или более глобальных максимумов упомянутой оконной функции усиления, не существует никакое другое значение аргумента функции усиления, для которого упомянутая оконная функция усиления возвращает более большое возвращаемое значение функции усиления, чем для упомянутых глобальных максимумов, и при этом, для каждой пары из первого выходного аудиосигнала и второго выходного аудиосигнала из упомянутых двух или более выходных аудиосигналов, по меньшей мере, один из упомянутых одного или более глобальных максимумов оконной функции усиления первого выходного аудиосигнала может, например, быть равным одному из упомянутых одного или более глобальных максимумов оконной функции усиления второго выходного аудиосигнала.

Согласно одному варианту осуществления, модуль вычисления функций усиления может, например, быть сконфигурирован с возможностью дополнительно принимать информацию ориентации, указывающую угловой сдвиг направления просмотра по отношению к направлению прибытия, и при этом модуль вычисления функций усиления может, например, быть сконфигурирован с возможностью генерировать функцию усиления панорамирования каждого из выходных аудиосигналов в зависимости от информации ориентации.

В одном варианте осуществления, модуль вычисления функций усиления может, например, быть сконфигурирован с возможностью генерировать оконную функцию усиления каждого из выходных аудиосигналов в зависимости от информации ориентации.

Согласно одному варианту осуществления, модуль вычисления функций усиления может, например, быть сконфигурирован с возможностью дополнительно принимать информацию масштабирования, при этом информация масштабирования указывает угол раскрыва камеры, и при этом модуль вычисления функций усиления может, например, быть сконфигурирован с возможностью генерировать функцию усиления панорамирования каждого из выходных аудиосигналов в зависимости от информации масштабирования.

В одном варианте осуществления, модуль вычисления функций усиления может, например, быть сконфигурирован с возможностью генерировать оконную функцию усиления каждого из выходных аудиосигналов в зависимости от информации масштабирования.

Согласно одному варианту осуществления, модуль вычисления функций усиления может, например, быть сконфигурирован с возможностью дополнительно принимать параметр калибровки для выравнивания визуального изображения и акустического изображения, и при этом модуль вычисления функций усиления может, например, быть сконфигурирован с возможностью генерировать функцию усиления панорамирования каждого из выходных аудиосигналов в зависимости от параметра калибровки.

В одном варианте осуществления, модуль вычисления функций усиления может, например, быть сконфигурирован с возможностью генерировать оконную функцию усиления каждого из выходных аудиосигналов в зависимости от параметра калибровки.

Система согласно одному из предшествующих утверждений, в которой модуль вычисления функций усиления может, например, быть сконфигурирован с возможностью принимать информацию о визуальном изображении, и модуль вычисления функций усиления может, например, быть сконфигурирован с возможностью генерировать, в зависимости от информации о визуальном изображении, функцию размытия, возвращающую комплексные усиления, чтобы реализовать перцепционное рассеивание источника звука.

Более того, обеспечивается устройство для генерирования одного или более выходных аудиосигналов. Устройство содержит сигнальный процессор и интерфейс вывода. Сигнальный процессор сконфигурирован с возможностью принимать сигнал прямых компонент, содержащий компоненты прямых сигналов из упомянутых двух или более исходных аудиосигналов, при этом сигнальный процессор сконфигурирован с возможностью принимать сигнал диффузных компонент, содержащий компоненты диффузных сигналов из упомянутых двух или более исходных аудиосигналов, и при этом сигнальный процессор сконфигурирован с возможностью принимать информацию направления, при этом упомянутая информация направления зависит от направления прибытия компонент прямых сигналов упомянутых двух или более входных аудиосигналов. Более того, сигнальный процессор сконфигурирован с возможностью генерировать один или более обработанных диффузных сигналов в зависимости от сигнала диффузных компонент. Для каждого выходного аудиосигнала из упомянутых одного или более выходных аудиосигналов, сигнальный процессор сконфигурирован с возможностью определять, в зависимости от направления прибытия, усиление прямого звука, сигнальный процессор сконфигурирован с возможностью применять упомянутое усиление прямого звука к сигналу прямых компонент, чтобы получать обработанный прямой сигнал, и сигнальный процессор сконфигурирован с возможностью комбинировать упомянутый обработанный прямой сигнал и один из упомянутых одного или более обработанных диффузных сигналов, чтобы генерировать упомянутый выходной аудиосигнал. Интерфейс вывода сконфигурирован с возможностью выводить упомянутые один или более выходных аудиосигналов. Сигнальный процессор содержит модуль вычисления функций усиления для вычисления одной или более функций усиления, при этом каждая функция усиления из упомянутых одной или более функций усиления содержит множество значений аргумента функции усиления, при этом возвращаемое значение функции усиления назначено каждому из упомянутых значений аргумента функции усиления, при этом, когда упомянутая функция усиления принимает одно из упомянутых значений аргумента функции усиления, упомянутая функция усиления сконфигурирована с возможностью возвращать возвращаемое значение функции усиления, которое назначено упомянутому одному из упомянутых значений аргумента функции усиления. Более того, сигнальный процессор дополнительно содержит модуль модификации сигналов для выбора, в зависимости от направления прибытия, зависящего от направления значения аргумента из значений аргумента функции усиления для функции усиления из упомянутых одной или более функций усиления, для получения возвращаемого значения функции усиления, которое назначено упомянутому зависящему от направления значению аргумента, от упомянутой функции усиления, и для определения значения усиления, по меньшей мере, одного из упомянутых одного или более выходных аудиосигналов в зависимости от упомянутого возвращаемого значения функции усиления, полученного от упомянутой функции усиления.

Дополнительно, обеспечивается способ для генерирования одного или более выходных аудиосигналов. Способ содержит:

- Прием двух или более входных аудиосигналов.

- Генерирование сигнала прямых компонент, содержащего компоненты прямых сигналов упомянутых двух или более входных аудиосигналов.

- Генерирование сигнала диффузных компонент, содержащего компоненты диффузных сигналов упомянутых двух или более входных аудиосигналов.

- Прием информации направления в зависимости от направления прибытия компонент прямых сигналов упомянутых двух или более входных аудиосигналов.

- Генерирование одного или более обработанных диффузных сигналов в зависимости от сигнала диффузных компонент.

- Для каждого выходного аудиосигнала из упомянутых одного или более выходных аудиосигналов, определение, в зависимости от направления прибытия, усиления прямого звука, применение упомянутого усиления прямого звука к сигналу прямых компонент, чтобы получать обработанный прямой сигнал, и комбинирование упомянутого обработанного прямого сигнала и одного из упомянутых одного или более обработанных диффузных сигналов, чтобы генерировать упомянутый выходной аудиосигнал. И:

- Вывод упомянутых одного или более выходных аудиосигналов.

Генерирование упомянутых одного или более выходных аудиосигналов содержит вычисление одной или более функций усиления, при этом каждая функция усиления из упомянутых одной или более функций усиления содержит множество значений аргумента функции усиления, при этом возвращаемое значение функции усиления назначено каждому из упомянутых значений аргумента функции усиления, при этом, когда упомянутая функция усиления принимает одно из упомянутых значений аргумента функции усиления, упомянутая функция усиления сконфигурирована с возможностью возвращать возвращаемое значение функции усиления, которое назначено упомянутому одному из упомянутых значений аргумента функции усиления. Более того, генерирование упомянутых одного или более выходных аудиосигналов содержит выбор, в зависимости от направления прибытия, зависящего от направления значения аргумента из значений аргумента функции усиления для функции усиления из упомянутых одной или более функций усиления, для получения возвращаемого значения функции усиления, которое назначено упомянутому зависящему от направления значению аргумента, от упомянутой функции усиления, и для определения значения усиления, по меньшей мере, одного из упомянутых одного или более выходных аудиосигналов в зависимости от упомянутого возвращаемого значения функции усиления, полученного от упомянутой функции усиления.

Более того, обеспечивается способ для генерирования одного или более выходных аудиосигналов. Способ содержит:

- Прием сигнала прямых компонент, содержащего компоненты прямых сигналов из упомянутых двух или более исходных аудиосигналов.

- прием сигнала диффузных компонент, содержащего компоненты диффузных сигналов из упомянутых двух или более исходных аудиосигналов.

- Прием информации направления, при этом упомянутая информация направления зависит от направления прибытия компонент прямых сигналов упомянутых двух или более входных аудиосигналов.

- Генерирование одного или более обработанных диффузных сигналов в зависимости от сигнала диффузных компонент.

- Для каждого выходного аудиосигнала из упомянутых одного или более выходных аудиосигналов, определение, в зависимости от направления прибытия, усиления прямого звука, применение упомянутого усиления прямого звука к сигналу прямых компонент, чтобы получать обработанный прямой сигнал, и комбинирование упомянутого обработанного прямого сигнала и одного из упомянутых одного или более обработанных диффузных сигналов, чтобы генерировать упомянутый выходной аудиосигнал. И:

- Вывод упомянутых одного или более выходных аудиосигналов.

Генерирование упомянутых одного или более выходных аудиосигналов содержит вычисление одной или более функций усиления, при этом каждая функция усиления из упомянутых одной или более функций усиления содержит множество значений аргумента функции усиления, при этом возвращаемое значение функции усиления назначено каждому из упомянутых значений аргумента функции усиления, при этом, когда упомянутая функция усиления принимает одно из упомянутых значений аргумента функции усиления, упомянутая функция усиления сконфигурирована с возможностью возвращать возвращаемое значение функции усиления, которое назначено упомянутому одному из упомянутых значений аргумента функции усиления. Более того, генерирование упомянутых одного или более выходных аудиосигналов содержит выбор, в зависимости от направления прибытия, зависящего от направления значения аргумента из значений аргумента функции усиления для функции усиления из упомянутых одной или более функций усиления, для получения возвращаемого значения функции усиления, которое назначено упомянутому зависящему от направления значению аргумента, от упомянутой функции усиления, и для определения значения усиления, по меньшей мере, одного из упомянутых одного или более выходных аудиосигналов в зависимости от упомянутого возвращаемого значения функции усиления, полученного от упомянутой функции усиления.

Более того, обеспечиваются компьютерные программы, при этом каждая из компьютерных программ сконфигурирована с возможностью осуществлять один из вышеописанных способов, когда исполняется на компьютере или сигнальном процессоре, так что каждый из вышеописанных способов осуществляется посредством одной из компьютерных программ.

Дополнительно, обеспечивается система для генерирования одного или более выходных аудиосигналов. Система содержит модуль генерирования сигнала компонент, сигнальный процессор, и интерфейс вывода. Модуль генерирования сигнала компонент сконфигурирован с возможностью принимать два или более входных аудиосигналов, при этом модуль генерирования сигнала компонент сконфигурирован с возможностью генерировать сигнал прямых компонент, содержащий компоненты прямых сигналов упомянутых двух или более входных аудиосигналов, и при этом модуль генерирования сигнала компонент сконфигурирован с возможностью генерировать сигнал диффузных компонент, содержащий компоненты диффузных сигналов упомянутых двух или более входных аудиосигналов. Сигнальный процессор сконфигурирован с возможностью принимать сигнал прямых компонент, сигнал диффузных компонент и информацию направления, при этом упомянутая информация направления зависит от направления прибытия компонент прямых сигналов упомянутых двух или более входных аудиосигналов. Более того, сигнальный процессор сконфигурирован с возможностью генерировать один или более обработанных диффузных сигналов в зависимости от сигнала диффузных компонент. Для каждого выходного аудиосигнала из упомянутых одного или более выходных аудиосигналов, сигнальный процессор сконфигурирован с возможностью определять, в зависимости от направления прибытия, усиление прямого звука, сигнальный процессор сконфигурирован с возможностью применять упомянутое усиление прямого звука к сигналу прямых компонент, чтобы получать обработанный прямой сигнал, и сигнальный процессор сконфигурирован с возможностью комбинировать упомянутый обработанный прямой сигнал и один из упомянутых одного или более обработанных диффузных сигналов, чтобы генерировать упомянутый выходной аудиосигнал. Интерфейс вывода сконфигурирован с возможностью выводить упомянутые один или более выходных аудиосигналов.

Согласно вариантам осуществления, обеспечиваются концепции, чтобы достигать записи и воспроизведения пространственного звука таким образом, чтобы воссоздаваемое акустическое изображение могло, например, быть совместимым с требуемым пространственным изображением, которое, например, определяется пользователем на стороне дальнего конца или посредством видеоизображения. Предложенный подход использует массив микрофонов на стороне ближнего конца, который обеспечивает нам возможность разлагать захваченный звук на компоненты прямого звука и компоненту диффузного звука. Извлеченные компоненты звука затем передаются стороне дальнего конца. Совместимое воспроизведение пространственного звука может, например, реализовываться посредством взвешенной суммы извлеченных прямого звука и диффузного звука, где веса зависят от требуемого пространственного изображения, с которым воспроизводимый звук должен быть совместим, например, веса зависят от направления просмотра и коэффициента масштабирования видеокамеры, которые могут, например, дополнять запись аудио. Обеспечиваются концепции, которые используют информированные многоканальные фильтры для извлечения прямого звука и диффузного звука.

Согласно одному варианту осуществления, сигнальный процессор может, например, быть сконфигурирован с возможностью определять два или более выходных аудиосигналов, при этом для каждого выходного аудиосигнала из упомянутых двух или более выходных аудиосигналов функция усиления панорамирования может, например, быть назначена упомянутому выходному аудиосигналу, при этом функция усиления панорамирования каждого из упомянутых двух или более выходных аудиосигналов содержит множество значений аргумента функции панорамирования, при этом возвращаемое значение функции панорамирования может, например, быть назначено каждому из упомянутых значений аргумента функции панорамирования, при этом, когда упомянутая функция усиления панорамирования принимает одно из упомянутых значений аргумента функции панорамирования, упомянутая функция усиления панорамирования может, например, быть сконфигурирована с возможностью возвращать возвращаемое значение функции панорамирования, которое назначено упомянутому одному из упомянутых значений аргумента функции панорамирования, и при этом сигнальный процессор может, например, быть сконфигурирован с возможностью определять каждый из упомянутых двух или более выходных аудиосигналов в зависимости от зависящего от направления значения аргумента из значений аргумента функции панорамирования для функции усиления панорамирования, которая назначена упомянутому выходному аудиосигналу, при этом упомянутое зависящее от направления значение аргумента зависит от направления прибытия.

В одном варианте осуществления, функция усиления панорамирования каждого из упомянутых двух или более выходных аудиосигналов имеет один или более глобальных максимумов, являющихся одним из значений аргумента функции панорамирования, при этом для каждого из упомянутых одного или более глобальных максимумов каждой функции усиления панорамирования, не существует никакое другое значение аргумента функции панорамирования, для которого упомянутая функция усиления панорамирования возвращает более большое возвращаемое значение функции панорамирования, чем для упомянутых глобальных максимумов, и при этом, для каждой пары из первого выходного аудиосигнала и второго выходного аудиосигнала из упомянутых двух или более выходных аудиосигналов, по меньшей мере, один из упомянутых одного или более глобальных максимумов функции усиления панорамирования первого выходного аудиосигнала может, например, отличаться от любого из упомянутых одного или более глобальных максимумов функции усиления панорамирования второго выходного аудиосигнала.

Согласно одному варианту осуществления, сигнальный процессор может, например, быть сконфигурирован с возможностью генерировать каждый выходной аудиосигнал из упомянутых одного или более выходных аудиосигналов в зависимости от оконной функции усиления, при этом оконная функция усиления может, например, быть сконфигурирована с возможностью возвращать возвращаемое значение оконной функции при приеме значения аргумента оконной функции, при этом, если значение аргумента оконной функции может, например, быть больше, чем нижний порог окна и меньше, чем верхний порог окна, оконная функция усиления может, например, быть сконфигурирована с возможностью возвращать возвращаемое значение оконной функции, которое больше, чем любое возвращаемое значение оконной функции, возвращаемое оконной функцией усиления, если значение аргумента оконной функции может, например, быть меньше, чем нижний порог, или больше, чем верхний порог.

В одном варианте осуществления, сигнальный процессор может, например, быть сконфигурирован с возможностью дополнительно принимать информацию ориентации, указывающую угловой сдвиг направления просмотра по отношению к направлению прибытия, и при этом, по меньшей мере, одна из функции усиления панорамирования и оконной функции усиления зависит от информации ориентации; или при этом модуль вычисления функций усиления может, например, быть сконфигурирован с возможностью дополнительно принимать информацию масштабирования, при этом информация масштабирования указывает уг