Система, устройство и способ для согласованного воспроизведения акустической сцены на основании информированной пространственной фильтрации

Система, устройство и способ для согласованного воспроизведения акустической сцены на основании информированной пространственной фильтрации

Иллюстрации

Показать все

Реферат

Настоящее изобретение относится к обработке аудиосигнала и, в частности, к системе, устройству и способу для согласованного воспроизведения акустической сцены на основании информированной пространственной фильтрации.

При воспроизведении пространственного звука звук в местоположении записи (на стороне ближнего конца) захватывается множеством микрофонов и затем воспроизводится на стороне воспроизведения (стороне дальнего конца) с использованием множества громкоговорителей или головных наушников. Во многих применениях, желательно воспроизводить записанный звук таким образом, чтобы пространственное изображение, воссоздаваемое на стороне дальнего конца, согласовывалось с первоначальным пространственным изображением на стороне ближнего конца. Это означает, например, что звук источников звука воспроизводится с направлений, где источники присутствовали в первоначальном сценарии записи. Альтернативно, когда, например, видео дополняет записанное аудио, желательно, чтобы звук воспроизводился таким образом, чтобы воссоздаваемое акустическое изображение согласовывалось с видеоизображением. Это означает, например, что звук источника звука воспроизводится с направления, в котором источник наблюдается в видео. Дополнительно, видеокамера может быть снабжена функцией визуального масштабирования, или пользователь на стороне дальнего конца может применять к видео цифровое масштабирование, которое будет изменять визуальное изображение. В этом случае, должно соответственно изменяться акустическое изображение воспроизводимого пространственного звука. Во многих случаях, сторона дальнего конца определяет пространственное изображение, с которым нужно согласовывать воспроизводимый звук, определяется либо на стороне дальнего конца, либо в ходе воспроизведения, например, когда используется видеоизображение. В результате, пространственный звук на стороне ближнего конца нужно записывать, обрабатывать и передавать таким образом, чтобы на стороне дальнего конца все же можно было управлять воссоздаваемым акустическим изображением.

Возможность воспроизведения записанной акустической сцены в согласовании с желаемым пространственным изображением требуется во многих современных областях применения. Например, такие современные бытовые устройства, как цифровые камеры или мобильные телефоны часто снабжены видеокамерой и множественными микрофонами. Это позволяет записывать видео совместно с пространственным звуком, например, стереозвуком. При воспроизведении записанного аудио совместно с видео, желательно, чтобы визуальное и акустическое изображения были согласованы. Когда пользователь осуществляет масштабирование приближения с помощью камеры, желательно воссоздавать эффект визуального масштабирования акустически таким образом, чтобы визуальные и акустические изображения выравнивались при просмотре видео. Например, когда пользователь осуществляет масштабирование приближения на человеке, голос этого человека должен становиться менее реверберирующим по мере приближения человека к камере. Кроме того, голос человека должен воспроизводиться с того же направления, где находится человек в визуальном изображении. Акустическая имитация визуального масштабирования камеры в дальнейшем именуется акустическим масштабированием и представляет один пример согласованного аудио-видео-воспроизведения. Согласованное аудио-видеовоспроизведение, в котором может применяться акустическая масштабирование, также полезно в телеконференцсвязи, где пространственный звук на стороне ближнего конца воспроизводится на стороне дальнего конца совместно с визуальным изображением. Кроме того, желательно акустически воссоздавать эффект визуального масштабирования таким образом, чтобы визуальные и акустические изображения выравнивались.

Первая реализация акустического масштабирования представлена в [1], где эффект масштабирования получен путем увеличения направленности направленного микрофона второго порядка, сигнал которого сгенерирован на основании сигналов линейной микрофонной решетки. Этот подход получил развитие в [2] до стереомасштабирования. В [3] представлен более недавний подход к моно- или стереомасштабированию, который состоит в изменение уровней источников звука таким образом, что источник с фронтального направления сохраняется, тогда как источники, поступающие с других направлений, и диффузный звук ослабляются. Подходы, предложенные в [1,2] приводят к увеличению отношения прямого звука к реверберации (DRR), и подход в [3] дополнительно позволяет подавлять нежелательные источники. Вышеупомянутые подходы предполагают, что источник звука располагается перед камерой, и не предполагают захват акустического изображения которое согласуется с видеоизображением.

Общеизвестный подход к адаптивным записи и воспроизведению пространственного звука представлен направленным аудиокодированием (DirAC) [4]. В DirAC, пространственный звук на стороне ближнего конца описывается посредством аудиосигнала и параметрической вспомогательной информации, а именно, направления прихода (DOA) и диффузности звука. Параметрическое описание позволяет воспроизводить первоначальное пространственное изображение с произвольными конфигурациями громкоговорителей. Это означает, что воссоздаваемое пространственное изображение на стороне дальнего конца согласуется с пространственным изображением в ходе записи на стороне ближнего конца. Если же, например, видео дополняет записанное аудио, то воспроизводимый пространственный звук не обязательно выравнивать с видеоизображением. Кроме того, воссоздаваемое акустическое изображение невозможно регулировать при изменении визуальных изображений, например, когда изменяется направление наведения и масштабирование камеры. Это означает, что DirAC не позволяет регулировать воссоздаваемое акустическое изображение до произвольного желаемого пространственного изображения.

В [5] акустическое масштабирование реализовано на основании DirAC. DirAC представляет приемлемую основу для реализации акустического масштабирования, поскольку оно основано на простой, но эффективной модели сигнала, предполагающей, что звуковое поле в частотно-временной области состоит из одиночной плоской волны плюс диффузный звук. Основные параметры модели, например, DOA и диффузность, используются для разделения прямого звука и диффузного звука и для создания эффекта акустического масштабирования. Параметрическое описание пространственного звука позволяет эффективно передавать звуковую сцену стороне дальнего конца, предоставляя при этом пользователю полное управление эффектом масштабирования и воспроизведением пространственного звука. Хотя DirAC использует множественные микрофоны для оценивания параметров модели, для выделения прямого звука и диффузного звука применяются только одноканальные фильтры, ограничивающие качество воспроизводимого звука. Кроме того, предполагается, что все источники в звуковой сцене располагаются на окружности, и воспроизведение пространственного звука осуществляется согласно изменению положения аудиовизуальной камеры, которое не согласуется с визуальным масштабированием. Фактически, масштабирование изменяет угол зрения камеры, в то время как расстояние до визуальных объектов и их относительные положения в изображении остаются неизменными, в отличие от движения камеры.

Родственным подходом является так называемый метод виртуальных микрофонов (VM) [6,7], который опирается на ту же модель сигнала, что и DirAC, но позволяет синтезировать сигнал несуществующего (виртуального) микрофона в произвольном положении в звуковой сцене. Движение VM к источнику звука аналогично перемещению камеры в новое положение. VM реализован с использованием многоканальных фильтров для повышения качества звука, но требует несколько распределенных микрофонных решеток для оценивания параметров модели.

Однако очевидно, что можно предложить дополнительно усовершенствованные принципы обработки аудиосигнала.

Таким образом, задачей настоящего изобретения является обеспечение усовершенствованных принципов обработки аудиосигнала. Задача настоящего изобретения решается путем обеспечения системы по п. 1, устройства по п. 13, способа по п. 14, способа по п. 15 и компьютерной программы по п. 16.

Предусмотрена система для генерации одного или более выходных аудиосигналов. Система содержит модуль разложения, процессор сигналов и выходной интерфейс. Модуль разложения выполнен с возможностью приема двух или более входных аудиосигналов, причем модуль разложения выполнен с возможностью генерации прямого компонентного сигнала, содержащего прямые составляющие сигнала двух или более входных аудиосигналов, и модуль разложения выполнен с возможностью генерации диффузного компонентного сигнала, содержащего диффузные составляющие сигнала двух или более входных аудиосигналов. Процессор сигналов выполнен с возможностью приема прямого компонентного сигнала, диффузного компонентного сигнала и информации направления, причем упомянутая информация направления зависит от направления прихода прямых составляющих сигнала двух или более входных аудиосигналов. Кроме того, процессор сигналов выполнен с возможностью генерации одного или более обработанных диффузных сигналов в зависимости от диффузного компонентного сигнала. Для каждого выходного аудиосигнала из одного или более выходных аудиосигналов, процессор сигналов выполнен с возможностью определения, в зависимости от направления прихода, прямого коэффициента усиления, процессор сигналов выполнен с возможностью применения упомянутого прямого коэффициента усиления к прямому компонентному сигналу для получения обработанного прямого сигнала, и процессор сигналов выполнен с возможностью объединения упомянутого обработанного прямого сигнала и одного из одного или более обработанных диффузных сигналов для генерации упомянутого выходного аудиосигнала. Выходной интерфейс выполнен с возможностью вывода одного или более выходных аудиосигналов.

Согласно вариантам осуществления, предусмотрены принципы обеспечения записи и воспроизведения пространственного звука, позволяющие, например, согласовывать воссоздаваемое акустическое изображение с желаемым пространственным изображением, которое, например, определяется пользователем на стороне дальнего конца или видеоизображением. Предложенный подход предусматривает использование микрофонной решетки на стороне ближнего конца, которая позволяет разлагать захваченный звук на составляющие прямого звука и составляющую диффузного звука. Затем выделенные составляющие звука передаются стороне дальнего конца. Согласованное воспроизведение пространственного звука можно реализовать, например, посредством взвешенной суммы выделенного прямого звука и диффузного звука, где весовые коэффициенты зависят от желаемого пространственного изображения, с которым нужно согласовывать воспроизводимый звук, например, весовые коэффициенты зависят от направления наведения и коэффициента масштабирования видеокамеры, которые могут, например, дополнять аудиозапись. Предусмотрены принципы использования информированных многоканальных фильтров для выделения прямого звука и диффузного звука.

Согласно варианту осуществления, процессор сигналов может, например, быть выполнен с возможностью определения двух или более выходных аудиосигналов, причем для каждого выходного аудиосигнала из двух или более выходных аудиосигналов панорамирующая функция усиления может, например, присваиваться упомянутому выходному аудиосигналу, причем панорамирующая функция усиления каждого из двух или более выходных аудиосигналов содержит множество значений аргумента панорамирующей функции, причем возвращаемое значение панорамирующей функции может, например, присваиваться каждому из упомянутых значений аргумента панорамирующей функции, причем, когда упомянутая панорамирующая функция усиления принимает одно из упомянутых значений аргумента панорамирующей функции, упомянутая панорамирующая функция усиления может, например, быть выполнена с возможностью возвращения возвращаемого значения панорамирующей функции, присваиваемого упомянутому одному из упомянутых значений аргумента панорамирующей функции, и при этом процессор сигналов может, например, быть выполнен с возможностью определения каждого из двух или более выходных аудиосигналов в зависимости от зависящего от направления значения аргумента из значений аргумента панорамирующей функции панорамирующей функции усиления, присваиваемой упомянутому выходному аудиосигналу, причем упомянутое зависящее от направления значение аргумента зависит от направления прихода.

Согласно варианту осуществления, панорамирующая функция усиления каждого из двух или более выходных аудиосигналов имеет один или более глобальных максимумов, являющихся одним из значений аргумента панорамирующей функции, причем для каждого из одного или более глобальных максимумов каждой панорамирующей функции усиления, не существует других значений аргумента панорамирующей функции, для которых упомянутая панорамирующая функция усиления возвращает более высокое возвращаемое значение панорамирующей функции, чем для упомянутых глобальных максимумов, и при этом, для каждой пары первого выходного аудиосигнала и второго выходного аудиосигнала из двух или более выходных аудиосигналов, по меньшей мере, один из одного или более глобальных максимумов панорамирующей функции усиления первого выходного аудиосигнала может, например, отличаться от любого из одного или более глобальных максимумов панорамирующей функции усиления второго выходного аудиосигнала.

Согласно варианту осуществления, процессор сигналов может, например, быть выполнен с возможностью генерации каждого выходного аудиосигнала из одного или более выходных аудиосигналов в зависимости от функции окна усиления, причем функция окна усиления может, например, быть выполнена с возможностью возвращения возвращаемого значения функции окна при приеме значения аргумента функции окна, причем, если значение аргумента функции окна может, например, быть больше нижнего порога окна и меньше верхнего порога окна, функция окна усиления может, например, быть выполнена с возможностью возвращения возвращаемого значения функции окна, которое больше любого возвращаемого значения функции окна, возвращаемого функцией окна усиления, если значение аргумента функции окна может, например, быть меньше нижнего порога или больше верхнего порога.

Согласно варианту осуществления, процессор сигналов может, например, быть выполнен с дополнительной возможностью приема информации ориентации, указывающей угловой сдвиг направления наведения относительно направления прихода, и при этом, по меньшей мере, одна из панорамирующей функции усиления и функции окна усиления зависит от информации ориентации; или модуль вычисления функции усиления может, например, быть выполнен с дополнительной возможностью приема информации масштабирования, причем информация масштабирования указывает угол раствора камеры, и при этом, по меньшей мере, одна из панорамирующей функции усиления и функции окна усиления зависит от информации масштабирования; или модуль вычисления функции усиления может, например, быть выполнен с дополнительной возможностью приема параметра калибровки, и при этом, по меньшей мере, одна из панорамирующей функции усиления и функции окна усиления зависит от параметра калибровки.

Согласно варианту осуществления, процессор сигналов может, например, быть выполнен с возможностью приема информации расстояния, причем процессор сигналов может, например, быть выполнен с возможностью генерации каждого выходного аудиосигнала из одного или более выходных аудиосигналов в зависимости от информации расстояния.

Согласно варианту осуществления, процессор сигналов может, например, быть выполнен с возможностью приема первоначального значения угла в зависимости от первоначального направления прихода, которое является направлением прихода прямых составляющих сигнала двух или более входных аудиосигналов, и может, например, быть выполнен с возможностью приема информации расстояния, причем процессор сигналов может, например, быть выполнен с возможностью вычисления измененного значения угла в зависимости от первоначального значения угла и в зависимости от информации расстояния, и при этом процессор сигналов может, например, быть выполнен с возможностью генерации каждого выходного аудиосигнала из одного или более выходных аудиосигналов в зависимости от измененного значения угла.

Согласно варианту осуществления, процессор сигналов может, например, быть выполнен с возможностью генерации одного или более выходных аудиосигналов путем проведения низкочастотной фильтрации, или путем прибавления задержанного прямого звука, или путем проведения ослабления прямого звука, или путем проведения временного сглаживания, или путем проведения расширения направления прихода, или путем проведения декорреляции.

Согласно варианту осуществления, процессор сигналов может, например, быть выполнен с возможностью генерации двух или более выходных аудиоканалов, причем процессор сигналов может, например, быть выполнен с возможностью применения диффузного коэффициента усиления к диффузному компонентному сигналу для получения промежуточного диффузного сигнала, и при этом процессор сигналов может, например, быть выполнен с возможностью генерации одного или более декоррелированных сигналов из промежуточного диффузного сигнала путем проведения декорреляции, причем один или более декоррелированных сигналов образуют один или более обработанных диффузных сигналов, или промежуточный диффузный сигнал и один или более декоррелированных сигналов образуют один или более обработанных диффузных сигналов.

Согласно варианту осуществления, прямой компонентный сигнал и один или более дополнительных прямых компонентных сигналов образуют группу из двух или более прямых компонентных сигналов, причем модуль разложения может, например, быть выполнен с возможностью генерации одного или более дополнительных прямых компонентных сигналов, содержащих дополнительные прямые составляющие сигнала двух или более входных аудиосигналов, причем направление прихода и одно или более дополнительных направлений прихода образуют группу из двух или более направлений прихода, причем каждое направление прихода из группы из двух или более направлений прихода может, например, присваиваться в точности одному прямому компонентному сигналу из группы из двух или более прямых компонентных сигналов, причем количество прямых компонентных сигналов из двух или более прямых компонентных сигналов, и количество направлений прихода двух направлений прихода может, например, быть равным, причем процессор сигналов может, например, быть выполнен с возможностью приема группы из двух или более прямых компонентных сигналов и группы из двух или более направлений прихода, и при этом, для каждого выходного аудиосигнала из одного или более выходных аудиосигналов, процессор сигналов может, например, быть выполнен с возможностью определения, для каждого прямого компонентного сигнала из группы из двух или более прямых компонентных сигналов, прямого коэффициента усиления в зависимости от направления прихода упомянутого прямого компонентного сигнала, процессор сигналов может, например, быть выполнен с возможностью генерации группы из двух или более обработанных прямых сигналов путем применения, для каждого прямого компонентного сигнала из группы из двух или более прямых компонентных сигналов, прямого коэффициента усиления упомянутого прямого компонентного сигнала к упомянутому прямому компонентному сигналу, и процессор сигналов может, например, быть выполнен с возможностью объединения одного из одного или более обработанных диффузных сигналов и каждого обработанного сигнала из группы из двух или более обработанных сигналов для генерации упомянутого выходного аудиосигнала.

Согласно варианту осуществления, количество прямых компонентных сигналов из группы из двух или более прямых компонентных сигналов плюс 1 может, например, быть меньше количества входных аудиосигналов, принимаемых приемным интерфейсом.

Кроме того, может, например, быть предусмотрен слуховой аппарат или вспомогательное слуховое устройство, содержащее вышеописанную систему.

Кроме того, предусмотрено устройство для генерации одного или более выходных аудиосигналов. Устройство содержит процессор сигналов и выходной интерфейс. Процессор сигналов выполнен с возможностью приема прямого компонентного сигнала, содержащего прямые составляющие сигнала двух или более первоначальных аудиосигналов, причем процессор сигналов выполнен с возможностью приема диффузного компонентного сигнала, содержащего диффузные составляющие сигнала двух или более первоначальных аудиосигналов, и при этом процессор сигналов выполнен с возможностью приема информации направления, причем упомянутая информация направления зависит от направления прихода прямых составляющих сигнала двух или более входных аудиосигналов. Кроме того, процессор сигналов выполнен с возможностью генерации одного или более обработанных диффузных сигналов в зависимости от диффузного компонентного сигнала. Для каждого выходного аудиосигнала из одного или более выходных аудиосигналов, процессор сигналов выполнен с возможностью определения, в зависимости от направления прихода, прямого коэффициента усиления, процессор сигналов выполнен с возможностью применения упомянутого прямого коэффициента усиления к прямому компонентному сигналу для получения обработанного прямого сигнала, и процессор сигналов выполнен с возможностью объединения упомянутого обработанного прямого сигнала и одного из одного или более обработанных диффузных сигналов для генерации упомянутого выходного аудиосигнала. Выходной интерфейс выполнен с возможностью вывода одного или более выходных аудиосигналов.

Кроме того, предусмотрен способ генерации одного или более выходных аудиосигналов. Способ содержит:

- прием двух или более входных аудиосигналов.

- генерацию прямого компонентного сигнала, содержащего прямые составляющие сигнала двух или более входных аудиосигналов.

- генерацию диффузного компонентного сигнала, содержащего диффузные составляющие сигнала двух или более входных аудиосигналов.

- прием информации направления в зависимости от направления прихода прямых составляющих сигнала двух или более входных аудиосигналов.

- генерацию одного или более обработанных диффузных сигналов в зависимости от диффузного компонентного сигнала.

- для каждого выходного аудиосигнала из одного или более выходных аудиосигналов, определение, в зависимости от направления прихода, прямого коэффициента усиления, применение упомянутого прямого коэффициента усиления к прямому компонентному сигналу для получения обработанного прямого сигнала, и объединение упомянутого обработанного прямого сигнала и одного из одного или более обработанных диффузных сигналов для генерации упомянутого выходного аудиосигнала, и

- вывод одного или более выходных аудиосигналов.

Кроме того, предусмотрен способ генерации одного или более выходных аудиосигналов. Способ содержит:

- прием прямого компонентного сигнала, содержащего прямые составляющие сигнала двух или более первоначальных аудиосигналов.

- прием диффузного компонентного сигнала, содержащего диффузные составляющие сигнала двух или более первоначальных аудиосигналов.

- прием информации направления, причем упомянутая информация направления зависит от направления прихода прямых составляющих сигнала двух или более входных аудиосигналов.

- генерацию одного или более обработанных диффузных сигналов в зависимости от диффузного компонентного сигнала.

- для каждого выходного аудиосигнала из одного или более выходных аудиосигналов, определение, в зависимости от направления прихода, прямого коэффициента усиления, применение упомянутого прямого коэффициента усиления к прямому компонентному сигналу для получения обработанного прямого сигнала, и объединение упомянутого обработанного прямого сигнала и одного из одного или более обработанных диффузных сигналов для генерации упомянутого выходного аудиосигнала, и

- вывод одного или более выходных аудиосигналов.

Кроме того, предусмотрены компьютерные программы, причем каждая из компьютерных программ выполнена с возможностью осуществления одного из вышеописанных способов при выполнении на компьютере или процессоре сигналов, таким образом, что каждый из вышеописанных способов осуществляется одной из компьютерных программ.

Кроме того, предусмотрена система для генерации одного или более выходных аудиосигналов. Система содержит модуль разложения, процессор сигналов и выходной интерфейс. Модуль разложения выполнен с возможностью приема двух или более входных аудиосигналов, причем модуль разложения выполнен с возможностью генерации прямого компонентного сигнала, содержащего прямые составляющие сигнала двух или более входных аудиосигналов, и модуль разложения выполнен с возможностью генерации диффузного компонентного сигнала, содержащего диффузные составляющие сигнала двух или более входных аудиосигналов. Процессор сигналов выполнен с возможностью приема прямого компонентного сигнала, диффузного компонентного сигнала и информации направления, причем упомянутая информация направления зависит от направления прихода прямых составляющих сигнала двух или более входных аудиосигналов. Кроме того, процессор сигналов выполнен с возможностью генерации одного или более обработанных диффузных сигналов в зависимости от диффузного компонентного сигнала. Для каждого выходного аудиосигнала из одного или более выходных аудиосигналов, процессор сигналов выполнен с возможностью определения, в зависимости от направления прихода, прямого коэффициента усиления, процессор сигналов выполнен с возможностью применения упомянутого прямого коэффициента усиления к прямому компонентному сигналу для получения обработанного прямого сигнала, и процессор сигналов выполнен с возможностью объединения упомянутого обработанного прямого сигнала и одного из одного или более обработанных диффузных сигналов для генерации упомянутого выходного аудиосигнала. Выходной интерфейс выполнен с возможностью вывода одного или более выходных аудиосигналов. Процессор сигналов содержит модуль вычисления функции усиления для вычисления одной или более функций усиления, причем каждая функция усиления из одной или более функций усиления, содержит множество значений аргумента функции усиления, причем возвращаемое значение функции усиления присваивается каждому из упомянутых значений аргумента функции усиления, причем, когда упомянутая функция усиления принимает одно из упомянутых значений аргумента функции усиления, упомянутая функция усиления выполнена с возможностью возвращения возвращаемого значения функции усиления, присваиваемого упомянутому одному из упомянутых значений аргумента функции усиления. Кроме того, процессор сигналов дополнительно содержит модификатор сигнала для выбора, в зависимости от направления прихода, зависящего от направления значения аргумента из значений аргумента функции усиления функции усиления из одной или более функций усиления, для получения возвращаемого значения функции усиления, присваиваемого упомянутому зависящему от направления значению аргумента из упомянутой функции усиления, и для определения значения коэффициента усиления, по меньшей мере, одного из одного или более выходных аудиосигналов в зависимости от упомянутого возвращаемого значения функции усиления, полученного из упомянутой функции усиления.

Согласно варианту осуществления, модуль вычисления функции усиления может, например, быть выполнен с возможностью генерации поисковой таблицы для каждой функции усиления из одной или более функций усиления, причем поисковая таблица содержит множество записей, причем каждая из записей поисковой таблицы содержит одно из значений аргумента функции усиления и возвращаемого значения функции усиления, присваиваемого упомянутому значению аргумента функции усиления, причем модуль вычисления функции усиления может, например, быть выполнен с возможностью сохранения поисковой таблицы каждой функции усиления в постоянной или непостоянной памяти, и при этом модификатор сигнала может, например, быть выполнен с возможностью получения возвращаемого значения функции усиления, присваиваемого упомянутому зависящему от направления значению аргумента, путем считывания упомянутого возвращаемого значения функции усиления из одной из одной или более поисковых таблиц, хранящихся в памяти.

Согласно варианту осуществления, процессор сигналов может, например, быть выполнен с возможностью определения двух или более выходных аудиосигналов, причем модуль вычисления функции усиления может, например, быть выполнен с возможностью вычисления двух или более функций усиления, причем, для каждого выходного аудиосигнала из двух или более выходных аудиосигналов, модуль вычисления функции усиления может, например, быть выполнен с возможностью вычисления панорамирующей функции усиления, присваиваемой упомянутому выходному аудиосигналу в качестве одной из двух или более функций усиления, причем модификатор сигнала может, например, быть выполнен с возможностью генерации упомянутого выходного аудиосигнала в зависимости от упомянутой панорамирующей функции усиления.

Согласно варианту осуществления, панорамирующая функция усиления каждого из двух или более выходных аудиосигналов может, например, иметь один или более глобальных максимумов, являющихся одним из значений аргумента функции усиления упомянутой панорамирующей функции усиления, причем для каждого из одного или более глобальных максимумов упомянутой панорамирующей функции усиления, не существует других значений аргумента функции усиления, для которых упомянутая панорамирующая функция усиления возвращает более высокое возвращаемое значение функции усиления, чем для упомянутых глобальных максимумов, и при этом, для каждой пары первого выходного аудиосигнала и второго выходного аудиосигнала из двух или более выходных аудиосигналов, по меньшей мере, один из одного или более глобальных максимумов панорамирующей функции усиления первого выходного аудиосигнала может, например, отличаться от любого из одного или более глобальных максимумов панорамирующей функции усиления второго выходного аудиосигнала.

Согласно варианту осуществления, для каждого выходного аудиосигнала из двух или более выходных аудиосигналов, модуль вычисления функции усиления может, например, быть выполнен с возможностью вычисления функции окна усиления, присваиваемой упомянутому выходному аудиосигналу в качестве одной из двух или более функций усиления, причем модификатор сигнала может, например, быть выполнен с возможностью генерации упомянутого выходного аудиосигнала в зависимости от упомянутой функции окна усиления, и при этом, если значение аргумента упомянутой функции окна усиления больше нижнего порога окна и меньше верхнего порога окна, функция окна усиления выполнена с возможностью возвращения возвращаемого значения функции усиления, которое больше любого возвращаемого значения функции усиления, возвращаемого упомянутой функцией окна усиления, если значение аргумента функции окна меньше нижнего порога или больше верхнего порога.

Согласно варианту осуществления, функция окна усиления каждого из двух или более выходных аудиосигналов имеет один или более глобальных максимумов, являющихся одним из значений аргумента функции усиления упомянутой функции окна усиления, причем для каждого из одного или более глобальных максимумов упомянутой функции окна усиления, не существует других значений аргумента функции усиления, для которых упомянутая функция окна усиления возвращает более высокое возвращаемое значение функции усиления, чем для упомянутых глобальных максимумов, и при этом, для каждой пары первого выходного аудиосигнала и второго выходного аудиосигнала из двух или более выходных аудиосигналов, по меньшей мере, один из одного или более глобальных максимумов функции окна усиления первого выходного аудиосигнала может, например, быть равен одному из одного или более глобальных максимумов функции окна усиления второго выходного аудиосигнала.

Согласно варианту осуществления, модуль вычисления функции усиления может, например, быть выполнен с дополнительной возможностью приема информации ориентации, указывающей угловой сдвиг направления наведения относительно направления прихода, и модуль вычисления функции усиления может, например, быть выполнен с возможностью генерации панорамирующей функции усиления каждого из выходных аудиосигналов в зависимости от информации ориентации.

Согласно варианту осуществления, модуль вычисления функции усиления может, например, быть выполнен с возможностью генерации функции окна усиления каждого из выходных аудиосигналов в зависимости от информации ориентации.

Согласно варианту осуществления, модуль вычисления функции усиления может, например, быть выполнен с дополнительной возможностью приема информации масштабирования, причем информация масштабирования указывает угол раствора камеры, и модуль вычисления функции усиления может, например, быть выполнен с возможностью генерации панорамирующей функции усиления каждого из выходных аудиосигналов в зависимости от информации масштабирования.

Согласно варианту осуществления, модуль вычисления функции усиления может, например, быть выполнен с возможностью генерации функции окна усиления каждого из выходных аудиосигналов в зависимости от информации масштабирования.

Согласно варианту осуществления, модуль вычисления функции усиления может, например, быть выполнен с дополнительной возможностью приема параметра калибровки для выравнивания визуального изображения и акустического изображения, и модуль вычисления функции усиления может, например, быть выполнен с возможностью генерации панорамирующей функции усиления каждого из выходных аудиосигналов в зависимости от параметра калибровки.

Согласно варианту осуществления, модуль вычисления функции усиления может, например, быть выполнен с возможностью генерации функции окна усиления каждого из выходных аудиосигналов в зависимости от параметра калибровки.

Система по любому из предыдущих пунктов, модуль вычисления функции усиления может, например, быть выполнен с возможностью приема информации в визуальном изображении, и модуль вычисления функции усиления может, например, быть выполнен с возможностью генерации, в зависимости от информации в визуальном изображении, размывающей функции, возвращающей комплексные коэффициенты усиления для реализации перцептивного расширения источника звука.

Кроме того, предусмотрено устройство для генерации одного или более выходных аудиосигналов. Устройство содержит процессор сигналов и выходной интерфейс. Процессор сигналов выполнен с возможностью приема прямого компонентного сигнала, содержащего прямые составляющие сигнала двух или более первоначальных аудиосигналов, причем процессор сигналов выполнен с возможностью приема диффузного компонентного сигнала, содержащего диффузные составляющие сигнала двух или более первоначальных аудиосигналов, и при этом процессор сигналов выполнен с возможностью приема информации направления, причем упомянутая информация направления зависит от направления прихода прямых составляющих сигнала двух или более входных аудиосигналов. Кроме того, процессор сигналов выполнен с возможностью генерации одного или более обработанных ди