Способ и устройство для применения реверберации к многоканальному звуковому сигналу с использованием параметров пространственных меток

Способ и устройство для применения реверберации к многоканальному звуковому сигналу с использованием параметров пространственных меток

Иллюстрации

Показать все

Реферат

ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯ

1. Область техники изобретения

Изобретение относится к способам и системам применения реверберации к многоканальному сведенному звуковому сигналу, указывающему на большее количество отдельных звуковых каналов. В некоторых вариантах осуществления это достигается путем повышающего микширования входного сигнала и применения реверберации к, по меньшей мере, некоторым его отдельным каналам в ответ на, по меньшей мере, один параметр пространственной метки (указывающий на, по меньшей мере, одну пространственную метку для входного сигнала) так, чтобы для каждого отдельного канала, к которому применяется реверберация, применялись отличающиеся импульсные характеристики реверберации. Необязательно, после применения реверберации отдельные каналы подвергаются понижающему микшированию для генерирования N-канального реверберированного выходного сигнала. В некоторых вариантах осуществления входной сигнал представляет собой кодированный MPEG Surround (MPS) сигнал в области QMF (квадратурного зеркального фильтра), а повышающее микширование и применение реверберации выполняются в области QMF в ответ на параметры пространственных меток MPS, которые включают, по меньшей мере, некоторые из параметров разности уровней каналов (CLD), параметров коэффициента предсказания канала (CPC) и параметров межканальной когерентности (ICC).

2. Предпосылки изобретения

Во всем данном описании, включая формулу изобретения, выражение «ревербератор» (или «система ревербератора») используется для обозначения системы, которая сконфигурирована для применения реверберации к звуковому сигналу (например, ко всем или к некоторым каналам многоканального звукового сигнала).

Во всем данном описании, включая формулу изобретения, выражение «система» используется в широком смысле для обозначения устройства, системы или подсистемы. Например, подсистема, которая реализует ревербератор, может называться системой ревербератора (или ревербератором), а система, включающая указанную подсистему ревербератора (например система декодера, которая генерирует X+Y выходных сигналов в ответ на Q+R входных сигналов, в которой подсистема ревербератора генерирует Х выходных сигналов в ответ на Q входных сигналов, а остальные выходные сигналы генерируются другой подсистемой системы декодера), также может называться системой ревербератора (или ревербератором).

Во всем данном описании, включая формулу изобретения, выражение «воспроизведение» сигналов акустическими системами обозначает создание условий для генерирования звука акустическими системами в ответ на сигналы, которое заключается в выполнении любого требуемого усиления и/или другой обработки сигналов.

Во всем данном описании, включая формулу изобретения, выражение «линейная комбинация» величин v₁, v₂, …, v_n (например, n элементов подмножества множества Х сигналов отдельного звукового канала, происходящих в момент времени t, где n меньше или равно Х) обозначает величину, равную a₁v₁+a₂v₂+…+a_nv_n, где a₁, a₂, …, a_n - коэффициенты. В общем, для значений коэффициентов нет ограничений (например, каждый коэффициент может быть положительным, отрицательным или нулевым). В данном раскрытии выражение используется в широком смысле, например, включая случай, когда один из коэффициентов равен 1, а остальные равны нулю (например, в случае, когда линейная комбинация a₁v₁+a₂v₂+…+a_nv_n равна v₁ (или v₂, …, или v_n)).

Во всем данном описании, включая формулу изобретения, выражение «параметр пространственной метки» многоканального звукового сигнала обозначает любой параметр, указывающий на, по меньшей мере, одну пространственную метку для звукового сигнала, где каждая указанная «пространственная метка» является указывающей на (например, описывающей) пространственное изображение многоканального сигнала. Примерами пространственных меток является разность уровней (или интенсивностей) между (или соотношений между) парами каналов звукового сигнала, разность фаз между указанными парами каналов и критерии корреляции между указанными парами каналов. Примерами параметров пространственных меток являются параметры разности уровней каналов (CLD) и параметры коэффициента предсказания канала (CPC), которые составляют часть битового потока традиционного MPEG Surround ("MPS") и используются в кодировании MPEG Surround.

В соответствии с хорошо известным стандартом MPEG Surround ("MPS") несколько каналов звуковых данных могут кодироваться путем понижающего микширования в меньшее количество каналов (например, М каналов, где М, как правило, равно 2) и сжатия, а указанный М-канальный сведенный звуковой сигнал может декодироваться путем разуплотнения и обработки (повышающего микширования) с целью генерирования N декодированных звуковых каналов (например, M = 2, N = 5).

Типичный традиционный декодер MPS действует, выполняя повышающее микширование для генерирования N декодированных звуковых сигналов (где N больше двух) в ответ на двухканальный сведенный звуковой сигнал во временной области (и параметры пространственных меток MPS, включающие параметры разности уровней каналов (CLD) и параметры коэффициента предсказания канала (CPC)). Типичный традиционный декодер MPS функционирует в бинауральном режиме, генерируя бинауральный сигнал в ответ на двухканальный сведенный звуковой сигнал во временной области и параметры пространственных меток, и, по меньшей мере, еще в одном режиме, выполняя повышающее микширование с целью генерирования декодированных звуковых каналов 5.0 (где условное обозначение каналов "x.y" обозначает "x" полночастотных каналов и «у» каналов сабвуфера), 5.1, 7.0 или 7.1 в ответ на двухканальный сведенный звуковой сигнал во временной области и параметры пространственных меток. Входной сигнал подвергается преобразованию из временной области в частотную область QMF (область квадратурного зеркального фильтра), образуя два канала частотных составляющих области QMF. Эти частотные составляющие подвергаются декодированию в области QMF, и результирующие составляющие, как правило, затем преобразуются обратно во временную область с целью генерирования выходного звукового сигнала декодера.

Фиг.1 представляет собой упрощенную блок-схему элементов традиционного декодера MPS, сконфигурированного для генерирования N декодированных звуковых каналов (где N больше двух и N, как правило, равно 5 или 7) в ответ на двухканальный сведенный звуковой сигнал (L' и R') и параметры пространственных меток MPS (включая параметры разности уровней каналов и параметры коэффициента предсказания канала). Сведенный входной сигнал (L' и R') указывает на "X" отдельных звуковых каналов, где Х больше 2. Сведенный входной сигнал, как правило, указывает на пять отдельных каналов (например, левый передний, правый передний, центральный, левый окружающий и правый окружающий каналы).

Каждый из входных сигналов, «левого» входного сигнала L' и «правого» входного сигнала R', представляет собой последовательность частотных составляющих области QMF, генерируемых путем преобразования двухканального кодированного сигнала MPS во временной области (не показан ) на этапе преобразования из временной области в область QMF (не показан).

Сведенный входной сигнал L' и R' декодируется в декодере 1 по фиг.1 в N сигналов отдельных каналов S1, S2, ..., SN в ответ на параметры пространственных меток MPS, которые направляются (вместе с входными сигналами) в систему по фиг.1. N последовательностей выходных частотных составляющих области QMF, S1, S2, ..., SN, как правило, трансформируются обратно во временную область на этапе преобразования из области QMF во временную область (не показан) и могут быть направлены в качестве выходного сигнала из системы, не подвергаясь постобработке. Необязательно, сигналы S1, S2, ..., SN подвергаются постобработке (в области QMF) в постпроцессоре с целью генерирования N-канального выходного звукового сигнала, включающего каналы OUT1, OUT2, …, OUTN. N последовательностей выходных частотных составляющих области QMF, OUT1, OUT2, …, OUTN, как правило, преобразуются обратно во временную область на этапе преобразования из области QMF во временную область (не показан) и могут быть направлены в качестве выходного сигнала из системы.

Традиционный декодер MPS по фиг.1, функционирующий в бинауральном режиме, генерирует двухканальный бинауральный выходной звуковой сигнал S1 и S2 и, необязательно, также двухканальный бинауральный выходной звуковой сигнал OUT1 и OUT2 в ответ на двухканальный сведенный звуковой сигнал (L' и R') и параметры пространственных меток (включая параметры разности уровней каналов и параметры коэффициента предсказания канала). При воспроизведении парой наушников двухканальный выходной звуковой сигнал S1 и S2 воспринимается барабанными перепонками слушателя как звук из «Х» громкоговорителей (где Х > 2 и Х, как правило, равен 5 или 7), находящихся в любом из множества возможных положений (определяемых коэффициентами декодера 1), включающих положения перед слушателем и позади слушателя. В бинауральном режиме постпроцессор может применять реверберацию к двухканальному выходному звуковому сигналу (S1, S2) декодера 1 (в этом случае, постпроцессор 5 реализует искусственный ревербератор). Система по фиг.1 может быть реализована (способом, который будет описан ниже) так, чтобы двухканальный выходной сигнал постпроцессора (OUT1 и OUT2) представлял собой бинауральный выходной звуковой сигнал, к которому применен ревербератор и который при воспроизведении наушниками воспринимается барабанными перепонками как звук из «Х» громкоговорителей (где X > 2 и Х, как правило, равен 5), находящихся в любом из множества положений, включая положения перед слушателем и позади слушателя.

Воспроизведение сигналов S1 и S2 (или OUT1 и OUT2), генерируемых в ходе функционирования в бинауральном режиме декодера по фиг.1, может создать у слушателя ощущение звука, который приходит из более чем двух (например, пяти) «окружающих» источников. По меньшей мере, некоторые из этих источников являются виртуальными. В более общем смысле, для систем виртуального окружающего звука традиционным является использование функций моделирования восприятия звука (HRTF) для генерирования звуковых сигналов (иногда называемых виртуальными сигналами окружающего звука), которые, при воспроизведении парой физических акустических систем (например, громкоговорителями, расположенными перед слушателем, или наушниками) воспринимаются барабанными перепонками слушателя как звук из более чем двух источников (например, акустических систем), находящихся в любом из широкого выбора положений (как правило, включающих положения позади слушателя).

Как отмечено выше, декодер MPS по фиг.1, действующий в бинауральном режиме, может реализовываться для применения реверберации с использованием искусственного ревербератора, реализуемого постпроцессором. Ревербератор может конфигурироваться для генерирования реверберации в ответ на двухканальный выходной сигнал (S1, S2) декодера 1 и применения реверберации к сигналам S1 и S2 с целью генерирования реверберированного двухканального звукового сигнала OUT1 и ОUT2. Реверберация может применяться как постпроцесс реверберации «стерео-стерео» к двухканальному сигналу S1, S2 из декодера 1 так, чтобы ко всем дискретным каналам, определяемым одним из двух сведенных звуковых каналов бинаурального выходного звукового сигнала декодера 1 (например, к левому переднему и левому окружающему каналам, определяемым сведенным каналом S1), применялась одинаковая импульсная характеристика реверберации, и такая же импульсная характеристика реверберации применялась ко всем дискретным каналам, определяемым вторым из двух сведенных звуковых каналов бинаурального звукового сигнала (например, к правому переднему и правому окружающему каналам, определяемым сведенным каналом S2).

Один из типов традиционных ревербераторов содержит конструкцию, известную как конструкция на основе схемы задержки обратной связи (FDN). В ходе работы указанный ревербератор применяет реверберацию к сигналу путем создания обратной связи сигнала с запаздывающей версией этого же сигнала. Преимуществом такой конструкции относительно других конструкций ревербератора является ее способность эффективно генерировать и применять несколько некоррелированных сигналов реверберации к нескольким входным сигналам. Эта особенность используется в серийно производимом виртуализаторе для наушников Dolby Mobile, который включает ревербератор, содержащий конструкцию на основе FDN, и пригоден для применения реверберации к каждому из каналов пятиканального звукового сигнала (содержащего левый передний, правый передний, центральный, левый окружающий и правый окружающий каналы) и фильтрации каждого реверберированного канала с использованием отличающихся пар фильтров из набора из пяти пар фильтров на основе функций моделирования восприятия звука ("HRTF"). Данный виртуализатор генерирует для каждого звукового канала уникальную импульсную характеристику реверберации.

Виртуализатор для наушников Dolby Mobile также действует в ответ на двухканальный входной звуковой сигнал, генерируя двухканальный «реверберированный» выходной звуковой сигнал (двухканальный виртуальный выходной сигнал окружающего звука, к которому применена реверберация). Когда реверберированный выходной звуковой сигнал воспроизводится парой наушников, он воспринимается барабанными перепонками слушателя как отфильтрованный HRTF, реверберированный звук из пяти громкоговорителей, находящихся в левом переднем, правом переднем, центральном, левом тыловом (окружающем) и правом тыловом (окружающем) положениях. Виртуализатор выполняет повышающее микширование сведенного двухканального входного звукового сигнала (без использования каких-либо параметров пространственных меток, принимаемых вместе с входным звуковым сигналом), генерируя пять звуковых каналов, подвергнутых повышающему микшированию, применяет реверберацию к подвергнутым повышающему микшированию каналам и выполняет понижающее микширование сигналов пяти реверберированных каналов, генерируя двухканальный реверберированный выходной сигнал виртуализатора. Реверберация для каждого канала, подвергнутого повышающему микшированию, фильтруется в отличающейся от других каналов паре фильтров HRTF.

В опубликованной заявке на патент США No. 2008/0071549 A1, опубликованной 20 марта 2008 г., описывается другая традиционная система для применения реверберации определенной формы к сведенному входному звуковому сигналу в ходе декодирования сведенного сигнала с целью генерирования сигналов отдельных каналов. В данной ссылке описывается декодер, который преобразует сведенный входной сигнал во временной области в область QMF, применяет к сведенному сигналу M(t,f) в области QMF реверберацию определенной формы, регулирует фазу реверберации, генерируя параметр реверберации для повышающего микширования каждого канала, определенного из сведенного сигнала (например, для генерирования параметра реверберации L_reverb(t,f) для повышающего микширования левого канала и параметра реверберации R_reverb(t,f) - для повышающего микширования правого канала, определенных из сведенного сигнала M(t,f)). Сведенный сигнал принимается вместе с параметрами пространственных меток (например, с параметром ICC, указывающим на корреляцию между левой и правой составляющими сведенного сигнала, и параметрами разности фаз между каналами IPDL и IPD_R). Параметры пространственных меток используются для генерирования параметров реверберации (например, L_reverb(t,f) и R_reverb(t,f)). Если метка ICC указывает на бόльшую корреляцию между левой и правой составляющими каналов сведенного сигнала, для сведенного сигнала M(t,f) генерируется реверберация меньшей величины, и реверберация большей величины генерируется из сведенного сигнала, если метка ICC указывает на меньшую корреляцию между левой и правой составляющими каналов сведенного сигнала, и, очевидно, фаза каждого из параметров корреляции регулируется (в блоке 206 или 208) в ответ на фазу, указываемую соответствующей меткой IPD. Однако реверберация используется только в качестве декоррелятора в параметрическом стереофоническом декодере (синтез «моно-стерео»), где для реконструкции взаимной корреляции между левым и правым каналами используется декоррелированный сигнал (который ортогонален M(t,f)), при этом ссылка не предлагает отдельного определения (или генерирования) отличающегося сигнала реверберации для применения к каждому дискретному каналу подвергнутого повышающему микшированию смешанного звукового сигнала, определяемого из сведенного звукового сигнала M(t,f), или к каждой линейной комбинации из множества линейных комбинаций значений отдельных каналов подвергнутого повышающему микшированию смешанного звукового сигнала, определяемого из сведенного звукового сигнала, для каждого дискретного канала подвергнутого повышающему микшированию смешанного звукового сигнала или каждой из указанных линейных комбинаций.

Автор изобретения принял во внимание, что может потребоваться отдельное определение (и генерирование) отличающихся сигналов реверберации для каждого из дискретных каналов подвергнутого повышающему микшированию смешанного звукового сигнала, определяемого из сведенного звукового сигнала, из каждого из дискретных каналов смешанного выходного сигнала, подвергнутого повышающему микшированию, или определение и генерирование отличающихся сигналов реверберации для (и из) каждой линейной комбинации из множества комбинаций значений указанных дискретных каналов. Автор изобретения также принял во внимание, что при указанном отдельном определении сигналов реверберации для отдельных каналов смешанного выходного сигнала, подвергнутого повышающему микшированию (или линейных комбинаций значений указанных каналов), реверберация, обладающая отличающейся импульсной характеристикой реверберации, может применяться к каналам смешанного выходного сигнала, подвергнутого повышающему микшированию (или к линейным комбинациям).

До настоящего изобретения параметры пространственных меток, принимаемые вместе со сведенным звуковым сигналом, не использовались также и для генерирования дискретных каналов смешанного выходного сигнала, подвергнутого повышающему микшированию, из сведенного звукового сигнала (например, в области QMF, где сведенный звуковой сигнал представляет собой звуковой сигнал, кодированный MPS) или линейных комбинаций его значений, и для генерирования реверберации из каждого указанного канала смешанного сигнала, подвергнутого повышающему микшированию (или их линейной комбинации), отдельно с целью применения к указанному каналу смешанного звукового сигнала, подвергнутого повышающему микшированию (или к их линейной комбинации). Также не существовало реверберированных каналов смешанного сигнала, подвергнутого повышающему микшированию, которые бы генерировались таким способом и рекомбинировались, генерируя реверберированный сведенный звуковой сигнал из входного сведенного звукового сигнала.

КРАТКОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

В одном из классов вариантов осуществления изобретения, изобретение представляет собой способ применения реверберации к М-канальному сведенному входному звуковому сигналу, указывающему на Х отдельных звуковых каналов, где Х - число больше М. В этих вариантах осуществления изобретения способ включает следующие этапы:

(а) в ответ на параметры пространственных меток, указывающие на (например, описывающие) пространственное изображение сведенного входного сигнала, генерирование Y дискретных сигналов реверберированного канала (например, в области квадратурного зеркального фильтра, или "QMF"), где каждый сигнал реверберированного канала в некоторый момент времени t представляет собой линейную комбинацию, по меньшей мере, подмножества значений X отдельных звуковых каналов в момент времени t; и

(b) отдельное применение реверберации к каждому из, по меньшей мере, двух сигналов реверберированного канала (например, в области QMF) путем создания обратной связи запаздывающей версии соответствующего сигнала реверберированного канала с каждым из сигналов реверберированного канала, и, таким образом, генерирование Y сигналов реверберированного канала. Предпочтительно, реверберация, применяемая к, по меньшей мере, одному из сигналов реверберированного канала, имеет импульсную характеристику реверберации, которая отличается от импульсной характеристики реверберации, применяемой к, по меньшей мере, еще одному сигналу реверберированного канала. В некоторых вариантах осуществления, X=Y, но в других вариантах осуществления X не равен Y. В некоторых вариантах осуществления изобретения Y больше М, и входной сигнал на этапе (а) является подвергнутым повышающему микшированию в ответ на параметры пространственных меток с целью генерирования Y сигналов реверберированного канала. В других вариантах осуществления изобретения Y равен М, или Y меньше M.

Например, в одном из случаев, где M=2, X=5, Y=4, входной сигнал представляет собой последовательность значений L(t), R(t), указывающих на сигналы пяти отдельных каналов L_front, R_front, C, L_sur и R_sur. Каждый из сигналов пяти отдельных каналов представляет собой последовательность значений

где W - матрица повышающего микширования MPEG Surround, имеющая форму:

а четыре сигнала реверберированных каналов представляют собой сигналы (g_lfw₁₁)L+(g_lfw₁₂)R, (g_rfw₂₁)L+(g_rfw₂₂)R, (g_lsw₁₁)L+(g_lsw₁₂)R и (g_rsw₂₁+w₃₁)L+(g_rsw₂₂+w₃₂)R, которые могут быть представлены следующим образом:

где

В некоторых вариантах осуществления изобретения, где входной сигнал представляет собой М-канальный сведенный сигнал MPEG Surround ("MPS"), этапы (а) и (b) выполняются в области QMF, и параметры пространственных меток принимаются вместе с входным сигналом. Например, параметры пространственных меток могут представлять собой или включать в себя параметры разности уровней каналов (CLD) и/или параметры коэффициента предсказания канала (CPC), относящиеся к типу, составляющему часть традиционного битового потока MPS. Если входной сигнал представляет собой сведенный сигнал MPS во временной области, изобретение, как правило, включает этап преобразования этого сигнала из временной области в область QMF с целью генерирования частотных составляющих области QMF и выполнение этапов (а) и (b) в области QMF на этих частотных составляющих.

Необязательно, способ также включает этап генерирования N-канальной сведенной версии Y сигналов реверберированного канала (включая каждый из сигналов канала, к которому применялась реверберация, и, если они имеют место, каждый из сигналов канала, к которому реверберация не применялась), например, путем кодирования сигналов реверберированного канала в виде N-канального сведенного сигнала MPS.

В типичных вариантах осуществления способа изобретения входной сведенный сигнал представляет собой двухканальный сведенный сигнал MPEG Surround ("MPS"), указывающий на пять отдельных звуковых каналов (левый передний, правый передний, центральный, левый окружающий и правый окружающий каналы), и реверберация определяется отличающимися импульсными характеристиками реверберации, применяемыми к, по меньшей мере, некоторым из этих пяти каналов, что в результате обеспечивает улучшенное качество окружающего звука.

Предпочтительно, способ изобретения также включает этап применения к сигналам реверберированного канала соответствующих функций моделирования восприятия звука (HRTF) путем фильтрации сигналов реверберации каналов в фильтре HRTF. Функции HRTF применяются для того, чтобы создать условия для восприятия слушателем реверберации, применяемой в соответствии с изобретением, как звучащей более натурально.

Другие особенности изобретения представляют собой ревербератор, сконфигурированный (например, запрограммированный) для выполнения любого из вариантов осуществления способа изобретения, виртуализатор, включающий указанный ревербератор, декодер (например, декодер MPS), включающий указанный ревербератор, и компьютерный программный носитель (например, диск), на котором хранится программный код, предназначенный для реализации любого из вариантов осуществления способа изобретения.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

Фиг.1 - блок-схема системы традиционного декодера MPEG Surround.

Фиг.2 - блок-схема ревербератора (100) на основе задержки обратной связи (FDN) с несколькими входами и несколькими выходами, который может быть реализован в соответствии с одним из вариантов осуществления настоящего изобретения.

Фиг.3 - блок-схема системы ревербератора, которая включает ревербератор 100 по фиг.2, традиционный процессор 102 MPS, фильтр 99 преобразования из временной области в область QMF, предназначенный для преобразования многоканального входного сигнала в область QMF с целью обработки в ревербераторе 100 и процессоре 102, и фильтр 101 преобразования из области QMF во временную область, предназначенный для преобразования комбинированного выходного сигнала ревербератора 100 и процессора 102 во временную область.

ПОДРОБНОЕ ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Технологически осуществимы многие варианты осуществления настоящего изобретения. Из настоящего раскрытия средним специалистам в данной области станет понятно, как их реализовывать. Варианты осуществления системы изобретения, способа изобретения и носителя будут описаны с отсылкой к фиг.2 и 3.

В одном из классов вариантов осуществления изобретение представляет собой способ применения реверберации к М-канальному сведенному входящему звуковому сигналу, указывающему на Х отдельных звуковых каналов, где Х - число больше М, и система сконфигурирована для выполнения способа. В этих вариантах осуществления способ включает следующие этапы:

(a) в ответ на параметры пространственных меток, указывающие на (например, описывающие) пространственное изображение сведенного входного сигнала, генерирование Y дискретных сигналов реверберированного канала (например, в области квадратурного зеркального фильтра, или "QMF"), где каждый сигнал реверберированного канала в некоторый момент времени t представляет собой линейную комбинацию, по меньшей мере, подмножества значений X отдельных звуковых каналов в момент времени t; и

(b) отдельное применение реверберации к каждому из, по меньшей мере, двух сигналов реверберированного канала (например, в области QMF) путем создания обратной связи запаздывающей версии соответствующего сигнала реверберированного канала с каждым из сигналов реверберированного канала, и, таким образом, генерирование Y сигналов реверберированного канала. Предпочтительно, реверберация, применяемая к, по меньшей мере, одному из сигналов реверберированного канала, имеет импульсную характеристику реверберации, которая отличается от импульсной характеристики реверберации, применяемой к, по меньшей мере, еще одному сигналу реверберированного канала. В некоторых вариантах осуществления X=Y, но в других вариантах осуществления X не равен Y. В некоторых вариантах осуществления Y больше М, и входной сигнал на этапе (а) является подвергнутым повышающему микшированию в ответ на параметры пространственных меток с целью генерирования Y сигналов реверберированного канала. В других вариантах осуществления Y равен М или Y меньше M.

Фиг.2 представляет собой блок-схему ревербератора 100 на основе задержки обратной связи (FDN) с несколькими входами и несколькими выходами, а именно подсистемы применения реверберации, представляющей собой схему задержки обратной связи, которая включает Y ветвей, и каждая из ветвей сконфигурирована для отдельного применения реверберации к отличающемуся одному из сигналов реверберированного канала. Данный ревербератор может быть реализован описываемым ниже образом для выполнения указанного способа. Ревербератор 100 по фиг. 2 содержит:

матрицу 30 предварительного микширования (матрицу «В»), которая представляет собой матрицу 4×M, подключенную и сконфигурированную для приема и генерирования четырех дискретных сигналов U1, U2, U3, U4 реверберированного канала (соответствующих ветвям подачи 1', 2', 3', 4' соответственно) в ответ на М-канальный сведенный входной звуковой сигнал, включающий каналы IN1, IN2, ..., INM, которые указывают на пять (Х=5) отдельных звуковых каналов смешанного сигнала, подвергнутого повышающему микшированию. Каждый сигнал реверберированного канала в момент времени t представляет собой линейную комбинацию подмножества значений Х отдельных звуковых каналов смешанного сигнала, подвергнутого повышающему микшированию, в момент времени t. В случае, когда М меньше четырех, матрица В выполняет повышающее микширование входного сигнала для генерирования сигналов реверберированного канала. В типичном варианте осуществления М равно 2. Матрица 30 также подключена для приема параметров пространственных меток, которые указывают на (например, описывают) пространственное изображение сведенного М-канального входного сигнала и сконфигурированы для генерирования четырех (Y=4) дискретных сигналов каналов смешанного сигнала, подвергнутого повышающему микшированию, т.е. дискретных сигналов U1, U2, U3, U4 реверберированного канала, в ответ на параметры пространственных меток;

элементы 40, 41, 42, 43 суммирования, связанные с выходами матрицы 30, к которым направляются сигналы U1, U2, U3, U4 реверберированного канала. Элемент 40 сконфигурирован для суммирования выходного сигнала элемента усиления g1 (т.е. для применения обратной связи от выхода элемента g1 усиления) с сигналом U1 реверберированного канала. Элемент 41 сконфигурирован для суммирования выходного сигнала элемента g2 усиления с сигналом U2 реверберированного канала. Элемент 42 сконфигурирован для суммирования выходного сигнала элемента g3 усиления с сигналом U3 реверберированного канала. Элемент 43 сконфигурирован для суммирования выходного сигнала элемента g4 усиления с сигналом U4 реверберированного канала;

матрицу 32 (матрицу «А») рассеяния, которая подключена для приема выходных сигналов элементов 40, 41, 42, 43 суммирования. Матрица 32 предпочтительно является унитарной матрицей 4×4, сконфигурированной для направления отфильтрованной версии выходного сигнала каждого из элементов 40, 41, 42, 43 суммирования к соответствующей одной из линий задержки, где 0≤k-1≤3, и, предпочтительно, с целью обеспечения максимальной диффузности, является полностью заполненной матрицей. Линии z^-M1, z^-M2, z^-M3 и z^-M4 задержки на фиг.2 помечаются, соответственно, как линии 50, 51, 52, 53 задержки;

элементы усиления, gk, где 0≤k-1≤3, которые применяют коэффициент усиления к выходным сигналам линий задержки и, таким образом, обеспечивают коэффициенты демпфирования, предназначенные для управления временем затухания реверберации, применяемой к каждому каналу смешанного звукового сигнала, подвергнутого повышающему микшированию. Каждый элемент gk усиления, как правило, комбинируется с фильтром нижних частот. В некоторых вариантах осуществления элементы усиления применяют отличающиеся, заранее заданные коэффициенты усиления к различным полосам QMF. Сигналы R1, R2, R3, R4 реверберированного канала направляются, соответственно, к выходам элементов g1, g2, g3, g4 усиления; и

матрицу 34 (матрицу «С») постмикширования, которая представляет собой матрицу N×4, подключенную и сконфигурированную для понижающего микширования и/или повышающего микширования (и, необязательно, для выполнения других операций фильтрации) сигналов реверберированного канала R1, R2, R3, R4, направленных к выходам элементов gk усиления, в ответ на, по меньшей мере, подмножество (например, все или некоторые) параметров пространственных меток, направленных в матрицу 30, и, таким образом, для генерирования N-канального сведенного реверберированного выходного звукового сигнала в области QMF, который включает каналы S1, S2, ..., SN. В некоторых вариациях варианта осуществления по фиг.2, матрица 34 является постоянной матрицей, коэффициенты которой не изменяются во времени в ответ на любой из параметров пространственных меток.

В некоторых вариациях варианта осуществления изобретения по фиг.2 система согласно изобретению содержит Y реверберированных каналов (где Y меньше или больше четырех), матрица 30 предварительного микширования сконфигурирована для генерирования Y дискретных сигналов реверберированного канала в ответ на сведенный М-канальный входной сигнал и параметры пространственных меток, матрица 32 рассеяния замещается матрицей Y x Y, и система изобретения содержит Y линий задержки.

Например, в случае, когда Y=M=2, сведенный входной сигнал указывает на пять каналов смешанного звукового сигнала, подвергнутого повышающему микшированию (X=5): левый передний, правый передний, центральный, левый окружающий и правый окружающий каналы. Согласно настоящему изобретению, в ответ на параметры пространственных меток, указывающие на пространственное изображение сведенного входного сигнала, матрица предварительного микширования (вариация матрицы 30 по фиг.2) генерирует два дискретных сигнала реверберированного канала (например, в области квадратурного зеркального фильтра, или «QMF»): один ― для смешанного звукового сигнала передних каналов, второй ― для смешанного звукового сигнала окружающих каналов. Реверберация, имеющая кратковременную характеристику затухания, генерируется из (и применяется к) одного сигнала реверберированного канала, а реверберация, имеющая длительную характеристику затухания, генерируется из (и применяется к) второго сигнала реверберированного канала (например, для имитации помещения с акустикой типа LEDE).

Возвращаясь обратно к фиг.2, постпроцессор 36, необязательно, подключается к выходам матрицы 34 и действует, выполняя постобработку сведенного реверберированного выходного сигнала S1, S2, ..., SN матрицы 34, с целью генерирования N-канального выходного звукового сигнала, подвергнутого постобработке и содержащего каналы OUT1, ОUT2, ..., OUTN. Как правило, N=2, тогда система по фиг.2 выводит бинауральный сведенный реверберированный звуковой сигнал S1, S2 и/или бинауральный сведенный реверберированный выходной звуковой сигнал OUT, ОUT2, подвергнутый постобработке.

Например, выходной сигнал матрицы 34 в некоторых реализациях системы по фиг.2 является бинауральным виртуальным сигналом окружающего звука, который при воспроизведении наушниками воспринимается слушателем как звук, испускаемый из левого ("L"), центрального ("C") и правого ("R") передних источников (например, левой, центральной и правой физическими акустическими системами, расположенными перед слушателем) и из левого окружающего ("LS") и правого окружающего ("RS") тыловых источников (например, левой и правой физическими акустическими системами, расположенные позади слушателя).

В некоторых вариациях системы по фиг. 2 матрица 34 постмикширования пропускается, и ревербератор согласно изобретению выводит Y-канальный реверберированный звуковой сигнал (например, реверберированный звуковой сигнал, подвергнутый повышающему микшированию) в ответ на М-канальный сведенный входной звуковой сигнал. В других вариациях матрица 34 представляет собой единичную матрицу. В других вариантах система содержит Y каналов смешанного звукового сигнала, подвергнутого повышающему микшированию (где Y ― число больше четырех), а матрица 34 представляет собой матрицу N×Y (например, Y=7).

Несмотря на то что система по фиг.2 содержит четыре реверберированных канала и четыре линии задержки, вариации системы (и другие варианты осуществления ревербератора