Генерирование бинаурального звукового сигнала в ответ на многоканальный звуковой сигнал с использованием по меньшей мере одной схемы задержки с обратной связью

Генерирование бинаурального звукового сигнала в ответ на многоканальный звуковой сигнал с использованием по меньшей мере одной схемы задержки с обратной связью

Иллюстрации

Показать все

Реферат

Перекрестная ссылка на родственные заявки

Настоящее изобретение заявляет приоритет по заявке на патент Китая №201410178258.0, поданной 29 апреля 2014 г.; предварительной заявке на патент США №61/923579, поданной 3 января 2014 г.; и предварительной заявке на патент США №61/988617, поданной 5 мая 2014 г., каждая из которых посредством ссылки полностью включается в настоящее описание.

ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯ

1. Область технического применения

Изобретение относится к способам (иногда именуемым способами виртуализации наушников) и системам для генерирования бинаурального сигнала в ответ на многоканальный входной звуковой сигнал путем применения бинауральной импульсной характеристики помещения (BRIR) к каждому каналу из ряда каналов (например, ко всем каналам) этого входного сигнала. В некоторых вариантах осуществления изобретения по меньшей мере одна схема задержки с обратной связью (FDN) применяет часть поздней реверберации BRIR сведенного сигнала к этому сведенному сигналу каналов.

2. Предпосылки изобретения

Виртуализация наушников (или бинауральное представление) представляет собой технологию, преследующую цель создания впечатления окружающего звука, или звукового поля с эффектом присутствия, при использовании стандартных стереофонических наушников.

Ранние виртуализаторы наушников применяли для передачи пространственной информации при бинауральном представлении передаточную функцию слухового аппарата человека (HRTF). HRTF представляет собой ряд зависящих от направления и расстояния пар фильтров, характеризующих то, как звук передается из конкретной точки в пространстве (из местоположения источника звука) в оба уха слушателя в безэховых условиях. В представляемом бинауральном содержимом, фильтрованном посредством HRTF, могут восприниматься такие существенные пространственные метки, как интерауральная разность времени прихода (ITD), интерауральная разность уровней (ILD), теневой эффект головы, спектральные пики и провалы, вызванные отражениями от плеч и ушных раковин. По причине ограничения размера головы человека, функции HRTF не обеспечивают достаточные или устойчивые к ошибкам метки в отношении расстояния до источника за пределами, приблизительно, одного метра. Как результат, виртуализаторы, основывающиеся единственно на HRTF, обычно не достигают хорошей экстернализации или воспринимаемого расстояния.

Большинство акустических явлений в нашей повседневной жизни случается в реверберирующих условиях, в которых, в дополнение к моделируемому посредством HRTF прямому пути (от источника к уху), звуковые сигналы также достигают ушей слушателя по путям различных отражений. Отражения оказывают сильное воздействие на слуховое восприятие, например, расстояния, размера помещения и других определяющих признаков пространства. Для передачи этой информации, виртуализатору при бинауральном представлении, в дополнение к меткам в HRTF прямого пути, необходимо применять реверберацию в помещении. Бинауральная импульсная характеристика помещения (BRIR) характеризует трансформацию звуковых сигналов на пути от конкретной точки в пространстве к ушам слушателя в конкретных акустических условиях. Теоретически, характеристики BRIR включают все акустические метки, относящиеся к пространственному восприятию.

На фиг. 1 изображена блок-схема одного из типов традиционного виртуализатора наушников, выполненного с возможностью применения бинауральной импульсной характеристики помещения (BRIR) к каждому широкополосному каналу (X₁, ..X_N) многоканального входного звукового сигнала. Каждый из каналов X₁, ..X_N представляет собой канал динамика, соответствующий отличающемуся направлению источника относительно предполагаемого слушателя (т.е. направлению прямого пути из предполагаемого положения соответствующего динамика в предполагаемое положение слушателя), и каждый такой канал подвергается свертке посредством BRIR для соответствующего направления источника. Необходимо осуществить имитацию акустической траектории из каждого канала. Поэтому в оставшейся части данного документа термин «BRIR» будет относиться либо к одной импульсной характеристике, либо к паре импульсных характеристик, связанных с левым и правым ушами. Таким образом, подсистема 2 выполнена с возможностью свертки канала X₁ посредством BRIR₁ (BRIR для соответствующего направления звука), подсистема 4 выполнена с возможностью свертки канала X_N посредством BRIR_N (BRIR для соответствующего направления звука), и т.д. Выходной сигнал каждой подсистемы BRIR (каждой из подсистем 2, …, 4) представляет собой сигнал во временной области, содержащий левый канал и правый канал. Левоканальные выходные сигналы подсистем BRIR подвергаются микшированию в элементе 6 сложения, а правоканальные выходные сигналы подсистем BRIR подвергаются микшированию в элементе 8 сложения. Выходной сигнал элемента 6 представляет собой левый канал, L, бинаурального звукового сигнала, выходного из виртуализатора, а выходной сигнал элемента 8 представляет собой правый канал, R, бинаурального звукового сигнала, выходного из виртуализатора.

Многоканальный входной звуковой сигнал также может содержать канал низкочастотных эффектов (LFE), или сверхнизкочастотного громкоговорителя, идентифицируемый на фиг. 1 как канал «LFE». Традиционным образом, канал LFE не подвергается свертке посредством BRIR, но вместо этого подвергается ослаблению на ступени 5 усиления по фиг. 1 (например, на –3 дБ или более), а выходной сигнал ступени 5 усиления подвергается микшированию (элементами 6 и 8) поровну в каждый из каналов бинаурального выходного сигнала виртуализатора. Для выравнивания по времени выходного сигнала ступени 5 с выходными сигналами подсистем (2, ..., 4), в канале LFE может потребоваться дополнительная ступень задержки. В качестве альтернативы, канал LFE может быть просто проигнорирован (т.е. не внесен в виртуализатор или не обработан виртуализатором). Например, вариант осуществления изобретения по фиг. 2 (который будет описан ниже) просто игнорирует любой канал LFE обрабатываемого им многоканального входного звукового сигнала. Многие потребительские наушники не способны точно воспроизводить канал LFE.

В некоторых традиционных виртуализаторах входной сигнал претерпевает преобразование из временной области в частотную область в области QMF (квадратурного зеркального фильтра), генерирующее каналы частотных составляющих в области QMF. Эти частотные составляющие претерпевают фильтрацию (например, в реализациях в области QMF подсистем 2, ..., 4 по фиг. 1) в области QMF, а результирующие частотные составляющие, как правило, подвергаются обратному преобразованию во временную область (например, на завершающей ступени каждой из подсистем 2, ..., 4 по фиг. 1), и, таким образом, выходной звуковой сигнал виртуализатора представляет собой сигнал во временной области (например, бинауральный сигнал во временной области).

Вообще, каждый широкополосный канал многоканального звукового сигнала, входного в виртуализатор наушников, как предполагается, указывает на звуковое содержимое, излучаемое из источника звука в известном местоположении относительно ушей слушателя. Виртуализатор наушников выполнен с возможностью применения бинауральной импульсной характеристики помещения (BRIR) к каждому такому каналу входного сигнала. Каждая BRIR может быть разложена на две части: прямую характеристику и отражения. Прямая характеристика представляет собой HRTF, соответствующую направлению прихода сигнала (DOA) от источника звука, скорректированную посредством надлежащего коэффициента усиления и задержки, обусловленной расстоянием (между источником звука и слушателем), и, необязательно, дополненную параллактическими эффектами для малых расстояний.

Остающаяся часть BRIR моделирует отражения. Ранние отражения обычно представляют собой первичные и вторичные отражения и имеют относительно разреженное временное распределение. Важной является микроскопическая структура (например, ITD и ILD) каждого первичного или вторичного отражения. Для более поздних отражений (звука, отраженного более чем от двух поверхностей перед падением на слушателя) при увеличении количества отражений увеличивается эхоплотность, а наблюдение микроскопических определяющих признаков отдельных отражений становится затруднительным. Для еще более поздних отражений более важной становится макроскопическая структура (например, скорость затухания реверберации, интерауральная когерентность и спектральное распределение реверберации в целом). По этой причине отражения могут быть в дальнейшем сегментированы на две части: ранние отражения и поздние отражения.

Задержка прямой характеристики представляет собой расстояние от источника до слушателя, деленное на скорость звука, а ее уровень (в отсутствие стен или больших поверхностей вблизи местоположения источника) обратно пропорционален расстоянию до источника. С другой стороны, задержка и уровень поздних ревербераций в целом нечувствителен к местоположению источника. В связи с практическими соображениями, виртуализаторы могут выбирать выравнивание по времени прямых характеристик от источников на разных расстояниях и/или сжатие их динамического диапазона. Однако в BRIR следует поддерживать временное и уровневое соотношение между прямой характеристикой, ранними отражениями и поздней реверберацией.

В большинстве акустических условий эффективная длина типичной BRIR распространяется до сотен миллисекунд или дольше. Непосредственное применение характеристик BRIR требует свертки посредством фильтра c тысячами ответвлений, что дорого в вычислительном смысле. В дополнение, без параметризации хранение в памяти характеристик BRIR для положения различных источников с целью достижения достаточной пространственной разрешающей способности потребовало бы большого объема памяти. И последнее, но не менее важное, местоположения источников звука могут со временем изменяться, и/или могут со временем изменяться положение и ориентация слушателя. Точная имитация такого перемещения требует изменяющихся во времени импульсных характеристик BRIR. Надлежащая интерполяция и применение таких изменяющихся во времени фильтров может быть сложным, когда импульсные характеристики этих фильтров имеют множество ответвлений.

Для реализации пространственного ревербератора, выполненного с возможностью применения имитирующей реверберации к одному или нескольким каналам многоканального входного звукового сигнала, может быть использован фильтр, имеющий хорошо известную конструкцию фильтра, известную как схема задержки с обратной связью (FDN). Конструкция FDN проста. Она содержит несколько контуров реверберации (например, в FDN по фиг. 4 — контур реверберации, содержащий элемент g₁ усиления и линию z^-n1 задержки), при этом каждый контур реверберации имеет задержку и коэффициент усиления. В типичной реализации FDN выходные сигналы из всех контуров реверберации подвергаются микшированию посредством унитарной матрицы обратной связи, и выходные сигналы этой матрицы возвращаются обратно и подвергаются суммированию с входными сигналами в контуры реверберации. В выходные сигналы контуров реверберации могут быть внесены корректировки усиления, и эти выходные сигналы контуров реверберации (или их версии с коррекцией усиления) могут быть соответствующим образом подвергнуты повторному микшированию для многоканального или бинаурального проигрывания. Естественно звучащая реверберация может быть сгенерирована и применена FDN с компактными объемами вычислений и занимаемой памяти. Поэтому схемы FDN были использованы в виртуализаторах для дополнения прямой характеристики, создаваемой HRTF.

Например, доступный для приобретения виртуализатор наушников Dolby Mobile содержит ревербератор, имеющий конструкцию на основе FDN и приводимый в действие с целью применения реверберации к каждому каналу пятиканального звукового сигнала (содержащего левый передний, правый передний, центральный, левый окружающий и правый окружающий каналы) и для фильтрации каждого реверберированного канала с использованием отличающейся пары фильтров из ряда пар фильтров пяти передаточных функций слухового аппарата человека («HRTF»). Виртуализатор наушников Dolby Mobile также приводится в действие в ответ на двухканальный входной звуковой сигнал с целью генерирования двухканального «реверберированного» бинаурального выходного звукового сигнала (двухканального виртуального окружающего выходного звукового сигнала, к которому была применена реверберация). Когда этот реверберированный бинауральный выходной сигнал подвергается представлению и воспроизведению парой наушников, он воспринимается на барабанных перепонках слушателя как фильтрованный посредством HRTF, реверберированный звук от пяти громкоговорителей в левом переднем, правом переднем, центральном, левом заднем (окружающем) и правом заднем (окружающем) положениях. Виртуализатор выполняет повышающее микширование сведенного двухканального входного звукового сигнала (без использования каких-либо параметров пространственных меток, принимаемых вместе с входным звуковым сигналом), генерируя пять звуковых каналов, подвергнутых повышающему микшированию, применяет реверберацию к подвергнутым повышающему микшированию каналам и выполняет понижающее микширование сигналов пяти реверберированных каналов, генерируя двухканальный реверберированный выходной сигнал виртуализатора. Реверберация для каждого канала, подвергнутого повышающему микшированию, фильтруется в отличающейся от других каналов паре фильтров HRTF.

FDN в виртуализаторе может быть выполнена с возможностью достижения определенного времени затухания реверберации и эхоплотности. Однако FDN испытывает недостаток гибкости при имитации микроскопической структуры ранних отражений. Кроме того, в традиционных виртуализаторах настройка и конфигурирование схем FDN были, по большей части, эвристическими.

Виртуализаторы наушников, не имитирующие все пути отражений (ранних и поздних), неспособны достигнуть эффективной экстернализации. Авторы изобретения осознали, что виртуализаторы, использующие схемы FDN и пытающиеся имитировать все пути отражений (ранних и поздних), обычно достигают не более, чем ограниченного успеха в имитации как ранних отражений, так и поздней реверберации, и в применении их обоих к звуковому сигналу. Авторы изобретения также осознали, что виртуализаторы, использующие схемы FDN, но не обладающие способностью надлежащего управления такими пространственными акустическими определяющими признаками, как время затухания реверберации, интерауральная когерентность и отношение «прямая/поздняя», могут достигать некоторой степени экстернализации, но ценой внесения чрезмерного тембрального искажения и реверберации.

КРАТКОЕ ОПИСАНИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

В первом классе вариантов осуществления изобретение представляет собой способ генерирования бинаурального сигнала в ответ на ряд каналов (например, каждый из каналов или каждый из широкополосных каналов) многоканального входного звукового сигнала, включающий этапы: (a) применения бинауральной импульсной характеристики помещения (BRIR) к каждому каналу этого ряда (например, путем свертки каждого канала ряда посредством BRIR, соответствующей указанному каналу), посредством чего генерируются фильтрованные сигналы, что включает использование по меньшей мере одной схемы задержки с обратной связью (FDN) для применения общей поздней реверберации к сведенному сигналу (например, к монофоническому сведенному сигналу) каналов этого ряда; и (b) комбинирования этих фильтрованных сигналов для генерирования бинаурального сигнала. Как правило, для применения общей поздней реверберации к сведенному сигналу используется блок схем FDN (например, в котором каждая FDN применяет общую позднюю реверберацию к отличающейся полосе частот). Как правило, этап (а) включает этап применения к каждому каналу ряда части «прямой характеристики и ранних отражений» одноканальной BRIR для этого канала, а общая поздняя реверберация генерируется для эмуляции коллективных макроскопических определяющих признаков частей поздней реверберации по меньшей мере некоторых (например, всех) одноканальных характеристик BRIR.

Способ генерирования бинаурального сигнала в ответ на многоканальный входной звуковой сигнал (или в ответ на ряд каналов такого сигнала) в настоящем описании иногда именуют способом «виртуализации наушников», а систему, выполненную с возможностью выполнения этого способа, в настоящем описании иногда именуют «виртуализатором наушников» (или «системой виртуализации наушников», или «бинауральным виртуализатором»).

В типичных вариантах осуществления в первом классе каждая из схем FDN реализована в области блока фильтров (например, в области гибридного комплексного квадратурного зеркального фильтра (HCQMF) или в области квадратурного зеркального фильтра (QMF), или в области другого преобразования или подполос, что может включать прореживание), и в некоторых таких вариантах осуществления управление зависящими от частоты пространственными акустическими определяющими признаками бинаурального сигнала выполняется путем управления конфигурацией каждой FDN, используемой для применения поздней реверберации. Как правило, для эффективного бинаурального представления звукового содержимого многоканального сигнала, в качестве входного сигнала в схемы FDN используется монофонический сведенный сигнал каналов. Типичные варианты осуществления в первом классе включают этап коррекции коэффициентов FDN, соответствующих зависящим от частоты определяющим признакам (например, времени затухания реверберации, интерауральной когерентности, модальная плотность и отношение «прямая/поздняя»), например, путем внесения контрольных значений в схему задержки c обратной связью для задания по меньшей мере одного из следующих параметров: входного коэффициента усиления, коэффициентов усиления контуров реверберации, задержек контуров реверберации или параметров выходной матрицы для каждой FDN. Это делает возможным улучшенное согласование с акустическими условиями и более естественно звучащие выходные сигналы.

Во втором классе вариантов осуществления изобретение представляет собой способ генерирования бинаурального сигнала в ответ на многоканальный входной звуковой сигнал, содержащий каналы, путем применения бинауральной импульсной характеристики помещения (BRIR) к каждому каналу из ряда каналов входного сигнала (например, к каждому из каналов входного сигнала или к каждому широкополосному каналу входного сигнала), что включает: обработку каждого канала этого ряда в первом канале обработки данных, выполненном с возможностью моделирования и применения к каждому указанному каналу части прямой характеристики и ранних отражений одноканальной BRIR для этого канала; и обработку сведенного сигнала (например, монофонического сведенного сигнала) каналов этого ряда во втором канале обработки данных (параллельном первому каналу обработки данных), выполненном с возможностью моделирования и применения общей поздней реверберации к сведенному сигналу. Как правило, общая поздняя реверберация генерируется для эмуляции коллективных макроскопических определяющих признаков частей поздней реверберации по меньшей мере некоторых (например, всех) одноканальных характеристик BRIR. Как правило, второй канал обработки данных содержит по меньшей мере одну FDN (например, одну FDN для каждой из множества полос частот). Как правило, монофонический сведенный сигнал используется в качестве входного сигнала во все контуры реверберации каждой FDN, реализуемой вторым каналом обработки данных. Как правило, для улучшенной имитации акустических условий и создания более естественно звучащей бинауральной виртуализации, предусмотрены механизмы систематического контроля макроскопических определяющих признаков каждой FDN. Так как большинство макроскопических определяющих признаков являются зависящими от частоты, каждая FDN, как правило, реализована в области гибридного комплексного квадратурного зеркального фильтра (HCQMF), частотной области, области или в области другого блока фильтров, и для каждой полосы частот используется отличающаяся, или независимая, FDN. Главным преимуществом реализации схем FDN в области блока фильтров является то, что это позволяет применять реверберацию со свойствами реверберации, зависящими от частоты. В различных вариантах осуществления схемы FDN реализованы в любой из широкого разнообразия областей блоков фильтров с использованием любого из множества блоков фильтров, в том числе, без ограничения, действительно- или комплекснозначные квадратурные зеркальные фильтры (QMF), фильтры с импульсной характеристикой конечной длительности (фильтры FIR), фильтры с импульсной характеристикой бесконечной длительности (фильтры IIR), дискретные преобразования Фурье (преобразования DFT), (модифицированные) косинусные или синусные преобразования, вейвлетные преобразования или разделительные фильтры. В одной из предпочтительных реализаций используемый блок фильтров или преобразование включает прореживание (например, уменьшение частоты дискретизации представления сигнала в частотной области) с целью уменьшения вычислительной сложности процесса FDN.

Некоторые варианты осуществления в первом классе (и во втором классе) реализуют один или несколько из следующих признаков:

1. Реализация FDN в области блока фильтров (например, в области гибридного комплексного квадратурного зеркального фильтра) или реализация FDN в области гибридного блока фильтров и реализация фильтра поздней реверберации во временной области, что, как правило, допускает независимую коррекцию параметров и/или установок FDN для каждой полосы частот (что делает возможным быстрое и гибкое управление зависящими от частоты акустическими определяющими признаками), например, путем обеспечения возможности изменения задержек контуров реверберации в разных полосах, для того чтобы изменять модальную плотность в зависимости от частоты;

2. Конкретный способ понижающего микширования, используемый для генерирования (из многоканального входного звукового сигнала) сведенного (например, монофонического сведенного) сигнала, обрабатываемого во втором канале обработки данных, зависит от расстояния до источника каждого канала и от управления прямой характеристикой с целью поддержания надлежащего соотношения уровней и согласования по времени между прямой и поздней характеристиками;

3. Для введения фазового разнесения и увеличения эхоплотности без изменения спектра и/или тембра результирующей реверберации, во втором канале обработки данных используется фазовый фильтр (APF);

4. Для преодоления проблем, связанных с задержками, квантуемыми по узлам сетки коэффициентов понижающей дискретизации, в канале обратной связи каждой FDN в комплекснозначной многоскоростной конструкции реализованы дробные задержки;

5. В схемах FDN выходные сигналы контуров реверберации подвергаются линейному микшированию непосредственно в бинауральные каналы с использованием выходных коэффициентов микширования, заданных на основании необходимой интерауральной когерентности в каждой полосе частот. Необязательно, для достижения сбалансированной задержки между бинауральными каналами, отображение контуров реверберации в бинауральные выходные каналы является чередующимся по полосам частот. Также необязательно, к выходным сигналам контуров реверберации применяются нормирующие коэффициенты, для того чтобы выровнять их уровни и в то же время сохранить дробную задержку и полную энергию;

6. Управление зависящим от частоты временем затухания реверберации и/или модальной плотностью осуществляется путем задания надлежащих сочетаний задержек контуров реверберации и коэффициентов усиления в каждой полосе частот с целью имитации реальных помещений;

7. Для каждой полосы частот применяется один масштабный коэффициент (например, либо на входе, либо на выходе соответствующего канала обработки данных) для:

управления зависящим от частоты отношением «прямая-поздняя» (DLR), согласующимся с таковым для реального помещения (для вычисления необходимого масштабного коэффициента на основании целевого DLR и времени затухания реверберации, например, T60, может быть использована простая модель);

создания низкочастотного ослабления для подавления чрезмерных артефактов «расческа» и/или низкочастотного рокота; и/или придания характеристикам FDN формы сигнала в диффузном поле;

8. Для управления существенными определяющими признаками поздней реверберации, зависящими от частоты, такими, как время затухания реверберации, интерауральная когерентность и/или отношение «прямая/поздняя», реализованы простые параметрические модели.

Особенности изобретения включают способы и системы, выполняющие бинауральную виртуализацию (или выполненные с возможностью выполнения, или поддерживающие выполнение бинауральной виртуализации) звуковых сигналов (например, звуковых сигналов, звуковое содержимое которых состоит из каналов динамиков и/или звуковых сигналов на объектной основе).

В другом классе вариантов осуществления изобретение представляет собой способ и систему для генерирования бинаурального сигнала в ответ на ряд каналов многоканального входного звукового сигнала, что включает применение бинауральной импульсной характеристики помещения (BRIR) к каждому каналу из этого ряда, посредством чего генерируются фильтрованные сигналы, что включает использование единственной схемы задержки с обратной связью (FDN) для применения общей поздней реверберации к сведенному сигналу указанных каналов этого ряда; и в комбинировании фильтрованных сигналов для генерирования бинаурального сигнала. FDN реализована во временной области. В некоторых таких вариантах осуществления FDN во временной области содержит:

входной фильтр, содержащий вход, подключенный для приема сведенного сигнала, при этом входной фильтр выполнен с возможностью генерирования первого фильтрованного сведенного сигнала в ответ на сведенный сигнал;

фазовый фильтр, подключенный и выполненный с возможностью генерирования второго фильтрованного сведенного сигнала в ответ на первый фильтрованный сведенный сигнал;

подсистему применения реверберации, содержащую первый выход и второй выход, при этом подсистема применения реверберации содержит ряд контуров реверберации, и каждый из этих контуров реверберации имеет отличающуюся задержку, и при этом подсистема применения реверберации подключена и выполнена с возможностью генерирования первого немикшированного бинаурального канала и второго немикшированного бинаурального канала в ответ на второй фильтрованный сведенный сигнал, для внесения первого немикшированного бинаурального канала в первый выход и для внесения второго немикшированного бинаурального канала во второй выход; и

ступень фильтрации с коэффициентом интерауральной взаимной корреляции (IACC) и микширования, соединенную с подсистемой применения реверберации и выполненную с возможностью генерирования первого микшированного бинаурального канала и второго микшированного бинаурального канала в ответ на первый немикшированный бинауральный канал и второй немикшированный бинауральный канал.

Входной фильтр может быть реализован для генерирования (предпочтительно, как каскад из двух фильтров, выполненный с возможностью генерирования) первого фильтрованного сведенного сигнала так, чтобы каждая BRIR имела отношение «прямая-поздняя» (DLR), по меньшей мере, по существу, согласующееся с целевым DLR.

Каждый контур реверберации может быть выполнен с возможностью генерирования задержанного сигнала, и он может содержать фильтр реверберации (например, реализованный как полочный фильтр или как каскад полочных фильтров), подключенный и выполненный с возможностью применения коэффициента усиления к сигналу, распространяющемуся в указанном каждом из контуров реверберации, так, чтобы вызывать наличие у задержанного сигнала коэффициента усиления, по меньшей мере, по существу, согласующегося с целевым коэффициентом усиления с затуханием для указанного задержанного сигнала, в расчете на достижение целевой характеристики времени затухания реверберации (например, характеристики T₆₀) каждой BRIR.

В некоторых вариантах осуществления первый немикшированный бинауральный канал опережает второй немикшированный бинауральный канал, контуры реверберации содержат первый контур реверберации, выполненный с возможностью генерирования первого задержанного сигнала, имеющего кратчайшую задержку, и второй контур реверберации, выполненный с возможностью генерирования второго задержанного сигнала, имеющего вторую по краткости задержку, при этом первый контур реверберации выполнен с возможностью применения первого коэффициента усиления к первому задержанному сигналу, второй контур реверберации выполнен с возможностью применения второго коэффициента усиления ко второму задержанному сигналу, второй коэффициент усиления отличается от первого коэффициента усиления, и применение первого коэффициента усиления и второго коэффициента усиления в результате приводит к ослаблению первого немикшированного бинаурального канала относительно второго немикшированного бинаурального канала. Как правило, первый микшированный бинауральный канал и второй микшированный бинауральный канал указывают на заново центрированный стереофонический образ. В некоторых вариантах осуществления ступень фильтрации IACC и микширования выполнена с возможностью генерирования первого микшированного бинаурального канала и второго микшированного бинаурального канала так, чтобы указанный первый микшированный бинауральный канал и указанный второй микшированный бинауральный канал имели характеристику IACC, по меньшей мере, по существу, согласующуюся с целевой характеристикой IACC.

Типичные варианты осуществления изобретения обеспечивают простую и унифицированную инфраструктуру для поддержки как входных звуковых сигналов, состоящих из каналов динамиков, так и входных звуковых сигналов на объектной основе. В вариантах осуществления, в которых характеристики BRIR применяются к каналам входного сигнала, являющимся объектными каналами, обработка данных «прямой характеристики и ранних отражений», выполняемая в отношении каждого объектного канала, предполагает направление источника, указываемое метаданными, доставляемыми со звуковым содержимым этого объектного канала. В вариантах осуществления, в которых характеристики BRIR применяются к каналам входного сигнала, являющимся каналами динамиков, обработка данных «прямой характеристики и ранних отражений», выполняемая в отношении каждого канала динамика, предполагает направление источника, соответствующее этому каналу динамика (т.е. направлению прямого пути от предполагаемого положения соответствующего динамика к предполагаемому положению слушателя). Независимо от того, являются входные каналы объектными каналами или каналами динамиков, обработка данных «поздней реверберации» выполняется в отношении сведенного сигнала (например, в отношении монофонического сведенного сигнала) входных каналов и не предполагает какого-либо конкретного направления источника для звукового содержимого сведенного сигнала.

Другими особенностями изобретения являются виртуализатор наушников, выполненный (например, запрограммированный) с возможностью выполнения любого из вариантов осуществления изобретательского способа, система (например, стереофонический, многоканальный или другой декодер), содержащая такой виртуализатор, и машиночитаемый носитель данных (например, диск), на котором хранятся коды для реализации любого из вариантов осуществления изобретательского способа.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

На фиг. 1 изображена блок-схема традиционной системы виртуализации наушников.

На фиг. 2 изображена блок-схема системы, содержащей один из вариантов осуществления изобретательской системы виртуализации наушников.

На фиг. 3 изображена блок-схема другого варианта осуществления изобретательской системы виртуализации наушников.

На фиг. 4 изображена блок-схема FDN, относящейся к типу, заключенному в типичной реализации системы по фиг. 3.

На фиг. 5 изображен график времени затухания реверберации (T₆₀) в миллисекундах в зависимости от частоты в Гц, который может быть достигнут посредством одного из вариантов осуществления изобретательского виртуализатора, для которого значение T₆₀ на каждой из двух конкретных частот (f_A и f_B) задано следующим образом: T_60,A=320 мс при f_A=10 Гц, и T_60,B=150 мс при f_B=2,4 кГц.

На фиг. 6 изображен график интерауральной когерентности (Coh) в зависимости от частоты в Гц, который может быть достигнут посредством одного из вариантов осуществления изобретательского виртуализатора, для которого параметрам управления Coh_max, Coh_min и f_C присвоены следующие значения: Coh_max=0,95, Coh_min=0,05 и f_C=700 Гц.

На фиг. 7 изображен график отношения «прямая-поздняя» (DLR) для расстояния до источника один метр в дБ в зависимости от частоты в Гц, который может быть достигнут посредством одного из вариантов осуществления изобретательского виртуализатора, для которого параметрам управления DLR_1K, DLR_slope, DLR_min, HPF_slope и f_T присвоены следующие значения: DLR_1K=18 дБ, DLR_slope=6 дБ/10×частота, DLR_min=18 дБ, HPF_slope=6 дБ/10×частота, и f_T=200 Гц.

На фиг. 8 изображена блок-схема другого варианта осуществления подсистемы обработки данных поздней реверберации изобретательской системы виртуализации наушников.

На фиг. 9 изображена блок-схема реализации FDN во временной области, относящейся к типу, заключенному в некоторых вариантах осуществления изобретательской системы.

На фиг. 9A изображена блок-схема одного из примеров реализации фильтра 400 по фиг. 9.

На фиг. 9B изображена блок-схема одного из примеров реализации фильтра 406 по фиг. 9.

На фиг. 10 изображена блок-схема одного из вариантов осуществления изобретательской системы виртуализации наушников, в которой подсистема 221 обработки данных поздней реверберации реализована во временной области.

На фиг. 11 изображена блок-схема одного из вариантов осуществления элементов 422, 423 и 424 FDN по фиг. 9.

На фиг. 11A изображен график частотной характеристики (R1) одной из типичных реализаций фильтра 500 по фиг. 11, частотной характеристики (R2) одной из типичных реализаций фильтра 501 по фиг. 11 и частотной характеристики фильтров 500 и 501, соединенных параллельно.

На фиг. 12 изображен график характеристики IACC (кривая «I»), который может быть достигнут посредством одной из реализаций FDN по фиг. 9, и целевой характеристики IACC (кривая «I_t»).

На фиг. 13 изображен график характеристики T60, который может быть достигнут посредством одной из реализаций FDN по фиг. 9 путем должной реализации каждого из фильтров 406, 407, 408 и 409, реализуемого как полочный фильтр.

На фиг. 14 изображен график характеристики T60, который может быть достигнут посредством одной из реализаций FDN по фиг. 9 путем надлежащей реализации каждого из фильтров 406, 407, 408 и 409, реализуемого как каскад из двух полочных фильтров IIR.

Условные обозначения и терминология

Повсюду в данном раскрытии, включая формулу изобретения, выражение выполнения операции «в отношении» сигнала или данных (например, фильтрация, масштабирование, преобразование или применение коэффициента усиления к сигналам или данным) используется в широком смысле для обозначения выполнения операции непосредственно в отношении сигнала или данных или в отношении обработанной версии сигнала или данных (например, в отношении версии сигнала, который был подвергнут предварительной фильтрации или предварительной обработке перед выполнением операции в его отношении).

Повсюду в данном раскрытии, включая формулу изобретения, выражение «систе