Устройство для формирования улучшенного сигнала микширования с понижением, способ формирования улучшенного сигнала микширования с понижением и компьютерная программа

Устройство для формирования улучшенного сигнала микширования с понижением, способ формирования улучшенного сигнала микширования с понижением и компьютерная программа

Иллюстрации

Показать все

Реферат

Решения согласно изобретению связаны с устройством для формирования улучшенного сигнала микширования с понижением, способом формирования улучшенного сигнала микширования с понижением и компьютерной программой формирования улучшенного сигнала микширования с понижением.

Решение согласно изобретению связано с вычислением улучшенного сигнала микширования с понижением для аудио микрофонов, расположенных в пространстве.

Запись звука окружения с небольшой конфигурацией микрофонов остается проблемой. Одной из таких наиболее широко известных конфигураций является микрофон «Звуковое поле» и соответствующие декодеры окружения (см., например, ссылку [3]), которые фильтруют и объединяют эти четыре почти совпадающие точечные микрофонные сигналы для формирования выходных каналов звука окружения. Слабость этого подхода заключается в ограниченном разделении каналов, связанном с ограниченной направленностью микрофонных направленных откликов первого порядка, в то время как высокая точность одноканального сигнала сохраняется.

В качестве альтернативы могут быть применены способы, основанные на параметрическом представлении наблюдаемой звуковой области. В [2] был предложен способ, использующий обычные одинаковые пары стерео микрофонов, чтобы сделать запись звука окружения. Было показано, как оценить пространственные параметры звука прямозвуковые-диффузнозвуковые-отношения и направления-прибытия звука от этих направленных микрофонов, и как использовать эту информацию, чтобы заставить пространственный кодирующий аудио синтез сформировать звук окружения. В [2] было также обсуждено, как параметрическая информация, то есть направление-прибытия звука (DOA) и диффузионно-звуковое-отношение (DSR) звуковой области может быть использовано, чтобы непосредственно рассчитать определенные пространственные параметры, которые используются в кодирующей схеме MPEG окружения (MPS) (см., например, ссылку [6]).

MPEG окружение является параметрическим представлением многоканальных аудио сигналов, представляя эффективный подход к высококачественному пространственному аудио кодированию. В MPS используется тот факт, что с перцепционной точки зрения многоканальные аудио сигналы содержат существенную избыточность в отношении различных каналов громкоговорителей. Кодирующее устройство MPS получает в качестве входных множество сигналов громкоговорителей, где соответствующая пространственная конфигурация громкоговорителей должна быть известна заранее. Основанное на этих входных сигналах кодирующее MPS устройство вычисляет пространственные параметры в частотных подгруппах, таких как: различия в уровне канала между двумя каналами (CLD) и межканальная корреляция между двумя каналами (ICC). Тогда фактическая MPS информация о стороне получается из этих пространственных параметров. Кроме того, кодирующее устройство вычисляет микшированный сигнал с понижением, который может состоять из одного или более аудио каналов.

Было обнаружено, что стерео входные сигналы микрофона хорошо подходят, чтобы оценить пространственные параметры звука. Однако было также обнаружено, что необработанный входной сигнал стерео микрофона вообще плохо подходит, чтобы непосредственно использоваться в качестве соответствующего сигнала микширования с понижением MPEG окружения. Было найдено, что во многих случаях перекрестная связь между левым и правым каналами слишком велика, что приводит к плохому разделению каналов в декодированных сигналах MPEG окружения.

Ввиду этой ситуации есть потребность в концепции формирования улучшенного сигнала микширования с понижением на основе многоканального микрофонного сигнала, такого, что улучшенный сигнал микширования с понижением приводит к достаточно хорошему пространственному качеству звука и свойству локализации после декодирования MPEG окружения.

Эта цель достигается предлагаемым устройством для того, чтобы сформировать улучшенный сигнал микширования с понижением, предлагаемым способом для того, чтобы сформировать улучшенный сигнал микширования с понижением, и предлагаемой компьютерной программой для того, чтобы сформировать улучшенный сигнал микширования с понижением.

Решение согласно изобретению создает устройство для того, чтобы сформировать улучшенный сигнал микширования с понижением на основе многоканального микрофонного сигнала. Устройство включает пространственный анализатор, выполненный с возможностью вычислить на базе многоканального микрофонного сигнала ряд пространственных параметров звука, включающих информацию о направлении, описывающую направление прибытия прямого звука, информацию о мощности прямого звука и информацию о мощности диффузного звука. Устройство также включает калькулятор фильтра для того, чтобы вычислить параметры фильтра расширения в зависимости от информации о мощности прямого звука и информации о диффузионной мощности звука. Устройство также включает фильтр для того, чтобы фильтровать микрофонный сигнал, или сигнал, полученный из микрофонного, используя параметры фильтра расширения, чтобы получить улучшенный сигнал микширования с понижением.

Это решение согласно изобретению основано на открытии того, что улучшенный сигнал микширования с понижением, который подходит лучше, чем входной многоканальный микрофонный сигнал, может быть получен из входного многоканального микрофонного сигнала операцией фильтрования, и что параметры фильтра для такой операции фильтрования, улучшающей сигнал, могут быть эффективно получены из пространственных параметров звука.

Соответственно для вычисления улучшенных параметров фильтра можно снова использовать ту же самую информацию, а именно, пространственные параметры звука, которые являются также подходящими для получения параметров MPEG окружения. Соответственно, может быть создана чрезвычайно эффективная система, используя вышеописанную концепцию.

Более того, возможно получить сигнал микширования с понижением, который учитывает хорошее разделение каналов при обработке декодером MPEG окружения, даже если сигналы канала многоканального микрофонного сигнала включают только низкое пространственное разделение. Соответственно, улучшенный сигнал микширования с понижением может привести к значительно улучшенному пространственному качеству звука и свойству локализации после декодирования MPEG окружения по сравнению с обычными системами.

Чтобы подвести итог, вышеописанное решение согласно изобретению позволяет обеспечивать улучшенный сигнал микширования с понижением, имеющий хорошие пространственные свойства разделения при умеренной вычислительной сложности.

В предпочтительном решении калькулятор фильтра выполнен с возможностью вычислить параметры фильтра расширения, таким образом, что улучшенный сигнал микширования с понижением приближается к желаемому сигналу микширования с понижением. Используя этот подход можно обеспечить, чтобы параметры фильтра расширения были хорошо приспособлены к желаемому результату фильтрования. Например, параметры фильтра расширения могут быть вычислены таким образом, чтобы одно или более статистических свойств улучшенного сигнала микширования с понижением аппроксимировали желаемые статистические свойства сигнала микширования с понижением. Соответственно может быть достигнуто, чтобы улучшенный сигнал микширования с понижением был хорошо приспособлен к ожиданиям, где ожидания могут быть определены в цифровой форме с точки зрения желаемых величин корреляции.

В предпочтительном решении калькулятор фильтра выполнен с возможностью вычислить желаемые величины корреляции между многоканальным микрофонным сигналом (или, более точно, сигналами этих каналов) и желаемыми сигналами канала микширования с понижением в зависимости от пространственных параметров звука. В этом случае калькулятор фильтра предпочтительно выполнен с возможностью вычислить параметры фильтра расширения в зависимости от желаемых величин взаимной корреляции. Было найдено, что указанные величины взаимной корреляции являются хорошей мерой того, показывают ли сигналы канала микширования с понижением достаточно хорошие характеристики разделения канала. Кроме того, было найдено, что желаемые величины корреляции могут быть вычислены при умеренной вычислительной сложности на основе пространственных параметров звука.

В предпочтительном решении калькулятор фильтра выполнен с возможностью вычисления желаемых величин взаимной корреляции в зависимости от зависимых от направления коэффициентов передачи, которые описывают желаемые вклады компонентов прямого звука многоканального микрофонного сигнала во множество сигналов громкоговорителя, и в зависимости от одной или более величин матрицы микширования с понижением, которые описывают желаемые вклады множества аудио каналов (например, сигналов громкоговорителя) в один или более каналов улучшенного сигнала микширования с понижением. Было найдено, что зависимые от направления коэффициенты передачи и величины матрицы микширования с понижением хорошо подходят для того, чтобы вычислить желаемые величины взаимной корреляции, и упомянутые зависимые от направления коэффициенты передачи и упомянутые величины матрицы микширования с понижением легко доступны. Более того было найдено, что желаемые величины взаимной корреляции легко доступны на основе данной информации.

В предпочтительном решении калькулятор фильтра выполнен с возможностью отобразить информацию о направлении на набор зависимых от направления коэффициентов передачи. Было обнаружено, что может использоваться закон о многоканальном амплитудном панорамировании, чтобы определить коэффициенты передачи с умеренной сложностью вычисления в зависимости от информации о направлении. Было обнаружено, что информация о направлении прибытия подходит для того, чтобы определить зависимые от направления коэффициенты передачи, которые могут описать, например, какие громкоговорители должны создать прямой звуковой компонент. Легко понять, что прямой звуковой компонент распределен между различными сигналами громкоговорителя в зависимости от информации о направлении прибытия (кратко определяемой как информация о направлении), и что относительно просто определить коэффициенты передачи, которые описывают, какой из громкоговорителей должен отдать прямой звуковой компонент. Например, правило отображения, которое используется для того, чтобы отобразить информацию о направлении на набор зависимых от направления коэффициентов передачи, может просто определить, что те громкоговорители, которые связаны с направлением прибытия могут отдать (или в основном отдать), прямой звуковой компонент, в то время как другие громкоговорители, которые связаны с другими указаниями, должны отдать только небольшую часть прямого звукового компонента или должны даже подавить прямой звуковой компонент.

В привилегированном решении калькулятор фильтра выполнен с возможностью использовать информацию о мощности прямого звука и информацию о мощности диффузного звука, чтобы вычислить желаемые величины взаимной корреляции. Было найдено, что рассмотрение полномочий обоих из названных звуковых компонентов (прямой звуковой компонент и диффузный звуковой компонент) приводит к особенно хорошему впечатлению слушания, потому что и прямой звуковой компонент и диффузный звуковой компонент могут быть должным образом назначены сигналам канала микширования с понижением (обычно многоканального).

В предпочтительном решении калькулятор фильтра выполнен с возможностью применить весовой коэффициент к информации о мощности прямого звука в зависимости от информации о направлении, и применить предопределенную надбавку, которая независима от информации о направлении к информации о мощности диффузного звука, чтобы вычислить желаемые величины взаимной корреляции. Соответственно они могут быть различны между прямыми звуковыми компонентами и диффузными звуковыми компонентами, что приводит к особенно реалистической оценке желаемых величин взаимной корреляции.

В предпочтительном решении калькулятор фильтра выполнен с возможностью решения уравнения Винера-Хопфа, чтобы получить параметры фильтра расширения. В этом случае уравнение Винера-Хопфа описывает отношения между величинами корреляции, описывающими корреляцию между различными парами каналов многоканального микрофонного сигнала, улучшенными параметрами фильтра и желаемыми величинами взаимной корреляции между сигналами канала многоканального микрофонного сигнала и желаемыми сигналами канала сигнала микширования с понижением. Было обнаружено, что решение такого уравнения Винера-Хопфа приводит к улучшенным параметрам фильтра, которые хорошо приспособлены к желаемым характеристикам корреляции сигналов канала сигнала микширования с понижением.

В предпочтительном решении калькулятор фильтра выполнен с возможностью вычисления улучшенных параметров фильтра в зависимости от модели желаемых каналов микширования с понижением. Моделируя желаемые каналы микширования с понижением, параметры фильтра расширения могут быть вычислены таким образом, что они приводят к сигналу микширования с понижением, который учитывает хорошую реконструкцию желаемых многоканальных сигналов громкоговорителя в многоканальном декодере.

В некоторых решениях модель желаемых каналов микширования с понижением, может включать модель идеального микширования с понижением, которое было бы выполнено, если бы сигналы канала (например, сигналы громкоговорителя) были бы доступны индивидуально. Более того, моделирование может включать модель того, как отдельные сигналы канала могут быть получены из многоканального микрофонного сигнала, даже если многоканальный микрофонный сигнал включает сигналы канала, имеющие только ограниченное пространственное разделение. Соответственно, полная модель желаемого канала микширования с понижением может быть получена, например, путем объединения моделей получения отдельных сигналов канала (например, сигналов громкоговорителя) и моделей получения желаемых каналов микширования с понижением из указанных отдельных сигналов капала. Таким образом, это достаточно хороший способ для вычисления улучшенных параметров фильтра, при относительно небольшой вычислительной сложности.

В предпочтительном решении калькулятор фильтра выполнен с возможностью выборочно выполнить одноканальное фильтрование, где первый канал сигнала микширования с понижением получен фильтрованием первого канала многоканального микрофонного сигнала, и где второй канал сигнала микширования с понижением получен фильтрованием второго канала многоканального микрофонного сигнала, избегая взаимного влияния первого канала многоканального микрофонного сигнала на второй канал сигнала микширования с понижением и второго канала многоканального микрофонного сигнала на первый канал сигнала микширования с понижением, или двухканальное фильтрование, где первый канал сигнала микширования с понижением получен путем фильтрации первого и второго каналов многоканального микрофонного сигнала, и где второй канал сигнала микширования с понижением получен путем фильтрации первого и второго каналов многоканального микрофонного сигнала.

Выбор одноканального фильтрования и двухканального фильтрования зависит от величины корреляции, описывающей корреляцию между первым каналом многоканального микрофонного сигнала и вторым каналом многоканального микрофонного сигнала. Выбирая между одноканальным фильтрованием и двухканальным фильтрованием, можно избежать численных ошибок, которые могут иногда появляться, если двухканальное фильтрование используется в ситуации, в которой левый и правый каналы сильно коррелированны. Соответственно, хорошее качество сигнала микширования с понижением может быть получено независимо от того, коррелированны ли сигналы канала многоканального микрофонного сигнала сильно или нет.

Другое решение согласно изобретению создает способ для того, чтобы создать улучшенный сигнал микширования с понижением.

Другое решение согласно изобретению создает компьютерную программу для того, чтобы выполнить способ формирования улучшенного сигнала микширования с понижением.

Способ и компьютерная программа основаны на тех же самых результатах, что и устройство и к ним могут быть добавлены любая из особенностей и функциональностей, обсужденных относительно устройства.

Краткое описание иллюстраций

Решения согласно данному изобретению будут описаны впоследствии со ссылками на иллюстрации, где:

на фиг.1 показана блок-схема устройства для того, чтобы сформировать улучшенный сигнал микширования с понижением, согласно решению изобретения;

на фиг.2 показана графическая иллюстрация пространственной аудио обработки микрофонного сигнала, согласно решению изобретения;

На фиг.3 показана графическая иллюстрация вычисления улучшенного микширования с понижением, согласно решению изобретения;

на фиг.4 показана графическая иллюстрация отображения канала для вычисления желаемых сигналов микширования с понижением Y₁ и Y₂, которые могут использоваться в решениях согласно изобретению;

на фиг.5 показана графическая иллюстрация вычисления улучшенного микширования с понижением, основанного на предварительно обработанных микрофонных сигналах, согласно решению изобретения;

на фиг.6 показано схематическое представление вычислений для того, чтобы получить параметры фильтра расширения из многоканального микрофонного сигнала, согласно решению изобретения; и

на фиг.7 показано схематическое представление вычислений для того, чтобы получить параметры фильтра расширения из многоканального микрофонного сигнала, согласно другому решению изобретения.

Подробное описание решений

1. Устройство для формирования улучшенного сигнала микширования с понижением согласно фиг.1

На фиг.1 показана блок-схема устройства 100 для того, чтобы сформировать улучшенный сигнал микширования с понижением на основе многоканального микрофонного сигнала. Устройство 100 выполнено с возможностью получить многоканальный микрофонный сигнал 110 и обеспечить на его основе улучшенный сигнал микширования с понижением 112. Устройство 100 включает пространственный анализатор 120 выполненный с возможностью вычислить ряд пространственных параметров звука 122 на основе многоканального микрофонного сигнала 110. Пространственные параметры звука, как правило, включают информацию о направлении, описывающую направление прибытия прямого звука (который включен в многоканальный микрофонный сигнал), информацию о мощности прямого звука и о мощности диффузного звука. Устройство 100 также включает калькулятор фильтра 130 для того, чтобы вычислить параметры фильтра расширения 132 в зависимости от пространственных параметров звука 122, то есть в зависимости от информации о направлении, описывающей направление прибытия прямого звука, в зависимости от информации о мощности прямого звука и в зависимости информации о мощности диффузного звука. Устройство 100 также включает фильтр 140 для того, чтобы фильтровать микрофонный сигнал 110, или сигнал 110', полученный из микрофонного сигнала, используя параметры фильтра расширения 132, чтобы получить улучшенный сигнал микширования с понижением 112. Сигнал 110' может быть получен из многоканального микрофонного сигнала 110, используя дополнительную предварительную обработку 150.

Относительно функциональности устройства 100 можно отметить, что по сравнению с многоканальным микрофонным сигналом 110 улучшенный сигнал микширования с понижением 112, как правило, обеспечивается таким образом, что улучшенный сигнал микширования с понижением 112, учитывает улучшенное пространственное качество звука после декодирования MPEG окружения, потому что для достижения этой цели параметры фильтра расширения 132, как правило, обеспечиваются калькулятором фильтра 130. Предоставление улучшенных параметров фильтра 130 основано на пространственных параметрах звука 122 обеспеченных пространственным анализатором так, что параметры фильтра расширения 130 формируются в соответствии с пространственной особенностью многоканального микрофонного сигнала 110, и чтобы подчеркнуть пространственную особенность многоканального микрофонного сигнала 110. Соответственно, фильтрование, выполненное фильтром 140, учитывает адаптивное к сигналу улучшение пространственной особенности улучшенного сигнала микширования с понижением 112 при сравнении с входным многоканальным микрофонным сигналом 110.

Детали относительно пространственного анализа, выполненного пространственным анализатором 120, относительно вычисления параметра фильтра, выполненного калькулятором фильтра 130 и относительно фильтрования, выполненного фильтром 140, будут описаны более подробно далее.

2. Устройство для формирования улучшенного сигнала микширования с понижением согласно фиг.2.

На фиг.2 показан блок-схема устройства 200 для того, чтобы сформировать улучшенный сигнал микширования с понижением (который может принять форму двухканального аудио сигнала), и ряд пространственных звуков, связанных с сигналом микширования с повышением, имеющим более двух каналов. Устройство 200 включает микрофонное устройство 205, выполненное с возможностью обеспечить двухканальный сигнал микрофона, включающий сигнал первого канала 210а и сигнал второго канала 210b.

Устройство 200 далее включает процессор 216 для того, чтобы обработать ряд пространственных звуков, связанных с сигналом микширования с повышением, имеющим более двух каналов на базе микрофонного сигнала с двумя каналами. Процессор 216 также выполнен с возможностью сформировать параметры фильтра расширения 232. Процессор 216 выполнен с возможностью получить в качестве входных сигнал первого канала 210а и сигнал второго канала 210b, обеспеченный микрофонным устройством 205. Устройство 216 выполнено с возможностью сформировать параметры фильтра расширения 232 и также предоставить пространственную информацию о звуке 262. Устройство 200 далее включает поставщика двухканального аудио сигнала 240, который выполнен с возможностью получить сигнал первого канала 210а и сигнал второго канала 210b, обеспеченный микрофонным устройством 205 и сформировать обработанные версии сигнала микрофона первого канала 210а и сигнала микрофона второго канала 210b в виде двухканального аудио сигнала 212, включающего сигналы каналов 212а, 212b.

Микрофонное устройство 205 включает первый направленный микрофон 206 и второй направленный микрофон 208. Первый направленный микрофон 206 и второй направленный микрофон 208 предпочтительно располагаются на расстоянии не больше чем 30 см. Соответственно сигналы, полученные первым направленным микрофоном 206 и вторым направленным микрофоном 208, сильно коррелированны, что, как было обнаружено, выгодно для вычисления анализатором сигнала 220 составляющей информации об энергии (или составляющей информации о мощности) 122а и информации о направлении 122b. Однако первый направленный микрофон 206 и второй направленный микрофон 208 ориентируются таким образом, что направленная характеристика 209 второго направленного микрофона 208 является повернутой версией направленной характеристики 207 первого направленного микрофона 206. Соответственно, сигнал микрофона первого канала 210а и сигнал микрофона второго канала 210b сильно коррелированны (из-за пространственной близости микрофонов 206, 208), но все же отличаются (из-за различных направленных характеристик 207, 209 направленных микрофонов 206, 208). В частности в случае направленного сигнала с приблизительно постоянного направления на микрофонное устройство 205 вызываются сильно коррелированные компонент сигнала микрофона первого канала 210а и сигнала микрофона второго канала 210b, имеющего постоянное во времени зависимое от направления отношение амплитуд (или отношение интенсивностей). В случае падения на микрофонное устройство 205 окружающего аудио сигнала с переменных во времени направлений приводит к существенной корреляции компонент сигнала микрофона первого канала 210а и сигнала микрофона второго канала 210, но к флуктуирующему во времени отношению амплитуд (или отношению интенсивностей). Соответственно, микрофонное устройство 205 обеспечивает двухканальный микрофонный сигнал 210а, 210b, который позволяет анализатору сигнала 220 из процессора 216 различить прямой звук и диффузный звук даже при условии, что микрофоны 206, 208 расположены близко. Таким образом, устройство 200 состоит из поставщика аудио сигнала, который может быть реализован в пространственно компактной форме, и который, однако, способен к обеспечению пространственных звуков, связанных с сигналом микширования с повышением, имеющим более двух каналов.

С использованием пространственного аудио декодера пространственные звука 262 могут использоваться в сочетании с сформированным двухканальным аудио сигналом 212а, 212b, чтобы обеспечить выходной сигнал звукового окружения ("звука вокруг").

Далее будут даны некоторые дальнейшие объяснения относительно устройства 200. Устройство 200 может включать микрофонное устройство 205, которое обеспечивает сигнал первого канала 210а и сигнал второго канала 210b. Сигнал первого канала 210а также определяется с x₁(t), и сигнал второго канала 210b определяется с x₂(t). Нужно также отметить, что сигнал первого канала 210а и сигнал второго канала 210b могут представлять многоканальный микрофонный сигнал 110, который поступает в устройство 100 согласно фиг.1.

Поставщик двухканального аудио сигнала 240 получает сигнал первого канала 210а и сигнал второго канала 210b, и, как правило, также получает информацию об улучшенном параметре фильтра 232. Поставщик двухканального аудио сигнала 240 может, например, выполнить функцию дополнительной предварительной обработки 150 и фильтра 140, чтобы обеспечить двухканальный аудио сигнал 212, который представлен сигналом первого канала 212а и сигналом второго канала 212b. Двухканальный аудио сигнал 212 может быть эквивалентным улучшенному сигналу микширования с понижением 112, созданному устройством 100 на фиг.1.

Анализатор сигнала 220 может быть выполнен с возможностью получить сигнал первого канала 210а и сигнал второго канала 210b. Кроме того, анализатор сигнала 220 может быть выполнен с возможностью получить компоненты информации об энергии 122а и информации о направлении 122b на основе двухканального микрофонного сигнала 210, то есть на основе сигнала первого канала 210а и сигнала второго канала 210b. Предпочтительно, анализатор сигнала 220 выполнен с возможностью получить компоненты информации о энергии 122а и информации о направлении 122b таким образом, что компонента информации о энергии 122а описывает оценку энергий (или, эквивалентно, мощностей) прямой компоненты звукового двухканального микрофонного сигнала и диффузной компоненты звукового микрофонного двухканального сигнала, и таким образом, что информация о направлении 122 описывает оценку направления, из которого исходит прямой звуковой компонент двухканального микрофонного сигнала 210а, 210b. Соответственно, анализатор сигнала 220 может иметь функцию пространственного анализатора 120, и компоненты информации об энергии 122а и информации о направлении 122b, могут быть эквивалентны пространственным параметрам звука 122. Компонента информации об энергии 122а может быть эквивалентна информации о мощности прямого звука и информации о мощности диффузного звука. Процессор 216 также включает генератор пространственной информации о стороне 260, который получает компоненты информации об энергии 122а и информации о направлении 122b от анализатора сигнала 220. Генератор пространственной информации о стороне 260 выполнен с возможностью обеспечить, на основе этого, пространственную информацию о звуке 262. Предпочтительно, генератор пространственной информации о стороне 260 выполнен с возможностью отобразить компоненту информации об энергии 122а двухканального микрофонного сигнала 210а, 210b и информацию о направлении 122b двухканального микрофонного сигнала 210а, 210b на пространственную информацию о звуке 262. Соответственно, пространственная информация о стороне 262 получена таким образом, что пространственная информация о звуке 262 описывает ряд пространственных звуков, связанных с аудио сигналом микшированным с повышением, имеющим более двух каналов.

Процессор 216 имеет в вычислительном отношении очень эффективное вычисление пространственной информации о звуке 262, которое связано с аудио сигналом микшированным с повышением, имеющим более двух каналов, на основе двухканального микрофонного сигнала 210а, 210b. Анализатор сигнала 220 способен к извлечению большого количества информации из двухканального микрофонного сигнала, а именно, компонента информации об энергии 122а, описывающего как оценку энергий прямой компоненты звукового двухканального микрофонного сигнала, так и диффузной компоненты звукового микрофонного двухканального сигнала, и информации о направлении 122b, описывающей оценки направления, из которого исходит прямой звуковой компонент микрофонного двухканального сигнала. Было обнаружено, что эта информация, которая может быть получена анализатором сигнала 220 на основе двухканального микрофонного сигнала 210а, 210b, достаточна, чтобы получить пространственную информацию о звуке 262 даже для микшированного с повышением аудио сигнала, имеющего более двух каналов. Важно, что было установлено, что компоненты информации об энергии 122а и информации о направлении 122b достаточны для непосредственного определения пространственной информации о звуке 262, без фактического использования микширования аудио каналов с повышением в качестве промежуточных данных.

Кроме того процессор 216 включает калькулятор фильтра 230, который выполнен с возможностью получить компоненты информации об энергии 122а и информации о направлении 122b и обеспечить на их основе информацию об улучшенном параметре фильтра 232. Соответственно, калькулятор фильтра 230 может иметь функцию калькулятора фильтра 130.

Суммируя сказанное, устройство 200 способно эффективным способом определить как улучшенный сигнал микширования с понижением 212, так и пространственную информацию о звуке 262, используя в обоих случаях ту же самую промежуточную информацию 122а, 122b. Кроме того, нужно отметить, что устройство 200 выполнено с возможностью использования пространственно небольшого микрофонного устройства 205, чтобы получить и (улучшенный) микшированный с понижением сигнал 212, и пространственную информацию о звуке 262. Из-за вычисления улучшенных параметров фильтра 232 калькулятором фильтра 230, микшированный с понижением сигнал 212 включает особенно хорошую пространственную характеристику разделения, несмотря на использование маленького микрофонного устройства 205 (которое может быть частью устройства 200 или которое может быть внешним к устройству 200, но связано с устройством 200). Соответственно, взятый в сочетании с пространственной информацией о звуке 262, (улучшенный) микшированный с понижением сигнал 212 может быть подходящим для пространственного представления (например, при использовании декодера MPEG окружения).

Подводя итог, на фиг.2 показана блок-схема пространственного микрофонного аудио подхода. Как видно, входные сигналы стерео микрофона 210а (также определяемый как x₁(t)), и 210b (также определяемый как Х₂(t)) используются в блоке 216, чтобы вычислить набор пространственной информации о звуке 262 связанный с многоканальным сигналом микширования с повышением (например, двухканальный аудио сигнал 212). Кроме того, обеспечивается двухканальный сигнал микширования с понижением 212.

В следующих разделах будут описаны необходимые шаги для определения пространственной информации о звуке 262 на базе анализа микрофонных стерео сигналов. Здесь, будет сделана ссылка на презентацию [2].

3. Анализ стерео сигнала.

Далее будет описан анализ стерео сигнала, который может быть выполнен пространственным анализатором 120 или анализатором сигнала 220. Следует отметить, что в некоторых решениях, в которых есть больше, чем два используемых микрофона, и в котором есть больше, чем два сигнала канала многоканального микрофонного сигнала, может использоваться расширенный анализ сигнала.

Описанный здесь анализ стерео сигнала, может использоваться, чтобы обеспечить пространственные параметры звука 122, которые могут принять форму компонент информации об энергии 122а и информации о направлении 122b. Следует отметить, что анализ стерео сигнала может быть выполнен в частотно временной области. Соответственно, сигналы каналов 210а, 210b многоканального микрофонного сигнала 110, 210 могут быть преобразованы в представление в частотно временной области с целью дальнейшего анализа.

Частотно временным представлением микрофонных сигналов x₁(t) и x₂(t) являются X₁(k, i) и X₂(k, i), где k и i - частотно временные индексы. Предполагается, что X₁ (k, i) и X₂ (k, i) могут быть моделироваться как

X₁(k, i)=S(k, i)+N₁(k,i)

X₂(k, i)=a(k,i)S(k,i)+N₂(k,i).

где a(k, i) коэффициент передачи, S (k, i) прямой звук в левом канале, и N₁ (k, i) и N₂(k, i) представляют диффузный звук.

Пространственное аудио кодирование (SAC) микширует с понижением сигнал 112, 212, и информация о стороне 262 вычисляется функция a, E{SS^∗}, E{N₁N₁ ^∗}, и E{N₂N₂ ^∗}, где Е{.} - операция по усреднению на коротком временном интервале, и где ^∗ обозначает сопряженное комплексное число. Эти величины получаются следующим образом.

Из (1) следует, что

E { X 1 X 1 ∗ } = E { S S ∗ } + E { N 1 N 1 ∗ } E { X 2 X 2 ∗ } = a 2 { S S ∗ } + E { N 2 N 2 ∗ } E { X 1 X 2 ∗ } = a E { S S ∗ } + E { N 1 N 2 ∗ }   .                                                           ( 2 )

Нужно отметить здесь, что E{SS^∗} можно рассматривать как прямую звуковую информацию о мощности или, эквивалентно, прямую звуковую информацию об энергии, и что Е{N1N1^∗} и Е {N2N2^∗} можно рассматривать как диффузную звуковую информацию о мощности или диффузную звуковую информацию об энергии. Е{SS^∗} и E{N1N1^∗} можно рассматривать как составляющую информации об энергии, «а» может быть рассмотрена как информация о направлении.

Предполагается, что количество диффузного звука в обоих сигналах микрофона одинаковое, то есть E{N₁N₁ ^∗}=E{N₂N₂ ^∗}=E{NN^∗}, и что Ф_diff - нормализованный коэффициент взаимной корреляции между N₁ и N₂, то есть

Ф d i f f = E { N 1 N 2 ∗ } E { N 1 N 1 ∗ } E { N 2 N 2 ∗ }                                                                      ( 3 )

Ф_diff может, например, принимать предопределенное значение, или может быть вычислен в соответствии с некотор