Устройство, способ и компьютерная программа для обеспечения набора пространственных указателей на основе сигнала микрофона и устройство для обеспечения двухканального аудиосигнала и набора пространственных указателей

Устройство, способ и компьютерная программа для обеспечения набора пространственных указателей на основе сигнала микрофона и устройство для обеспечения двухканального аудиосигнала и набора пространственных указателей

Иллюстрации

Показать все

Реферат

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

Варианты осуществления согласно изобретению относятся к устройству для обеспечения набора пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов, на основе двухканального сигнала микрофона. Дополнительные варианты осуществления согласно изобретению относятся к соответствующему способу и к соответствующей компьютерной программе. Дополнительные варианты осуществления согласно изобретению относятся к устройству для обеспечения обработанного или необработанного двухканального аудиосигнала и набора пространственных указателей.

Другой вариант осуществления согласно изобретению относится к фронтальному концу микрофона для пространственных аудиокодеров.

Далее будет представлено введение в область параметрического представления аудиосигналов.

Параметрическое представление стереофонических и окружающих аудиосигналов разрабатывалось в течение нескольких предыдущих десятилетий и достигло зрелого состояния. «Интенсивное стерео» (R. Waal and R. Veldhuis, «Subband coding of stereophonic digital audio signals», Proc. IEEE ICASSP 1991, pp. 3601-3604, 1991.), (J. Herre, K. Brandenburg, and D. Lederer, «Intensity stereo coding», 96th AES Conv., Feb. 1994, Amsterdam (preprint 3799), 1994) используется в MP3 (ISO/IEC, Coding of moving pictures and associated audio for digital storage media at up to about 1.5 MbWs - Part 3: Audio. ISO/IEC 1 1172-3 International Standard, 1993, JTC1/SC29/WG11), MPEG-2 AAC (-, Generic coding of moving pictures and associated audio information - Part 7: Advanced Audio Coding. ISO/IEC 13818-7 International Standard, 1997, JTC1/SC29/WG11) и других аудиокодерах. «Интенсивное стерео» является оригинальной методикой параметрического кодирования стереозвука, представляя стереосигналы посредством сигнала понижающего микширования и информации разности уровней. «Бинауральное кодирование» (BCC) (C. Faller and F. Baumgarte, «Efficient representation of spatial audio using perceptual parametrization», in Proc. IEEE Workshop on Appl. OfSig. Proc. to Audio and Acoust., Oct. 2001, pp. 199-202), (-, «Binaural Cue Coding - Part II: Schemes and applications», IEEE Trans, on Speech and Audio Proc, vol. 11, no. 6, pp. 520-531, Nov. 2003) обеспечивает значительное улучшение качества звука посредством использования других наборов фильтров для параметрического стерео/окружающего кодирования, чем для аудиокодирования (F. Baumgarte and C. Faller, «Why Binaural Cue Coding is better than Intensity Stereo Coding», in Preprint 112th Conv. Aud. Eng. Soc. , May 2002), т.е. его можно рассматривать в качестве пред- и постпроцессора для обычного аудиокодера. Дополнительно, в нем используют дополнительные пространственные указатели для определения параметров, а не только разности уровней, т.е. также разность во времени и межканальную когерентность. «Параметрическое стерео» (PS) (E. Schuijers, J. Breebaart, H. Purnhagen, and J. Engdegard, «Low complexity parametric stereo coding», in Preprint 117th Conv. Aud. Eng. Soc, May 2004), которое стандартизировано в IEC/ISO MPEG, использует разности фаз в противоположность разностям во времени, что имеет преимущество в том, что свободный от артефактов синтез проще обеспечивать, чем синтез с задержкой во времени. Описанные концепции «параметрического стерео» также применяют для окружающего звука с помощью BCC. Аудиокодеры «MP3 Surround» (J. Herre, C. Faller, C. Ertel, J. Hilpert, A. Hoelzer, and C. Spenger, «MP3 Surround: Efficient and compatible coding of multi-channel audio», in Preprint 116th Conv. Aud. Eng. Soc, May 2004.), (C. Faller, «Coding of spatial audio compatible with different playback formats», in Preprint 117th Conv. Aud. Eng. Soc, October 2004.) и «MPEG Surround» (J. Herre, K. Kjorling, J. Breebaart, C. Faller, S. Disch, H. Purnhagen, J. Koppens, J. Hilpert, J. Rόden, W. Oomen, K. Linzmeier, and K.S. Chong, «Mpeg surround - the iso/mpeg standard for efficient and compatible multi-channel audio coding», in Preprint 122th Conv. Aud. Eng. Soc, May 2007) вводят пространственный синтез, основанный на понижающем микшировании стерео, обеспечивая обратную совместимость стерео и более высокое качество звука. Параметрические многоканальные аудиокодеры, такие как BCC, «MP3 Surround» и «MPEG Surround», часто упоминаются, как пространственные аудиокодеры (SAC).

Недавно была предложена методика, названная «предоставление пространственной импульсной характеристики» (SIRR) (J. Merimaa and V. Pulkki, «Spatial impulse response rendering i: Analysis and synthesis», J. Aud. Eng. Soc, vol. 53, no. 12, 2005.), (V. Pulkki and J. Merimaa, «Spatial impulse response rendering ii: Reproduction of diffuse sound and listening tests», J. Aud. Eng. Soc, vol. 54, no. 1, 2006), в которой синтезируют импульсные характеристики в любом направлении (относительно позиции микрофона), основываясь на одном аудиоканале (W-сигнале B-формата (M.A. Gerzon, «Periphony: Width-Height Sound Reproduction», J Aud. Eng. Soc, vol. 21, no. 1, pp. 2-10, 1973.), (K. Farrar, «Soundfield microphone», Wireless World, pp. 48-50, Oct. 1979), плюс на пространственной информации, полученной из сигналов B-формата. Эта методика позже также применялась к аудиосигналам в противоположность импульсным характеристикам и называлась «направленным кодированием звука» (DirAC) (V. Pulkki and C. Faller, «Directional audio coding: Filterbank and STFTbased design», in Preprint 120th Conv. Aud. Eng. Soc, May 2006, p. preprint 6658). DirAC можно рассматривать как SAC, который применяют непосредственно к сигналам микрофона. Микрофоны различных конструкций были предложены для использования с DirAC (J. Ahonen, G.D. Galdo, M. Kallinger, F. Kuch, V. Pulkki, and R. Schultz-Amling, «Analysis and adjustment of planar microphone arrays for application in directional audio coding», in Preprint 124^th Conv. Aud. Eng. Soc, May. 2008), (J. Ahonen, M. Kallinger, F. Kϋch, V. Pulkki, and R. Schultz-Amling, «Directional analysis of sound field with linear microphone array and applications in sound reproduction», in Preprint 124th Conv. Aud Eng. Soc, May. 2008.). DirAC всегда основан на сигналах B-формата, и сигналы микрофонов различных конструкций обрабатывают для получения B-формата, который затем используется при анализе направления DirAC.

Ввиду вышеизложенного целью настоящего изобретения является создание эффективной в вычислительном отношении концепции для получения информации пространственных указателей, сохраняя усилие на преобразование звука достаточно малым.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Эту проблему решают с помощью устройства для обеспечения набора пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов, на основе двухканального сигнала микрофона по п.1, устройства для обеспечения двухканального аудиосигнала и набора пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов по п.10, устройства для обеспечения обработанного двухканального аудиосигнала и набора пространственных указателей, связанных с сигналом повышающего микширования, имеющим более двух каналов, на основе двухканального сигнала микрофона по п.11, способа обеспечения набора пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов, на основе двухканального сигнала микрофона по п.12 и компьютерной программы по п.13.

В варианте осуществления согласно изобретению создают устройство для обеспечения набора пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов, на основе двухканального сигнала микрофона. Устройство содержит анализатор сигнала, конфигурированный для получения информации энергии компонента и информации направления на основе двухканального сигнала микрофона таким образом, что информация энергии компонента описывает оценки энергий компонента прямого звука двухканального сигнала микрофона и компонента рассеянного звука двухканального сигнала микрофона, и таким образом, что информация направления описывает оценку направления, из которого приходит компонент прямого звука двухканального сигнала микрофона. Устройство также содержит генератор дополнительной пространственной информации, конфигурированный для сопоставления информации энергии компонента двухканального сигнала микрофона и информации направления двухканального сигнала микрофона с информацией пространственных указателей, которая описывает набор пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов.

Этот вариант осуществления основан на обнаружении, что пространственные указатели аудиосигнала повышающего микширования можно вычислять особенно эффективным способом, если оценки энергий компонента прямого звука и компонента рассеянного звука и информацию направления извлекают из двухканального сигнала и сопоставляют с пространственными указателями, потому что информацию энергии компонента и информацию направления можно обычно извлекать с умеренными вычислительными усилиями из аудиосигнала, имеющего только два канала, но, однако, она является очень хорошей основой для вычисления пространственных указателей, связанных с сигналом повышающего микширования, имеющим более двух каналов. Другими словами, даже при том, что информация энергии компонента и информация направления основаны на двухканальном сигнале, эта информация хорошо подходит для прямого вычисления пространственных указателей, фактически не используя аудиоканалы повышающего микширования в качестве промежуточной величины.

В предпочтительном варианте осуществления генератор дополнительной пространственной информации конфигурируют для сопоставления информации направления с набором коэффициентов усиления, которые описывают сопоставление зависящего от направления прямого звука с окружающим аудиоканалом. Кроме того, генератор дополнительной пространственной информации конфигурируют для получения оценок интенсивностей каналов, которые описывают оцененные интенсивности более двух окружающих каналов на основе информации энергии компонента и коэффициентов усиления. В этом случае генератор дополнительной пространственной информации предпочтительно конфигурируют для определения пространственных указателей, связанных с аудиосигналом повышающего микширования, на основе оценок интенсивностей каналов. Этот вариант осуществления основан на обнаружении, что двухканальный сигнал микрофона предоставляет возможность извлечения информации направления, которую можно с хорошими результатами сопоставлять с набором коэффициентов усиления, которые описывают сопоставление зависящего от направления прямого звука с окружающим аудиоканалом, так что можно получать имеющие значение оценки интенсивностей каналов, которые описывают аудиосигнал повышающего микширования и формируют основу для вычисления информации пространственных указателей.

В предпочтительном варианте осуществления генератор дополнительной пространственной информации также конфигурируют для получения информации корреляции каналов, которая описывает корреляцию между различными каналами сигнала повышающего микширования на основе информации энергии компонента и коэффициентов усиления. В данном варианте осуществления генератор дополнительной пространственной информации предпочтительно конфигурируют для определения пространственных указателей, связанных с сигналом повышающего микширования, на основе одной или более оценок интенсивностей каналов и информации корреляции каналов. Было обнаружено, что информация энергии компонента и коэффициенты усиления составляют информацию, которая достаточна для вычисления информации корреляции каналов, так что информацию корреляции каналов можно предпочтительно вычислять, не используя дополнительных переменных (за исключением некоторых констант, отражающих распределение рассеянного звука с каналами сигнала повышающего микширования). Дополнительно было определено, что вполне можно определять пространственные указатели, описывающие межканальную корреляцию сигнала повышающего микширования, как только известны оценки интенсивностей каналов и информация корреляции каналов.

В другом предпочтительном варианте осуществления генератор дополнительной пространственной информации конфигурируют для линейного объединения оценки интенсивности компонента прямого звука двухканального сигнала микрофона и оценки интенсивности компонента рассеянного звука двухканального сигнала микрофона для получения оценок интенсивностей каналов. В данном варианте осуществления генератор дополнительной пространственной информации предпочтительно конфигурируют для взвешивания оценки интенсивности компонента прямого звука в зависимости от коэффициентов усиления и в зависимости от информации направления. Опционно генератор дополнительной пространственной информации можно дополнительно конфигурировать для взвешивания оценки интенсивности компонента рассеянного звука в зависимости от постоянных значений, которые отражают распределение компонента рассеянного звука на различные каналы аудиосигнала повышающего микширования. Было определено, что можно получать оценки интенсивностей каналов с помощью очень простой математической операции, а именно, линейного комбинирования из информации энергии компонента, причем коэффициенты усиления, которые можно эффективно получать из двухканального сигнала микрофона, составляют подходящие весовые коэффициенты.

В другом варианте осуществления согласно изобретению создают устройство для обеспечения двухканального аудиосигнала и набора пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов. Устройство содержит устройство микрофона, содержащее первый направленный микрофон и второй направленный микрофон, причем первый направленный микрофон и второй направленный микрофон предпочтительно удалены на не более 30 сантиметров (или даже на не более 5 сантиметров), причем первый направленный микрофон и второй направленный микрофон ориентированы таким образом, что характеристика (диаграмма) направленности второго направленного микрофона является повернутой версией характеристики направленности первого направленного микрофона. Устройство для обеспечения двухканального аудиосигнала также содержит устройство для обеспечения набора пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов, на основе двухканального сигнала микрофона, как обсуждается выше. Устройство для обеспечения набора пространственных указателей, связанных с аудиосигналом повышающего микширования, предпочтительно конфигурируют для приема сигналов микрофона первого и второго направленных микрофонов в качестве двухканального сигнала микрофона, и для обеспечения набора пространственных указателей на их основе. Устройство для обеспечения двухканального аудиосигнала также содержит средство обеспечения двухканального аудиосигнала, конфигурированное для обеспечения сигналов микрофона первого и второго направленных микрофонов или их обработанных версий, в качестве двухканального аудиосигнала. Согласно изобретению, данный вариант осуществления основан на обнаружении, что микрофоны, находящиеся на небольшом расстоянии, можно использовать для предоставления соответствующей информации пространственных указателей, если характеристики направленности микрофонов являются повернутыми друг по отношению к другу. Таким образом, было определено, что можно вычислять имеющие значения пространственные указатели, связанные с аудиосигналом повышающего микширования, имеющим более двух каналов, на основе физического устройства, которое является сравнительно небольшой. В частности, было обнаружено, что информацию энергии компонента и информацию направления, которые предоставляют возможность эффективного вычисления информации пространственных указателей, можно извлекать с низкими усилиями, если эти два микрофона, обеспечивающие двухканальный сигнал микрофона, расположены друг от друга на сравнительно небольшом расстоянии (например, не более 30 сантиметров) и, следовательно, содержат очень похожую информацию рассеянного звука. Дополнительно, было обнаружено, что использование направленных микрофонов, имеющих характеристики направленности, повернутые по отношению друг к другу, предоставляет возможность вычисления информации энергии компонента и информации направления, потому что различные характеристики направленности обеспечивают разделение между направленным звуком и рассеянным звуком.

В другом варианте осуществления согласно изобретению создают устройство для обеспечения обработанного двухканального аудиосигнала и набора пространственных указателей, связанных с сигналом повышающего микширования, имеющим более двух каналов, на основе двухканального сигнала микрофона. Устройство для обеспечения обработанного двухканального аудиосигнала содержит устройство для обеспечения набора пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов, на основе двухканального сигнала микрофона, как обсуждается выше. Устройство для обеспечения обработанного двухканального сигнала и набора пространственных указателей также содержит средство обеспечения двухканального аудиосигнала, конфигурированное для обеспечения обработанного двухканального аудиосигнала на основе двухканального сигнала микрофона. Средство обеспечения двухканального аудиосигнала предпочтительно конфигурируют для масштабирования первого аудиосигнала двухканального сигнала микрофона, используя один или более коэффициентов масштабирования первого сигнала микрофона, для получения первого обработанного аудиосигнала обработанного двухканального аудиосигнала. Средство обеспечения двухканального аудиосигнала также предпочтительно конфигурируют для масштабирования второго аудиосигнала двухканального сигнала микрофона, используя один или более коэффициентов масштабирования второго сигнала микрофона, для получения второго обработанного аудиосигнала обработанного двухканального аудиосигнала. Средство обеспечения двухканального аудиосигнала предпочтительно конфигурируют для вычисления одного или более коэффициентов масштабирования первого сигнала микрофона и одного или более коэффициентов масштабирования второго сигнала микрофона на основе информации энергии компонента, предоставленной анализатором сигнала устройства, для обеспечения набора пространственных указателей, таким образом, что как пространственные указатели, так и коэффициенты масштабирования сигнала микрофона определяют с помощью информации энергии компонента. Этот вариант осуществления основан на идее, что эффективно использовать информацию энергии компонента, предоставленную анализатором сигнала, и для вычисления набора пространственных указателей, и для соответствующего масштабирования сигналов микрофона, причем соответствующее масштабирование сигналов микрофона может привести к такой адаптации сигналов микрофона и пространственных указателей, что объединенная информация, содержащая и обработанные сигналы микрофона, и пространственные указатели, будет соответствовать требуемому промышленному стандарту пространственного аудиокодирования (например, «MPEG surround»), таким образом обеспечивая возможность воспроизведения аудиоконтента на обычном декодере пространственного аудиокодирования (например, на обычном декодере «MPEG surround»).

В другом варианте осуществления изобретения создают способ обеспечения набора пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов, на основе двухканального сигнала микрофона.

В еще одном варианте осуществления согласно изобретению создают компьютерную программу для выполнения данного способа.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Варианты осуществления согласно изобретению будут далее описаны, обращаясь к прилагаемым фигурам, на которых:

фиг.1 показывает блок-схему устройства для обеспечения набора пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов, на основе двухканального сигнала микрофона, согласно варианту осуществления изобретения;

фиг.2 показывает блок-схему устройства для обеспечения набора пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов, согласно другому варианту осуществления изобретения;

фиг.3 показывает блок-схему устройства для обеспечения набора пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов, согласно другому варианту осуществления изобретения;

фиг.4 показывает графическое представление характеристик направленности двух дипольных микрофонов, которые могут использоваться в вариантах осуществления изобретения;

фиг.5A показывает графическое представление соотношения амплитуд между левым и правым каналами в качестве функции от направления прибытия звука для дипольного стереомикрофона;

фиг.5B показывает графическое представление полной мощности в качестве функции от направления прибытия звука для дипольного стереомикрофона;

фиг.6 показывает графическое представление характеристик направленности двух микрофонов с кардиоидной характеристикой направленности, которые могут использоваться в некоторых вариантах осуществления изобретения;

фиг.7A показывает графическое представление соотношения амплитуд между левым и правым каналами в качестве функции от направления прибытия звука для стереомикрофона с кардиоидной характеристикой направленности;

фиг.7B показывает графическое представление полной мощности в качестве функции от направления прибытия звука для стереомикрофона с кардиоидной характеристикой направленности;

фиг.8 показывает графическое представление характеристик направленности двух микрофонов с суперкардиоидной характеристикой направленности, которые могут использоваться в некоторых вариантах осуществления изобретения;

фиг.9A показывает графическое представление соотношения амплитуд между левым и правым каналами в качестве функции от направления прибытия звука для стереомикрофона с суперкардиоидной характеристикой направленности;

фиг.9B показывает графическое представление полной мощности в качестве функции от направления прибытия звука для стереомикрофона с суперкардиоидной характеристикой направленности;

фиг.10A показывает графическое представление изменения усиления в качестве функции от направления прибытия звука для стереомикрофона с кардиоидной характеристикой направленности;

фиг.10B показывает графическое представление полной мощности (сплошная линия: без изменения усиления, пунктирная линия: с изменением усиления) в качестве функции от направления прибытия звука для стереомикрофона с кардиоидной характеристикой направленности;

фиг.11A показывает графическое представление изменения усиления в качестве функции от направления прибытия звука для стереомикрофона с суперкардиоидной характеристикой направленности;

фиг.11B показывает графическое представление полной мощности (сплошная линия: без изменения усиления, пунктирная линия: с изменением усиления) в качестве функции от направления прибытия звука для стереомикрофона с суперкардиоидной характеристикой направленности;

фиг.12 показывает блок-схему устройства для обеспечения набора пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов, согласно другому варианту осуществления изобретения;

фиг.13 показывает блок-схему кодера, который преобразовывает сигнал стереомикрофона в совместимое с SAC понижающее микширование и дополнительную информацию, и также соответствующий (обычный) декодер SAC;

фиг.14 показывает блок-схему кодера, который преобразовывает сигнал стереомикрофона в совместимую с SAC пространственную дополнительную информацию и также блок-схему соответствующего декодера SAC с обработкой понижающего микширования;

фиг.15 показывает блок-схему «слепого» декодера SAC, в который можно непосредственно подавать сигналы стереомикрофона, причем понижающее микширование SAC и пространственную дополнительную информацию SAC получают с помощью обработки анализа сигнала стереомикрофона; и

фиг.16 показывает последовательность операций способа обеспечения набора пространственных указателей согласно варианту осуществления изобретения.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Фиг.1 показывает блок-схему устройства 100 для обеспечения набора пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов, на основе двухканального сигнала микрофона. Устройство 100 конфигурируют для приема двухканального сигнала микрофона, который может, например, содержать сигнал 110 первого канала (также обозначают как x₁) и сигнал 112 второго канала (также обозначают как x₂). Устройство 100 дополнительно конфигурируют для предоставления информации 120 пространственных указателей.

Устройство 100 содержит анализатор 130 сигнала, который конфигурируют для приема сигнала 110 первого канала и сигнала 112 второго канала. Анализатор 130 сигнала конфигурируют для получения информации 132 энергии компонента и информации 134 направления на основе двухканальных сигналов микрофона, т.е. на основе сигнала 110 первого канала и сигнала 112 второго канала. Предпочтительно, анализатор 130 сигнала конфигурируют для получения информации 132 энергии компонента и информации 134 направления таким образом, что информация 132 энергии компонента описывает оценки энергий компонента прямого звука двухканального сигнала микрофона и компонента рассеянного звука двухканального сигнала микрофона, и таким образом, что информация 134 направления описывает оценку направления, с которого приходит компонент прямого звука двухканального сигнала 110, 112 микрофона.

Устройство 100 также содержит генератор 140 дополнительной пространственной информации, который конфигурируют для приема информации 132 энергии компонента и информации 134 направления и обеспечения, на основе этого, информации 120 пространственных указателей. Предпочтительно, генератор 140 дополнительной пространственной информации конфигурируют для сопоставления информации 132 энергии компонента из двухканального сигнала 110, 112 микрофона и информации 134 направления двухканального сигнала 110, 112 микрофона с информацией 120 пространственных указателей. Соответственно, информацию 120 пространственных указателей получают таким образом, что информация 120 пространственных указателей описывает набор пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов.

Таким образом, устройство 120 предоставляет возможность в вычислительном отношении очень эффективного вычисления информации пространственных указателей, которая связана с аудиосигналом повышающего микширования, имеющим более двух каналов, на основе двухканального сигнала микрофона. Анализатор 130 сигнала может извлекать большое количество информации из двухканального сигнала микрофона, а именно, информацию энергии компонента, которая описывает и оценку энергии компонента прямого звука, и оценку энергии компонента рассеянного звука, и информацию направления, которая описывает оценку направления, с которого приходит компонент прямого звука двухканального сигнала микрофона. Было обнаружено, что эта информация, которая может быть получена с помощью анализатора сигнала на основе двухканального сигнала 110, 112 микрофона, достаточна для получения информации пространственных указателей даже для аудиосигнала повышающего микширования, имеющего более двух каналов. Важно, что было обнаружено, что энергия 132 компонента и информация направления 134 достаточны для непосредственного определения информации 120 пространственных указателей, фактически не используя аудиоканалы повышающего микширования, как промежуточное значение.

Далее будут описаны некоторые расширения возможностей устройства 100, обращаясь к фиг.2 и 3.

Фиг.2 показывает блок-схему устройства 200 для обеспечения двухканального аудиосигнала и набора пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов. Устройство 200 содержит устройство 210 микрофона, конфигурированное для обеспечения двухканального сигнала микрофона, содержащего сигнал 212 первого канала и сигнал 214 второго канала. Устройство 200 дополнительно содержит устройство 100 для обеспечения набора пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов, на основе двухканального сигнала микрофона, как описано в отношении фиг.1. Устройство 100 конфигурируют для приема в качестве его входных сигналов сигнала 212 первого канала и сигнала 214 второго канала, обеспеченных с помощью устройства 210 микрофона. Устройство 100 дополнительно конфигурируют для предоставления информации 220 пространственных указателей, которая может быть идентична информации 120 пространственных указателей. Устройство 200 дополнительно содержит средство 230 обеспечения двухканального аудиосигнала, которое конфигурируют для приема сигнала 212 первого канала и сигнала 214 второго канала, обеспеченных с помощью устройства 210 микрофона, и для обеспечения сигнала 212 первого канала микрофона и сигнала 214 второго канала микрофона, или их обработанных версий, как двухканального аудиосигнала 232.

Устройство 210 микрофона содержит первый направленный микрофон 216 и второй направленный микрофон 218. Первый направленный микрофон 216 и второй направленный микрофон 218 предпочтительно удалены на не более 30 сантиметров. Соответственно, сигналы, принимаемые первым направленным микрофоном 216 и вторым направленным микрофоном 218, сильно коррелированны, что, как было обнаружено, удобно для вычисления информации энергии компонента и информации направления с помощью анализатора 130 сигнала. Однако первый направленный микрофон 216 и второй направленный микрофон 218 ориентируют таким образом, что характеристика 219 направленности второго направленного микрофона 218 является повернутой версией характеристики 217 направленности первого направленного микрофона 216. Соответственно, сигнал 212 первого канала микрофона и сигнал 214 второго канала микрофона сильно коррелированны (из-за пространственной близости микрофонов 216, 218), но все же отличаются (из-за различных характеристик 217, 219 направленности направленных микрофонов 216, 218). В частности направленный сигнал, попадающий на устройство 210 микрофона из приблизительно постоянного направления, вызывает сильно коррелированные компоненты сигналов для сигнала 212 первого канала микрофона и сигнала 214 второго канала микрофона, имеющих постоянное во времени зависящее от направления соотношение амплитуд (или соотношение интенсивностей). Окружающий аудиосигнал, попадающий на устройство 210 микрофона от изменяющихся во времени направлений, приводит к тому, что компоненты сигнала 212 первого канала микрофона и сигнала 214 второго канала микрофона имеют существенную корреляцию, но изменяющиеся во времени соотношения амплитуд (или соотношения интенсивностей). Соответственно, устройство 210 микрофона обеспечивает двухканальный сигнал 212, 214 микрофона, который предоставляет возможность анализатору 130 сигнала из устройства 100 различать прямой звук и рассеянный звук даже при том, что микрофоны 216, 218 близко расположены. Таким образом, устройство 200 является средством обеспечения аудиосигнала, которое можно воплощать в пространственно компактной форме и которое, однако, может обеспечивать пространственные указатели, связанные с сигналом повышающего микширования, имеющим более двух каналов. Пространственные указатели 220 можно использовать в комбинации с обеспеченным двухканальным аудиосигналом 232 с помощью пространственного аудиодекодера для обеспечения выходного сигнала окружающего звука.

Фиг.3 показывает блок-схему устройства 300 для обеспечения обработанного двухканального аудиосигнала и набора пространственных указателей, связанных с сигналом повышающего микширования, имеющим более двух каналов, на основе двухканального сигнала микрофона. Устройство 300 конфигурируют для приема двухканального сигнала микрофона, содержащего сигнал 312 первого канала и сигнал 314 второго канала. Устройство 300 конфигурируют для предоставления информации пространственных указателей 316 на основе двухканального сигнала 312, 314 микрофона. Кроме того, устройство 300 конфигурируют для обеспечения обработанной версии двухканального сигнала микрофона, причем обработанная версия двухканального сигнала микрофона содержит сигнал 322 первого канала и сигнал 324 второго канала.

Устройство 300 содержит устройство 100 для обеспечения набора пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов, на основе двухканального сигнала 312, 314. В устройстве 300 устройство 100 конфигурируют для приема в качестве его входных сигналов 110, 112 сигнала 312 первого канала и сигнала 314 второго канала. Дополнительно, информация 120 пространственных указателей, обеспеченная устройством 100, является выходной информацией 316 из устройства 300.

Кроме того, устройство 300 содержит средство 340 обеспечения двухканального аудиосигнала, которое конфигурируют для приема сигнала 312 первого канала и сигнала 314 второго канала. Средство 340 обеспечения двухканального аудиосигнала дополнительно конфигурируют также для приема информации 342 энергии компонента, которую обеспечивают с помощью анализатора 130 сигнала устройства 100. Средство 340 обеспечения двухканального аудиосигнала дополнительно конфигурируют для обеспечения сигнала 322 первого канала и сигнала 324 второго канала обработанного двухканального аудиосигнала.

Средство обеспечения двухканального аудиосигнала предпочтительно содержит блок 350 масштабирования, который конфигурируют для приема сигнала 312 первого канала двухканального сигнала микрофона и масштабирования сигнала 312 первого канала, или его отдельных временных/частотных элементов, для получения сигнала 322 первого канала обработанного двухканального аудиосигнала. Блок 350 масштабирования также конфигурируют для приема сигнала 314 второго канала двухканального сигнала микрофона и для масштабирования сигнала 314 второго канала, или его отдельных временных/частотных элементов, для получения сигнала 324 второго канала обработанного двухканального аудиосигнала.

Средство 340 обеспечения двухканального аудиосигнала также содержит блок 360 вычисления коэффициентов масштабирования, который конфигурируют для вычисления коэффициентов масштабирования, которые должны использоваться блоком 350 масштабирования, на основе информации 342 энергии компонента. Соответственно, информация 342 энергии компонента, которая описывает оценки энергий компонента прямого звука двухканального сигнала микрофона и также компонента рассеянного звука двухканального сигнала микрофона, определяет масштабирование сигнала 312 первого канала и сигнала 314 второго канала двухканального сигнала микрофона, данное масштабирование применяют для получения сигнала 322 первого канала и сигнала 324 второго канала обработанного двухканального аудиосигнала из двухканального сигнала микрофона. Соответственно, та же самая информация энергии компонента используется для определения масштабирования сигнала 312 первого канала и сигнала 314 второго канала двухканального сигнала микрофона, а также информации 120 пространственных указателей. Было обнаружено, что двойное использование информации 342 энергии компонента является в вычислительном отношении очень эффективным решением и также обеспечивает хорошую согласованность между обработанным двухканальным аудиосигналом и информацией пространственных указателей. Соответственно, можно создавать обработанный двухканальный аудиосигнал и информацию пространственных указателей таким образом, чтобы они предоставляли возможность воспроизведения окружения аудиоконтента, представленного двухканальными сигналами 312, 314 микрофона, используя стандартный декодер окружения.

ПОДРОБНОСТИ РЕАЛИЗАЦИИ - СТЕРЕОМИКРОФОНЫ И ИХ ПРИГОДНОСТЬ ДЛЯ ЗАПИСИ ОКРУЖЕНИЯ

В данном разделе различные конфигурации двухканального микрофона обсуждают относительно их пригодности для генерации окружающего аудиосигнала посредством постобработки. В следующем разделе применяют результаты этого обсуждения к использованию пространственного аудиокодирования (SAC) с помощью стереомикрофонов.

Описанные конфигурации микрофона можно, например, использовать для получения двухканального сигнала 110, 112 микрофона, или двухканального сигнала 212, 214 микрофона, или двухканального сигнала 312, 314 микрофона. Описанные конфигурации микрофона можно использовать в устройстве 210 микрофона.

Так как локализация человеком источника в значител