Устройство и способ для синтезирования выходного сигнала

Устройство и способ для синтезирования выходного сигнала

Иллюстрации

Показать все

Реферат

Настоящее изобретение относится к синтезированию выходного сигнала с применением аудиорендеринга, например выходного стереосигнала или выходного многоканального аудиосигнала, сформированного в результате понижающего микширования с использованием дополнительных управляющих данных. При этом многоканальное понижающее микширование представляет собой понижающее микширование совокупности множества сигналов аудиообъекта.

Последние разработки в области аудиотехники способствуют совершенствованию многоканального воспроизведения аудиосигнала на основе стерео (или моно) сигнала и соответствующих управляющих команд. Эти методы параметрического кодирования звукового окружения обычно включают в себя параметризацию. Параметрический многоканальный аудиодекодер (например, декодер MPEG Surround, описываемый стандартом ISO/IEC 23003-1 (L.Villemoes, J.Herre, J.Breebaart, G.Hotho, S.Disch, H.Purnhagen, and K.Kjörling, "MPEG Surround: The Forthcoming ISO Standard for Spatial Audio Coding," in 28th International AES Conference, The Future of Audio Technology Surround and Beyond, Pitee, Sweden, June 30 - July 2, 2006 ("MPEG Surround: подготовка нового стандарта ИСО на пространственное аудиокодирование", материалы 28-й международной конференции AES «Передовые аудиотехнологии, современное состояние и перспективы», Пите, Швеция, 30 июня - 2 июля 2006 г., и Breebaart, J.Herre, L.Villemoes, С.Jin, K.Kjörling, J.Plogsties, and J.Koppens, "Multi-Channels goes Mobile: MPEG Surround Binaural Rendering," in 29th International AES Conference, Audio for Mobile and Handheld Devices, Seoul, Sept 2-4, 2006 "Мобильные многоканальные устройства: стереофоническое представление формата MPEG Surround", 29-я Международная конференция AES, "Звук для мобильных и портативных устройств", Сеул, 2-4 сентября 2006 г.), реконструирует М каналов, используя K переданных каналов, где М>K, с использованием управляющих данных. Управляющие данные содержат данные параметризации многоканального сигнала, выведенные из IID (межканальной разности мощности) и ICC (межканальной когерентности). Эти параметры, получаемые, как правило, на стадии кодирования, описывают соотношение мощностей и корреляцию пар каналов, задействованных в процессе повышающего микширования. Применение подобного алгоритма кодирования позволяет выполнять кодирование при скорости передачи данных, значительно более низкой, чем передача всех М каналов, обеспечении очень высокой эффективности кодирования и гарантии совместимости с устройствами с K каналами и с устройствами с М каналами.

Аналогичной системой кодирования является соответствующее устройство кодирования аудиообъектов, обеспечивающее при кодировании понижающее микширование нескольких аудиообъектов с последующим выполнением повышающего микширования с использованием управляющих данных С.Faller, "Parametric Joint-Coding of Audio Sources," Convention Paper 6752 presented at the 120th AES Convention, Paris, France, May 20-23, 2006 ("Комбинированное параметрическое кодирование источников звука". Доклад 6752 на 120-й Конференции AES, Париж, Франция, 20-23 мая 2006 г.; С.Faller, "Parametric Joint-Coding of Audio Sources," Patent application PCT/EP2006/050904, 2006 «Комбинированное параметрическое кодирование источников звука»). Повышающее микширование может также рассматриваться как разделение объектов, смешанных в процессе понижающего микширования (Полученный в результате восходящего микширования сигнал может быть преобразован для воспроизведения в одно- или многоканальном режиме). Говоря точнее, в указанных источниках предлагается метод синтезирования аудиоканалов на базе даунмикса (так называемого суммарного сигнала, полученного в результате понижающего микширования), статистической информации об исходных объектах и параметров, описывающих требуемый выходной формат. Если используются несколько сигналов, полученных понижающим микшированием, эти сигналы состоят из подмножеств различных объектов, и повышающее микширование должно осуществляется по каждому каналу понижающего микширования индивидуально.

Исходя из уровня техники, известно, что при понижающем микшировании стереообъекта и преобразовании объекта в стереоформат или при генерации стереосигнала для последующей обработки, например, с помощью декодера MPEG Surround, существенные эксплуатационные преимущества достигаются благодаря парной обработке каналов по алгоритму матрицирования с частотно-временной зависимостью. Вне рамок кодирования аудиообъектов применяется сходная процедура для частичного преобразования одного стереоаудиосигнала в другой стереоаудиосигнал в WO 2006/103584. Кроме того, известно, что для стандартной системы кодирования аудиообъекта в процесс аудиорендеринга необходимо дополнительно ввести процедуру декорреляции с целью перцептуального воспроизведения заданной сцены. При этом известный уровень техники не содержит описание комплексной оптимизации кодирования с помощью матричной системы (матрицирование) и декорреляции. Простое соединение известных технических решений ведет или к неэффективному и негибкому использованию возможностей многоканального понижающего микширования объекта, или к низкому качеству получаемой в результате аудиорендеринга стереофонограммы исходного объекта.

Задачей настоящего изобретения является скорректированная концепция синтезирования выходного сигнала с использованием аудиорендеринга.

Эта задача решается посредством устройства, синтезирующего преобразованный аудиорендерингом выходной сигнал в соответствии с п.1 формулы изобретения, посредством способа синтезирования выходного сигнала с применением аудиорендеринга по п.27 формулы, или посредством компьютерной программы согласно п.28 формулы изобретения.

Данное изобретение обеспечивает синтез преобразованного с помощью аудиорендеринга выходного сигнала, интегрирующего сигналы двух или более звуковых каналов. При этом при преобразовании множества аудиообъектов число синтезированных сигналов звуковых каналов всегда меньше числа исходных аудиообъектов. Однако, если количество аудиообъектов не велико (например, 2), а количество выходных каналов - 2, 3 или большее число выходных звуковых каналов может превышать число аудиообъектов. Синтез выходного сигнала с использованием аудиорендеринга осуществляют без выполнения операции полного декодирования аудиообъекта до расшифровки составляющих аудиообъектов и без последующего рендеринга синтезируемых аудиообъектов по заданным параметрам. Вместо этого в области значений параметров рассчитывают преобразуемые выходные сигналы на базе характеристик понижающего микширования, на базе предварительно заданных характеристик аудиорендеринга и на базе данных аудиообъектов, описывающих эти аудиообъекты в форме параметров энергии и корреляции. Таким образом, количество декорреляторов, существенно усложняющих реализацию устройства синтеза, может быть сокращено так, что оно будет меньше числа выходных каналов и даже значительно меньше числа аудиообъектов. Говоря точнее, звук высокого качества может быть синтезирован при реализации синтезаторов только с одним или двумя декорреляторами. Более того, благодаря отсутствию необходимости в полном декодировании аудиообъектов и последующем аудиорендеринге по заданным параметрам обеспечивается экономия объема памяти и вычислительного ресурса. Кроме того, каждая операция потенциально вносит дополнительные артефакты. В силу этого, в соответствии с настоящим изобретением предпочтение отдается расчетам только в области значений параметров, чтобы единственными аудиосигналами, представленными не в виде параметров, а в виде, например, сигналов временной области или сигналов частотной области, были, по меньшей мере, те два сигнала, которые получены в результате понижающего микширования объекта. При акустическом синтезировании их вводят в декоррелятор как в форме даунмикса, если применяется один декоррелятор, так и в микшированной форме, если для каждого канала используется отдельный декоррелятор. Другие действия, выполняемые во временной области или в области банка фильтров или с сигналами смешанных каналов, представляют собой лишь взвешенные комбинации, такие как взвешенное сложение или взвешенное вычитание, то есть - линейные операции. Таким образом предотвращается внесение артефактов при выполнении операций полного декодирования аудиообъекта и последующем аудиорендеринге по заданным параметрам.

Информация о аудиообъекте дается предпочтительно в виде энергетических параметров и данных корреляции, например, в форме ковариационной матрицы объекта. Кроме того, такая матрица предпочтительно должна быть применима для каждого поддиапазона и каждого временного интервала, что было бы отражено в частотно-временной карте, где каждое гнездо содержит ковариационную матрицу аудиообъекта, описывающую энергию соответствующих аудиообъектов в этом поддиапазоне и корреляцию между соответствующими парами аудиообъектов в соответствующем поддиапазоне. Естественно, что эта информация привязана к определенным временным рамкам частотного сигнала или аудиосигнала.

Предпочтительным результатом аудиосинтеза является преобразованный выходной стереосигнал, интегрирующий сигнал первого, или левого, звукового канала и сигнал второго, или правого, звукового канала. Благодаря этому можно достичь такого уровня кодирования аудиообъекта, при котором качество воспроизведения объектов в стереофонограмме будет максимально приближено к эталонной стереозвукопередаче.

Во многих случаях при кодировании аудиообъектов очень важно, чтобы стереоаудиорендеринг объектов был максимально приближен к эталонной стереозвукопередаче. Высокое качество акустики, полученное в результате стереоаудиорендеринга, приближенное к эталонной стереофонограмме, важно как в случае, когда стереоаудиорендеринг обеспечивает конечный выходной сигнал декодера объекта, так и в случае, когда стереосигнал передается на последующий элемент контура, такой как декодер MPEG Surround, работающий в режиме понижающего стереомикширования.

Настоящее изобретение предлагает метод наиболее эффективного соединения матрицирования и декорреляции, который обеспечивает декодеру аудиообъекта возможность полного использования потенциала алгоритма кодирования аудиообъекта с задействованием сигнала понижающего микширования объекта одновременно по нескольким каналам.

Реализация данного изобретения отличается тем, что включает в себя:

- декодер аудиообъекта, который предназначен для аудиорендеринга множества отдельных аудиообъектов с использованием многоканального понижающего микширования, управляющих данных, описывающих аудиообъекты, управляющих данных, описывающих понижающее микширование, и параметров аудиорендеринга, включающий в свою конструкцию:

- стереопроцессор, имеющий в своем составе интегрированный блок матричного кодирования (модуль комплексного матрицирования), который линейно сводит каналы многоканального понижающего микширования с получением исходного необработанного (драй-микс = dry mix) сигнала и входного сигнала декоррелятора с последующей передачей входного сигнала декоррелятора на декоррелятор, выходной сигнал которого линейно сведен в сигнал, который после суммирования с исходным необработанным сигналом образует в канале выходной стереосигнал модуля комплексного матрицирования; или

- блок расчета матрицы (матричный вычислитель), рассчитывающий на базе управляющих данных, описывающих аудиообъекты, понижающее микширование и параметры стереоаудиорендеринга, веса для линейного сведения, используемые затем интегрированным блоком матричного кодирования.

Далее изобретение представлено иллюстративным материалом, который не ограничивает его ни по форме, ни по существу, с описанием прилагаемых чертежей,

где на фиг.1 дана блок-схема процесса кодирования аудиообъекта, включая кодирование и декодирование;

на фиг.2А дана блок-схема процесса декодирования аудиообъекта до стереофонограммы;

на фиг.2B дана блок-схема процесса декодирования аудиообъекта;

на фиг.3А дана блок-схема работы стереопроцессора;

на фиг.3B дана блок-схема работы устройства синтезирования преобразованного аудиорендерингом выходного сигнала;

на фиг.4А представлен первый вариант реализации данного изобретения, включающий в себя матрицу С₀ смешения исходного сигнала, матрицу Q преддекорреляционного смешения сигнала и матрицу Р повышающего микширования сигнала декоррелятора;

на фиг.4B представлен вариант реализации данного изобретения без применения матрицы преддекорреляционного смешения сигнала;

на фиг.4С представлен вариант технического решения данного изобретения без применения матрицы повышающего микширования декоррелированного сигнала;

на фиг.4D представлена версия осуществления настоящего изобретения с применением дополнительной матрицы G компенсации усиления;

на фиг.4Е представлен вариант матрицы Q понижающего микширования сигнала декоррелятора и матрицы Р повышающего микширования сигнала декоррелятора с использованием одиночного декоррелятора;

на фиг.4F представлен вариант исполнения матрицы С₀ смешения исходного сигнала;

на фиг.4G дана детализация процесса сведения смешанного исходного сигнала и сигнала декоррелятора или сигнала, полученного в результате повышающего микширования сигнала декоррелятора;

на фиг.5 дана блок-схема многоканальной декорреляции с использованием нескольких декорреляторов;

на фиг.6 дана сводная карта нескольких аудиообъектов, имеющих индивидуальный идентификатор, аудиофайл объекта, и общую матрицу Е параметров аудиообъектов;

на фиг.7 дана расшифровка ковариационной матрицы Е объектов, показанных на фиг.6;

на фиг.8 даны матрица понижающего микширования и кодер аудиообъекта, управляемый матрицей D понижающего микширования;

на фиг.9 даны матрица А параметров аудиорендеринга, представляемая, как правило, пользователем, и частный пример сценария аудиорендеринга по заданным параметрам;

на фиг.10 показан алгоритм предварительных расчетов элементов матриц для четырех различных вариантов исполнения, представленных на фиг.4А-4D;

на фиг.11 показан алгоритм расчета матриц для первого варианта исполнения;

на фиг.12 показан алгоритм расчета матриц для второго варианта исполнения;

на фиг.13 показан алгоритм расчета матриц для третьего варианта исполнения; и

на фиг.14 показан алгоритм расчета матриц для четвертого варианта исполнения.

Варианты осуществления настоящего изобретения представлены ниже исключительно для истолкования основных принципов УСТРОЙСТВА И СПОСОБА СИНТЕЗИРОВАНИЯ ВЫХОДНОГО СИГНАЛА. Подразумевается, что для специалистов в данной области возможность внесения изменений и усовершенствований в компоновку и элементы описанной конструкции очевидна. В силу этого, представленные описания и пояснения вариантов реализации изобретения ограничиваются только рамками патентных требований, а не конкретными деталями.

На фиг.1 дана блок-схема процесса кодирования аудиообъекта, в котором задействованы кодер объекта 101 и декодер объекта 102. Кодер пространственных аудиообъектов 101 кодирует N объектов в данные нисходящего микширования объекта по K > 1 аудиоканалам в соответствии с параметрами кодера. Кодер объекта выводит информацию о примененной весовой матрице D понижающего микширования в сочетании со вспомогательными данными по мощности и корреляция понижающего микширования. Матрица D часто, но не обязательно всегда, постоянна по частотно-временным характеристикам, и поэтому информация о ней требует относительно небольшого объема. В завершение, кодер объекта извлекает параметры каждого объекта в виде частотно-временной функции с разрешением, определяемым условиями восприятия. Декодер пространственного аудиообъекта 102 принимает на входе каналы понижающего микширования объекта, данные понижающего микширования и параметры объекта (сгенерированные кодером) и генерирует выходной сигнал, состоящий из М звуковых каналов, для прослушивания. Аудиорендеринг N объектов в М звуковых каналов выполняют с использованием матрицы звукопередачи (аудиорендеринга), вводимой в декодер объекта как задаваемые пользователем характеристики.

На фиг.2А показаны составные элементы декодера аудиообъекта 102 в варианте комплектации, выход которой задан как стереофонограмма. Даунмикс аудиообъекта вводят в стереопроцессор 201 для обработки сигналов с получением на выходе стереосигнала. Обработка сигнала зависит от характеристик матрицы, рассчитанных вычислителем матриц 202. Информация о матрице выводится из параметров объекта, данных понижающего микширования и задаваемых пользователем характеристик аудиорендеринга объекта, описывающих требования к звукопередаче N объектов в стереоформате с использованием матрицы аудиорендеринга.

На фиг.2B показаны составные элементы декодера аудиообъекта 102 в варианте комплектации, выход которой задан как общий многоканальный аудиосигнал. Даунмикс аудиообъекта вводят в стереопроцессор 201 для обработки сигналов с получением на выходе стереосигнала. Обработка сигнала зависит от характеристик матрицы, рассчитанных вычислителем матрицы 202. Информация о матрице выводится из параметров объекта, данных понижающего микширования и характеристик аудиорендеринга объекта, обработанных и переданных блоком сведения данных аудиорендеринга 204. Сводная информация по аудиорендерингу объекта содержит описание задаваемых характеристик преобразования N объектов в стереофонограмму с использованием матрицы аудиорендеринга и формируется на основании данных аудиорендеринга, описывающих преобразование N объектов в М звуковых каналов, переданных на декодер аудиообъекта 102, параметров объекта и данных понижающего микширования объекта. Вспомогательный процессор 203 преобразует стереосигнал, полученный от стереопроцессора 201, в конечный многоканальный выходной аудиосигнал, сформированный на базе информации о аудиорендеринге, информации о понижающем микшировании и параметров объекта. Как правило, роль базового элемента вспомогательного процессора 203 выполняет декодер формата MPEG Surround, работающий в режиме понижающего стереомикширования.

На фиг.3А представлена схема устройства стереопроцессора 201. Если даунмикс объекта рассматривать как поток двоичных данных, исходящий от K-канального аудиокодера, данный поток битов сначала декодируется аудиодекодером 301 в K аудиосигналов временной области. Далее, с помощью частотно-временного конвертора 302 все эти сигналы трансформируются в частотную область. Относящееся к изобретению усовершенствованное матрицирование с частотно-временным преобразованием, характеристики для которого задаются матричными данными, поступающими на стереопроцессор 201, осуществляется модулем комплексного матрицирования 303 с использованием результирующих сигналов Х частотной области. Получаемый на выходе модуля 303 стереосигнал Y′ в частотной области преобразуется с помощью частотно-временного конвертора 304 в сигнал временной области.

На фиг.3B представлено устройство, синтезирующее преобразованный аудиорендерингом выходной сигнал 350, включающий в себя в случае стереоаудиорендеринга сигнал первого звукового канала и сигнал второго звукового канала или сигналы большего числа выходных звуковых каналов в случае многоканального аудиорендеринга. Однако для большего числа аудиообъектов, например трех или более, количество выходных каналов должно быть меньше количества исходных аудиообъектов, интегрированных в сигнал, полученный понижающим микшированием 352. А именно, сигнал 352, полученный понижающим микшированием, содержит, по меньшей мере, сигнал понижающего микширования первого объекта и сигнал понижающего микширования второго объекта, причем, сигнал, полученный понижающим микшированием, представляет собой результат понижающего микширования множества сигналов аудиообъектов, соответствующий введенной информации о понижающем микшировании 354. А именно, в относящуюся к изобретению конструкцию аудиосинтезатора, как показано на фиг.3B, введен декоррелятор 356, генерирующий декоррелированный сигнал, который включает в себя декоррелированный одноканальный сигнал или, в случае применения двух декорреляторов, сигнал первого декоррелированного канала и сигнал второго декоррелированного канала или, при варианте реализации с тремя или более декорреляторами, включающий в себя сигналы числа декоррелированных каналов, большего двух. При этом предпочтительным является меньшее количество декорреляторов и, следовательно, меньшее число сигналов декоррелированных каналов, поскольку каждый декоррелятор значительно усложняет конструкцию. Предпочтительным является количество декорреляторов, меньшее количества аудиообъектов, интегрированных в сигнал понижающего микширования 352, и равное числу каналов в выходном сигнале 352 или меньшее, чем число звуковых каналов в преобразованном аудиорендерингом выходном сигнале 350. Однако для небольшого количества аудиообъектов (например, 2 или 3) количество декорреляторов может быть равным или большим, чем количество аудиообъектов.

Как показано на фиг.3B, декоррелятор принимает на входе сигнал понижающего микширования 352 и генерирует выходной декоррелированный сигнал 358. Информация о понижающем микшировании 354 дополняется данными, задаваемыми для аудиорендеринга 360 и параметрами аудиообъекта 362. В частности, параметры аудиообъекта используются, по крайней мере, блоком сведения 364 и могут дополнительно быть использованы декоррелятором 356, что будет описано ниже. Параметры аудиообъекта 362 должны преимущественно включать в себя данные энергии и корреляции, параметрически описывающие аудиообъект числом в пределах значений между 0 и 1 или числом в заданном диапазоне значений, служащим показателем энергии, мощности или корреляции между двумя аудиообъектами, как будет рассмотрено позже.

Смеситель 364 предназначен для взвешенного введения сигнала понижающего микширования 352 и декоррелированного сигнала 358. Кроме того, на основе параметров понижающего микширования 354 и заданных характеристик звукопередачи (аудиорендеринга) 360 блок сведения 364 рассчитывает весовые коэффициенты для взвешенного сведения. Задаваемые параметры аудиорендеринга имитируют реальное расположение аудиообъектов в виртуальной звуковой среде и позиционируют аудиообъекты, определяя для воспроизведения каждого из них первый или второй выходной канал, то есть левый выходной канал или правый выходной канал при стереоаудиорендеринге. В то же время, при многоканальном аудиорендеринге в задаваемых характеристиках звукопередачи для каждого канала дополнительно определяется примерное положение относительно левого панорамированного (объемного/пространственного) или правого панорамированного или центрального акустического канала и т.п. Возможна реализация любых сценариев аудиорендеринга, которые, однако, будут отличаться друг от друга параметрами звукопередачи, предварительно задаваемыми преимущественно в форме матрицы аудиорендеринга, предоставляемой, как правило, пользователем, что будет описано далее.

И, наконец, блок сведения 364 использует параметры аудиообъекта 362, содержащие описание аудиообъектов, в основном, в виде энергетических показателей и данных корреляции. Как вариант исполнения допускается, чтобы параметры аудиообъекта были представлены в форме ковариационной матрицы аудиообъекта для каждой "ячейки" частотно-временной плоскости. Формулируя иначе, для каждого поддиапазона и для каждого временного отрезка, в пределах которого выбран этот поддиапазон, в качестве параметров аудиообъекта 362 определяется полная ковариационная матрица объекта, то есть матрица, содержащая информацию о мощности/энергии и информацию о корреляции.

При сравнении фиг.3B и фиг.2А или 2B видно, что декодер аудиообъекта 102 на фиг.1 соответствует устройству синтезирования выходного сигнала с использованием аудиорендеринга.

Кроме того, в (функции стереопроцессора 201 включена фаза декорреляции 356, показанная на фиг.3B. Вместе с тем, блок сведения 364 включает в себя блок расчета матриц 202, показанный на фиг.2А. Одновременно, если декоррелятор 356 выполняет операцию понижающего микширования, здесь часть функций вычислителя матриц 202 ложится на декоррелятор 356, а не на блок сведения 364.

Тем не менее, привязка выполняемых функций к конкретным компонентам элементной базы не имеет решающего значения при реализации настоящего изобретения, поскольку область его применения распространяется и на программное обеспечение, и на специальные средства цифровой обработки сигналов, или даже на персональные компьютеры общего назначения. Следовательно, соотнесение конкретной функции с конкретным модулем - это лишь один из подходов к техническому исполнению данного изобретения. Однако, если все принципиальные схемы конструктивных решений рассматривать как блок-схемы, иллюстрирующие алгоритмы рабочих операций, определенные функции можно легко соотнести с определенными блоками в зависимости от требований, предъявляемых при реализации или программировании.

Более того, при сравнении фиг.3B и фиг.3A становится очевидно, что выполнение функции блока сведения 364 по расчету весовых коэффициентов для взвешенного сведения может быть передано блоку расчета матриц 202. Говоря иначе, матричные данные представляют собой набор весовых коэффициентов, используемых модулем комплексного матричного кодирования 303, который реализован в блоке сведения 364, но который может также частично выполнять функции декоррелятора 356 (с учетом матрицы Q, что будет рассмотрено дальше). Таким образом, модуль комплексного матрицирования 303 выполняет операцию сведения поддиапазонов преимущественно этих, по меньшей мере, двух даунмикс-сигналов объекта (сигналов, полученных понижающим микшированием объекта), где информация о матрице включает в себя весовые коэффициенты для взвешивания этих, по меньшей мере, двух даунмикс-сигналов или сигнал, декоррелированный перед выполнением операции сведения.

Далее подробно рассматриваются предпочтительные варианты конструктивного решения блока сведения 364 и декоррелятора 356. В частности, некоторые версии реализации функциональных возможностей декоррелятора 356 и блока сведения 364 представлены с использованием фиг.4А-4D. На фиг.4Е-4G приведены частные случаи компоновки элементов, показанных на фиг. с 4А по 4D. Перед подробным рассмотрением фиг.4А-4D следует разъяснить общий принцип представления этих чертежей. Контур на каждом чертеже имеет линию верхнего ответвления для прохождения декоррелированного сигнала, и линию нижнего ответвления для прохождения исходного необработанного сигнала. Далее, выходные сигналы каждого ответвления, то есть сигнал на выходе линии 450 и сигнал на выходе линии 452, сводятся блоком сведения 454 для формирования преобразованного аудиорендерингом выходного сигнала 350. В целом, контур на фиг.4А включает в себя три матричных процессора 401, 402, 404. 401 - смеситель исходного сигнала. Эти, по меньшей мере, два даунмикс-сигнала аудиообъекта 352 подвергаются взвешиванию и/или взаимному смешению с получением двух исходных сигналов объекта, соответствующих сигналам ответвления прохождения исходного сигнала, которое заканчивается вводом в сумматор 454. При этом линия прохождения исходного сигнала может быть снабжена дополнительным матричным процессором-компенсатором усиления 409, показанным на фиг.4D на выходе смесителя исходного сигнала 401.

Кроме того, блок сведения 364 может произвольно включать в себя блок повышающего микширования сигнала декоррелятора 404, использующий матрицу Р повышающего микширования декоррелированного сигнала.

Естественно, что разделение блоков матрицирования 404, 401 и 409 (фиг.4D) и блока сведения 454 условно, хотя подобный вариант конструктивного решения, безусловно, возможен. Вместе с тем, функции этих матриц могут быть реализованы с помощью одной "большой матрицы", которая получает на входе декоррелированный сигнал 358 и даунмикс-сигнал 352 и обеспечивает на выходе два, три или более преобразованных аудиорендерингом выходных каналов 350. При осуществлении в варианте "большой матрицы" сигналы по линиям 450 и 452 могут не проходить, и сами эти линии в качестве промежуточных компонентов могут быть конструктивно не реализованы, при этом функции такой "большой матрицы" будут выполняться в виде рабочих операций блоков матричного кодирования 404, 401 или 409 и блока сведения 454.

Кроме того, в декоррелятор 356 произвольно может быть введен блок преддекорреляционного смешения сигнала 402. На фиг.4B показан вариант реализации, не содержащий этот блок. В частности, это применимо в случае использования двух декорреляторов для преобразования сигналов по двум каналам понижающего микширования, когда специальное микширование с понижением не требуется. Естественно, в каждом конкретном случае осуществления для обоих каналов понижающего микширования могут быть применены определенные коэффициенты усиления, или перед вводом в декоррелятор два канала понижающего микширования могут быть смешаны. Вместе с тем, функции матрицы Q могут выполняться матрицей Р. Это означает, что матрица Р на фиг.4B отличается от матрицы Р на фиг.4А, несмотря на то, что достигается одинаковый результат. Ввиду этого декоррелятор 356 может вообще не содержать никакую матрицу, и полный расчет параметров матриц, как и их использование, будут осуществляться внутри блока сведения. Однако для более наглядного отображения технических возможностей, скрывающихся за математическими выкладками, в дальнейшем настоящее изобретение будет описываться в рамках матричных алгоритмов, представленных на фиг.4А-4D.

На фиг.4А показано конструктивное решение изобретения в виде модуля комплексного матричного кодирования 303. Входные данные X, включающие в себя параметры, по крайней мере, двух каналов, вводятся в смеситель исходного сигнала 401, который выполняет матричную операцию в соответствии с матрицей С микширования исходного сигнала и выводит исходный стереосигнал повышающего микширования Y′. Входные данные Х вводятся также в блок преддекорреляционного смешения 402, который выполняет матричную операцию в соответствии с матрицей преддекорреляционного смещения Q и дает на выходе сигнал канала N_d, который подается на декоррелятор 403. Далее результирующий декоррелированный сигнал Z канала N_d вводится в блок повышающего микширования сигнала декоррелятора 404, который выполняет матричную операцию в соответствии с матрицей Р повышающего микширования сигнала декоррелятора и выводит декоррелированный стереосигнал. Наконец, декоррелированный стереосигнал смешивается простым суммированием в канале с необработанным стереосигналом повышающего микширования Y′ с образованием выходного сигнала Y′ модуля комплексного матрицирования. Все три матрицы смешения С, Q, Р описываются матричными данными, рассчитываемыми и пересылаемыми матричным вычислителем 202 на стереопроцессор 201. Один из вариантов системы известного уровня техники содержит только нижнее ответвление линии прохождения исходного сигнала. Такая система работает неудовлетворительно в том простом случае, когда стереофонический музыкальный объект проходит по одному каналу понижающего микширования объекта, а монофонический голосовой объект проходит по другому каналу понижающего микширования объекта. Так происходит потому, что аудиорендеринг музыки в стереофонограмму целиком основывается на частотно-селективном панорамировании, хотя известно, что параметрический принцип преобразования в стереоформат, включающий в себя декорреляцию, дает гораздо более высокое качество воспринимаемого звука. В данном конкретном случае лучший результат могла бы дать целиком отличная система, относящаяся к известному уровню техники, в которой применена декорреляция, но которая базируется на даунмиксах двух отдельных монофонических объектов, однако, с другой стороны, достигаемое качество будет оставаться таким же, как и в первом примере с системой, выдающей необработанный стереосигнал для совместимого назад понижающего микширования, при котором музыка остается в формате истинного стерео, а голос смешивается по равным весам с этими двумя каналами понижающего микширования объекта. В качестве примера можно привести целевой аудиорендеринг для караоке, воспроизводящий только стереофонический музыкальный объект. Последующая раздельная обработка каждого канала понижающего микширования не дает возможность оптимального подавления речевого объекта как при комбинированной обработке, когда учитывается полученная информации о стереоаудиообъекте, такая как межканальная корреляция. Ключевая особенность настоящего изобретения - достижение максимально возможного качества звука не только в обеих этих простых ситуациях, но и при гораздо более сложных сочетаниях понижающего микширования объекта с аудиорендерингом.

На фиг.4B, как уже сказано выше, в отличие от фиг.4А изображена компоновка, при которой матрица Q преддекорреляционного смешения не требуется или интегрирована в матрицу Р повышающего микширования сигнала декоррелятора.

На фиг.4С изображена компоновка, при которой матрица Q преддекоррелятора предусмотрена и выполнена в блоке с декоррелятором 356, и при которой матрица Р повышающего микширования сигнала декоррелятора не требуется или интегрирована в матрицу Q.

В дополнение к этому на фиг.4D изображена компоновка, в которой присутствуют матрицы, показанные на фиг.4А, но в которой предусмотрена дополнительная матрица компенсации усиления G, что особенно применимо в третьем варианте технического решения, который будет обсужден в контексте фиг.13, и четвертом варианте конструктивного решения, который будет обсужден в контексте фиг.14.

Блок декоррелятора 356 может включать в себя одиночный декоррелятор или два декоррелятора. На фиг.4Е изображен вариант компоновки, в котором предусмотрен одиночный декоррелятор 403 и в котором сигнал, полученный понижающим микшированием, является двухканальным сигналом понижающего микширования объекта, а выходной сигнал является двухканальным выходным звуковым сигналом. В данном случае матрица Q понижающего микширования сигнала декоррелятора имеет одну строку и два столбца, а матрица повышающего микширования сигнала декоррелятора имеет один столбец и две строки. Однако, когда сигнал, полученный понижающим микшированием, будет иметь больше двух каналов, количество столбцов Q будет равняться количеству каналов сигнала понижающего микширования, а когда синтезируемый преобразованный аудиорендерингом выходной сигнал будет иметь больше двух каналов, количество строк матрицы Р повышающего микширования декоррелированного сигнала будет равно количеству каналов преобразованного аудиорендерингом выходного сигнала.

На фиг.4F показан напоминающий электрическую цепь вариант реализации смесителя исходного сигнала 401, обозначенный С₀, который при конструктивном решении два-на-два имеет по две строки в двух столбцах. Ячейки матрицы отображены на схеме как весовые коэффициенты c_ij. Кроме того, как видно на фиг.4F, сведение взвешенных каналов выполняется с использованием сумматоров. Однако, когда количество каналов понижающего микширования отлично от количества каналов аудиорендеринга выходного сигнала, матрица микширования исходного сигнала С₀ не будет являться квадратичной матрицей, а будет иметь количество строк, отличное от количества столбцов.

На фиг.4G детально отображена стадия суммирования 454 на фиг.4А. В частности, при наличии двух выходных каналов, например сигнала левого стереоканала и сигнала правого стереоканала, предусматриваются два разных суммирующих звена 454, которые выполняют сведение выходных сигналов верхнего ответвления, относящегося к сигналу декоррелятора, и нижнего ответвления, относящегося к исходному сигналу, как показано на фиг.4G.

Ячейки матрицы компенсации усиления G 409 расположены только по ее диагонали. При конструктивном исполнении "два-на-два", показанном на фиг.4f для матрицы С₀ смешения исходного сигнала, коэффициент усиления для компенсации усиления левого исходного сигнала должен находиться в позиции с₁₁, а коэффициент усиления для компенсации усиления правого исходного сигнала будет в