Декодер аудиосигнала, способ декодирования аудиосигнала и компьютерная программа с использованием ступеней каскадной обработки аудиообъектов

Декодер аудиосигнала, способ декодирования аудиосигнала и компьютерная программа с использованием ступеней каскадной обработки аудиообъектов

Иллюстрации

Показать все

Реферат

Область техники

Заявляемое изобретение относится к декодеру аудиосигнала, генерирующему представление сигнала повышающего микширования (апмикс-сигнала), исходя из представления сигнала понижающего микширования (даунмикс-сигнала) и объектно-ориентированной параметрической информации. Реализации данного изобретения относится также к способу генерации представления сигнала повышающего микширования на основании представления сигнала понижающего микширования и объектно-ориентированной параметрической информации. Кроме того, осуществление настоящего изобретения относится к компьютерной программе. Некоторые аппаратные версии представленного изобретения относятся к расширенной системе пространственного кодирования аудиообъекта SAOC Karaoke/Solo („Караоке/Соло").

Уровень техники

Современные акустические системы требуют оптимальной скорости обмена двоичными данными (эффективного битрейта) при передаче и хранении звуковой информации. В дополнение к этому часто требуется озвучивать аудиоконтент с использованием двух и более громкоговорителей, разнесенных в пространстве. В подобных случаях, как правило, желательно, чтобы конфигурация множества динамиков позволяла слушателю позиционно разграничивать различные источники звука или различные составляющие одного источника звука. Это может быть достигнуто за счет соотнесения разных акустических составляющих с индивидуальными громкоговорителями.

Иначе говоря, в технологиях обработки звука, передачи и хранения аудиоданных все возрастающее требование предъявляется к регулированию многоканального контента для совершенствования слухового впечатления. Использование многоканального аудиоконтента способствует значительному улучшению восприятия слушателем. Например, стало доступно создание трехмерного акустического образа, благодаря которому возрастает степень удовлетворенности пользователя развлекательными приложениями. В то же время многоканальный аудиоконтент функционален и в профессиональной среде, например в телеконференцсвязи, где речь говорящего может быть воспроизведена более разборчиво благодаря многоканальному представлению звука. При этом необходимо выбрать оптимальное соотношение качества звука и скорости обмена данными (битрейта) во избежание чрезмерной нагрузки на ресурс за счет многоканальных приложений. Недавно были предложены параметрические средства оптимизации скорости обмена данными при передаче и/или хранении аудиосцен, содержащих множественные аудиообъекты, такие как, кодирование бинаурального сигнала (Тип 1) (см., например, ссылку [ВСС]), кодирование совокупного источника (см., например, ссылку [JSC]) и пространственное кодирование аудиообъекта в формате MPEG (SAOC) (см., например, ссылки [SAOC1], [SAOC2]).

Эти инструментальные средства применяют с целью воссоздания выбранной звуковой сцены перцептуально, а не за счет волнового согласования.

На фиг.8 представлена общая схема подобной системы (здесь - системы пространственного кодирования оудиообъекта SAOC формата MPEG - MPEG SAOC). Система MPEG SAOC 800 на фиг.8 состоит из кодера SAOC 810 и декодера SAOC 820. Кодер SAOC 810 принимает множество сигналов объектов x₁-x_N, которые могут представлять собой, скажем, сигналы временной области или сигналы частотно-временной области (допустим, в виде набора коэффициентов одного из преобразований Фурье или в виде подполосовых сигналов КЗФ [квадратурно-зеркального фильтра]). Помимо этого, кодер SAOC 810 часто получает коэффициенты понижающего микширования [даунмикс-коэффициенты] d₁-d_N, соотнесенные с сигналами объектов x₁-x_N. Отдельные комбинации даунмикс-коэффициентов можно применять для каждого канала микшированного с понижением сигнала [даунмикс-канала]. С помощью кодера SAOC 810 обычно формируют канал микшированного с понижением сигнала, комбинируя сигналы объектов x₁-x_N в соответствии с присвоенными коэффициентами понижающего микширования d₁-d_N. Типично, даунмикс-каналов меньше, чем сигналов объектов x₁-x_N. Предусматривая (хотя бы, приблизительное) разделение (или раздельное преобразование) сигналов объектов на стороне декодера SAOC 820, кодер SAOC 810 генерирует один или более даунмикс-сигналов 812 и сопроводительную служебную информацию 814. Служебная информация 814 отражает характеристики сигналов объектов x₁-x_N, что обеспечивает объектно-ориентированную обработку на стороне декодера.

Декодер SAOC 820 предусматривает прием одного или более даунмикс-сигналов 812 и сопроводительной служебной информации 814. Кроме того, декодер SAOC 820, как правило, рассчитан на получение от пользователя интерактивной информации и/или управляющей информации 822, в которой описывается желаемый режим воспроизведения [рендеринг]. Так, предположим, информация от пользователя в реальном времени/пользовательские параметры управления 822 могут задавать параметры громкоговорителя и желаемое пространственное расположение объектов-источников сигналов x₁-x_N. Декодер SAOC 820 предусматривает, например, генерирование множества декодированных сигналов канала повышающего микширования [апмикс-канала] . Сигналы апмикс-канала могут, к примеру, быть привязаны к индивидуальным динамикам многоколоночной системы воспроизведения звука. Декодер SAOC 820 может, в частности, включать в себя разделитель объектов 820а, выполняющий, по крайней мере, приближенную, реконструкцию сигналов объектов x₁-x_N на основе одного или более микшированных с понижением сигналов 812 и служебной информации 814, обеспечивая в результате воссоздание сигналов объектов 820b. Однако, реконструированные сигналы объектов 820b могут иметь некоторые девиации относительно оригинальных сигналов объектов x₁-x_N потому, например, что сопроводительная служебная информация 814 не всегда достаточна для адекватного воссоздания исходного материала в силу ограничений по скорости передачи данных. Кроме того, декодер SAOC 820 может иметь в своем составе смеситель [микшер] 820с, способный принимать реконструированные сигналы объектов 820b и информацию обратной связи с пользователем/управляющую информацию пользователя 822 и на их базе генерировать сигналы канала повышающего микширования . Смеситель 820 предусматривает задействование интерактивной информации от пользователя/пользовательских управляющих данных 822 для расчета соотношения составляющих индивидуальных реконструируемых сигналов объектов 820b в сигналах апмикс-каналов . Пользовательская интерактивная/управляющая информация 822 может, в частности, включать в себя параметры воспроизведения (называемые также коэффициентами рендеринга), которые определяют соотношение составляющих отдельных сигналов реконструируемых объектов 822 в сигналах каналов повышающего микширования .

Здесь следует обратить внимание на то, что при реализации часто разделение объектов, обозначенное на фиг.8 как разделитель объектов 820а, и микширование, обозначенное на фиг.8 как смеситель [микшер] 820с, осуществляют как одну операцию. Для этого рассчитывают сводные параметры, описывающие прямое соотнесение одного или более микшированных с понижением сигналов 812 с сигналами каналов повышающего микширования . Эти параметры могут быть рассчитаны, исходя из служебной информации 814 и пользовательской информации обратной связи/управления 822.

Теперь, со ссылкой на фигуры 9а, 9b и 9с рассмотрим другой вариант реализации устройства, формирующего представления сигнала, микшированного с повышением, на базе представления сигнала, микшированного с понижением, и объектно-ориентированной служебной информации. На фиг.9а дана принципиальная блочная схема системы MPEG SAOC 900, включающей в себя декодер SAOC 920. Декодер SAOC 920 в качестве самостоятельных функциональных блоков содержит декодер объекта 922 и смеситель/рендерер [микшер/рендерер] 926. Декодер объектов 922 генерирует множество восстановленных сигналов объектов 924, опираясь на полученное им представление даунмикс-сигнала (допустим, в виде одного или более сигналов понижающего микширования во временной области или в частотно-временной области) и на объектно-ориентированную сопутствующую информацию (допустим, в виде метаданных объекта). Смеситель/рендерер 924 получает восстановленные сигналы объектов 924, относящиеся к множеству N объектов, и на их основе формирует один или более сигналов апмикс-канала 928. В компоновке SAOC-декодера 920 экстракция сигналов объектов 924 выполняется отдельно от микширования/рендеринга, что позволяет разделить функции декодирования объекта и микширования/рендеринга, однако приводит к относительно высокой вычислительной трудоемкости.

Далее, обратившись к фиг.9b, кратко обсудим еще одно конструктивное решение системы MPEG SAOC 930, куда введен декодер SAOC 950. Декодер SAOC 950 генерирует множество восстановленных сигналов объектов 958, опираясь на полученное им представление даунмикс-сигнала (допустим, в виде одного или более сигналов понижающего микширования) и на объектно-ориентированную служебную информацию (допустим, в виде метаданных объекта). Декодер SAOC 950 представляет собой интегрированный декодер и смеситель/рендерер объекта, выполненный с возможностью генерирования сигналов апмикс-каналов 958 в ходе комбинированного процесса микширования без разделения декодирования и микширования/рендеринга объектов, параметры которого строятся на объектно-ориентированный служебной информации и данных рендеринга. Комбинированный процесс повышающего микширования зависит также от информации понижающего микширования, которая рассматривается как часть объектно-ориентированной служебной информации.

Делая вывод из сказанного, сигналы каналов повышающего микширования 928, 958 могут быть сгенерированы в ходе одноэтапной или двухэтапной операции.

Теперь, обращаясь к фиг.9с, охарактеризуем систему MPEG SAOC 960. Система [пространственного кодирования оудиообъекта] SAOC 960 предпочтительно включает в себя транскодер SAOC в MPEG Surround 980 вместо декодера SAOC.

Преобразователь кода [транскодер] SAOC в MPEG Surround состоит из перекодировщика [транскодера] служебной информации 982, который предназначен для приема объектно-ориентированной служебной информации (предположительно, в форме метаданных объекта) и, факультативно, информации об одном или более даунмикс-сигналов и параметров рендеринга. Перекодировщик служебной информации предназначен также для выработки на базе полученных данных служебной информации формата MPEG Surround (например, в форме битстрима MPEG Surround). Соответственно, транскодер служебной информации 982 выполняет функцию преобразования объектно-ориентированной (параметрической) служебной информации, поступающей от кодера объектов, в служебную (параметрическую) информацию, описывающую каналы с учетом параметров рендеринга и, произвольно, информации о контенте одного или более микшированных с понижением сигналов.

В качестве опции транскодер SAOC в MPEG Surround 980 может выполнять функцию манипулирования одним или более даунмикс-сигналами, описанными, например, посредством представления даунмикс-сигнала с получением видоизмененного [манипуляцией] представления сигнала понижающего микширования 988. Тем не менее, манипулятор даунмикс-сигналом 986 можно не включать в компоновку, в результате чего представление сигнала понижающего микширования 988 на выходе транскодера SAOC в MPEG Surround 980 будет идентичным представлению сигнала понижающего микширования на входе транскодера SAOC в MPEG Surround. Манипулятор даунмикс-сигналом 986 может найти применение, например, когда служебная информация MPEG Surround 984 с привязкой к каналам не позволяет создать желаемое слуховое впечатление на базе представления сигнала понижающего микширования на входе транскодера SAOC в MPEG Surround 980, что может иметь место при некоторых констелляциях [совокупностях факторов] акустического рендеринга.

Следовательно, транскодер SAOC в MPEG Surround 980 формирует представление сигнала понижающего микширования 988 и битстрим формата MPEG Surround 984 таким образом, что множество сигналов каналов повышающего микширования, отображающих аудиообъекты в соответствии с данными рендеринга, вводимыми в транскодер SAOC -MPEG Surround 980, могут быть сгенерированы с помощью декодера MPEG Surround, на который поступают битстрим MPEG Surround 984 и представление даунмикс-сигнала 988.

Из сказанного вытекает, что для декодирования аудиосигналов, закодированных в SAOC, можно применять различные подходы. В некоторых случаях используют декодер SAOC, который генерирует сигналы каналов повышающего микширования (например, сигналы апмикс-каналов 928, 958) на основе представления сигналов понижающего микширования и объектно-ориентированной служебной параметрической информации. Примеры такого подхода приведены на фиг.9а и 9b. В другом случае аудиоданные, закодированные в SAOC, могут быть перекодированы с получением представления сигнала понижающего микширования (например, представления даунмикс-сигнала 988) и сопроводительной информации, специфицирующей канал (например, битстрима MPEG Surround 984, характеризующего канал), которые будут использованы декодером MPEG Surround для выработки необходимых сигналов каналов повышающего микширования.

На фиг.8 показана общая схема системы MPEG SAOC 800, которая предусматривает частотно-избирательную обработку каждого частотного диапазона таким образом, что:

- кодер SAOC микширует с понижением N входных сигналов аудиообъектов x₁-x_N. Для понижающего монофонического микширования коэффициенты указаны как d₁-d_N. В дополнение к этому кодер SAOC 810 извлекает служебную информацию 814, описывающую входные аудиообъекты. Для процедуры пространственного кодирования оудиообъекта SAOC в формате MPEG базовым видом сопроводительной информации является соотношение мощностей объектов.

- Микшированный с понижением сигнал (или сигналы) 812 и служебную информацию 814 пересылают и/или вводят в память. Для этого микшированный с понижением аудиосигнал сжимают, используя такие известные аудиокодеры перцептуального типа, как MPEG-1 уровня II или III (также известный как,,.mp3"), как Передовая технология аудиокодирования ААС формата MPEG, или любой другой аудиокодер.

- Концептуальная задача декодера SAOC 820 на приемном конце - восстановить исходный сигнал объекта („дифференцировать объекты"), используя полученную служебную информацию 814 (и, естественно, один или более даунмикс-сигналов 812). Затем, из таких приближенных к оригиналам объектных сигналов (определяемых также как реконструированные сигналы объектов [/ сигналы реконструированных объектов] 820b) микшируют целевую сцену, отображаемую посредством М выходных звуковых каналов (которые, например, могут быть представлены сигналами каналов повышающего микширования ) с приложением матрицы аудиорендеринга. Для монофонического звукового выхода коэффициенты матрицы аудиорендеринга представлены как r₁-r_N.

- В действительности, сепарация сигналов объекта выполняется редко (или даже никогда не выполняется), поскольку и шаг сепарации (обозначенный как разделитель объектов 820а), и шаг микширования (обозначенный как смеситель 820с), объединены в общую процедуру транскодирования, в результате которой зачастую происходит значительное снижение вычислительной сложности.

Было установлено, что такая схема чрезвычайно эффективна, как с точки зрения скорости передачи данных (когда необходимо передавать только несколько даунмикс-каналов и некоторую служебную информацию вместо N дискретных сигналов аудиообъектов или дискретной системы), так и с точки зрения вычислительной трудоемкости (трудоемкость обработки связана больше с числом выходных каналов, чем с количеством отображаемых аудиообъектов). Дополнительные преимущества пользователя на приемном конце состоят в свободе выбора воспроизводимого акустического образа (моно-, стереофония, охватывающее, виртуализированное [приближенное к реальности] звучание в наушниках и тому подобное) и в возможности непосредственного участия слушателя/слушательницы: матрица аудиорендеринга обеспечивает возможность адаптации звуковой сцены в режиме реального времени к запросам пользователя в соответствии с его/ее вкусами, личными предпочтениями или иными критериями. Например, можно пространственно ощутимо отделять собеседников одной группы в одной части звукового объема от других участников разговора. Такая интерактивность достигается за счет интерфейса пользователя с декодером.

Регулируются относительный уровень и (для немонофонического рендеринга) пространственное положение каждого звукового объекта. Пользователь может выполнять это в режиме реального времени, изменяя положение соответствующего ползунка устройства графического интерфейса пользователя (GUI/ГИП) (например: уровень объекта = +5 дБ, положение объекта = -30°).

Тем не менее, было установлено, что в подобной системе трудно регулировать разнотипные аудиообъекты. В частности, определено, что затруднения касаются разных типов аудиообъектов, например, сопровождаемых разнотипной служебной информацией, если полное количество аудиообъектов, которое будет обработано, не задано заранее. Ввиду описанной ситуации заявляемое изобретение преследует цель представить концепцию вычислительно эффективного и гибкого декодирования аудиосигнала, где аудиосигнал содержит представление сигнала понижающего микширования и объектно-ориентированную параметрическую информацию, описывающую аудиообъекты двух или более разных типов аудиообъектов.

Краткое описание изобретения

Поставленная цель достигается за счет декодера аудиосигнала [аудиодекодера], генерирующего представление сигнала повышающего микширования [представление апмикс-сигнала] на основании представления сигнала понижающего микширования [представления даунмикс-сигнала] и объектно-ориентированной параметрической информации, с помощью способа генерации представления апмикс-сигнала на основании представления даунмикс-сигнала и объектно-ориентированной параметрической информации с применением компьютерной программы, как определено в независимых пунктах формулы изобретения.

Новизной данного изобретения является декодер аудиосигнала для генерации представления сигнала повышающего микширования в зависимости от представления сигнала понижающего микширования и объектно-ориентированной параметрической информации. Декодер аудиосигнала [отличается тем, что] включает в свою конструкцию разделитель объектов, предназначенный для разложения представления сигнала понижающего микширования с получением „первой аудиоинформации", описывающей первый набор из одного или более аудиообъектов первого типа аудиообъектов, и получения „второй аудиоинформации", описывающей второй набор из одного или более аудиообъектов второго типа аудиообъектов, на основе представления сигнала понижающего микширования и с использованием, по меньшей мере, части объектно-ориентированной параметрической информации. Декодер аудиосигнала также включает в свою конструкцию процессор аудиосигналов, предназначенный для приема второй аудиоинформации и обработки второй аудиоинформации, исходя из объектно-ориентированной параметрической информации, с получением обработанной версии второй аудиоинформации. Декодер аудиосигнала наряду с этим включает в свою конструкцию комбинатор (блок сведения) аудиосигнала, предназначенный для объединения первой аудиоинформации с обработанной версией второй аудиоинформации с получением представления сигнала повышающего микширования.

Основная идея представленного изобретения заключается в том, что эффективная обработка различных типов аудиообъектов может быть достигнута по каскадной схеме, которая предусматривает разделение различных типов аудиообъектов за счет использования, по меньшей мере, части объектно-ориентированной параметрической информации на первом этапе обработки с помощью разделителя объектов, и которая предусматривает дополнительную пространственную обработку на втором этапе обработки, который выполняется процессором аудиосигналов, исходя из, по меньшей мере, части объектно-ориентированной параметрической информации.

Установлено, что выделение из представления даунмикс-сигнала второй аудиоинформации, содержащей аудиообъекты второго типа аудиообъектов, может быть выполнено с умеренной трудоемкостью, даже если присутствует большее количество аудиообъектов второго типа аудиообъектов. В дополнение к этому было определено, что пространственная обработка аудиообъектов второго типа может быть произведена эффективно, если вторая аудиоинформация отделена от первой аудиоинформации, описывающей аудиообъекты первого типа.

Кроме того, выявлено, что алгоритм обработки, выполняемый разделителем объектов для того, чтобы отделить первую аудиоинформацию от второй аудиоинформации, может быть реализован со сравнительно небольшой сложностью, если индивидуальная обработка аудиообъектов второго типа будет передана процессору аудиосигналов и не будет выполняться одновременно с сепарацией первой аудиоинформации и второй аудиоинформации. Предпочтительный вариант осуществления декодера аудиосигнала выполнен с возможностью формирования представления сигнала повышающего микширования на основании представления сигнала понижающего микширования, объектно-ориентированной параметрической информации и остаточной (разностной) информации, относящейся к подмножеству аудиообъектов, отображенных в представлении сигнала понижающего микширования. В такой компоновке разделитель объектов выполнен с возможностью разложения представления сигнала понижающего микширования на первую аудиоинформацию, описывающую первую комбинацию из одного или более аудиообъектов (допустим, объектов переднего плана FGO) первого типа аудиообъектов, к которым относится остаточная (разностная) информация, и вторую аудиоинформацию, описывающую вторую комбинацию из одного или более аудиообъектов (скажем, объектов заднего плана BGO) второго типа аудиообъектов, к которым остаточная (разностная) информация не относится, исходя из представления сигнала понижающего микширования с использованием, по меньшей мере, части объектно-ориентированной параметрической информации и остаточной (разностной) информации.

Это конструктивное решение основано на заключении, что особенно точная сепарация первой аудиоинформации, описывающей первую совокупность аудиообъектов первого типа аудиообъектов, и второй аудиоинформации, описывающей вторую совокупность аудиообъектов второго типа аудиообъектов, может быть выполнена путем использования остаточной (разностной) информации в дополнение к объектно-ориентированной параметрической информации. Выявлено, что использование только объектно-ориентированной параметрической информации во многих случаях ведет к искажениям, которые можно существенно снизить или даже полностью устранить благодаря применению остаточной (разностной) информации. Остаточная (разностная) информация описывает, допустим, ожидаемое остаточное искажение после выделения аудиообъекта первого типа аудиообъектов с использованием только объектно-ориентированной параметрической информации. Остаточную информацию обычно оценивает кодер аудиосигнала. С помощью остаточной информации может быть оптимизировано разделение аудиообъектов первого типа и аудиообъектов второго типа.

Это позволяет формировать первую аудиоинформацию и вторую аудиоинформацию с особенно хорошим выделением аудиообъектов первого типа аудиообъектов и аудиообъектов второго типа аудиообъектов, что, в свою очередь, позволяет добиваться высококачественной пространственной обработки аудиообъектов второго типа аудиообъектов при выполнении обработки второй аудиоинформации процессором аудиосигналов.

Таким образом, в предпочтительном варианте осуществления разделитель объектов выполнен с возможностью формирования первой аудиоинформации таким образом, что в ней аудиообъекты первого типа аудиообъектов выделены относительно аудиообъектов второго типа. Кроме того, разделитель объектов выполнен с возможностью формирования второй аудиоинформации таким образом, что в ней аудиообъекты второго типа аудиообъектов выделены относительно аудиообъектов первого типа.

Декодер аудиосигнала отличается тем, что выполняет двухэтапную обработку таким образом, что процессор аудиосигналов обрабатывает вторую аудиоинформацию следом за сепарацией первой аудиоинформации, описывающей первый набор из одного или более аудиообъектов первого типа аудиообъектов, и второй аудиоинформации, описывающей второй набор из одного или более аудиообъектов второго типа аудиообъектов. В предпочтительном конструктивном варианте процессор аудиосигналов обрабатывает вторую аудиоинформацию в зависимости от объектно-ориентированной параметрической информации относительно аудиообъектов второго типа аудиообъектов и независимо от объектно-ориентированной параметрической информации относительно аудиообъектов первого типа. Следовательно, возможна раздельная обработка аудиообъектов первого типа аудиообъектов и аудиообъектов второго типа аудиообъектов.

В предпочтительном варианте технического решения разделитель объектов формирует первую аудиоинформацию и вторую аудиоинформацию, используя линейную комбинацию одного или более каналов понижающего микширования и одного или более остаточных каналов. В этом случае разделитель объектов предусматривает расчет параметров линейной комбинации в зависимости от параметров понижающего микширования для аудиообъектов первого типа аудиообъектов и в зависимости от канальных коэффициентов предсказания аудиообъектов первого типа аудиообъектов. При расчете коэффициентов предсказания каналов аудиообъектов первого типа аудиообъектов можно, например, учитывать аудиообъекты второго типа аудиообъектов как один совокупный аудиообъект. В силу этого процесс сепарации можно выполнять с достаточно низкой вычислительной сложностью почти независимо, например, от количества аудиообъектов второго типа аудиообъектов.

В предпочтительной аппаратной версии разделитель объектов предусматривает приложение матрицы аудиорендеринга к первой аудиоинформации с целью отображения сигналов объектов первой аудиоинформации в аудиоканалах представления аудиосигнала повышающего микширования. Это выполнимо благодаря тому, что разделитель объектов выполнен с возможностью экстракции отдельных аудиосигналов, обособленно отображающих аудиообъекты первого типа аудиообъектов. Следовательно, можно спроецировать сигналы объекта первой аудиоинформации непосредственно на аудиоканалы представления апмикс-аудиосигнала. В предпочтительном техническом исполнении аудиопроцессор предназначен для стереофонического преобразования второй аудиоинформации на основании параметров рендеринга, объектно-ориентированных данных ковариации и параметров даунмикса с формированием аудиоканалов представления аудиосигналов повышающего микширования.

Следовательно, стереообработка аудиообъектов второго типа аудиообъектов выполняется отдельно от сортировки аудиообъектов первого типа аудиообъектов и аудиообъектов второго типа аудиообъектов. Таким образом, на эффективность разделения аудиообъектов первого типа и аудиообъектов второго типа стереофоническое преобразование не влияет (или не снижает ее), хотя, как правило, оно приводит к распределению аудиообъектов по множеству аудиоканалов без высокой степени разделения объектов, которое может быть достигнуто, например, с помощью разделителя объектов с использованием остаточной информации. В другом предпочтительном варианте реализации аудиопроцессор предусматривает выполнение последующей обработки (постпроцессинг) второй аудиоинформации в зависимости от параметров рендеринга, объектно-ориентированных данных ковариации и параметров понижающего микширования. Такая форма постпроцессинга обеспечивает пространственную расстановку аудиообъектов второго типа аудиообъектов в композиции аудиосцены. Однако, благодаря каскадному подходу вычислительная трудоемкость для аудиопроцессора сохраняется на достаточно невысоком уровне, так как аудиопроцессор не должен учитывать объектно-ориентированную параметрическую информацию, относящуюся к аудиообъектам первого типа аудиообъектов.

Более того, аудиопроцессор рассчитан на выполнение многих разновидностей обработки, таких, например, как моно-бинауральное преобразование, моностереофоническое преобразование, стерео-бинауральное или стерео-стерео преобразование.

В предпочтительном варианте конструктивного решения разделитель объектов выполнен с возможностью обработки аудиообъектов второго типа, не имеющих сопутствующей остаточной информации, в виде единого аудиообъекта. Более того, процессор аудиосигналов предусматривает учет объектно-ориентированных параметров рендеринга для выверки соотношения компонент объектов второго типа аудиообъектов в структуре представления сигнала повышающего микширования. Таким образом, разделитель объектов воспринимает аудиообъекты второго типа аудиообъектов как один аудиообъект, что существенно снижает вычислительную сложность для разделителя объектов и наряду с этим формирует уникальную остаточную информацию, которая не связана с параметрами рендеринга аудиообъектов второго типа аудиообъектов. В предпочтительном конструктивном варианте разделитель объектов выполнен с возможностью расчета общего показателя разности уровней объектов для множества аудиообъектов второго типа аудиообъектов. Расчет общей разности уровней объектов выполняется разделителем объектов с целью вычисления коэффициентов предсказания каналов. При этом разделитель объектов предусматривает использование коэффициентов предсказания каналов с целью формирования одного или двух аудиоканалов для представления второй аудиоинформации. Чтобы получить обобщенное значение разности уровней объектов разделитель аудиообъектов может эффективно оперировать с аудиообъектами второго типа как с единым аудиообъектом. Разделитель объектов выполнен с возможностью вычисления общего значения разности уровней множества аудиообъектов второго типа аудиообъектов и применения этого общего значения разности уровней объектов для вычисления элементов матрицы детализации энергетического режима. Разделитель объектов использует матрицу детализации энергетического режима для формирования одного или более аудиоканалов представления второй аудиоинформации. И вновь, общее значение разности уровней объектов рационализирует совокупную обработку аудиообъектов второго типа разделителем объектов.

В предпочтительном конструктивном решении разделитель объектов выполнен с возможностью селективного расчета общего значения межобъектной корреляции аудиообъектов второго типа в зависимости от объектно-ориентированной параметрической информации, если присутствуют два аудиообъекта второго типа аудиообъектов, или установления на ноль значения межобъектной корреляции аудиообъектов второго типа, если присутствует больше или меньше, чем два аудиообъекта второго типа аудиообъектов.

Разделитель объектов использует общее значение межобъектной корреляции аудиообъектов второго типа аудиообъектов с целью формирования одного или более аудиоканалов представления второй аудиоинформации. При данном подходе значение межобъектной корреляции задействуется, если оно доступно с высокой вычислительной эффективностью, то есть, если присутствуют два аудиообъекта второго типа аудиообъектов. В иных случаях расчет значений межобъектной корреляции вычислительно трудоемко. В силу этого, с точки зрения слухового впечатления и вычислительной стоимости был найден целесообразный компромисс, это - установление на ноль значения межобъектной корреляции аудиообъектов второго типа аудиообъектов, когда в наличии имеется больше или меньше двух аудиообъектов второго типа.

В предпочтительном варианте реализации процессор аудиосигналов характеризуется тем, что преобразует вторую аудиоинформацию в зависимости от (по меньшей мере части) объектно-ориентированной параметрической информации с получением преобразованного представления аудиообъектов второго типа аудиообъектов в виде обработанной версии второй аудиоинформации. В этом случае подобное преобразование может быть выполнено независимо от аудиообъектов первого типа аудиообъектов.

В предпочтительной версии исполнения разделитель объектов характеризуется тем, что обрабатывает вторую аудиоинформацию таким образом, что вторая аудиоинформация описывает более двух аудиообъектов второго типа аудиообъектов. Устройства, выполненные в соответствии с изобретением, обеспечивают гибкое регулирование количества аудиообъектов второго типа аудиообъектов, чему в значительной степени способствует каскадная схема обработки.

В предпочтительном конструктивном решении разделитель объектов характеризуется тем, что формирует в виде второй аудиоинформации представление одноканального аудиосигнала или представление двухканального аудиосигнала, отображающее более двух аудиообъектов второго типа аудиообъектов. Выделение одного или двух каналов аудиосигнала разделитель объектов выполняет с низкой вычислительной сложностью. В частности, трудоемкость вычисления для разделителя объектов может сохраняться на значительно более низком уровне, чем в случае, когда разделитель объектов должен обсчитать более двух аудиообъектов второго типа аудиообъектов. Однако, исследования показали, что в вычислительном отношении эффективным представление аудиообъектов второго типа является при использовании одного или двух каналов аудиосигнала.

Процессор аудиосигналов характеризуется тем, что принимает вторую аудиоинформацию и обрабатывает вторую аудиоинформацию, исходя из (по меньшей мере, части) объектно-ориентированной параметрической информации, учитывая объектно-ориентированную параметрическую информацию о более, чем двух аудиообъектах второго типа аудиообъектов. Отсюда следует, что индивидуально-объектную обработку выполняет аудиопроцессор при том, что такую индивидуально-объектную обработку аудиообъектов второго типа аудиообъектов не выполняет разделитель объектов.

В предпочтительном конструктивном решении аудиодекодер выполнен с возможностью извлечения из данных о конфигурации, входящих в состав объектно-ориентированной параметрической информации, суммарного значения количества объектов и значения количества объектов переднего плана. Аудиодекодер также выполнен с возможностью вычисления количества аудиообъектов второго типа аудиообъектов путем расчета разности чисел суммарного количества объектов и объектов переднего плана. Благодаря этому достигается эффективное выведение числа аудиообъектов второго типа аудиообъектов. При этом такой подход обеспечивает высокую степень гибкости в отношении количества аудиообъектов второго типа аудиообъектов.

В предпочтительной аппаратной версии разделитель объектов использует объектно-ориентированную параметрическую информацию о N_eao аудиообъектах первого типа аудиообъектов для формирования первой аудиоинформации путем выделения N_eao аудиосигналов, представляющих (предпочтительно - индивидуально) N_eao аудиообъектов первого типа, и для формирования второй аудиоинформации путем выделения одного или двух аудиосигналов, представляющих N-N_eao аудиообъектов второго типа аудиообъектов, обрабатывая эти N-N_eao аудиообъектов второго типа как одиночный одноканальный или двухканальный аудиообъект. Процессор аудиосигналов выполнен с возможностью индивидуального преобразования N-N_eao аудиообъектов, представленных одним или двумя ауд