Кодер, декодер, система и способ, использующие концепцию остатка для параметрического кодирования аудиобъектов

Кодер, декодер, система и способ, использующие концепцию остатка для параметрического кодирования аудиобъектов

Иллюстрации

Показать все

Реферат

Настоящее изобретение относится к кодированию, декодированию и обработке аудиосигналов, и в частности к кодеру, декодеру и способу, которые используют концепции остатка для параметрического кодирования аудиообъектов.

В последнее время параметрические методы для эффективной с точки зрения частоты следования битов (битрейта) передачи/сохранения аудиосцен, содержащих многочисленные аудиообъекты, были предложены в области кодирования аудио (см., например, [BCC], [JSC], [SAOC], [SAOC1] и [SAOC2]) и основанного на имеющейся информации разделения источников (см., например, [ISS1], [ISS2], [ISS3], [ISS4], [ISS5] и [ISS6]). Эти методы направлены на реконструкцию желаемой аудиосцены вывода или желаемого объекта аудиоисточника на основании дополнительной побочной информации, описывающей переданные и/или сохраненные аудиосцены и/или объекты аудиоисточника в аудиосцене.

Фиг. 5 представляет общий вид системы SAOC (SAOC = пространственное кодирование аудиообъектов), иллюстрирующий принцип таких параметрических систем с использованием примера SAOC MPEG (MPEG = Экспертная группа по движущемуся изображению) (см., например, [SAOC], [SAOC1] и [SAOC2]).

Общая обработка проводится избирательным по времени/частоте путем и может быть описана следующим образом:

Кодер 510 SAOC, в частности, средство 530 оценки побочной информации кодера 510 SAOC извлекает побочную информацию, описывающую характеристики максимум 32 входных сигналов s₁…s₃₂ аудиообъектов (отношения, в их простейшей форме, мощностей объектов сигналов аудиообъектов). Микшер 520 кодера 510 SAOC осуществляет понижающее микширование сигналов s₁…s₃₂ аудиообъектов для получения моно или 2-х канального результата микширования сигналов (то есть, одного или двух сигналов понижающего микширования) с использованием коэффициентов d_1,1…d_32,2 усиления понижающего микширования.

Сигнал(ы) понижающего микширования и побочная информация передаются или сохраняются. С этой целью аудиосигнал(ы) понижающего микширования могут быть кодированы с использованием аудиокодера 540. Аудиокодер 540 может быть хорошо известным перцептивным аудиокодером, например, аудиокодером MPEG-1 Layer II или III (другими словами .mp3), аудиокодером усовершенствованного кодирования аудио (AAC) MPEG и так далее.

На стороне приемника соответствующий аудиодекодер 550, например, перцептивный аудиодекодер, такой как аудиодекодер MPEG-1 Layer II или III (другими словами .mp3), аудиодекодер усовершенствованного кодирования аудио (AAC) MPEG и так далее, декодирует кодированный аудиосигнал(ы) понижающего микширования.

Декодер 560 SAOC концептуально пытается восстановить исходные сигналы (аудио)объектов ("разделение объектов") из упомянутого одного или двух сигналов понижающего микширования с использованием переданной и/или сохраненной побочной информации, например, посредством использования разделителя 570 виртуальных объектов. Эти аппроксимированные сигналы s_1,est…s_32,est (аудио)объектов затем микшируются средством 580 воспроизведения декодера 560 SAOC в целевую сцену, представленную посредством максимум 6 каналами y_1,est…y_6,est вывода аудио с использованием матрицы воспроизведения (описываемой коэффициентами r_1,1…r_32,6). Выходные данные могут представлять собой одноканальное, 2-канальное стерео или 5.1 многоканальную целевую сцену (например, один, два или шесть сигналов вывода аудио).

Вследствие основных ограничений параметрической оценки аудиообъектов на стороне декодирования в большинстве случаев, желаемая целевая сцена вывода не может быть сгенерирована идеально. На предельных рабочих точках (например, сольное воспроизведение одного аудиообъекта) часто обработка больше не может достичь адекватного субъективного звука. С этой целью схема SAOC была расширена посредством внедрения расширенных аудиообъектов (EAO) (т.е. аудиообъектов с расширенными возможностями)(см., например, [Dfx], см., например, более того, [SAOC]). Аудиообъекты, которые кодируются в качестве EAO, демонстрируют улучшенную способность отделения от других (обычных) не являющихся расширенными аудиообъектов (не-EAO), кодируемых в том же самом сигнале понижающего микширования, за счет увеличенной скорости передачи побочной информации. Концепция EAO предусматривает для каждого EAO ошибку предсказания (остаточный сигнал) параметрической модели.

Фиг. 6 представляет оценку остатка на стороне кодера, схематично иллюстрируя вычисление остаточных сигналов для каждого EAO. В кодере SAOC остаточные сигналы (вплоть до 4 EAO) оцениваются с использованием извлеченной параметрической побочной информации (PSI) и исходных сигналов источника, кодированных по форме волны и включенных в битовый поток SAOC в качестве не являющейся параметрической побочной информации об остатке (RSI). Более подробно, декодер SAOC PSI для EAO 610 генерирует оцененные сигналы s_est,EAO аудиообъектов из понижающего микширования X. Узел 620 генерирования RSI затем генерирует вплоть до четырех остаточных сигналов s_{res,RSI,{1,…,4}} на основе сгенерированных оцененных сигналов s_est,EAO аудиообъектов и на основе исходных сигналов s₁,…,s₄ аудиообъектов EAO.

Фиг. 7 представляет базовую структуру декодера SAOC с поддержкой EAO, иллюстрируя концептуальный общий вид схемы обработки EAO, интегрированной в цепь декодирования/транскодирования SAOC (транскодирование = преобразование данных из одного кодирования в другое кодирование).

Параметры, ориентированные на сигнал понижающего микширования, а именно коэффициенты предсказания канала (CPC) получаются из параметрической побочной информации (PSI) посредством узла 710 оценки CPC.

CPC вместе с сигналом понижающего микширования подаются в блок-Два-в-N 720 (блок-ДВN). Блок-ДВN 720 концептуально пытается оценить EAO (s_est,EAO) из переданного сигнала (X) понижающего микширования и обеспечить оцененное понижающее микширование не-EAO (X_est,nonEAO), состоящее только из не-EAO.

Переданные/сохраненные (и декодированные) остаточные сигналы (s_{res, RSI}) используются посредством узла 730 обработки RSI для улучшения оценок EAO (s_{est, EAO}) и соответствующего понижающего микширования только объектов не-EAO (X_nonEAO).

Согласно уровню техники, на следующем этапе узел 730 обработки RSI подает сигнал понижающего микширования не-EAO (X_nonEAO) в процессор 740 понижающего микширования SAOC (узел декодирования PSI) для оценки объектов не-EAO s_est,nonEAO. Узел 740 декодирования PSI передает оцененные аудиообъекты не-EAO s_est,nonEAO узлу 750 воспроизведения. Более того, узел обработки RSI непосредственно подает расширенные EAO в узел 750 воспроизведения. Узел 750 воспроизведения затем генерирует моно или стерео выходные сигналы на основе оцененных аудиообъектов не-EAO s_est,nonEAO и на основе расширенных EAO .

Система уровня техники имеет следующие недостатки:

До применения остаточных сигналов к вычислению EAO в декодере SAOC ориентированные на понижающее микширование CPC должны быть вычислены из переданной/сохраненной параметрической побочной информации.

Все сигналы понижающего микширования должны быть обработаны в пределах концепции остатка SAOC вне зависимости от их пригодности для обработки EAO.

Концепция остатка SAOC может быть использована только с одно- или двухканальными результатами микширования сигналов вследствие ограничений блока-ДВN. Концепция остатка EAO не может быть использована в комбинации с многоканальными результатами микширования (например, 5.1-многоканальными результатами микширования).

Кроме того, вследствие соответствующей вычислительной сложности их оценки, обработка EAO SAOC устанавливает ограничения на число EAO (то есть, до 4).

Из-за этих ограничений концепция обработки остатка EAO SAOC не может быть применена к многоканальным (например, 5.1) сигналам понижающего микширования или использована для более чем 4 EAO.

Поэтому было бы предпочтительно обеспечить улучшенные концепции для кодирования аудиосигнала, декодирования аудиосигнала и обработки аудиосигнала.

Целью настоящего изобретения является обеспечение улучшенных концепций для кодирования аудиосигнала, декодирования аудиосигнала и обработки аудиосигнала. Цель настоящего изобретения решается декодером по пункту 1, генератором остаточных сигналов по пункту 11, кодером по пункту 19, системой по пункту 21, кодированным сигналом по пункту 22, способом по пункту 23, способом по пункту 24 и компьютерной программой по пункту 25.

Обеспечен декодер. Декодер содержит узел параметрического декодирования для генерирования множества первых оцененных сигналов аудиообъектов посредством повышающего микширования трех или более сигналов понижающего микширования, при этом упомянутые три или более сигналов понижающего микширования кодируют множество исходных сигналов аудиообъектов, при этом узел параметрического декодирования сконфигурирован с возможностью повышающего микширования упомянутых трех или более сигналов понижающего микширования в зависимости от параметрической побочной информации, указывающей информацию об упомянутом множестве исходных сигналов аудиообъектов. Более того, декодер содержит узел обработки остатка для генерирования множества вторых оцененных сигналов аудиообъектов посредством модификации одного или более из упомянутых первых оцененных сигналов аудиообъектов, при этом узел обработки остатка сконфигурирован с возможностью модификации упомянутого одного или более из упомянутых первых оцененных сигналов аудиообъектов в зависимости от одного или более остаточных сигналов.

Вариант осуществления представляет объектно-ориентированную концепцию остатка, которая улучшает воспринимаемое качество EAO. В отличие от системы уровня техники, представленная концепция не ограничивается ни числом сигналов понижающего микширования, ни числом EAO. Представлены два способа для получения связанных с объектами остаточных сигналов. Каскадная концепция, с помощью которой энергия остаточного сигнала итерационно сокращается с увеличением числа EAO ценой более высокой вычислительной сложности, и вторая концепция с меньшей вычислительной сложностью, в которой все остатки оцениваются одновременно.

Кроме того, варианты осуществления обеспечивают улучшенную концепцию применения объектно-ориентированных остаточных сигналов на стороне декодера, и концепции с уменьшенной сложностью, предназначенные для сценариев применения, в которых только EAO подвергаются манипулированию на стороне декодера, или модификация не-EAO ограничивается масштабированием усиления.

Согласно варианту осуществления узел обработки остатка может быть сконфигурирован с возможностью модификации упомянутого одного или более из упомянутых первых оцененных сигналов аудиообъектов в зависимости от по меньшей мере трех остаточных сигналов. Декодер адаптирован с возможностью генерирования по меньшей мере трех каналов вывода аудио на основе упомянутого множества вторых оцененных сигналов аудиообъектов.

Согласно варианту осуществления декодер дополнительно может содержать узел модификации понижающего микширования. Узел обработки остатка может определять один или более сигналов аудиообъектов из упомянутого множества вторых оцененных сигналов аудиообъектов. Узел модификации понижающего микширования может быть адаптирован с возможностью удаления определенного одного или более вторых оцененных сигналов аудиообъектов из упомянутых трех или более сигналов понижающего микширования для получения трех или более модифицированных сигналов понижающего микширования. Узел параметрического декодирования может быть сконфигурирован с возможностью определения одного или более сигналов аудиообъектов из упомянутых первых оцененных сигналов аудиообъектов на основе упомянутых трех или более модифицированных сигналов понижающего микширования.

В конкретном варианте осуществления узел модификации понижающего микширования может, например, быть адаптирован с возможностью применения формулы .

Более того, декодер может быть адаптирован с возможностью проведения двух или более итеративных шагов. Для каждого итеративного шага, узел параметрического декодирования может быть адаптирован с возможностью определения ровно одного сигнала аудиообъекта из упомянутого множества первых оцененных сигналов аудиообъектов. Более того для упомянутого итеративного шага, узел обработки остатка может быть адаптирован с возможностью определения ровно одного сигнала аудиообъекта из упомянутого множества вторых оцененных сигналов аудиообъектов посредством модификации упомянутого сигнала аудиообъекта из упомянутого множества первых оцененных сигналов аудиообъектов. Кроме того, для упомянутого итеративного шага, узел модификации понижающего микширования может быть адаптирован с возможностью удаления упомянутого сигнала аудиообъекта из упомянутого множества вторых оцененных сигналов аудиообъектов из упомянутых трех или более сигналов понижающего микширования для модификации упомянутых трех или более сигналов понижающего микширования. На следующем итеративном шаге, следующем за упомянутым итеративным шагом, узел параметрического декодирования может быть адаптирован с возможностью определения ровно одного сигнала аудиообъекта из упомянутого множества первых оцененных сигналов аудиообъектов на основе упомянутых трех или более сигналов понижающего микширования, которые были модифицированы.

В варианте осуществления каждый из упомянутого одного или более остаточных сигналов может указывать различие между одним из упомянутого множества исходных сигналов аудиообъектов и одним из упомянутого одного или более первых оцененных сигналов аудиообъектов.

Согласно варианту осуществления, в котором узел обработки остатка может быть адаптирован с возможностью генерирования упомянутого множества вторых оцененных сигналов аудиообъектов посредством модификации пяти или более упомянутых первых оцененных сигналов аудиообъектов, при этом узел обработки остатка может быть сконфигурирован с возможностью модификации упомянутых пяти или более из упомянутых первых оцененных сигналов аудиообъектов в зависимости от пяти или более остаточных сигналов.

В другом варианте осуществления декодер может быть сконфигурирован с возможностью генерирования семи или более каналов вывода аудио на основе упомянутого множества вторых оцененных сигналов аудиообъектов.

Согласно дополнительному варианту осуществления декодер может быть адаптирован с возможностью не определять коэффициенты предсказания канала для определения упомянутого множества вторых оцененных сигналов аудиообъектов. Варианты осуществления обеспечивают концепции, так что вычисление коэффициентов предсказания канала, которые до сих пор были необходимы для декодирования в SAOC уровня техники, больше не является необходимым для декодирования.

В дополнительном варианте осуществления декодер может быть декодером SAOC.

Более того, обеспечен генератор остаточных сигналов. Генератор остаточных сигналов содержит узел параметрического декодирования для генерирования множества оцененных сигналов аудиообъектов посредством повышающего микширования трех или более сигналов понижающего микширования, при этом упомянутые три или более сигналов понижающего микширования кодируют множество исходных сигналов аудиообъектов, при этом узел параметрического декодирования сконфигурирован с возможностью повышающего микширования упомянутых трех или более сигналов понижающего микширования в зависимости от параметрической побочной информации, указывающей информацию об упомянутом множестве исходных сигналов аудиообъектов. Более того, генератор остаточных сигналов содержит узел оценки остатка для генерирования множества остаточных сигналов на основе упомянутого множества исходных сигналов аудиообъектов и на основе упомянутого множества оцененных сигналов аудиообъектов, так что каждый из упомянутого множества остаточных сигналов является разностным сигналом, указывающим различие между одним из упомянутого множества исходных сигналов аудиообъектов и одним из упомянутого множества оцененных сигналов аудиообъектов.

В варианте осуществления узел оценки остатка может быть адаптирован с возможностью генерирования по меньшей мере пяти остаточных сигналов на основе по меньшей мере пяти исходных сигналов аудиообъектов из упомянутого множества исходных сигналов аудиообъектов и на основе по меньшей мере пяти оцененных сигналов аудиообъектов из упомянутого множества оцененных сигналов аудиообъектов.

В варианте осуществления генератор остаточных сигналов может дополнительно содержать узел модификации понижающего микширования, адаптированный c возможностью модификации упомянутых трех или более сигналов понижающего микширования для получения трех или более модифицированных сигналов понижающего микширования. Узел параметрического декодирования может быть сконфигурирован с возможностью определения одного или более сигналов аудиообъектов из упомянутых первых оцененных сигналов аудиообъектов на основе упомянутых трех или более модифицированных сигналов понижающего микширования.

В варианте осуществления узел модификации понижающего микширования может, например, быть сконфигурирован с возможностью модификации упомянутых трех или более исходных сигналов понижающего микширования для получения упомянутых трех или более модифицированных сигналов понижающего микширования посредством удаления одного или более из упомянутого множества исходных сигналов аудиообъектов из упомянутых трех или более исходных сигналов понижающего микширования.

В другом варианте осуществления узел модификации понижающего микширования может, например, быть сконфигурирован с возможностью модификации упомянутых трех или более исходных сигналов понижающего микширования для получения упомянутых трех или более модифицированных сигналов понижающего микширования посредством генерирования одного или более модифицированных сигналов аудиообъектов на основе одного или более из оцененных сигналов аудиообъектов и на основе одного или более из остаточных сигналов, и посредством удаления упомянутого одного или более модифицированных сигналов аудиообъектов из упомянутых трех или более исходных сигналов понижающего микширования. Например, каждый из упомянутого одного или более модифицированных сигналов аудиообъектов может быть сгенерирован посредством узла модификации понижающего микширования посредством модификации одного из оцененных сигналов аудиообъектов, при этом узел модификации понижающего микширования может быть адаптирован с возможностью модификации упомянутого оцененного сигнала аудиообъекта в зависимости от одного из упомянутого одного или более остаточных сигналов.

В обоих вариантах осуществления, описанных выше по тексту, узел модификации понижающего микширования может, например, быть адаптирован с возможностью применения формулы , в которой является понижающим микшированием, которое должно быть модифицировано, в которой указывает информацию понижающего микширования, в которой содержит исходные сигналы аудиообъектов, которые должны быть удалены, или модифицированные сигналы аудиообъектов, в которой указывает местоположения сигналов, которые должны быть удалены, и в которой является модифицированным сигналом понижающего микширования. Например, местоположение (позиция) сигнала аудиообъекта соответствует местоположению (позиции) его аудиообъекта в списке всех объектов.

Согласно варианту осуществления генератор остаточных сигналов может быть адаптирован с возможностью проведения двух или более итеративных шагов. Для каждого итеративного шага узел параметрического декодирования может быть адаптирован с возможностью определения ровно одного сигнала аудиообъекта из упомянутого множества оцененных сигналов аудиообъектов. Более того, для упомянутого итеративного шага узел оценки остатка может быть адаптирован с возможностью определения ровно одного остаточного сигнала из упомянутого множества остаточных сигналов посредством модификации упомянутого сигнала аудиообъекта из упомянутого множества оцененных сигналов аудиообъектов. Кроме того, для упомянутого итеративного шага узел модификации понижающего микширования может быть адаптирован с возможностью модификации упомянутых трех или более сигналов понижающего микширования. На следующем итеративном шаге, следующем за упомянутым итеративным шагом, узел параметрического декодирования может быть адаптирован с возможностью определения ровно одного сигнала аудиообъекта из упомянутого множества оцененных сигналов аудиообъектов на основе упомянутых трех или более сигналов понижающего микширования, которые были модифицированы.

В варианте осуществления обеспечен кодер для кодирования множества исходных сигналов аудиообъектов посредством генерирования трех или более сигналов понижающего микширования, посредством генерирования параметрический побочной информации и посредством генерирования множества остаточных сигналов. Кодер содержит генератор понижающего микширования для обеспечения упомянутых трех или более сигналов понижающего микширования, указывающих понижающее микширование упомянутого множества исходных сигналов аудиообъектов. Более того, кодер содержит средство оценки параметрический побочной информации для генерирования параметрический побочной информации, указывающей информацию об упомянутом множестве исходных сигналов аудиообъектов, для получения параметрической побочной информации. Кроме того, кодер содержит генератор остаточных сигналов согласно одному из описанных выше по тексту вариантов осуществления. Узел параметрического декодирования генератора остаточных сигналов адаптирован с возможностью генерирования множества оцененных сигналов аудиообъектов посредством повышающего микширования упомянутых трех или более сигналов понижающего микширования, обеспеченных посредством генератора понижающего микширования, при этом сигналы понижающего микширования кодируют упомянутое множество исходных сигналов аудиообъектов. Узел параметрического декодирования сконфигурирован с возможностью повышающего микширования упомянутых трех или более сигналов понижающего микширования в зависимости от параметрической побочной информации, сгенерированной средством оценки параметрический побочной информации. Узел оценки остатка генератора остаточных сигналов адаптирован с возможностью генерирования упомянутого множества остаточных сигналов на основе упомянутого множества исходных сигналов аудиообъектов и на основе упомянутого множества оцененных сигналов аудиообъектов, так что каждый из упомянутого множества остаточных сигналов указывает различие между одним из упомянутого множества исходных сигналов аудиообъектов и одним из упомянутого множества оцененных сигналов аудиообъектов.

В варианте осуществления кодер может быть кодером SAOC.

Более того, обеспечена система. Система содержит кодер согласно одному из описанных выше по тексту вариантов осуществления для кодирования множества исходных сигналов аудиообъектов посредством генерирования трех или более сигналов понижающего микширования, посредством генерирования параметрический побочной информации и посредством генерирования множества остаточных сигналов. Кроме того, система содержит декодер согласно одному из описанных выше по тексту вариантов осуществления, при этом декодер сконфигурирован с возможностью генерирования множества каналов вывода аудио на основе упомянутых трех или более сигналов понижающего микширования, генерируемых посредством кодера, на основе параметрической побочной информации, генерируемой посредством кодера и на основе упомянутого множества остаточных сигналов, генерируемых посредством кодера.

Кроме того, обеспечен кодированный аудиосигнал. Кодированный аудиосигнал содержит три или более сигналов понижающего микширования, параметрическую побочную информации и множество остаточных сигналов. Упомянутые три или более сигналов понижающего микширования являются понижающим микшированием множества исходных сигналов аудиообъектов. Параметрическая побочная информация содержит параметры, указывающие побочную информацию об упомянутом множестве исходных сигналов аудиообъектов. Каждый из упомянутого множества остаточных сигналов является разностным сигналом, указывающим различие между одним из упомянутого множества исходных сигналов аудиообъектов и одним из множества оцененных сигналов аудиообъектов.

Более того, обеспечен способ. Способ содержит:

- Генерирование множества первых оцененных сигналов аудиообъектов посредством повышающего микширования трех или более сигналов понижающего микширования, при этом упомянутые три или более сигналов понижающего микширования кодируют множество исходных сигналов аудиообъектов, при этом генерирование упомянутого множества первых оцененных сигналов аудиообъектов содержит повышающее микширование упомянутых трех или более сигналов понижающего микширования в зависимости от параметрической побочной информации, указывающей информацию об упомянутом множестве исходных сигналов аудиообъектов. И:

- Генерирование множества вторых оцененных сигналов аудиообъектов посредством модификации одного или более из упомянутых первых оцененных сигналов аудиообъектов, при этом генерирование множества вторых оцененных сигналов аудиообъектов содержит модификацию упомянутого одного или более из упомянутых первых оцененных сигналов аудиообъектов в зависимости от одного или более остаточных сигналов.

Кроме того, обеспечен другой способ. Упомянутый способ содержит:

- Генерирование множества оцененных сигналов аудиообъектов посредством повышающего микширования трех или более сигналов понижающего микширования, при этом упомянутые три или более сигналов понижающего микширования кодируют множество исходных сигналов аудиообъектов, при этом генерирование упомянутого множества оцененных сигналов аудиообъектов содержит повышающее микширование упомянутых трех или более сигналов понижающего микширования в зависимости от параметрической побочной информации, указывающей информацию об упомянутом множестве исходных сигналов аудиообъектов. И:

- Генерирование множества остаточных сигналов на основе упомянутого множества исходных сигналов аудиообъектов и на основе упомянутого множества оцененных сигналов аудиообъектов, так что каждый из упомянутого множества остаточных сигналов является разностным сигналом, указывающим различие между одним из упомянутого множества исходных сигналов аудиообъектов и одним из упомянутого множества оцененных сигналов аудиообъектов.

Более того, обеспечена компьютерная программа для реализации одного из описанных выше по тексту способов при исполнении на компьютере или процессоре сигналов.

В дальнейшем варианты осуществления настоящего изобретения описаны более подробно со ссылками на фигуры, на которых представлено следующее:

Фиг. 1A иллюстрирует декодер согласно варианту осуществления,

Фиг. 1B иллюстрирует декодер согласно другому варианту осуществления, при этом декодер дополнительно содержит средство воспроизведения,

Фиг. 2A иллюстрирует генератор остаточных сигналов согласно варианту осуществления,

Фиг. 2B иллюстрирует кодер согласно варианту осуществления,

Фиг. 3 иллюстрирует систему согласно варианту осуществления,

Фиг. 4 иллюстрирует кодированный аудиосигнал согласно варианту осуществления,

Фиг. 5 представляет общий вид системы SAOC, иллюстрирующий принцип таких параметрических систем с использованием примера SAOC MPEG,

Фиг. 6 представляет оценку остатка на стороне кодера, схематично иллюстрируя вычисление остаточных сигналов для каждого EAO,

Фиг. 7 представляет базовую структуру декодера SAOC с поддержкой EAO, иллюстрирующую концептуальный общий вид схемы обработки EAO, интегрированной в цепь декодирования/транскодирования SAOC,

Фиг. 8 представляет концептуальный общий вид представленной схемы параметрического и основанного на остатке кодирования аудиообъектов согласно варианту осуществления,

Фиг. 9 представляет концепцию для совместной оценки остаточного сигнала для каждого сигнала EAO на стороне кодера согласно варианту осуществления,

Фиг. 10 иллюстрирует концепцию совместного декодирования остатка на стороне декодера согласно варианту осуществления,

Фиг.11 иллюстрирует генератор остаточных сигналов согласно варианту осуществления, при этом генератор остаточных сигналов дополнительно содержит узел модификации понижающего микширования,

Фиг. 12 иллюстрирует декодер согласно варианту осуществления, при этом декодер дополнительно содержит узел модификации понижающего микширования,

Фиг. 13 иллюстрирует концепцию вычисления остаточных компонентов каскадным способом на стороне кодера согласно варианту осуществления,

Фиг. 14 иллюстрирует каскадно-включаемый узел "декодирования RSI", используемый в комбинации с каскадным вычислением остатка на стороне декодера согласно варианту осуществления,

Фиг. 15 иллюстрирует генератор остаточных сигналов согласно варианту осуществления, использующему каскадную концепцию, и

Фиг. 16 иллюстрирует декодер согласно варианту осуществления, использующему каскадную концепцию,

Фиг. 2A иллюстрирует генератор 200 остаточных сигналов согласно варианту осуществления.

Генератор 200 остаточных сигналов содержит узел 230 параметрического декодирования для генерирования множества оцененных сигналов аудиообъектов (оцененного сигнала #1 аудиообъекта, … оцененного сигнала #M аудиообъекта) посредством повышающего микширования трех или более сигналов понижающего микширования (сигнала #1 понижающего микширования, сигнала #2 понижающего микширования, сигнала #3 понижающего микширования, …, сигнала #N понижающего микширования). Упомянутые три или более сигналов понижающего микширования (сигнал #1 понижающего микширования, сигнал #2 понижающего микширования, сигнал #3 понижающего микширования, …, сигнал #N понижающего микширования) кодируют множество исходных сигналов аудиообъектов (исходный сигнал #1 аудиообъекта, …, исходный сигнал #M аудиообъекта). Узел 230 параметрического декодирования сконфигурирован с возможностью повышающего микширования упомянутых трех или более сигналов понижающего микширования (сигнала #1 понижающего микширования, сигнала #2 понижающего микширования, сигнала #3 понижающего микширования, …, сигнала #N понижающего микширования) в зависимости от параметрической побочной информации, указывающей информацию об упомянутом множестве исходных сигналов аудиообъектов (исходном сигнале #1 аудиообъекта, …, исходном сигнале #M аудиообъекта).

Более того, генератор 200 остаточных сигналов содержит узел 240 оценки остатка для генерирования множества остаточных сигналов (остаточного сигнала #1, …, остаточного сигнала #M) на основе упомянутого множества исходных сигналов аудиообъектов (исходного сигнала #1 аудиообъекта, …, исходного сигнала #M аудиообъекта) и на основе упомянутого множества оцененных сигналов аудиообъектов (оцененного сигнала #1 аудиообъекта, …, оцененного сигнала #M аудиообъекта), так что каждый из упомянутого множества остаточных сигналов (остаточного сигнала #1, …, остаточного сигнала #M) является разностным сигналом, указывающим различие между одним из упомянутого множества исходных сигналов аудиообъектов (исходного сигнала #1 аудиообъекта, …, исходного сигнала #M аудиообъекта) и одним из упомянутого множества оцененных сигналов аудиообъектов (оцененного сигнала #1 аудиообъекта, … оцененного сигнала #M аудиообъекта).

Кодер согласно описанному выше по тексту варианту осуществления преодолевает ограничения SAOC (см. [SAOC]) уровня техники.

Настоящие системы SAOC проводят понижающее микширование посредством использования одного или более блоков-два-в-один или одного или более блоков три-в-два. Среди прочего, из-за этих основных ограничений, настоящие системы SAOC могут осуществлять понижающее микширование сигналов аудиообъектов в, самое большое, два канала понижающего микширования/два сигнала понижающего микширования.

Обеспечены концепции для генераторов остаточных сигналов и для кодеров, что позволяет преодолевать ограничения SAOC, так что кодирование аудиообъектов теперь является преимущественным для систем передачи, которые используют более двух каналов передачи.

В варианте осуществления узел 240 оценки остатка адаптирован с возможностью генерирования по меньшей мере пяти остаточных сигналов на основе по меньшей мере пяти исходных сигналов аудиообъектов из упомянутого множества исходных сигналов аудиообъектов и на основе по меньшей мере пяти оцененных сигналов аудиообъектов из упомянутого множества оцененных сигналов аудиообъектов.

Фиг. 2B иллюстрирует кодер согласно варианту осуществления. Кодер с Фиг. 2B содержит генератор 200 остаточных сигналов.

Более того, кодер содержит генератор 210 понижающего микширования для обеспечения упомянутых трех или более сигналов понижающего микширования (сигнала #1 понижающего микширования, сигнала #2 понижающего микширования, сигнала #3 понижающего микширования, …, сигнала #N понижающего микширования), указывающих понижающее микширование упомянутого множества исходных сигналов аудиообъектов (исходного сигнала #1 аудиообъекта, …, исходного сигнала #M аудиообъекта, дополнительного исходного сигнала(ов) аудиообъекта)).

Относительно исходного сигнала #1 аудиообъекта, …, исходного сигнала #M аудиообъекта, узел 240 оценки остатка генерирует остаточный сигнал (остаточный сигнал #1, ..., остаточный сигнал #M). Таким образом, исходный сигнал #1 аудиообъекта, …, исходный сигнал #M аудиообъекта относятся к расширенным аудиообъектам (EAO).

Однако, как видно на Фиг. 2B, по выбору, могут существовать дополнительные исходные сигнал(ы) аудиообъектов, которые подвергаются понижающему микшированию, но для которых никакие остаточные сигналы не будут генерироваться. Эти дополнительные исходные сигнал(ы) аудиообъектов относятся таким образом к не являющимся расширенными аудиообъектам (не-EAO).

Кодер с Фиг. 2B дополнительно содержит средство 220 оценки параметрический побочной информации для генерирования параметрической побочной информации, указывающей информацию об упомянутом множестве исходных сигналов аудиообъектов (исходном сигнале #1 аудиообъекта, …, исходном сигнале #M аудиообъекта, дополнительном исходном сигнале(ах) аудиообъекта), для получения параметрической побочной информации. В варианте осуществления с Фиг. 2B, средство оценки параметрический побочной информации также учитывает исходные сигналы аудиообъектов (дополнительные исходные сигнал(ы) аудиообъектов), относящиеся к не-EAO.

В варианте осуществления, число исходных сигналов аудиообъектов может быть равным числу остаточных сигналов, например, когда все исходные сигналы аудиообъектов относятся к EAO.

В других вариантах осуществления, однако, число остаточных сигналов может отличаться от числа исходных сигналов аудиообъектов и/или может отличаться от числа оцененных сигналов аудиообъектов, например, когда исходные сигналы аудиообъектов относятся к не-EAO.

В некоторых вариантах осуществления, кодер является кодером SAOC.

Фиг. 1A иллюстрирует декодер согласно варианту осуществления.

Декодер содержит узел 110 параметрического декодирования для генерирования множества первых оцененных сигналов аудиообъектов (1-го оцененного сигнала #1 аудиообъекта, … 1-го оцененного сигнала #M аудиообъекта) посредством пов