Устройство и способ декодирования кодированного аудиосигнала для получения модифицированных выходных сигналов

Устройство и способ декодирования кодированного аудиосигнала для получения модифицированных выходных сигналов

Иллюстрации

Показать все

Реферат

Настоящее изобретение относится к кодированию аудиообъектов и, в частности, к кодированию аудиообъектов с использованием сигнала понижающего микширования после мастеринга в качестве транспортного канала.

Недавно были предложены параметрические методы эффективной в отношении битовой скорости передачи/хранения аудиосцен, содержащих множество аудиообъектов, в области аудиокодирования [BCC, JSC, SAOC, SAOC1, SAOC2] и разделения информационных источников [ISS1, ISS2, ISS3, ISS4, ISS5, ISS6]. Эти методы предназначены для реконструкции нужной выходной аудиосцены или объекта источника аудиосигнала на основании дополнительной вспомогательной информации, описывающей переданную/сохраненную аудиосцену и/или объекты источника в аудиосцене. Эта реконструкция происходит на декодере с использованием схемы параметрического разделения информационных источников.

Здесь, в основном, делается упор на операцию пространственного кодирования аудиообъектов (SAOC) [SAOC] MPEG, но те же принципы также справедливы для других систем. Основные операции системы SAOC представлены на фиг. 5. Без потери общности, для улучшения удобочитаемости уравнений, для всех введенных переменных индексы, обозначающие зависимость от времени и частоты, опущены в этом документе, если не указано обратное. Система принимает N входных аудиообъектов и инструкции, как следует микшировать эти объекты, например, в форме матрицы D понижающего микширования. Входные объекты можно представить в виде матрицы S размером . Кодер извлекает параметрическую и, возможно, также вспомогательную информацию на основе формы волны, описывающую объекты. В SAOC вспомогательная информация состоит, в основном, из информации относительной энергии объекта, параметризованной разностями на уровне объектов (OLD) и из информации корреляций между объектами, параметризованными межобъектными корреляциями (IOC). Необязательная вспомогательная информация на основе формы волны в SAOC описывает ошибку реконструкции параметрической модели. Помимо извлечения этой вспомогательной информации, кодер обеспечивает сигнал понижающего микширования с M каналами, созданными с использованием информации в матрице понижающего микширования D размером . Сигналы понижающего микширования можно представить в виде матрицы X размером со следующим соотношением с входными объектами: . Обычно выполняется соотношение , но это не является строгим требованием. Сигналы понижающего микширования и вспомогательная информация передаются или сохраняются, например, с помощью аудиокодека, например MPEG-2/4 AAC. Декодер SAOC принимает сигналы понижающего микширования и вспомогательную информацию, и дополнительная информация рендеринга, часто в форме матрицы M рендеринга размером , описывающей, как выводить с K каналами, относится к исходным входным объектам.

Основные операционные блоки декодера SAOC изображены на фиг. 6 и будут кратко рассмотрены ниже. Сначала вспомогательная информация декодируется и надлежащим образом интерпретируется. Блок разделения (виртуальных) объектов использует вспомогательную информацию и пытается (виртуально) реконструировать входные аудиообъекты. Операция именуется “виртуальной”, поскольку обычно не требуется в явном виде реконструировать объекты, но следующий этап рендеринга может объединяться с этим этапом. Реконструкции (виртуальных) объектов все же могут содержать ошибки реконструкции. Реконструкции (виртуальных) объектов можно представить в виде матрицы размером . Система принимает информацию рендеринга извне, например, из взаимодействия с пользователем. В контексте SAOC, информация рендеринга описана как матрица M рендеринга, задающая, как следует объединять реконструкции объектов для создания выходных сигналов . Выходные сигналы можно представить в виде матрицы Y размером , которая является результатом применения матрицы M рендеринга к реконструированным объектам в виде .

Разделение (виртуальных) объектов в SAOC действует, в основном, с использованием параметрической вспомогательной информации для определения коэффициентов без микширования, которые затем будут применяться к сигналам понижающего микширования для получения реконструкций (виртуальных) объектов. Заметим, что полученное таким образом воспринимаемое качество может быть недостаточно для некоторых применений. По этой причине SAOC обеспечивает также режим улучшенного качества для до четырех исходных входных аудиообъектов. Эти объекты, именуемые расширенными аудиообъектами (EAO), связаны с сигналами коррекции во временной области, минимизирующими разность между реконструкциями (виртуальных) объектов и исходными входными аудиообъектами. EAO можно реконструировать с помощью очень малых разностей формы волны от исходного входного аудиообъекта.

Одно основное свойство системы SAOC состоит в том, что сигналы понижающего микширования могут быть построены таким образом, что их можно слушать, и они образуют семантически значимую аудиосцену. Это позволяет пользователям без приемника, способного декодировать информацию SAOC, все же наследоваться основным аудиоконтентом без возможных улучшений SAOC. Например, будет возможно применять вышеописанную систему SAOC с радио или телевизионным вещанием с обратной совместимостью. Было бы практически невозможно обменять все приемники, установленные только для добавления некоторых несущественных функциональных возможностей. Вспомогательная информация SAOC обычно является довольно компактной, и ее можно включать в транспортный поток сигнала понижающего микширования. Традиционные приемники просто игнорируют вспомогательную информацию SAOC и выводят сигналы понижающего микширования, и приемники, включающие в себя декодер SAOC, может декодировать вспомогательную информацию и обеспечивать некоторые дополнительные функциональные возможности.

Однако, в особенности, в случае широковещательного использования, сигнал понижающего микширования, созданный кодером SAOC, будет дополнительно подвергаться последующей обработке широковещательной станцией по эстетическим или техническим соображениям до передачи. Возможно, что звукооператор захочет отрегулировать аудиосцену в соответствии со своим художественным видением, или сигнал нужно манипулировать для согласования со звуковым изображением товарного знака вещателя, или сигнал следует манипулировать для согласования с некоторыми техническими правилами, например, рекомендациями и правилами, касающимися громкости аудиосигнала. При манипулировании сигнала понижающего микширования, блок-схема операций над сигналом, показанная на фиг. 5, меняется на показанную на фиг. 7. Здесь предполагается, что исходная манипуляция понижающего микширования мастеринга сигнала понижающего микширования применяет некоторую функцию к каждому из сигналов понижающего микширования, получая манипулированные сигналы понижающего микширования. Также возможно, что фактически передаваемые сигналы понижающего микширования не происходят из сигналов, созданных кодером SAOC, но целиком обеспечиваются извне, но эта ситуация включена в рассмотрение, поскольку также является манипуляцией созданного кодером сигнала понижающего микширования.

Манипуляция сигналов понижающего микширования может создавать проблемы на декодере SAOC при разделении (виртуальных) объектов, поскольку сигналам понижающего микширования на декодере больше не обязательно совпадать с моделью, передаваемой через вспомогательную информацию. В особенности, когда вспомогательная информация формы волны ошибки предсказания передается для EAO, она очень чувствительна к изменениям формы волны в сигналах понижающего микширования.

Следует отметить, что MPEG SAOC [SAOC] задан для максимального из двух сигналов понижающего микширования и одного или двух выходных сигналов, т.е., . Однако размеры распространены здесь на общий случай, поскольку это распространение довольно очевидно и помогает описанию.

В [PDG, SAOC] было предложено маршрутизировать манипулированные сигналы понижающего микширования также на кодер SAOC, извлекать некоторую дополнительную вспомогательную информацию и использовать эту вспомогательную информацию на декодере для снижения разностей между сигналами понижающего микширования, отвечающими модели микширования SAOC, и манипулированными сигналами понижающего микширования, доступными на декодере. Основная идея маршрутизации представлена на фиг. 8А с дополнительным соединением обратной связи от манипуляции понижающего микширования на кодер SAOC. Современный стандарт MPEG для SAOC [SAOC] включает в себя части предложения [PDG], в основном, фокусируясь на параметрической компенсации. Оценивание параметров компенсации здесь не описано, но читателю предлагается обратиться к информативному приложению D.8 стандарта MPEG SAOC [SAOC].

Вспомогательная информация коррекции упаковывается в поток вспомогательной информации и передается и/или сохраняется поблизости. Декодер SAOC декодирует вспомогательную информацию и использует вспомогательную информацию модификации понижающего микширования для компенсации манипуляций до основной обработки SAOC. Это представлено на фиг. 8В. Стандарт MPEG SAOC задает, что вспомогательная информация компенсации состоит из коэффициентов усиления для каждого сигнала понижающего микширования. Они обозначаются как , где – индекс сигнала понижающего микширования. Отдельные параметры сигнала можно собирать в матрицу . Когда манипулированные сигналы понижающего микширования обозначаются как матрица , скомпенсированные сигналы понижающего микширования, подлежащие использованию в основной обработке SAOC можно получить согласно .

В [PDG] также предложено включать остаточные сигналы формы волны, описывающие разность между параметрически скомпенсированными манипулированными сигналами понижающего микширования и сигналами понижающего микширования, созданными кодером SAOC. Однако это не является частью стандарта MPEG SAOC [SAOC].

Преимущество компенсации состоит в том, что сигналы понижающего микширования, принятые блоком разделения (виртуальных) объектов SAOC, ближе к сигналам понижающего микширования, созданным кодером SAOC и лучше совпадают с переданной вспомогательной информацией. Часто это приводит к снижению артефактов в реконструкциях (виртуальных) объектов.

Сигналы понижающего микширования, используемые разделением (виртуальных) объектов, аппроксимируют неманипулированные сигналы понижающего микширования, созданные на кодере SAOC. В результате, выходной сигнал после рендеринга будет аппроксимировать результат, который был бы получен путем применения, часто заданных пользователем, инструкций рендеринга на исходных входных аудиообъектах. Если задано, что информация рендеринга должна быть идентична или очень близка к информации понижающего микширования, другими словами, выходные сигналы будут напоминать созданные кодером сигналы понижающего микширования: . Помня, что манипуляция сигнала понижающего микширования может осуществляться по веским причинам, может быть желательно, чтобы выходной сигнал напоминал манипулированный сигнал понижающего микширования, вместо .

Проиллюстрируем это на более конкретном примере возможного применения улучшения диалога в широковещательной передаче.

Исходные входные аудиообъекты S состоят из (возможно, многоканального) сигнала заднего плана, например, шума публики и окружения в спортивной широковещательной передаче, и (возможно, многоканального) сигнала переднего плана, например, комментатора.

Сигнал X понижающего микширования содержит смесь заднего плана и переднего плана.

Сигнал понижающего микширования манипулируется согласно f(X), состоящей, в случае реального мира, например, из многополосного эквалайзера, компрессора динамического диапазона, и лимитера (любая производимая здесь манипуляция в дальнейшем именуется “мастерингом”).

На декодере, информация рендеринга аналогична информации понижающего микширования. Единственное отличие состоит в том, что баланс относительного уровня между сигналами заднего плана и переднего плана может регулироваться конечным пользователем. Другими словами, пользователь может ослаблять шум публики, чтобы голос комментатора был лучше слышен, например, для повышения разборчивости. В качестве противоположного примера, конечный пользователь может ослаблять голос комментатора, чтобы можно было сосредоточиться на акустической сцене мероприятия.

Если компенсация манипуляции понижающего микширования не используется, реконструкции (виртуальных) объектов могут содержать артефакты, обусловленные различиями между реальными свойствами принятых сигналов понижающего микширования и свойствами, переданными в качестве вспомогательной информации.

Если компенсация манипуляции понижающего микширования используется, мастеринг будет удален из выходного сигнала. Даже в случае, когда конечный пользователь не модифицирует баланс микширования, сигнал понижающего микширования по умолчанию (т.е. выходной сигнал приемников, не способных декодировать вспомогательную информацию SAOC) и выходной сигнал после рендеринга будут отличаться, возможно, весьма значительно.

В конце, вещатель получают следующие близкие к оптимальным возможности:

принимать артефакты SAOC из рассогласования между сигналами понижающего микширования и вспомогательной информацией;

не включать в себя никакие передовые функциональные возможности улучшения диалога; и/или

терять изменения мастеринга выходного сигнала.

Задачей настоящего изобретения является обеспечение усовершенствованного принципа декодирования кодированного аудиосигнала.

Эта задача решается посредством устройства для декодирования кодированного аудиосигнала по п. 1, способа декодирования кодированного аудиосигнала по п. 14 или компьютерной программы по п. 15.

В основе настоящего изобретения лежит тот факт, что усовершенствованный принцип рендеринга с использованием сигналов кодированных аудиообъектов получается, когда манипуляции понижающего микширования, примененные на этапе мастеринга не просто отвергаются для улучшения разделения объектов, но повторно применяются к выходным сигналам, генерируемым на этапе рендеринга. Таким образом, гарантируется, что никакие художественные или другие манипуляции понижающего микширования нельзя просто потерять в случае сигналов, кодированных аудиообъектами, но можно найти в окончательном результате операции декодирования. Для этого, устройство для декодирования кодированного аудиосигнала содержит входной интерфейс, последовательно подключенный модификатор понижающего микширования для модификации переданного сигнала понижающего микширования с использованием функции модификации понижающего микширования, средство рендеринга объектов для осуществления рендеринга аудиообъектов с использованием модифицированного сигнала понижающего микширования и параметрических данных и окончательный модификатор выходного сигнала для модификации выходных сигналов с использованием функции модификации выходного сигнала, где модификация происходит таким образом, что модификация посредством функции модификации понижающего микширования, по меньшей мере, частично обращается или, другими словами, манипуляция понижающего микширования восстанавливается, но повторно применяется не к сигналу понижающего микширования, а к выходным сигналам средства рендеринга объектов. Другими словами, функция модификации выходного сигнала, предпочтительно, обратна модификации сигнала понижающего микширования, или, по меньшей мере, частично обратна функции модификации сигнала понижающего микширования. Другими словами, функция модификации выходного сигнала такова, что операция манипуляции, применяемая к исходному сигналу понижающего микширования для получения переданного сигнала понижающего микширования, по меньшей мере, частично применяется к выходному сигналу, и, предпочтительно, применяется идентичная операция.

В предпочтительных вариантах осуществления настоящего изобретения, обе функции модификации отличаются друг от друга и, по меньшей мере, частично обратны друг другу. В дополнительном варианте осуществления, функция модификации понижающего микширования и функция модификации выходного сигнала содержат соответствующие коэффициенты усиления для разных временных кадров или полос частот, и либо коэффициенты усиления модификации понижающего микширования, либо коэффициенты усиления модификации выходного сигнала выводятся друг из друга. Таким образом, либо коэффициенты усиления модификации сигнала понижающего микширования, либо коэффициенты усиления модификации выходного сигнала могут передаваться, и тогда декодер способен выводить другие коэффициенты из переданных, обычно путем их инвертирования.

Дополнительные варианты осуществления предусматривают наличие информации модификации понижающего микширования в передаваемом сигнале в качестве вспомогательной информации, и декодер извлекает вспомогательную информацию, осуществляет модификацию понижающего микширования с одной стороны, вычисляет обратную или, по меньшей мере, частично или приблизительно обратную функцию и применяет эту функцию к выходным сигналам из средства рендеринга объектов.

Дополнительные варианты осуществления содержат передачу информации управления для избирательной активации/деактивации модификатора выходного сигнала, чтобы гарантировать, что эта модификация выходного сигнала осуществляется только когда она обусловлена художественными соображениями, тогда как модификация выходного сигнала, например, не осуществляется, когда она обусловлена чисто техническими соображениями, например манипуляцией, сигнала для получения более высоких характеристик передачи для определенных форматов передачи/ способов модуляции.

Дополнительные варианты осуществления относятся к кодированному сигналу, в котором сигнал понижающего микширования манипулирован путем осуществления операции оптимизации громкости, эквализации, многополосной эквализации, компрессии динамического диапазона или лимитирования, и в этом случае модификатор выходного сигнала выполнен с возможностью повторного применения операции эквализации, операции оптимизации громкости, операции многополосной эквализации, операции компрессии динамического диапазона или операции лимитирования к выходным сигналам.

Дополнительные варианты осуществления содержат средство рендеринга объектов, которое генерирует выходные сигналы на основании переданной параметрической информации и на основании информации положения, относящейся к размещению аудиообъектов на установке воспроизведения. Генерация выходных сигналов может осуществляться либо путем воссоздания сигналов отдельных объектов и затем, в необязательном порядке, модификации воссозданных сигналов объектов и затем распределения модифицированных, в необязательном порядке, реконструированных объектов по сигналам каналов для громкоговорителей согласно любого рода общеизвестному принципу рендеринга, например, амплитудному панорамированию на векторной основе и т.п. Другие варианты осуществления не опираются на явную реконструкцию виртуальных объектов, но осуществляют непосредственную обработку из модифицированного сигнала понижающего микширования в сигналы громкоговорителей без явного вычисления реконструированных объектов, поскольку оно известно в технике пространственного аудиокодирования, например, MPEG-Surround или MPEG-SAOC.

В дополнительных вариантах осуществления, входной сигнал содержит нормальные аудиообъекты и расширенные аудиообъекты, и средство рендеринга объектов выполнено с возможностью реконструкции аудиообъектов или непосредственной генерации выходных каналов с использованием нормальных аудиообъектов и расширенных аудиообъектов.

Затем, предпочтительные варианты осуществления настоящего изобретения описаны со ссылкой на прилагаемые чертежи, в которых:

фиг. 1 – блок-схема варианта осуществления аудиодекодера;

фиг. 2 – дополнительный вариант осуществления аудиодекодера;

фиг. 3 демонстрирует способ вывода функции модификации выходного сигнала из функции модификации сигнала понижающего микширования;

фиг. 4 демонстрирует процесс вычисления коэффициентов усиления модификации выходного сигнала из интерполированных коэффициентов усиления модификации понижающего микширования;

фиг. 5 демонстрирует основную блок-схему работы системы SAOC;

фиг. 6 демонстрирует блок-схему работы декодера SAOC;

фиг. 7 демонстрирует блок-схему работы системы SAOC, включающей в себя манипуляцию сигнала понижающего микширования;

фиг. 8А демонстрирует блок-схему работы системы SAOC, включающей в себя манипуляцию сигнала понижающего микширования; и

фиг. 8В демонстрирует блок-схему работы декодера SAOC, включающего в себя компенсацию манипуляции сигнала понижающего микширования до основной обработки SAOC.

Фиг. 1 демонстрирует устройство для декодирования кодированного аудиосигнала 100 для получения модифицированных выходных сигналов 160. Устройство содержит входной интерфейс 110 для приема переданного сигнала понижающего микширования и параметрических данных, относящихся к двум аудиообъектам, включенным в переданный сигнал понижающего микширования. Входной интерфейс извлекает переданный сигнал 112 понижающего микширования и параметрические данные 114 из кодированного аудиосигнала 100. В частности, сигнал 112 понижающего микширования, т.е. переданный сигнал понижающего микширования, отличается от сигнала понижающего микширования кодера, с которым связаны параметрические данные 114. Кроме того, устройство содержит модификатор 116 понижающего микширования для модификации переданного сигнала 112 понижающего микширования с использованием функции модификации понижающего микширования. Модификация понижающего микширования осуществляется таким образом, что модифицированный сигнал понижающего микширования идентичен сигналу понижающего микширования кодера или, по меньшей мере, более аналогичен сигналу понижающего микширования кодера по сравнению с переданным сигналом понижающего микширования. Предпочтительно, модифицированный сигнал понижающего микширования на выходе блока 116 идентичен сигналу понижающего микширования кодера, с которым связаны параметрические данные. Однако модификатор 116 понижающего микширования также может быть выполнен с возможностью не полностью обращать манипуляцию сигнала понижающего микширования кодера, но лишь частично удалять эту манипуляцию. Таким образом, модифицированный сигнал понижающего микширования, по меньшей мере, более аналогичен сигналу понижающего микширования кодера, чем переданный сигнал понижающего микширования. Сходство можно измерять, например, путем вычисления квадратичного расстояния между отдельными выборками либо во временной области, либо в частотной области, где разности формируются выборка за выборкой, например, между соответствующими кадрами и/или полосами модифицированного сигнала понижающего микширования и сигнала понижающего микширования кодера. Затем эта квадратичная мера расстояния, т.е., сумма по всем квадратам разностей, меньше соответствующей суммы квадратов разностей между переданным сигналом 112 понижающего микширования (сгенерированным блоком манипуляции понижающего микширования на фиг. 7 или 8a) и сигналом понижающего микширования кодера (генерируемым на блоке кодера SAOC на фиг. 5, 6, 7 8А.

Таким образом, модификатор 116 понижающего микширования может быть сконфигурирован аналогично блоку модификации понижающего микширования, рассмотренному в контексте фиг. 8В.

Кроме того, устройство на фиг. 1 содержит средство 118 рендеринга объектов для осуществления рендеринга аудиообъектов с использованием модифицированного сигнала понижающего микширования и данных 114 параметров для получения выходных сигналов. Кроме того, важно, что устройство содержит модификатор 120 выходного сигнала для модификации выходных сигналов с использованием функции модификации выходного сигнала. Предпочтительно, модификация выходного сигнала осуществляется таким образом, что модификация, применяемая модификатором 116 понижающего микширования, по меньшей мере, частично обращается. В других вариантах осуществления, функция модификации выходного сигнала обращается или, по меньшей мере, частично обращается в функцию модификации сигнала понижающего микширования. Таким образом, модификатор выходного сигнала выполнен с возможностью модификации выходных сигналов с использованием функции модификации выходного сигнала, таким образом, что операция манипуляции, применяемая к сигналу понижающего микширования кодера для получения переданного сигнала понижающего микширования, по меньшей мере, частично применяется к выходному сигналу и, предпочтительно, полностью применяется к выходным сигналам.

Согласно варианту осуществления, модификатор 116 понижающего микширования и модификатор 120 выходного сигнала выполнены таким образом, что функция модификации выходного сигнала отличается от функции модификации понижающего микширования и, по меньшей мере, частично обращена относительно функции модификации понижающего микширования.

Кроме того, вариант осуществления модификатора понижающего микширования содержит функцию модификации понижающего микширования, содержащую применение коэффициентов усиления модификации понижающего микширования к разным временным кадрам или полосам частот переданного сигнала 112 понижающего микширования. Кроме того, функция модификации выходного сигнала содержит применение коэффициентов усиления модификации выходного сигнала к разным временным кадрам или полосам частот выходных сигналов. Кроме того, коэффициенты усиления модификации выходного сигнала выводятся из обратных значений функции модификации сигнала понижающего микширования. Этот сценарий применяется, когда коэффициенты усиления модификации сигнала понижающего микширования доступны, например, посредством отдельного ввода на стороне декодера или доступны, поскольку они были переданы в кодированном аудиосигнале 100. Однако альтернативные варианты осуществления также содержат ситуацию, когда коэффициенты усиления модификации выходного сигнала, используемые модификатором 120 выходного сигнала, передаются или вводятся пользователем, и в этом случае модификатор 116 понижающего микширования выполнен с возможностью вывода коэффициентов усиления модификации сигнала понижающего микширования из доступных коэффициентов усиления модификации выходного сигнала.

В дополнительном варианте осуществления, входной интерфейс 110 выполнен с возможностью дополнительно принимать информацию о функции модификации понижающего микширования и эта информация 115 модификации извлекается входным интерфейсом 110 из кодированного аудиосигнала и поступает на модификатор 116 понижающего микширования и модификатор 120 выходного сигнала. Опять же, функция модификации понижающего микширования может содержать коэффициенты усиления модификации сигнала понижающего микширования или коэффициенты усиления модификации выходного сигнала и затем, в зависимости от того, какой набор коэффициентов усиления доступен, соответствующий элемент 116 или 120 выводит свои коэффициенты усиления из доступных данных.

В дополнительном варианте осуществления, осуществляется интерполяция коэффициентов усиления модификации сигнала понижающего микширования или коэффициентов усиления модификации выходного сигнала. Альтернативно или дополнительно, сглаживание также осуществляется таким образом, что ситуации, в которых эти данные передачи изменяются слишком быстро, не привносят никаких артефактов.

Согласно варианту осуществления, модификатор 120 выходного сигнала выполнен с возможностью вывода своих коэффициентов усиления модификации выходного сигнала путем инвертирования коэффициентов усиления модификации понижающего микширования. Затем, во избежание численных проблем, используется либо максимальный из инвертированного коэффициента усиления модификации понижающего микширования и постоянного значения, либо сумма инвертированного коэффициента усиления модификации понижающего микширования и того же или другого постоянного значения. Таким образом, функция модификации выходного сигнала не обязательно является обратной функции модификации сигнала понижающего микширования, но является, по меньшей мере, частично обратной.

Кроме того, модификатор 120 выходного сигнала управляется сигналом управления, указанным позицией 117 как флаг управления. Таким образом, существует возможность, что модификатор 120 выходного сигнала избирательно активируется или деактивируется для определенных полос частот и/или временных кадров. Согласно варианту осуществления, флаг является просто 1-битовым флагом, и когда сигнал управления таков, что модификатор выходного сигнала деактивируется, то это сигнализируется, например, состоянием "нуль" флага, и затем сигнал управления таков, что модификатор выходного сигнала активируется, то это сигнализируется, например, состоянием "единица" или состоянием "установлен" флага. Естественно, правило управления может быть обратным.

В дополнительном варианте осуществления, модификатор 116 понижающего микширования выполнен с возможностью снижения или отмены операции оптимизации громкости или эквализации или многополосной эквализации или компрессии динамического диапазона или лимитирования, применяемой к передаваемому каналу понижающего микширования. Другими словами, эти операции обычно применяются на стороне кодера блоком манипуляции понижающего микширования, показанным на фиг. 7, или блоком манипуляции понижающего микширования, показанным на фиг. 8А, для вывода переданного сигнала понижающего микширования из сигнала понижающего микширования кодера, генерируемого, например, блоком кодера SAOC, показанного на фиг. 5, кодера SAOC, показанного на фиг. 7, или кодера SAOC, показанного на фиг. 8А.

В этом случае, модификатор 120 выходного сигнала выполнен с возможностью повторного применения операция оптимизации громкости или эквализации или многополосной эквализации или компрессии динамического диапазона или лимитирования к выходным сигналам, генерируемым средством 118 рендеринга объектов для окончательного получения модифицированных выходных сигналов 160.

Кроме того, средство 118 рендеринга объектов может быть выполнено с возможностью вычисления выходных сигналов как сигналов каналов для громкоговорителей схемы воспроизведения из модифицированного сигнала понижающего микширования, параметрических данных 114 и информации 121 положения, которые могут, например, вводиться в средство 118 рендеринга объектов через интерфейс 122 пользовательского ввода или которые могут, дополнительно, передаваться от кодера на декодер по отдельности или в кодированном сигнале 100, например, как “матрица рендеринга”.

В этом случае, модификатор 120 выходного сигнала выполнен с возможностью применения функции модификации выходного сигнала к этим сигналам каналов для громкоговорителей, и затем модифицированные выходные сигналы 116 могут непосредственно ретранслироваться на громкоговорители.

В другом варианте осуществления, средство рендеринга объектов выполнено с возможностью осуществления двухэтапной обработки, т.е., чтобы, прежде всего, реконструировать отдельные объекты и затем распределять сигналы объектов по соответствующим сигналам громкоговорителей любым из общеизвестных средств, например, амплитудным панорамированием на векторной основе и т.п. Затем выходной сигнал 120 также может быть сконфигурирован для применения модификации выходного сигнала к сигналам реконструированных объектов до осуществления распределения на отдельные громкоговорители. Таким образом, выходные сигналы, генерируемые средством 118 рендеринга объектов на фиг. 1, могут быть либо сигналами реконструированных объектов, либо сразу (немодулированными) сигналами громкоговорителей каналов.

Кроме того, интерфейс 110 входного сигнала выполнен с возможностью приема расширенного аудиообъекта и нормальных аудиообъектов, например, известных из SAOC. В частности, расширенный аудиообъект является, как известно в технике, разностью форм волны между исходным объектом и реконструированной версией этого объекта с использованием параметрических данных, например, параметрических данных 114. Это допускает, что отдельные объекты, например, четыре объекта в наборе из, например, двадцати объектов и т.п. могут передаваться очень хорошо, естественно, ценой дополнительной битовой скорости вследствие необходимой информации для расширенного аудиосигнала. Затем средство 118 рендеринга объектов выполнено с возможностью использования нормальных объектов и расширенного аудиообъекта для вычисления выходных сигналов.

В дополнительном варианте осуществления средство рендеринга объектов выполнено с возможностью приема пользовательского ввода 123 для манипулирования одним или более объектами, например, для манипулирования объектом переднего плана FGO или объектом заднего плана BGO или обоими, и затем средство 118 рендеринга объектов выполнено с возможностью манипулирования одним или более объектами, определенными пользовательским вводом при осуществлении рендеринга выходных сигналов. В этом варианте осуществления, предпочтительно фактически реконструировать сигналы объектов и затем манипулировать сигналом объект переднего плана или ослаблять сигнал объекта заднего плана и затем происходит распределение по каналам, и затем сигналы каналов модифицируются. Однако, альтернативно, выходные сигналы уже могут быть сигналами отдельных объектов, и распределение сигналов объектов после осуществления модификации блоком 120 происходит до распределения сигналов объектов по сигналам отдельных каналов с использованием информации 121 положения и любого общеизвестного процесса для генерации сигналов громкоговорителей каналов из сигналов объектов, например амплитудного панорамирования на векторной основе.

Затем на фиг. 2 описан предпочтительный вариант осуществления устройства для декодирования кодированного аудиосигнала. Принимается кодированная вспомогательная информация, которая содержит, например, параметрические данные 114, показанные на фиг. 1, и информацию 115 модификации. Кроме того, принимаются модифицированные сигналы понижающего микширования которые соответствуют переданному сигналу 112 пон