Устройство для обеспечения представления сигнала повышающего микширования на основе представления сигнала понижающего микширования, устройство для обеспечения битового потока, представляющего многоканальный звуковой сигнал, способы, компьютерные программы и битовый поток, представляющий многоканальный звуковой сигнал посредством использования параметра линейной комбинации

Устройство для обеспечения представления сигнала повышающего микширования на основе представления сигнала понижающего микширования, устройство для обеспечения битового потока, представляющего многоканальный звуковой сигнал, способы, компьютерные программы и битовый поток, представляющий многоканальный звуковой сигнал посредством использования параметра линейной комбинации

Иллюстрации

Показать все

Реферат

Область применения

Осуществления согласно изобретению связаны с устройством для обеспечения представления сигнала повышающего микширования на основе представления сигнала понижающего микширования и связанной с объектом (объектно-связанной) параметрической информации, которые включаются в представление битового потока звукового содержания (контента), и в зависимости от определенной пользователем матрицы визуализации.

Другие осуществления согласно изобретению связаны с устройством для обеспечения битового потока, представляющего многоканальный звуковой сигнал.

Другие осуществления согласно изобретению связаны со способом обеспечения представления сигнала повышающего микширования на основе представления сигнала понижающего микширования и связанной с объектом параметрической информации, которые включаются в представление битового потока звукового содержания, и в зависимости от определенной пользователем матрицы визуализации.

Другие осуществления согласно изобретению связаны со способом обеспечения битового потока, представляющего многоканальный звуковой сигнал.

Другие осуществления согласно изобретению связаны с компьютерной программой, выполняющей один из указанных способов.

Другое осуществление согласно изобретению связано с битовым потоком, представляющим многоканальный звуковой сигнал.

Уровень техники

В области обработки, передачи и хранения звуковых сигналов существует возрастающая необходимость управлять многоканальным содержанием для улучшения впечатления от прослушивания. Использование многоканального звукового содержания способствует существенному улучшению впечатления пользователя. Например, может быть получено трехмерное впечатление от прослушивания, которое улучшает впечатление пользователя при использовании в развлекательных целях. Однако многоканальное звуковое содержание также полезно в профессиональной среде, например, при проведении телефонных конференций, потому что может быть улучшена разборчивость речи говорящего при использовании многоканального звукового воспроизведения.

Однако также желательно иметь хорошее соотношение между качеством звука и требованиями к скорости передачи звука, чтобы избежать чрезмерной ресурсной нагрузки в случае дешевого или профессионального применения многоканального звукового сигнала.

В последнее время были предложены параметрические методы передачи, эффективные относительно скорости передачи битового потока и/или хранения звуковых сцен (объектов передачи), содержащих множественные звуковые объекты. Например, было предложено бинауральное кодирование реплик, которое описано, например, в ссылке [1], и параметрическое кодирование объединенных звуковых источников, которое описано, например, в ссылке [2]. Кроме того, было предложено MPEGпространственное кодирование звукового объекта (SAOC), которое описано, например, в ссылках [3] и [4]. MPEGпространственное кодирование звукового объекта в настоящее время находится в процессе стандартизации и описано в предварительно неопубликованной ссылке [5].

Эти методы направлены на перцепционное восстановление желательной(требуемой) выходной звуковой сцены, а не на соответствие волновой формы сигнала.

Однако, в сочетании с пользовательской интерактивностью на приемной стороне, такие методы могут привести к снижению звукового качества выходных звуковых сигналов, если выполняется экстремальная визуализация объекта. Это описано, например, в ссылке [6].

В дальнейшем будут описаны такие системы, и следует заметить, что основные концепции также применяются к осуществлениям изобретения.

Фиг.8 показывает краткий обзор такой системы (здесь: MPEGSAOC). MPEGSAOC система 800, показанная на Фиг.8, включает SAOCкодирующее устройство 810 и SAOCдекодер 820. SAOCкодирующее устройство 810 получает множество объектных сигналов x₁-x_N, которые могут быть представлены, например, как сигналы временного интервала или как сигналы частотно-временной области (например, в форме комплекта коэффициентов преобразования типа преобразования Фурье или в форме сигналов поддиапазона QMF (квадратурный зеркальный фильтр)). SAOCкодирующее устройство 810 обычно также получает коэффициенты понижающего микширования с d₁-d_N, которые связаны с объектными сигналами х₁-x_N. Отдельные комплекты коэффициентов понижающего микширования могут быть доступными для каждого канала сигнала понижающего микширования. SAOCкодирующее устройство 810 обычно формируется, чтобы получить канал сигнала понижающего микширования посредством объединения объектных сигналов x₁-x_N в соответствии со связанными коэффициентами понижающего микширования d₁-d_N. Как правило, имеется меньше каналов понижающего микширования, чем объектных сигналов х₁-x_N. Чтобы сделать возможным (по крайней мере, приблизительно) разделение (или отдельную обработку) объектных сигналов на стороне SAOCдекодера 820, SAOCкодирующее устройство 810 предоставляет как один или несколько сигналов понижающего микширования (обозначены как каналы понижающего микширования) 812, так и дополнительную информацию 814. Дополнительная информация 814 описывает характеристики объектных сигналов х₁-x_N, чтобы обеспечить специфическую для объекта обработку на стороне декодера.

SAOCдекодер 820 формируется, чтобы получить один или несколько сигналов понижающего микширования 812 и дополнительную информацию 814. Кроме того, SAOCдекодер 820 обычно формируется, чтобы получить пользовательскую информацию о взаимодействии и/или пользовательскую управляющую информацию 822, которая описывает желательную (требуемую) установку визуализации. Например, пользовательская управляющая информация /пользовательская информация о взаимодействии 822 может описывать установку громкоговорителя и желательное (требуемое) пространственное размещение объектов, обеспечивающих объектные сигналы х₁-x_N. SAOCдекодер 820 формируется, чтобы обеспечить, например, множество декодированных сигналов канала повышающего микширования . Сигналы канала повышающего микширования могут, например, быть связаны с индивидуальными громкоговорителями схемы визуализации с множеством громкоговорителей. SAOCдекодер 820 может, например, включать разделитель объектов 820а, который формируется, чтобы восстановить, по крайней мере приблизительно, объектные сигналы х₁-x_N на основе одного или нескольких сигналов понижающего микширования 812 и дополнительной информации 814, таким образом, получая восстановленные объектные сигналы 820b. Однако восстановленные объектные сигналы 820b могут немного отклоняться от оригинальных объектных сигналов х₁-x_N, например, потому что дополнительная информация 814 недостаточна для идеальной реконструкции ввиду ограничений скорости передачи битового потока. SAOCдекодер 820 может далее включать микшер 820с, который может формироваться, чтобы получить восстановленные объектные сигналы 820b и пользовательскую управляющую информацию/пользовательскую информацию о взаимодействии 822 и обеспечить на их основе сигналы канала повышающего микширования . Микшер 820с может формироваться, чтобы использовать пользовательскую информацию о взаимодействии/пользовательскую управляющую информацию 822, чтобы определить вклад (ответное сообщение) отдельных восстановленных объектных сигналов 820b в сигналы канала повышающего микширования . Пользовательская управляющая информация/пользовательская информация о взаимодействии 822 может, например, включать параметры визуализации (также обозначаемые как коэффициенты визуализации), которые определяют вклад (ответное сообщение) отдельных восстановленных объектных сигналов 822 в сигналы канала повышающего микширования .

Однако следует отметить, что во многих осуществлениях разделение объекта, которое обозначено разделителем объектов 820а на Фиг.8, и микширование, которое обозначено микшером 820с на Фиг.8, выполняется на едином этапе. С этой целью могут быть вычислены общие параметры, которые описывают прямое отображение одного или нескольких сигналов понижающего микширования 812 на сигналы канала повышающего микширования . Эти параметры могут быть вычислены на основе дополнительной информации и пользовательской управляющей информации/пользовательской информации о взаимодействии 820.

Теперь со ссылкой на Фиг.9а, 9b и 9с будут описаны различные устройства для получения представления сигнала повышающего микширования на основе представления сигнала понижающего микширования и связанной с объектом дополнительной информации. Фиг.9а показывает блок-схему MPEGSAOC системы 900, включающую SAOCдекодер 920. SAOCдекодер 920 включает, в качестве отдельных функциональных блоков, декодер объектов 922 и микшер/рендерер 926. Декодер объектов 922 обеспечивает множество восстановленных объектных сигналов 924 в зависимости от представления сигнала понижающего микширования (например, в форме одного или нескольких сигналов понижающего микширования, представленных во временном интервале или в частотно-временной области) и связанной с объектом дополнительной информации (например, в форме метаданных объекта). Микшер/рендерер 926 получает восстановленные объектные сигналы 924, связанные с множеством N объектов, и обеспечивает, на их основе, один или несколько сигналов канала повышающего микширования 928. В SAOCдекодере 920 извлечение объектных сигналов 924 осуществляется отдельно от микширования/визуализации, которое обеспечивает отделение функциональных возможностей декодирования объекта от функциональных возможностей микширования/визуализации, но приводит к относительно высокой сложности вычислений.

Теперь, со ссылкой на Фиг.9b будет кратко обсуждена другая MPEGSAOC система 930, которая включает SAOCдекодер 950. SAOCдекодер 950 обеспечивает множество сигналов канала повышающего микширования 958 в зависимости от представления сигнала понижающего микширования (например, в форме одного или нескольких сигналов понижающего микширования) и связанной с объектом дополнительной информации (например, в форме метаданных объекта). SAOCдекодер 950 включает объединенный декодер объекта и микшер/рендерер, который формируется для получения сигналов канала повышающего микширования 958 в объединенном процессе микширования без разделения декодирования объекта и микширования/визуализации, где параметры указанного объединенного процесса повышающего микширования зависят как от связанной с объектом дополнительной информации, так и от информации о визуализации. Объединенный процесс повышающего микширования зависит также от информации о понижающем микшировании, которая рассматривается как часть связанной с объектом дополнительной информации.

Чтобы суммировать вышесказанное, предоставление сигналов канала повышающего микширования 928, 958 может быть выполнено в одноэтапном процессе или двухэтапном процессе.

Теперь, со ссылкой на Фиг.9с будет описана MPEGSAOC система 960. SAOCсистема 960 включает SAOC-MPEG Окружающий транскодер 980, а не SAOCдекодер.

SAOC-MPEG Окружающий транскодер включает транскодер дополнительной информации 982, который формируется для получения связанной с объектом дополнительной информации (например, в форме метаданных объекта) и, факультативно, информации ободном или нескольких сигналах понижающего микширования и информации о визуализации. Транскодер дополнительной информации также формируется для предоставления MPEG Окружающей дополнительной информации (например, в форме MPEG Окружающего битового потока) на основе полученных данных. Соответственно, транскодер дополнительной информации 982 формируется, чтобы преобразовывать связанную с объектом (параметрическую) дополнительную информацию, полученную от объектного кодирующего устройства, в связанную с каналом (параметрическую) дополнительную информацию, с учетом информации о визуализации и, факультативно, информации о содержании одного или нескольких сигналов понижающего микширования.

Факультативно, SAOC-MPEG Окружающий транскодер 980 может формироваться, чтобы управлять одним или несколькими сигналами понижающего микширования, описанными, например, представлением сигнала понижающего микширования, для получения управляемого представления сигнала понижающего микширования 988. Однако манипулятор сигнала понижающего микширования 986 может быть опущен, чтобы представление сигнала понижающего микширования на выходе 988 SAOC-MPEG Окружающего транскодера 980 было идентично представлению сигнала понижающего микширования на входе SAOC-MPEG Окружающего транскодера. Манипулятор сигнала понижающего микширования 986 может, например, использоваться, если связанная с каналом MPEG Окружающая дополнительная информация 984 не позволяет обеспечить желательное впечатление от прослушивания на основе представления сигнала понижающего микширования на входе SAOC-MPEG Окружающего транскодера 980, что может иметь место в некоторых совокупностях визуализаций.

Соответственно, SAOC-MPEGОкружаюший транскодер 980 обеспечивает представление сигнала понижающего микширования 988 и MPEG Окружающий битовый поток 984 таким образом, что множество сигналов канала повышающего микширования, которые представляют звуковые объекты в соответствии с информацией о визуализации на входе SAOC-MPEG Окружающего транскодера 980, может быть получено посредством использования MPEG Окружающего декодера, который получает MPEG Окружающий битовый поток 984 и представление сигнала понижающего микширования 988.

Чтобы суммировать вышесказанное, могут использоваться различные концепции декодирования SAOC-кодированных звуковых сигналов. В некоторых случаях используется SAOCдекодер, который обеспечивает сигналы канала повышающего микширования (например, сигналы канала понижающего микширования 928, 958) в зависимости от представления сигнала понижающего микширования и связанной с объектом параметрической дополнительной информации. Примеры этой концепции можно увидеть нафиг.9а и 9b. Альтернативно, SAOC-кодированная звуковая информация может быть транскодирована для получения представления сигнала понижающего микширования (например, представление сигнала понижающего микширования 988) и связанной с каналом дополнительной информации (например, связанный с каналом MPEG Окружающий битовый поток 984), которые могут использоваться MPEG Окружающим декодером, чтобы обеспечить желательные сигналы канала повышающего микширования.

В MPEGSAOC системе 800, краткий обзор которой дан на Фиг.8, общая обработка выполняется способом частотной селекции и может быть описана в каждом частотном диапазоне следующим образом:

- N входных объектных звуковых сигналов х₁-x_N микшируется с понижением как часть процесса обработки SAOCкодирующего устройства. Для моно понижающего микширования коэффициенты понижающего микширования обозначены d₁-d_N. Кроме того, SAOCкодирующее устройство 810 извлекает дополнительную информацию 814, описывающую характеристики входных звуковых объектов. Для MPEGSAOC соотношение мощностей объектов друг с другом - самая основная форма такой дополнительной информации.

- Сигнал (или сигналы) понижающего микширования 812 и дополнительная информация 814 передаются и/или сохраняются. Чтобы закончить, звуковой сигнал понижающего микширования может быть сжат посредством использования известных перцепционных звуковых кодирующих устройств, таких как MPEG-1 Уровень II или III (также известный как «mp3»), MPEG Усовершенствованное Звуковое Кодирование (ААС) или любое другое кодирующее устройство.

- На стороне приема SAOCдекодер 820 концептуально пытается восстановить оригинальный сигнал объекта («разделение объекта»), используя переданную дополнительную информацию 814 (и, естественно, один или несколько сигналов понижающего микширования 812). Затем эти приближенные (аппроксимированные) объектные сигналы (также определяемые как восстановленные объектные сигналы 820b) смешиваются в заданную (целевую) сцену, представленную М звуковыми выходными каналами (которые могут, например, быть представлены сигналами канала повышающего микширования ) посредством использования матрицы визуализации. Для моно выхода коэффициенты матрицы визуализации представлены r₁-r_N.

- Практически, разделение сигналов объекта выполняется редко (или даже никогда не выполняется), поскольку и стадия разделения (обозначенная объектным разделителем (сепаратором) 820а), и стадия микширования (обозначенная микшером 820с) объединены в единую стадию транскодирования, которая часто приводит к значительному снижению сложности вычислений.

Было установлено, что такая схема чрезвычайно эффективна как в отношении скорости передачи битового потока (необходимо передать только несколько каналов понижающего микширования плюс некоторую дополнительную информацию вместо Nдискретных объектных звуковых сигналов или дискретной системы), так и вычислительной сложности (сложность обработки связана, главным образом, с числом выходных каналов, а не с числом звуковых объектов). Дальнейшие преимущества для пользователя на стороне приема включают свободу выбора установки визуализации (моно, стерео, окружающая, виртуализованное воспроизведение в наушниках и так далее) и свойство интерактивности пользователя: матрица визуализации, и таким образом, сцена на выходе могут быть согласованно установлены и изменены пользователем по желанию, по личному предпочтению или по другим критериям. Например, можно расположить конкретных говорящих из одной группы вместе в одной пространственной области, чтобы максимизировать их дифференциацию от остальных говорящих. Эта интерактивность достигается посредством обеспечения пользовательского интерфейса декодера.

Для каждого переданного звукового объекта может быть отрегулирован его относительный уровень и (для не моно визуализации) пространственное положение визуализации. Это может происходить в реальном времени, поскольку пользователь меняет положение ползунков связанного графического пользовательского интерфейса (GUI) (например: уровень объекта = +5дБ, положение объекта = -30°).

Однако было обнаружено, что выбор параметров на стороне декодера для обеспечения представления сигнала повышающего микширования (например, сигналы канала повышающего микширования ) в некоторых случаях приводит к ухудшению слышимости.

Ввиду вышеизложенного, целью данного изобретения является создание концепции, которая позволит сократить или даже предотвратить слышимые искажения при обеспечении представления сигнала повышающего микширования (например, в форме сигналов канала повышающего микширования ).

Краткое изложение сущности изобретения

Осуществление согласно изобретению создает устройство для обеспечения представления сигнала повышающего микширования на основе представления сигнала понижающего микширования и связанной с объектом параметрической информации, которые включены в представление битового потока звукового содержания, и в зависимости от определенной пользователем матрицы визуализации. Устройство включает ограничитель искажения, формируемый, чтобы получить измененную матрицу визуализации посредством использования линейной комбинации определенной пользователем матрицы визуализации и заданной (целевой) матрицы визуализации в зависимости от параметра линейной комбинации. Устройство также включает процессор сигналов, формируемый, чтобы получить представление сигнала повышающего микширования на основе представления сигнала понижающего микширования и связанной с объектом параметрической информации посредством использования измененной матрицы визуализации. Устройство формируется, чтобы оценить элемент битового потока, представляющий параметр линейной комбинации, для получения параметра линейной комбинации.

Это осуществление согласно изобретению основано на ключевой идее о том, что слышимые искажения представления сигнала повышающего микширования могут быть уменьшены или даже уничтожены при низкой сложности вычисления посредством использования линейной комбинации определенной пользователем матрицы визуализации и заданной (целевой) матрицы визуализации в зависимости от параметра линейной комбинации, который извлекается из представления битового потока звукового содержания, потому что линейная комбинация может быть выполнена эффективно и потому что выполнение требуемой задачи по определению параметра линейной комбинации может осуществляться на стороне кодирующего устройства звукового сигнала, где обычно имеется больше доступной вычислительной мощности, чем на стороне декодера звукового сигнала (устройство для обеспечения представления сигнала повышающего микширования).

Соответственно, обсужденная выше концепция позволяет получить измененную матрицу визуализации, которая приводит к уменьшенным слышимым искажениям даже при несоответствующем выборе определенной пользователем матрицы визуализации, при этом существенно не увеличивая сложности устройства для обеспечения представления сигнала повышающего микширования. В частности, может даже оказаться ненужным изменять процессор сигнала при сравнении с устройством без ограничителя искажения, потому что измененная матрица визуализации создает входную величину в процессор сигнала и просто заменяет определенную пользователем матрицу визуализации. Кроме того, концепция согласно изобретению дает то преимущество, что кодирующее устройство звукового сигнала может приспособить схему ограничения искажения, которая применяется на стороне декодера звукового сигнала, в соответствии с требованиями, определенными на стороне кодирующего устройства, простой настройкой параметра линейной комбинации, который включается в представление битового потока звукового содержания. Соответственно, кодирующее устройство звукового сигнала может постепенно обеспечить пользователю декодера (устройство для обеспечения представления сигнала повышающего микширования) большую или меньшую свободу выбора матрицы визуализации посредством соответствующего выбора параметра линейной комбинации. Это обеспечивает адаптацию декодера звукового сигнала к ожиданиям пользователя данной услуги, потому что в отношении некоторых услуг пользователь может ожидать получения максимального качества (что подразумевает уменьшение возможности пользователя произвольно приспосабливать матрицу визуализации), в то время как для других услуг пользователь может обычно ожидать максимальную степень свободы (что подразумевает увеличение воздействия определенной пользователем матрицы визуализации на результат линейной комбинации).

Чтобы суммировать вышесказанное, концепция согласно изобретению объединяет высокую вычислительную эффективность на стороне декодера, что может иметь особое значение для портативных звуковых декодеров, при простом выполнении без необходимости модифицировать процессор сигнала, а также обеспечивает высокую степень управления кодирующему устройству звукового сигнала, что важно для реализации ожиданий пользователя в отношении различных типов звуковых услуг.

В предпочтительном осуществлении ограничитель искажения формируется, чтобы получить заданную (целевую) матрицу визуализации таким образом, что заданная (целевая) матрица визуализации является заданной (целевой) матрицей визуализации без искажений. Это дает возможности иметь сценарий воспроизведения, в котором нет искажений или, по крайней мере, нет искажений, вызванных выбором матрицы визуализации. Кроме того, было обнаружено, что вычисление заданной (целевой) матрицы визуализации без искажений в некоторых случаях может быть выполнено очень просто. Далее, было обнаружено, что матрица визуализации, которая выбирается в промежутке между определенной пользователем матрицей визуализации и заданной (целевой) матрицей визуализации без искажений, обычно приводит к хорошему впечатлению от прослушивания.

В предпочтительном осуществлении ограничитель искажения формируется, чтобы получить заданную (целевую) матрицу визуализации таким образом, что заданная (целевая) матрица визуализации является заданной (целевой) матрицей визуализации, подобной матрице понижающего микширования. Было обнаружено, что использование заданной (целевой) матрицы визуализации, подобной матрице понижающего микширования, способствует получению очень низкой или даже минимальной степени искажений. Кроме того, такая заданная (целевая) матрица визуализации, подобная матрице понижающего микширования, может быть получена при очень низких вычислительных усилиях, потому что заданная (целевая) матрица визуализации, подобная матрице понижающего микширования, может быть получена посредством масштабирования элементов матрицы понижающего микширования с использованием общего масштабного коэффициента и добавления некоторых дополнительных нулевых элементов.

В предпочтительном осуществлении ограничитель искажения формируется, чтобы масштабировать расширенную матрицу понижающего микширования посредством использования скаляра энергетической нормализации для получения заданной (целевой) матрицы визуализации, где расширенная матрица понижающего микширования является расширенной версией матрицы понижающего микширования (ряд таких матриц понижающего микширования описывает вклад (ответное сообщение) множества сигналов звукового объекта в один или несколько каналов представления сигнала понижающего микширования), расширенной рядами нулевых элементов таким образом, что несколько рядов расширенной матрицы понижающего микширования идентичны совокупности визуализаций, описанной определенной пользователем матрицей визуализации. Таким образом, расширенная матрица понижающего микширования получается посредством копировании величин из матрицы понижающего микширования в расширенную матрицу понижающего микширования, дополнения нулевых элементов матрицы и скалярного умножения всех матричных элементов на тот же самый скаляр нормализации энергии. Все эти операции могут выполняться очень эффективно, так что заданная (целевая) матрица визуализации может быть получена быстро, даже в очень простом звуковом декодере.

В предпочтительном осуществлении ограничитель искажения формируется, чтобы получить заданную (целевую) матрицу визуализации таким образом, что заданная (целевая) матрица визуализации является заданной (целевой) матрицей визуализации с наилучшим усилием (трудозатратами). Даже при том, что этот подход несколько более сложен в вычислительном отношении, чем использование заданной (целевой) матрицы визуализации, подобной матрице понижающего микширования, использование заданной (целевой) матрицы визуализации с наилучшим усилием предоставляет возможность пользователю наилучшим образом определить желаемый сценарий визуализации. При использовании заданной (целевой) матрицы визуализации с наилучшим усилием принимается в расчет пользовательское определение желательной матрицы визуализации, когда определяется заданная (целевая) матрица визуализации, насколько возможно, без введения искажений или существенных искажений. В частности, заданная (целевая) матрица визуализации с наилучшим усилием учитывает желательную для пользователя громкость для множества громкоговорителей (или каналы представления сигнала повышающего микширования). Соответственно, улучшенное впечатление от прослушивания может быть получено при использовании заданной (целевой) матрицы визуализации с наилучшим усилием.

В предпочтительном осуществлении ограничитель искажения формируется для получения заданной (целевой) матрицы визуализации таким образом, что заданная (целевая) матрица визуализации зависит от матрицы понижающего микширования и определенной пользователем матрицы визуализации. Соответственно, заданная (целевая) матрица визуализации сравнительно близка к ожиданиям пользователя, но все же обеспечивает звуковую визуализацию в основном без искажений. Таким образом, параметр линейной комбинации определяет соотношение между приближением (аппроксимацией) желательной для пользователя визуализации и минимизацией слышимых искажений, где рассмотрение определенной пользователем матрицы визуализации для вычисления заданной (целевой) матрицы визуализации обеспечивает хорошее удовлетворение желаний пользователя, даже если параметр линейной комбинации указывает на то, что заданная (целевая) матрица визуализации должна доминировать над линейной комбинацией.

В предпочтительном осуществлении ограничитель искажения формируется для вычисления матрицы, включающей индивидуальные для каждого канала значения нормализации для множества выходных звуковых каналов устройства для обеспечения представления сигнала повышающего микширования, таким образом, что значение нормализации энергии для данного выходного канала устройства описывает, по крайней мере приблизительно, отношение между суммой значений визуализации энергии, связанных с данным выходным каналом в определенной пользователем матрице визуализации для множества звуковых объектов, и суммой значений понижающего микширования энергии для множества звуковых объектов. Соответственно, ожидание пользователя относительно громкости различных выходных каналов устройства может быть оправдано до некоторой степени.

В этом случае ограничитель искажения формируется для масштабирования ряда значений понижающего микширования посредством использования связанного индивидуального для каждого канала значения нормализации энергии, чтобы получить ряд значений визуализации заданной (целевой) матрицы визуализации, связанный с данным выходным каналом. Соответственно, относительный вклад (ответное сообщение) данного звукового объекта в выходной канал устройства идентичен относительному вкладу (ответному сообщению) данного звукового объекта в представление сигнала понижающего микширования, что позволяет в значительной мере избежать слышимых искажений, вызываемых изменением относительных вкладов (ответных сообщений) звуковых объектов. Соответственно, каждый из выходных каналов устройства в основном неискажен. Тем не менее, принимается во внимание ожидание пользователя в отношении распределения громкости по множеству громкоговорителей (или каналов представления сигнала повышающего микширования), даже при том, что детали относительно того, где поместить, какой звуковой объект и/или как изменить относительную интенсивность звуковых объектов относительно друг друга, остаются нерассмотренными (по крайней мере, до некоторой степени), чтобы избежать искажений, которые могут вызываться чрезмерно резким пространственным разделением звуковых объектов или чрезмерным изменением относительной интенсивности звуковых объектов.

Таким образом, оценивая соотношение между суммой значений визуализации энергии (например, квадраты величин значений визуализации), связанных с данным выходным каналом в определенной пользователем матрице визуализации для множества звуковых объектов, и суммой значений понижающего микширования энергии для множества звуковых объектов, позволяет рассматривать все выходные звуковые каналы, даже при том, что представление сигнала понижающего микширования может включать меньше каналов и все же избегать искажений, вызываемых пространственным перераспределением звуковых объектов или чрезмерным изменением относительной громкости различных звуковых объектов.

В предпочтительном осуществлении ограничитель искажения формируется, чтобы вычислить матрицу, описывающую индивидуальную для каждого канала нормализацию энергии для множества выходных звуковых каналов устройства для обеспечения представления сигнала повышающего микширования в зависимости от определенной пользователем матрицы визуализации и матрицы понижающего микширования. В этом случае ограничитель искажения формируется, чтобы применить матрицу, описывающую индивидуальную для каждого канала нормализацию энергии, чтобы получить ряд коэффициентов визуализации заданной (целевой) матрицы визуализации, связанную с данным выходным каналом устройства в качестве линейной комбинации ряда значений понижающего микширования (то есть значения, описывающие масштабирование, применяемое к звуковым сигналам различных звуковых объектов для получения канала сигнала понижающего микширования), связанный с различными каналами представления сигнала понижающего микширования. Используя эту концепцию, можно получить заданную (целевую) матрицу визуализации, хорошо приспособленную к желательной определенной пользователем матрице визуализации, даже если представление сигнала понижающего микширования включает больше одного звукового канала, и все же, в основном, избежать искажений. Было обнаружено, что формирование линейной комбинации ряда значений понижающего микширования приводит к появлению ряда коэффициентов визуализации, который обычно вызывает только небольшие слышимые искажения. Тем не менее, было обнаружено, что можно приблизиться к ожиданию пользователя посредством использования подхода, позволяющего получить заданную (целевую) матрицу визуализации.

В предпочтительном осуществлении устройство формируется, чтобы считывать заданное значение, представляющее параметр линейной комбинации, из представления битового потока звукового содержания и чтобы отображать заданное значение на параметре линейной комбинации посредством использования таблицы квантизации параметра. Было обнаружено, что это особенно эффективная концепция в вычислительном отношении для получения параметра линейной комбинации. Было также обнаружено, что этот подход обеспечивает лучшее соотношение между удовлетворением пользователя и вычислительной сложностью по сравнению с другими возможными концепциями, в которых выполняются сложные вычисления, а не оценка 1-мерной таблицы отображения.

В предпочтительном осуществлении таблица квантизации описывает неоднородную квантизацию, где меньшие значения параметра линейной комбинации, которые описывают более значительный вклад (ответное сообщение) определенной пользователем матрицы визуализации в измененную матрицу визуализации, квантуются со сравнительно высоким разрешением, а большие значения параметра линейной комбинации, которые описывают менее значительный вклад (ответное сообщение) определенной пользователем матрицы визуализации в измененную матрицу визуализации, квантуются со сравнительно более низким разрешением. Было обнаружено, что во многих случаях только предельные настройки матрицы визуализации приводят к существенным слышимым искажениям. Соответственно, было обнаружено, что точная настройка параметра линейной комбинации более важна в зоне более значительного вклада (ответного сообщения) определенной пользователем матрицы визуализации в заданную (целевую) матрицу визуализации, чтобы получить настройку, которая обеспечивает оптимальное соотношение между реализацией ожидания пользователя относительно визуализации и минимизацией слышимых искажений.

В предпочтительном осуществлении устройство формируется, чтобы оценить элемент битового потока, описывающий способ ограничения искажения. В этом случае ограничитель искажения предпочтительно формируется, чтобы селективно получить заданную (целевую) матрицу визуализации таким образом, что заданная (целевая) матрица визуализации является заданной (целевой) матрицей визуализации, подобной матрице понижающего микширования, или таким образом, что заданная (целевая) матрица визуализации является заданной (целевой) матрицей визуализации с