Передача сигнальной информации рендеринга аудио в битовом потоке

Передача сигнальной информации рендеринга аудио в битовом потоке

Иллюстрации

Показать все

Реферат

Данная заявка испрашивает приоритет предварительной патентной заявки США №61/762758, поданной 8 февраля 2013 года.

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к кодированию аудио и, в частности, к битовым потокам, которые задают кодированные аудиоданные.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

При создании аудиоконтента звукооператор может выполнить рендеринг аудиоконтента, используя специальный блок рендеринга в попытке настроить аудиоконтент для целевых конфигураций динамиков, используемых для воспроизведения аудиоконтента. Другими словами, звукооператор может выполнить рендеринг аудиоконтента и воспроизвести аудиоконтент, подвергнутый рендерингу, используя динамики, скомпонованные в целевой конфигурации. Затем звукооператор может создать ремикс различных аспектов аудиоконтента, выполнить рендеринг аудиоконтента после ремикса и вновь воспроизвести аудиоконтент после рендеринга и ремикса с использованием динамиков, скомпонованных в целевой конфигурации. Звукооператор может многократно повторять вышеописанные действия, пока не будет воплощен художественный замысел, обеспечиваемый данным аудиоконтентом. Таким путем звукооператор может создать аудиоконтент, воплощающий некоторый художественный замысел, или, в противном случае, обеспечивающий некоторое звуковое поле во время воспроизведения (например, в качестве аккомпанемента для видеоконтента, воспроизводимого вместе с данным аудиоконтентом).

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Здесь в общих чертах описаны технические приемы для задания информации рендеринга аудио в типичном битовом потоке аудиоданных. Другими словами, эти технические приемы могут обеспечить подход, с помощью которого для передачи сигнальной информации рендеринга аудио, используемой во время создания аудиоконтента, на устройство воспроизведения, которое затем может использовать информацию рендеринга аудио для выполнения рендеринга данного аудиоконтента. Обеспечение информации рендеринга таким образом дает возможность устройству воспроизведения выполнить рендеринг аудиоконтента так, как это наметил звукорежиссер, и тем самым возможно обеспечить правильное воспроизведение аудиоконтента, с тем чтобы потенциальный художественный замысел стал понятен слушателю. Другими словами, информация рендеринга, используемая звукооператором во время рендеринга, обеспечивается в соответствии со способами, описанными в этом изобретении, так что устройство воспроизведения аудио может использовать информацию рендеринга для выполнения рендеринга аудиоконтента таким образом, как это было задумано звукорежиссером, в результате чего обеспечиваются единообразные приемы во время создания и воспроизведения аудиоконтента по сравнению с системами, которые не обеспечивают подобную информацию рендеринга аудио.

Согласно одному аспекту способ создания битового потока, представляющего многоканальный аудиоконтент, содержит задание информации рендеринга аудио, которая включает в себя значение сигнала, идентифицирующее блок рендеринга аудио, используемый при создании многоканального аудиоконтента.

Согласно другому аспекту устройство, сконфигурированное для создания битового потока, представляющего многоканальный аудиоконтент, содержит один или более процессоров, сконфигурированных для задания информации рендеринга аудио, которая включает в себя значение сигнала, идентифицирующее блок рендеринга аудио, используемый при создании многоканального аудиоконтента.

В другом аспекте устройство сконфигурировано для создания битового потока, представляющего многоканальный аудиоконтент, содержит средство для задания информации рендеринга аудио, которая включает в себя значение сигнала, идентифицирующее блок рендеринга аудио, используемый при создании многоканального аудиоконтента, и средство для хранения информации рендеринга аудио.

Согласно еще одному аспекту в невременном считываемом компьютером запоминающем носителе записана команда, которая при ее выполнении инициирует задание одним или более процессорами информации рендеринга аудио, которая включает в себя значение сигнала, идентифицирующее блок рендеринга аудио, используемый при создании многоканального аудиоконтента, и средство для запоминания информации рендеринга аудио.

Согласно другому аспекту способ рендеринга многоканального аудиоконтента из битого потока содержит определение информации рендеринга аудио, которая включает в себя значение сигнала, идентифицирующее блок рендеринга аудио, используемый при создании многоканального аудиоконтента, и рендеринг множества входных сигналов динамиков на основе информации рендеринга аудио.

Согласно еще одному аспекту устройство, сконфигурированное для выполнения рендеринга многоканального аудиоконтента из битого потока, содержит один или более процессоров, сконфигурированных для определения информации рендеринга аудио, которая включает в себя значение сигнала, идентифицирующее блок рендеринга аудио, используемый при создании многоканального аудиоконтента, и выполнения рендеринга множества входных сигналов динамиков на основе информации рендеринга аудио.

Согласно следующему аспекту устройство, сконфигурированное для выполнения рендеринга многоканального аудиоконтента из битого потока, содержит средство для определения информации рендеринга аудио, которая включает в себя значение сигнала, идентифицирующее блок рендеринга аудио, используемый при создании многоканального аудиоконтента, и средство для рендеринга множества входных сигналов динамиков на основе информации рендеринга аудио.

Согласно другому аспекту в невременном считываемом компьютером запоминающем носителе записана команда, которая при ее выполнении инициирует определение одним или более процессорами информации рендеринга аудио, которая включает в себя значение сигнала, идентифицирующее блок рендеринга аудио, используемый при создании многоканального аудиоконтента, и рендеринг множества входных сигналов динамиков на основе информации рендеринга аудио.

Далее на сопроводительных чертежах и в описании, представленном ниже, излагаются подробности одного или более аспектов упомянутых технических приемов. Другие признаки, цели и преимущества этих технических приемов станут очевидными из их описания, чертежей, а также из формулы изобретения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1-3 - схемы, иллюстрирующие базисные сферические гармонические функции различных порядков и субпорядков;

фиг. 4 - схема, иллюстрирующая систему, в которой могут быть реализованы различные аспекты технических приемов, описанных в этом изобретении;

фиг. 5 - схема, иллюстрирующая систему, в которой могут быть реализованы различные аспекты технических приемов, описанных в этом изобретении;

фиг. 6 - блок-схема, иллюстрирующая другую систему 50, в которой могут быть реализованы различные аспекты технических приемов, описанных в этом изобретении;

фиг. 7 - блок-схема, иллюстрирующая еще одну систему 60, в которой могут быть реализованы различные аспекты технических приемов, описанных в этом изобретении;

Фиг. 8А-8D - диаграммы, иллюстрирующие битовые потоки 31А-31D, сформированные согласно техническим приемам, описанным в этом изобретении;

фиг. 9 - блок-схема, иллюстрирующая примерное функционирование системы, например, одной из систем 20, 30, 50 и 60, показанных в примерах на Фиг. 4-8D, при выполнении различных технических приемов, приведенных в данном изобретении.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

С развитием систем окружающего звука в наши дни стало доступным множество форматов вывода для рекламы. Примеры указанных форматов окружающего звука включают в себя популярный формат 5.1 (который включает в себя следующие шесть каналов: передний левый (FL), передний правый (FR), центральный или передний центральный, задний левый или окружающий левый, задний правый или окружающий правый и низкочастотных эффектов (LFE)), развивающийся формат 7.1 и новейший формат 22.2 (например, для использования со стандартом телевидения ультравысокой четкости (UHDT)). Кроме того, примеры таких форматов включают в себя форматы для матрицы сферических гармоник.

Вход в будущий MPEG кодер представляет собой один (на выбор) из трех возможных форматов: (i) традиционное основанное на каналах аудио, что означает воспроизведение через громкоговорители, размещенные на заранее заданных позициях; (ii) основанное на объектах аудио, которое включает данные дискретной импульсно-кодовой модуляции для одиночных аудио объектов с соответствующими метаданными, содержащими координаты их местоположения (помимо другой информации); и (iii) аудио, основанное на сцене, которое включает представление звукового поля с использованием коэффициентов базисных функций сферических гармоник (также называемые «сферическими гармоническими коэффициентами» или SHC).

Сегодняшний рынок предлагает множество различных форматов «окружающего звука». Это форматы, например, от системы домашнего театра 5.1 (которые были самыми успешными с точки зрения проникновения в жилые комнаты после стерео систем) до системы 22.2, разработанной Nippon Hoso Kyokai или Japan Broadcasting Corporation. Создатели контента (например, голливудские студии) любят создавать звуковые дорожки для кинофильма единожды, они не тратят усилий на ремикс для каждой конфигурации динамиков. В последнее время комитеты, разрабатывающие стандарты, рассматривали пути для обеспечения кодирования с получением стандартизованного битового потока и последующего декодирования, которое является адаптируемым и не зависит от геометрии динамиков и акустических условий в месте расположения блока рендеринга.

Для обеспечения указанной гибкости для создателей контента можно использовать иерархический набор элементов для представления звукового поля. Этот иерархический набор элементов может относится к набору элементов, упорядоченных таким образом, что базовый набор элементов более низкого порядка обеспечивает полное представление смоделированного звукового поля. С включением в этот набор элементов более высокого порядка упомянутое представление становится более подробным.

Одним из примеров иерархического набора элементов является набор сферических гармонических коэффициентов (SHC). Приведенное ниже выражение демонстрирует описание или представление звукового поля с использованием SHC:

Это выражение показывает, что давление в любой точке звукового поля может быть уникально представлено коэффициентами SHC. Здесь , с - скорость звука (~343 м/с), - опорная точка (или точка обзора), - сферическая функция Бесселя n-го порядка, и - сферические гармонические базисные функции порядка n и субпорядка m. Очевидно, что член в квадратных скобках является представлением сигнала в частотной области (то есть, ), который можно аппроксимировать с использованием различных частотно-временных преобразований, таких как дискретное преобразование Фурье (DFT), дискретное косинусное преобразование (DCT) или вейвлетное преобразование. Другие примеры иерархических наборов включают в себя наборы коэффициентов вейвлетного преобразования и другие наборы коэффициентов базисных функций множественного разрешения.

На фиг. 1 представлена схема, иллюстрирующая сферическую гармоническую базисную функцию 10 нулевого порядка, сферические гармонические базисные функции 12А-12С первого порядка и сферические гармонические базисные функции 14А-14Е второго порядка. Порядок идентифицируется строками таблицы, которые обозначены как 16А-16С, где строка 16А относится к нулевому порядку, строка 16В относится к первому порядку, и строка 16С относится ко второму порядку. Субпорядок идентифицируется столбцами таблицы, которые обозначены как 18А-18Е, где столбец 18А относится к нулевому субпорядку, столбец 18В относится к первому субпорядку, столбец 18С относится к отрицательному первому субпорядку, столбец 18D относится ко второму субпорядку, и столбец 18Е относится к отрицательному второму субпорядку. Коэффициенты SHC, соответствующие сферической гармонической базисной функции 10 нулевого порядка, могут рассматриваться в качестве задающих энергию звукового поля, причем коэффициенты SHC, соответствующие остальным сферическим гармоническим базисным функциям более высокого порядка (например, сферические гармонические базисные функции 12А-12С и 14А-14Е) могут задавать направление этой энергии.

На фиг. 2 представлена другая схема, иллюстрирующая сферические гармонические базисные функции от нулевого порядка (n=0) до четвертого порядка (n=4). Как можно видеть, для каждого порядка имеется расширение субпорядков m, которые показаны, но явно не указаны в примере на фиг.2 для целей упрощения иллюстрации.

На фиг. 3 представлена другая схема, иллюстрирующая сферические гармонические базисные функции от нулевого порядка (n=0) до четвертого порядка (n=4). На фиг. 3 сферические гармонические базисные функции показаны в трехмерном пространстве координат с указанием порядка и субпорядка.

В любом случае SHC может быть получен либо физически (например, записанным) с помощью различных конфигураций массива микрофонов или, в качестве альтернативы, их можно получить из основанного на каналах или основанного на объектах описаний звукового поля. Первое из вышеописанного представляет основанный на сцене ввод аудио в кодер. Например, можно использовать представление четвертого порядка, включающее 1+2⁴ (25, что означает четвертый порядок) коэффициентов.

Для иллюстрации способа получения коэффициентов SHC из описания на основе объекта рассмотрим следующее уравнение. Коэффициенты для звукового поля, соответствующего отдельному аудиообъекту, можно выразить как

где i – это , - сферическая функция Ханкеля (второго вида) порядка n и - местоположение объекта. Знание энергии g(w) источника в функции частоты (например, с использованием приемов время-частотного анализа, таких как выполнение быстрого преобразования Фурье в отношении потока PCM) позволяет преобразовать каждый PCM объект и его местоположение в коэффициент SHC . Кроме того, можно показать (поскольку вышесказанное является линейной и ортогональной декомпозицией), что коэффициенты для каждого объекта являются аддитивными. Таким образом, величина PCM объектов может быть представлена коэффициентами (например, в виде суммы коэффициентов-векторов для отдельных объектов). Существенно, что эти коэффициенты содержат информацию о звуковом поле (давление как функции 3D координат), и вышесказанное представляет преобразование от отдельных объектов к представлению общего звукового поля в окрестности точки обзора. Остальные Фиг. описаны ниже в контексте основанного на объектах и SHC-ориентированного кодирования аудио.

На фиг. 4 представлена блок-схема, иллюстрирующая систему 20, которая может реализовать технические приемы, описанные в этом изобретении, для передачи сигнальной информации рендеринга в битовом потоке, представляющем аудиоданные. Как показано в примере на фиг. 4, система 20 включает в себя создателя 22 контента и потребителя 24 контента. Создатель 22 контента может представлять киностудию или другой объект, способный создавать многоканальный аудиоконтент для потребления потребителями контента, такими как потребитель 24 контента. Часто такой создатель контента создает аудиоконтент вместе с видеоконтентом. Потребитель 24 контента представляет человека, являющегося владельцем системы 32 воспроизведения аудио или имеет к ней доступ, которая может относится к любому виду системы воспроизведения звука, способной воспроизводить многоканальный аудиоконтент. В примере на фиг. 4 потребитель 24 контента включает в себя систему 32 воспроизведения аудио.

Создатель 22 контента включает в себя блок рендеринга 28 аудио и систему 30 редактирования аудио. Блок рендеринга 26 аудио может представлять блок обработки аудио, который выполняет рендеринг или иным образом создает входные сигналы динамиков (которые также могут называться «входными сигналами громкоговорителей», «сигналами динамиков» или «сигналами громкоговорителей»). Каждый входной сигнал динамика может соответствовать входному сигналу, который воспроизводит звук для конкретного канала многоканальной аудиосистемы. В примере на фиг. 4 блок рендеринга 38 может выполнять рендеринг входных сигналов динамиков для обычных форматов окружающего звука (5.1, 7.1 или 22.2), создавая входной сигнал для каждого из динамиков 5, 7 или 22 в системе динамиков окружающего звука 5.1, 7.1 или 22.2. В качестве альтернативы, блок рендеринга 28 может быть сконфигурирован для рендеринга входных сигналов динамиков из исходных сферических гармонических коэффициентов для любой конфигурации динамиков, имеющей любое количество динамиков при заданных характеристиках исходных сферических гармонических коэффициентов, описанных выше. Блок рендеринга 28 может таким образом создать несколько входных сигналов динамиков, которые на фиг. 4 обозначены как входные сигналы 29 динамиков.

Создатель 22 контента в процессе редактирования может выполнить рендеринг сферических гармонических коэффициентов 27 («SHC 27») для создания входных сигналов динамиков, прослушивая входные сигналы динамиков в попытке идентифицировать те аспекты звукового поля, которые не имеют отношения к высокой точности воспроизведения, либо не обеспечивают правдоподобное восприятие окружающего звука. Создатель 22 контента может затем отредактировать исходные сферические гармонические коэффициенты (часто это делается косвенно посредством манипуляций с различными объектами, из которых можно получить исходные сферические гармонические коэффициенты вышеописанным образом). Создатель 22 контента может использовать систему 30 редактирования аудио для редактирования сферических гармонических коэффициентов 27. Система 30 редактирования аудио представляет любую систему, способную редактировать аудиоданные и выводить аудиоданные в виде одного или более исходных сферических гармонических коэффициентов.

По завершении процесса редактирования создатель 22 контента может создать битовый поток 31 на основе сферических гармонических коэффициентов 27. То есть, создатель 22 контента включает в себя устройство 36 создания битового потока, которое может представлять любое устройство, способное создавать битовый поток 31. В некоторых случаях устройство 36 создания битового потока может представлять кодер, который выполняет сжатие полосы (посредством, как один из примеров, энтропийного кодирования) сферических гармонических коэффициентов 27 и который компонует кодированную с использованием энтропийного кодирования версию сферических гармонических коэффициентов 27 в принятом формате для формирования битового потока 31. В других примерах устройство 36 создания битового потока может представлять аудиокодер (возможно кодер, соответствующий известному стандарту кодирования аудио, такому как MPEG surround или его производных), который кодирует многоканальный аудиоконтент 29, используя, например, процессы, аналогичные известным процессам кодирования окружающего звука, для сжатия многоканального аудиоконтента или его производных. Затем сжатый многоканальный аудиоконтент 29 может быть подвергнут энтропийному кодированию или кодированию несколько иным образом для сжатия полосы частот контента 29, и может быть скомпонован в соответствии с согласованным форматом для формирования битового потока 31. Независимо от того, выполняется ли непосредственное сжатие для формирования битового потока 31 или выполняется рендеринг с последующим сжатием для формирования битового потока 31, создатель 22 контента может передать битовый поток 31 потребителю 24 контента.

Хотя на фиг. 4 показан вариант непосредственной передачи потребителю 24 контента, создатель 22 контента может выводить битовый поток 31 на промежуточное устройство, расположенное между создателем 22 контента и потребителем 24 контента. В этом промежуточном устройстве битовый поток 31 может сохраняться для его доставки в дальнейшем потребителю 24 контента, который может запросить этот битовый поток. Такое промежуточное устройство может содержать файловый сервер, веб-сервер, настольный компьютер, компьютер типа лэптоп, планшетный компьютер, мобильный телефон, смартфон или любое другое устройство, способное запоминать битовый поток 31 для его последующего извлечения аудиодекодером. В качестве альтернативы, создатель 22 контента может запомнить битовый поток 31 в запоминающей среде, такой как компакт-диск, цифровой видеодиск, видеодиск высокой четкости или другие носители данных, большинство из которых имеет возможность считывания компьютером, и, следовательно, их можно назвать считываемыми компьютером запоминающими носителями. В этом контексте канал передачи может относиться к тем каналам, через которые передается контент, сохраненный на этих носителях (и может включать в себя магазины розничной торговли и другой механизм доставки ориентированный на хранение). В любом случае технические приемы этого изобретения не следует поэтому ограничивать примером, показанным на фиг. 4.

Как дополнительно показано в примере на фиг. 4, потребитель 24 контента включает в себя систему 32 воспроизведения аудио. Система 32 воспроизведения аудио может представлять любую систему воспроизведения аудио, способную воспроизводить многоканальные аудиоданные. Система 32 воспроизведения аудио может включать в себя несколько разных блоков рендеринга 34. Блоки рендеринга 34 могут каждый обеспечивать разную форму рендеринга, где разные формы рендеринга могут включать в себя один или более различных вариантов выполнения амплитудного панорамирования на векторной основе (VBAP), один или более различных вариантов выполнения основанного на расстоянии амплитудного панорамирования (DBAP), один или более различных вариантов выполнения простого панорамирования, один или более различных вариантов выполнения фильтрации с компенсацией ближнего поля (NFC) и/или один или более различных путей выполнения синтеза волнового поля.

Система 32 воспроизведения аудио кроме того, может включать в себя устройство 38 извлечения. Устройство 38 извлечения может представлять любое устройство, способное извлекать сферические гармонические коэффициенты 27’ («SHC 27’», которые могут представлять модифицированную форму или дубликат сферических гармонических коэффициентов 27), посредством процесса, который обычно может быть противоположен процессу, выполняемому устройством 36 создания битового потока. В любом случае, система 32 воспроизведения аудио может получить сферические гармонические коэффициенты 27’. Затем система 32 воспроизведения аудио может выбрать один из блоков рендеринга 34, который выполняет рендеринг сферических гармонических коэффициентов 27’ для создания нескольких входных сигналов 35 динамиков (соответствующих количеству громкоговорителей, подсоединенных электрически или возможно беспроводным способом к системе 12 воспроизведения аудио, которые в примере на фиг. 4 не показаны в иллюстративных целях).

Как правило, система 32 воспроизведения аудио может выбрать любой из блоков рендеринга 34 и может быть сконфигурирована для выбора одного или более блоков рендеринга аудио в зависимости от источника, из которого получают битовый поток 31 (такого как DVD-плеер, Blu-ray-плеер, смартфон, планшетный компьютер, игровая система и телевизионный приемник для обеспечения нескольких примеров). Хотя может быть выбран любой из блоков рендеринга 34 аудио, часто блок рендеринга аудио, использованный при создании данного контента, обеспечивает лучшую (а возможно наилучшую) форму рендеринга благодаря тому, что данный контент был создан создателем 22 контента с использованием этого одного из блоков рендеринга аудио, то есть, блока рендеринга 28 аудио в примере на фиг 4. Выбор одного из блоков рендеринга 34 аудио, который совпадает или по меньшей мере близок (с точки зрения формы рендеринга) может обеспечить лучшее представление звукового поля и может привести к лучшему восприятию окружающего звука для потребителя 24 контента.

Согласно техническим приемам, описанным в настоящем изобретении, устройство 36 создания битового потока может создавать битовый поток 31, включая в него информацию 39 рендеринга аудио. Информация 39 рендеринга аудио может включать в себя значение сигнала, идентифицирующее блок рендеринга аудио, использованный при создании многоканального аудиоконтента, то есть, блока рендеринга 28 аудио в примере на фиг. 4. В некоторых случаях упомянутое значение сигнала включает в себя матрицу, использованную при рендеринге сферических гармонических коэффициентов во множество входных сигналов динамиков.

В некоторых случаях упомянутое значение сигала включает в себя два или более битов, которые определяют индекс, указывающий, что битовый поток включает в сея матрицу, использованную для рендеринга сферических гармонических коэффициентов во множество входных сигналов динамиков. В некоторых случаях при использовании индекса значение сигнала кроме того включает в себя два или более битов, которые определяют количество строк матрицы, включенных в битовый поток, и два или более битов, которые определяют количество столбцов матрицы, включенных в битовый поток. Использование этой информации при условии, что каждый коэффициент двумерной матрицы, как правило, определяется 32-разрядным числом с плавающей точкой, размер указанной матрицы в битах можно вычислить как функцию количества строк, количества столбцов и размерности чисел с плавающей точкой, определяющих каждый коэффициент матрицы, то есть, 32-разрядные числа в данном примере.

В некоторых случаях упомянутое значение сигнала задает алгоритм рендеринга, использованный для рендеринга сферических гармонических коэффициентов во множество входных сигналов динамиков. Алгоритм рендеринга может включать в себя матрицу, известную как устройству 36 создания битового потока, так и устройству 38 извлечения. То есть алгоритм рендеринга может включать в себя применение матрицы вдобавок к другим этапам рендеринга, таким как панорамирование (например, VBAP, DBAP или простое панорамирование) либо NFC фильтрация. В некоторых случаях упомянутое значение сигнала включает в себя два или более битов, которые определяют индекс, связанный с одной из множества матриц, использованных для рендеринга сферических гармонических коэффициентов во множество входных сигналов динамиков. Опять же, устройство 36 создания битового потока и устройство 38 извлечения могут быть сконфигурированы таким образом, что они будут иметь информацию, указывающую множество матриц и порядок этого множества матриц, так что этот индекс может уникально идентифицировать конкретную матрицу из указанного множества матриц. В качестве альтернативы, устройство 36 создания битового потока может задать в битовом потоке 31 данные, определяющие множество матриц и/или порядок этого множества матриц, так что этот индекс может уникально идентифицировать конкретную матрицу из указанного множества матриц.

В некоторых случаях упомянутое значение сигнала включает в себя два или более битов, которые определяют индекс, связанный с одним из множества алгоритмов рендеринга, использованных для рендеринга сферических гармонических коэффициентов во множество входных сигналов динамиков. Опять же, устройство 36 создания битового потока и устройство 38 извлечения могут быть сконфигурированы таким образом, что они будут иметь информацию, указывающую множество алгоритмов рендеринга и порядок этого множества алгоритмов рендеринга, так что этот индекс может уникально идентифицировать конкретную матрицу из указанного множества матриц. В качестве альтернативы, устройство 36 создания битового потока может задать в битовом потоке 31 данные, определяющие множество матриц и/или порядок этого множества матриц, так что этот индекс может уникально идентифицировать конкретную матрицу из указанного множества матриц.

В некоторых случаях устройство 36 создания битового потока задает в битовом потоке информацию 39 рендеринга аудио в каждом аудиокадре. В других случаях устройство 36 создания битового потока задает в битовом потоке информацию 39 рендеринга аудио один раз.

Затем устройство 38 извлечения может определить информацию 39 рендеринга аудио, заданную в битовом потоке. На основе значения сигнала, включенного в информацию 39 рендеринга аудио, система 32 воспроизведения аудио может выполнить рендеринг множества входных сигналов 35 динамиков на основе информации 39 рендеринга аудио. Как отмечалось выше, упомянутое значение сигнала может в некоторых случаях включать в себя матрицу, использованную для рендеринга сферических гармонических коэффициентов во множество входных сигналов динамиков. В этом случае система 32 воспроизведения аудио может сконфигурировать один из блоков рендеринга 34 аудио с матрицей, используя один из блоков рендеринга 34 аудио для рендеринга входных сигналов 35 динамиков на основе упомянутой матрицы.

В некоторых случаях значение сигнала включает в себя два или более битов, которые определяют индекс, указывающий, что битовый поток включает в себя матрицу, используемую для рендеринга сферических гармонических коэффициентов 27’ в сигналы 35 динамиков. Устройство 38 извлечения может выполнить синтаксический анализ упомянутой матрицы из битового потока в соответствии с указанным индексом, а система 32 воспроизведения аудио может сконфигурировать один из блоков рендеринга 34 аудио с этой проанализированной матрицей и активировать этот один из блоков рендеринга 34 для выполнения рендеринга входных сигналов 35 динамиков. Когда значение сигнала включает в себя два или более битов, которые определяют количество строк матрицы, включенной в битовый поток, и два или более битов, которые определяют количество столбцов матрицы, включенной в битовый поток, устройство 38 извлечения может выполнить синтаксический анализ матрицы из битового потока в соответствии с упомянутым индексом и на основе тех двух или более битов, которые определяют количество строк, и тех двух или более битов, которые определяют количество столбцов матрицы, включенной в битовый поток, вышеописанным образом.

В некоторых случаях упомянутое значение сигнала задает алгоритм рендеринга, используемый для рендеринга сферических гармонических коэффициентов 27’ в сигналы 35 динамиков. В этих случаях эти алгоритмы рендеринга могут выполняться некоторыми или всеми рендерерами 34 аудио. Затем устройство 32 воспроизведения аудио может использовать специальный алгоритм рендеринга, например, один из блоков рендеринга 34 аудио, для рендеринга входных сигналов 35 динамиков из сферических гармонических коэффициентов 27'.

Когда упомянутое значение сигнала включает в себя два или более битов, которые определяют индекс, связанный с множеством матриц, используемых для рендеринга сферических гармонических коэффициентов 27' в сигналы 35 динамиков, некоторые или все блоки рендеринга 34 аудио могут представлять это множество матриц. Таким образом, система 32 воспроизведения аудио может выполнить рендеринг входных сигналов 35 динамиков из сферических гармонических коэффициентов 27', используя один из блоков рендеринга 34 аудио, связанных с упомянутым индексом.

Когда упомянутое значение сигнала включает в себя два или более битов, которые определяют индекс, связанный с одним из множества алгоритмов рендеринга, используемых для рендеринга сферических гармонических коэффициентов 27' в сигналы 35 динамиков, некоторые или все блоки рендеринга 34 аудио могут представлять алгоритмы рендеринга. Таким образом, система 32 воспроизведения аудио может выполнить рендеринг входных сигналов 35 динамиков из сферических гармонических коэффициентов 27', используя один из блоков рендеринга 34 аудио, связанных с упомянутым индексом.

В зависимости от частоты, с которой в битовом потоке задается указанная информация рендеринга аудио, устройство 38 извлечения может определить информацию 39 рендеринга аудио для каждого аудиокадра или один раз.

Благодаря тому, что информация 39 рендеринга задается именно таким образом, рассматриваемые технические приемы потенциально могут обеспечить более качественное воспроизведение многоканального аудиоконтента 35 в соответствии со способом воспроизведения многоканального аудиоконтента, задуманной создателем этого контента. В результате, эти технические приемы могут обеспечить окружающий звук или восприятие многоканального аудио, создающее более ярко выраженный эффект присутствия.

Хотя описана как передаваемая в битовом потоке (или, иным образом заданная), информация 39 рендеринга аудио может быть задана в качестве метаданных отдельно от битового потока или, другими словами, в качестве вспомогательной информации, отдельной от битового потока. Устройство 36 создания битового потока может создать эту информацию 39 рендеринга аудио отдельно от битового потока 31, с тем, чтобы поддерживать совместимость битового потока с (и тем самым возможность его успешного синтаксического анализа) теми устройствами извлечения, которые не поддерживают технические приемы, описанные в этом изобретении. Соответственно, при описании упомянутой информации как информации, заданной в битовом потоке, указанные технические приемы не исключают других путей задания информации 39 рендеринга аудио отдельно от битового потока 31.

Кроме того, хотя описано, что упомянутая информация передается или иным образом задается в битовом потоке 31, либо в качестве метаданных или вспомогательной информации отдельно от битового потока 31, рассмотренные технические приемы дают возможность устройству 36 создания битового потока задать часть упомянутой информации 39 в указанном битовом потоке 31, а другую часть этой информации 39 рендеринга аудио задать в виде метаданных отдельно от битового потока 31. Например, устройство 36 создания битового потока может задать индекс, идентифицирующий матрицу в битовом потоке 31, где в качестве метаданных отдельно от битового потока может быть задана таблица, описывающая множество матриц, которые включают в себя идентифицированную матрицу. Затем система 32 воспроизведения аудио может определить информацию 39 рендеринга аудио из битового потока 31 в виде индекса, и из метаданных, заданных отдельно от битового потока 31. В некоторых случаях система 32 воспроизведения аудио может быть сконфигурирована для выгрузки или иного извлечения таблицы и любых других метаданных из предварительно сконфигурированного или оперативно сконфигурированного сервера (работающего, скорее всего, под управлением изготовителя системы 32 воспроизведения аудио или органа стандартизации).

Другими словами, и как отмечалось выше, амбиофония более высокого порядка (HOA) может представлять способ описания информации направления звукового поля на основе пространственного преобразования Фурье. Как правило, чем выше порядок N амбиофонии, тем выше пространственное разрешение, тем больше сферических гармонических (SH) коэффициентов (N+1)^{^}2 и тем больше необходимая ширина полосы для передачи и сохранения данных.

Потенциальным преимуществом данного описания является возможность воспроизведения ук