Способ и устройство для рендеринга звукового сигнала и компьютерно-читаемый носитель информации

Способ и устройство для рендеринга звукового сигнала и компьютерно-читаемый носитель информации

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к способу и устройству для рендеринга аудиосигнала и, более конкретно, к способу рендеринга и устройству для понижающего микширования (микширования с понижением числа каналов) многоканального сигнала в соответствии с типом рендеринга.

Уровень техники

Благодаря развитию технологий обработки изображений и звука было создано большое количество контента с высококачественными изображениями и звуком. Пользователи, которые требуют контент с высококачественными изображениями и звуком, хотят реалистичные изображения и звук, и, таким образом, активно ведутся исследования в области пространственных изображений и стереофонического звука.

Стереофонический звук означает звук, который дает чувство пространственного окружения путем воспроизведения не только высоты и тона звука, но также и трехмерного (3D) направления, включая горизонтальное и вертикальное направления и чувство расстояния, и имеющий дополнительную пространственную информацию, с помощью которой у аудитории, которая находится не в том пространстве, где генерируется источник звука, возникает чувство направления, чувство расстояния и чувство пространства.

Когда выполняется рендеринг многоканального сигнала, такого как 22.2-канальный сигнал, как 5.1-канального сигнала с использованием технологии виртуального рендеринга, 3D стереофонический звук может быть воспроизведен посредством двумерного (2D) выходного канала.

Подробное описание изобретения

Техническая задача

Когда выполняется рендеринг многоканального сигнала, такого как 22.2-канальный сигнал, как 5.1-канального сигнала с использованием технологии виртуального рендеринга, хотя трехмерные (3D) аудиосигналы могут быть воспроизведены с использованием двумерного (2D) выходного канала, он может не подходить для применения виртуального рендеринга в соответствии с характеристиками сигналов.

Настоящее изобретение относится к способу и устройству для воспроизведения стереофонического звука и, более конкретно, к способу воспроизведения многоканального аудиосигнала, включая звуковой сигнал с возвышением в окружении с горизонтальной схемой расположения, таким образом получая параметр рендеринга в соответствии с типом рендеринга и конфигурируя матрицу понижающего микширования.

Техническое решение

Показательная конфигурация настоящего изобретения для решения описанной выше задачи имеет следующий вид.

В соответствии с одним аспектом варианта осуществления способ рендеринга аудиосигнала включает в себя этапы, на которых: принимают многоканальный сигнал, содержащий множество входных каналов, которые должны быть преобразованы во множество выходных каналов; определяют тип рендеринга для рендеринга с возвышением на основании параметра, определенного из характеристики многоканального сигнала; и осуществляют рендеринг по меньшей мере одного высотного входного канала в соответствии с определенным типом рендеринга, при этом параметр включен в битовый поток многоканального сигнала.

Полезные эффекты изобретения

Когда осуществляется рендеринг многоканального сигнала, такого как 22.2-канальный сигнал, как 5.1-канального сигнала с использованием технологии виртуального рендеринга, хотя трехмерные (3D) аудиосигналы могут быть воспроизведены посредством двумерного (2D) выходного канала, он может не подходить для применения виртуального рендеринга в соответствии с характеристиками сигналов.

Настоящее изобретение относится к способу воспроизведения многоканального аудиосигнала, включающего в себя звуковой сигнал с возвышением, в окружении с горизонтальной схемой расположения, таким образом получая параметр рендеринга в соответствии с типом рендеринга и конфигурируя матрицу понижающего микширования, и, таким образом, может быть получена высокая производительность рендеринга в отношении аудиосигнала, который не подходит для применения виртуального рендеринга.

Описание чертежей

Фиг. 1 является блок-схемой, изображающей внутреннюю структуру устройства воспроизведения стереофонического аудио в соответствии с вариантом осуществления.

Фиг. 2 является блок-схемой, изображающей конфигурацию декодера и трехмерного (3D) акустического средства рендеринга в устройстве воспроизведения стереофонического аудио в соответствии с вариантом осуществления.

Фиг. 3 изображает схему расположения каналов, когда множество входных каналов подвергаются понижающему микшированию во множество выходных каналов в соответствии с вариантом осуществления.

Фиг. 4 является блок-схемой главных компонентов преобразователя формата средства рендеринга в соответствии с вариантом осуществления.

Фиг. 5 изображает конфигурацию селектора, который выбирает тип рендеринга и матрицу понижающего микширования на основании параметра определения типа рендеринга в соответствии с вариантом осуществления.

Фиг. 6 изображает синтаксис, который определяет конфигурацию типа рендеринга на основании параметра определения типа рендеринга в соответствии с вариантом осуществления.

Фиг. 7 является блок-схемой последовательности операций способа рендеринга аудиосигнала в соответствии с вариантом осуществления.

Фиг. 8 является блок-схемой последовательности операций способа рендеринга аудиосигнала на основании типа рендеринга в соответствии с вариантом осуществления.

Фиг. 9 является блок-схемой последовательности операций способа рендеринга аудиосигнала на основании типа рендеринга в соответствии с другим вариантом осуществления.

Лучший вариант осуществления

Показательные конфигурации настоящего изобретения для решения описанной выше задачи имеют следующий вид.

В соответствии с одним аспектом варианта осуществления способ рендеринга аудиосигнала включает в себя этапы, на которых: принимают многоканальный сигнал, содержащий множество входных каналов, которые должны быть преобразованы во множество выходных каналов; определяют тип рендеринга для рендеринга с возвышением на основании параметра, определенного из характеристики многоканального сигнала; и осуществляют рендеринг по меньшей мере одного высотного входного канала в соответствии с определенным типом рендеринга, при этом параметр включен в битовый поток многоканального сигнала.

Многоканальный сигнал может декодироваться основным декодером.

Этап, на котором определяют тип рендеринга, может включать в себя этап, на котором: определяют тип рендеринга для каждого из кадров многоканального сигнала.

Этап, на котором осуществляют рендеринг по меньшей мере одного высотного входного канала может включать в себя этап, на котором: применяют различные матрицы понижающего микширования, полученные в соответствии с определенным типом рендеринга, по меньшей мере к одному высотному входному каналу.

Способ может дополнительно включать в себя этапы, на которых: определяют, выполнить ли виртуальный рендеринг для выходного сигнала, при этом если для выходного сигнала не выполняется виртуальный рендеринг, этап, на котором определяют тип рендеринга, содержит этап, на котором: определяют тип рендеринга для того, чтобы не выполнять рендеринг с возвышением.

Этап, на котором выполняют рендеринг, может включать в себя этапы, на которых: выполняют пространственную фильтрацию тембра по меньшей мере для одного высотного входного канала, если определенный тип рендеринга является трехмерным (3D) типом рендеринга, выполняют пространственное панорамирование местоположения по меньшей мере для одного высотного входного канала; и если определенный тип рендеринга является двумерным (2D) типом рендеринга, выполняют общее панорамирование по меньшей мере для одного высотного входного канала.

Этап, на котором выполняют пространственную фильтрацию тембра, может включать в себя этап, на котором: корректируют тембр звука на основании функции моделирования восприятия звука человеком (HRTF).

Этап, на котором выполняют пространственное панорамирование местоположения, может включать в себя этап, на котором: генерируют верхнее звуковое изображение путем панорамирования многоканального сигнала.

Этап, на котором выполняют общее панорамирование, может включать в себя этап, на котором: генерируют звуковое изображение в горизонтальной плоскости путем панорамирования многоканального сигнала на основании азимутального угла.

Параметр может быть определен на основании атрибута аудиосцены.

Атрибут аудиосцены может включать в себя по меньшей мере одно из: корреляции между каналами входного аудиосигнала или ширину полосы частот входного аудиосигнала.

Параметр может создаваться в кодере.

В соответствии с одним аспектом другого варианта осуществления устройство для рендеринга аудиосигнала включает в себя: приемный блок для приема многоканального сигнала, содержащего множество входных каналов, которые должны быть преобразованы во множество выходных каналов; блок определения для определения типа рендеринга для рендеринга с возвышением на основании параметра, определенного из характеристики многоканального сигнала; и блок рендеринга для рендеринга по меньшей мере одного высотного входного канала в соответствии с определенным типом рендеринга, при этом параметр включен в битовый поток многоканального сигнала.

Устройство может дополнительно включать в себя: основной декодер, причем многоканальный сигнал декодируется основным декодером.

Блок определения может определять тип рендеринга для каждого из кадров многоканального сигнала.

Блок рендеринга может применять различные матрицы понижающего микширования, полученные в соответствии с определенным типом рендеринга, по меньшей мере к одному высотному входному каналу.

Устройство может дополнительно включать в себя: блок определения для определения, выполнять ли виртуальный рендеринг для выходного сигнала, при этом если для выходного сигнала не выполняется виртуальный рендеринг, блок определения определяет тип рендеринга так, чтобы не выполнять рендеринг с возвышением.

Блок рендеринга может выполнять пространственную фильтрацию тембра по меньшей мере для одного высотного входного канала, если определенный тип рендеринга является 3D типом рендеринга, дополнительно выполнять пространственное панорамирование местоположения по меньшей мере для одного высотного входного канала, и если определенный тип рендеринга является 2D типом рендеринга, дополнительно выполнять общее панорамирование по меньшей мере для одного высотного входного канала.

Пространственная фильтрация тембра может корректировать тембр звука на основании функции моделирования восприятия звука человеком (HRTF).

Пространственное панорамирование местоположения может генерировать верхнее звуковое изображение путем панорамирования многоканального сигнала.

Общее панорамирование может генерировать звуковое изображение в горизонтальной плоскости путем панорамирования многоканального сигнала на основании азимутального угла.

Параметр может быть определен на основании атрибута аудиосцены.

Атрибут аудиосцены может включать в себя по меньшей мере одно из: корреляции между каналами входного аудиосигнала и ширины полосы частот входного аудиосигнала.

Параметр может создаваться в кодере.

В соответствии с одним аспектом другого варианта осуществления компьютерно-читаемый носитель информации имеет записанную на нем программу для исполнения способа, описанного выше.

Кроме того, дополнительно обеспечены другой способ и другая система для реализации настоящего изобретения и компьютерно-читаемый носитель информации, имеющий записанную на нем компьютерную программу для исполнения способа.

Вариант осуществления изобретения

Подробное описание настоящего изобретения, которое будет представлено ниже, ссылается на прилагаемые чертежи, показывающие, в качестве примеров, конкретные варианты осуществления, с помощью которых может быть выполнено настоящее изобретение. Эти варианты осуществления описаны в достаточной мере подробно, чтобы специалисты в области техники могли осуществить настоящее изобретение. Следует понимать, что различные варианты осуществления настоящего изобретения отличаются друг от друга, но не являются исключающими друг друга.

Например, конкретная форма, структура и характеристика, изложенная в настоящем описании, может изменяться от одного варианта осуществления к другому варианту осуществления, не отступая от сущности и объема настоящего изобретения. Кроме того, следует понимать, что местоположения или схема расположения отдельных компонентов в каждом варианте осуществления также может быть изменена, не отступая от сущности и объема настоящего изобретения. Поэтому подробное описание, которое будет представлено, предназначено не для ограничения, и следует понимать, что объем настоящего изобретения включает в себя заявленный объем формулы изобретения и все объемы, эквивалентные заявленному объему.

Одинаковые номера позиций на чертежах обозначают одинаковые или аналогичные элементы в различных аспектах. Кроме того, на чертежах несущественные для описания части опущены для более ясного описания настоящего изобретения, и одинаковые номера позиций обозначают одинаковые элементы на протяжении всего описания.

Далее будут подробно описаны варианты осуществления настоящего изобретения со ссылкой на прилагаемые чертежи так, чтобы специалисты в области техники, к которой принадлежит настоящее изобретение, могли легко выполнить настоящее изобретение. Однако настоящее изобретение может быть реализовано во всевозможных различных формах и не ограничивается вариантами осуществления, описанными в настоящем описании.

На протяжении этого описания, когда написано, что определенный элемент «соединен» с другим элементом, это включает в себя случай «непосредственного соединения» и случай «электрического соединения» через другой элемент посередине. Кроме того, когда некоторая часть «включает в себя» некоторый компонент, это означает, что часть может дополнительно включать в себя другой компонент вместо исключения другого компонента, если специально не указано иное.

Далее настоящее изобретение описывается подробно со ссылкой на прилагаемые чертежи.

Фиг. 1 является блок-схемой, изображающей внутреннюю структуру устройства 100 воспроизведения стереофонического звука в соответствии с вариантом осуществления.

Устройство 100 воспроизведения стереофонического звука в соответствии с вариантом осуществления может иметь на выходе многоканальный аудиосигнал, в котором множество входных каналов микшируются во множество выходных каналов, которые должны быть воспроизведены. В этом случае, если число выходных каналов меньше, чем число входных каналов, входные каналы подвергаются понижающему микшированию, чтобы соответствовать числу выходных каналов.

Стереофонический звук означает звук, создающий чувство пространственного окружения путем воспроизведения не только высоты и тона звука, но также и направления и чувства расстояния, и имеющий дополнительную пространственную информацию, с помощью которой у аудитории, которая находится не в том пространстве, где генерируется источник звука, возникает чувство направления, чувство расстояния и чувство пространства.

В описании ниже выходные каналы аудиосигнала могут указывать число громкоговорителей, через которые выводится звук. Чем больше число выходных каналов, тем больше число громкоговорителей, через которые выводится звук. В соответствии с вариантом осуществления устройство 100 воспроизведения стереофонического звука может выполнять рендеринг и микшировать многоканальный акустический входной сигнал в выходные каналы, которые должны быть воспроизведены так, чтобы многоканальный аудиосигнал, имеющий большее число входных каналов, мог быть выведен и воспроизведен в окружении, имеющем меньшее число выходных каналов. В этом случае многоканальный аудиосигнал может включать в себя канал, в котором может выводиться звук с возвышением.

Канал, в котором может выводиться звук с возвышением, может означать канал, в котором аудиосигнал может выводиться громкоговорителем, расположенным выше голов аудитории, так, чтобы аудитория ощущала возвышение по вертикали. Горизонтальный канал может означать канал, в котором аудиосигнал может выводиться громкоговорителем, расположенным на горизонтальной поверхности к аудитории.

Описанное выше окружение, имеющее меньшее число выходных каналов, может означать окружение, в котором звук может выводиться громкоговорителями, расположенными на горизонтальной поверхности без выходных каналов, через которые может выводиться звук с возвышением.

Кроме того, в описании ниже горизонтальный канал может означать канал, включающий в себя аудиосигнал, который может быть выведен громкоговорителем, расположенным на горизонтальной поверхности. Верхний канал может означать канал, включающий в себя аудиосигнал, который может выводиться громкоговорителем, расположенным в местоположении с возвышением над горизонтальной поверхностью для вывода звука с возвышением.

Обращаясь к фиг. 1, устройство 100 воспроизведения стереофонического аудио в соответствии с вариантом осуществления может включать в себя аудио-ядро 110, средство 120 рендеринга, микшер 130 и блок 140 постобработки.

В соответствии с вариантом осуществления устройство 100 воспроизведения стереофонического аудио может иметь на выходе каналы, которые должны быть воспроизведены путем рендеринга и микширования многоканальных входных аудиосигналов. Например, многоканальный входной аудиосигнал может быть 22.2-канальным сигналом, а выходные каналы, которые должны быть воспроизведены, могут быть каналами 5.1 или 7.1. Устройство 100 воспроизведения стереофонического аудио может выполнять рендеринг путем определения выходного канала, соответствующего каждому каналу многоканального входного аудиосигнала, и микшировать сформированные аудиосигналы путем синтезирования сигналов каналов, соответствующих каналу, который должен быть воспроизведен, и выводить синтезированный сигнал в качестве конечного сигнала.

Кодированный аудиосигнал подается на вход аудио-ядра 110 в формате битового потока. Аудио-ядро 110 декодируют входной аудиосигнал путем выбора инструмента декодера, подходящего для схемы, с помощью которой был закодирован аудиосигнал. Аудио-ядро 110 может использоваться в том же значении, что и основной декодер.

Средство 120 рендеринга может выполнять рендеринг многоканального входного аудиосигнала в многоканальный выходной канал в соответствии с каналами и частотами. Средство 120 рендеринга может выполнять трехмерный (3D) рендеринг и 2D рендеринг многоканального аудиосигнала, в том числе верхний канал и горизонтальный канал. Конфигурация средства рендеринга и конкретный способ рендеринга будет описан более подробно со ссылкой на фиг. 2.

Микшер 130 может выводить конечный сигнал путем синтезирования сигналов каналов, соответствующих горизонтальному каналу с помощью средства 120 рендеринга. Микшер 130 может микшировать сигналы каналов для каждой секции набора. Например, микшер 130 может микшировать сигналы каналов для каждого I-кадра.

В соответствии с вариантом осуществления микшер 130 может выполнять микширование на основании значений мощности сигналов, сформированных в соответствующие каналы, которые должны быть воспроизведены. Другими словами, микшер 130 может определить амплитуду конечного сигнала или усиление, которое должно быть применено к конечному сигналу, на основании значения мощности сигналов, сформированных в соответствующие каналы, которые должны быть воспроизведены.

Блок 140 постобработки выполняет управление динамическим диапазоном и бинаурализацию многополосного сигнала для выходного сигнала микшера 130, чтобы подходить для каждого воспроизводящего устройства (громкоговоритель или наушники). Выходной аудиосигнал, выводимый из блока 140 постобработки, выводится устройством, таким как громкоговоритель, и выходной аудиосигнал может воспроизводиться 2D или 3D образом в соответствии с обработкой каждого компонента.

Устройство 100 воспроизведения стереофонического аудио в соответствии с вариантом осуществления на фиг. 1 показано на основе конфигурации аудиодекодера, и вспомогательная конфигурация опущена.

Фиг. 2 является блок-схемой, изображающей конфигурацию основного декодера 110 и 3D акустического средства 120 рендеринга в устройстве 100 воспроизведения стереофонического аудио в соответствии с вариантом осуществления.

Обращаясь к фиг. 2, в соответствии с вариантом осуществления устройство 100 воспроизведения стереофонического звука показано на основе конфигурации декодера 110 и 3D акустического средства 120 рендеринга, а другие конфигурации опущены.

Аудиосигнал, который подается на вход устройства 100 воспроизведения стереофонического аудио, является кодированным сигналом и подается на вход в формате битового потока. Декодер 110 декодирует входной аудиосигнал путем выбора инструмента декодера, подходящего для схемы, с помощью которой аудиосигнал был закодирован, и передает декодированный аудиосигнал 3D акустическому средству 120 рендеринга.

Если выполняется рендеринг с возвышением, виртуальное 3D изображение звука с возвышением может быть получено с помощью 5.1-канальной схемы расположения, включающей в себя только горизонтальные каналы. Такой алгоритм рендеринга с возвышением включает в себя пространственную фильтрацию тембра и процесс панорамирования пространственного местоположения.

3D акустическое средство 120 рендеринга включает в себя блок 121 инициализации для получения и обновления коэффициента фильтра и коэффициента панорамирования и блок 123 рендеринга для выполнения фильтрации и панорамирования.

Блок 123 рендеринга выполняет фильтрацию и панорамирование аудиосигнала, переданного от основного декодера 110. Блок 1231 пространственной фильтрации тембра обрабатывает информацию о местоположении звука так, чтобы сформированный аудиосигнал воспроизводился в желаемом месте. Блок 1232 пространственного панорамирования местоположения обрабатывает информацию о тоне звука так, чтобы сформированный аудиосигнал имел тон, подходящий для желаемого места.

Блок 1231 пространственной фильтрации тембра предназначен для коррекции тона звука на основании функции моделирования восприятия звука человеком (HRTF), моделирующей и отражающей разность маршрута, через который входной канал распространяется в выходной канал. Например, блок 1231 пространственной фильтрации тембра может корректировать тон звука для усиления энергии относительно сигнала полосы частот 1 ~ 10 кГц и уменьшения энергии относительно других полос частот, тем самым получая более естественный тон звука.

Блок 1232 пространственного панорамирования местоположения предназначен для обеспечения верхнего звукового изображения посредством многоканального панорамирования. Различные коэффициенты панорамирования (усиления) применяются к входным каналам. Хотя верхнее звуковое изображение может быть получено путем выполнения пространственного панорамирования местоположения, подобие между каналами может увеличиться, что увеличивает корреляции всех аудиосцен. Когда виртуальный рендеринг выполняется над сильно нескоррелированной аудиосценой, тип рендеринга может быть определен на основании характеристики аудиосцены для предотвращения ухудшения качества рендеринга.

Альтернативно, когда аудиосигнал производится, тип рендеринга может быть определен в соответствии с намерением производителя (создателя) аудиосигнала. В этом случае производитель аудиосигнала может вручную определить информацию относительно типа рендеринга аудиосигнала и может включить параметр для определения типа рендеринга в аудиосигнал.

Например, кодер генерирует дополнительную информацию, такую как rendering3DType, которая является параметром для определения типа рендеринга в кадре кодированных данных, и передает дополнительную информацию декодеру 110. Декодер 110 может подтвердить информацию rendering3DType, если rendering3DType указывает тип 3D рендеринга, выполнить пространственную фильтрацию тембра и пространственное панорамирование местоположения и, если rendering3DType указывает тип 2D рендеринга, выполнить пространственную фильтрацию тембра и общее панорамирование.

В этом отношении общее панорамирование может выполняться для многоканального сигнала на основании информации об азимутальном угле, не учитывая информацию об угле возвышения входного аудиосигнала. Аудиосигнал, к которому применяется общее панорамирование, не обеспечивает звуковое изображение, имеющее чувство возвышения по вертикали, и, таким образом, пользователю передается 2D звуковое изображение в горизонтальной плоскости.

Пространственное панорамирование местоположения, примененное к 3D рендерингу, может иметь различные коэффициенты панорамирования для каждой частоты.

В связи с этим коэффициент фильтра, который должен использоваться для фильтрации, и коэффициент панорамирования, который должен использоваться для панорамирования, передается из блока 121 инициализации. Блок 121 инициализации включает в себя блок 1211 получения параметра рендеринга c возвышением и блок 1212 обновления параметра рендеринга с возвышением.

Блок 1211 получения параметра рендеринга с возвышением получает инициализирующее значение параметра рендеринга с возвышением путем использования конфигурации и схемы расположения выходных каналов, то есть, громкоговорителей. В связи с этим инициализирующее значение параметра рендеринга с возвышением вычисляется на основании конфигурации выходных каналов в соответствии со стандартной схемой расположения и конфигурации входных каналов в соответствии с установкой рендеринга с возвышением, или для инициализирующего значения параметра рендеринга с возвышением предварительно считывается записанное в память инициализирующее значение в соответствии с отображающей зависимостью между входными/выходными каналами. Параметр рендеринга с возвышением может включать в себя коэффициент фильтра, который должен использоваться блоком 1231 пространственной фильтрации тембра, или коэффициент панорамирования, который должен использоваться блоком 1232 пространственного панорамирования местоположения.

Однако, как описано выше, может иметься отклонение между заданным значением возвышения для рендеринга с возвышением и настройками входных каналов. В этом случае, когда используется фиксированное заданное значение возвышения, становится трудно достичь цели виртуального рендеринга 3D аудиосигнала по воспроизведению 3D аудиосигнала более близко к исходному звуку 3D аудиосигнала через выходные каналы, имеющие конфигурацию, отличающуюся от конфигурации входных каналов.

Например, когда чувство возвышения по вертикали слишком высокое, может произойти феномен, когда звуковое изображение является маленьким, и качество звука ухудшается, а когда чувство возвышения по вертикали слишком низкое, может случиться проблема, что трудно ощутить эффект виртуального рендеринга. Поэтому необходимо настраивать чувство возвышения по вертикали в соответствии с настройками пользователя или степенью виртуального рендеринга, подходящей для входного канала.

Блок 1212 обновления параметра рендеринга с возвышением обновляет параметр рендеринга с возвышением путем использования инициализирующих значений параметра рендеринга с возвышением, которые получены блоком 1211 получения параметра рендеринга с возвышением на основании информации о возвышении входного канала или заданного пользователем возвышения. В связи с этим, если схема расположения громкоговорителей для выходных каналов имеет отклонение по сравнению со стандартной схемой расположения, может быть добавлен процесс для корректировки влияния в соответствии с отклонением. Отклонение выходных каналов может включать в себя информацию об отклонении в соответствии с разностью угла возвышения или разностью азимутального угла.

Выходной аудиосигнал, фильтрованный и панорамированный блоком 123 рендеринга с использованием параметра рендеринга с возвышением, полученного и обновленного блоком 121 инициализации, воспроизводится через громкоговоритель, соответствующий каждому выходному каналу.

Фиг. 3 изображает схему расположения каналов, когда множество входных каналов подвергается понижающему микшированию до множества выходных каналов в соответствии с вариантом осуществления.

Чтобы обеспечить такое же или усиленное чувство реализма и чувство погружения в реальность как в 3D изображении, были разработаны методики для обеспечения 3D стереофонического звука вместе с 3D стереоскопическим изображением. Стереофонический звук означает звук, в котором сам аудиосигнал дает чувство возвышения по вертикали и чувство пространства звука, и для воспроизведения такого стереофонического звука необходимо по меньшей мере два громкоговорителя, то есть выходных канала. Кроме того, за исключением бинаурального стереофонического звука с использованием HRTF, необходимо большее число выходных каналов для более точного воспроизведения чувства возвышения по вертикали, чувства расстояния и чувства пространства звука.

Поэтому была предложена и разработана стереосистема, имеющая два выходных канала, и различные многоканальные системы, такие как 5.1-канальная система, система Auro 3D, 10.2-канальная система Холмана, 10.2-канальная система ETRI/Samsung и 22.2-канальная система NHK.

Фиг. 3 изображает случай, в котором 22.2-канальный 3D аудиосигнал воспроизводится 5.1-канальной выходной системой.

5.1-канальная система является общим названием многоканальной аудиосистемы объемного звучания с пятью каналами, и она является системой, наиболее широко используемой в качестве аудиосистем домашних кинотеатров. В общей сложности 5.1 каналов включают в себя передний левый (FL) канал, центральный (C) канал, передний правый (FR) канал, левый канал объемного звучания (SL), и правый канал объемного звучания (SR). Как показано на фиг. 3, так как все выходы 5.1 каналов находятся в одной и той же плоскости, 5.1-канальная система физически соответствует 2D системе, и чтобы воспроизводить 3D аудиосигнал с использованием 5.1-канальной системы, должен быть выполнен процесс рендеринга для добавления 3D эффекта в сигнал, который должен быть воспроизведен.

5.1-канальная система широко используется в различных областях, не только в области фильмов, но также и в области DVD-изображений, области DVD-звука, области улучшенных аудио компакт-дисков (SACD) или области цифрового вещания. Однако, хотя 5.1-канальная система обеспечивает улучшенное чувство пространства по сравнению со стереосистемой, имеется несколько ограничений в формировании более широкого пространства для прослушивания по сравнению со способом представления многоканального звука, таким как в 22.2-канальных системах. В частности, так как зона наилучшего восприятия является узкой, когда выполняется виртуальный рендеринг, и вертикальное аудио изображение, имеющее угол возвышения, не может быть обеспечено, когда выполняется общий рендеринг, 5.1-канальная система не может быть подходящей для широкого пространства для прослушивания, такого как в кино.

22.2-канальная система, предложенная NHK, включает в себя три уровня выходных каналов, как показано на фиг. 3. Верхний уровень 310 включает в себя канал «голос бога» (VOG), канал T0, канал T180, канал TL45, канал TL90, канал TL135, канал TR45, канал TR90 и канал TR135. В настоящем описании индекс T, который является первым символом названия каждого канала, указывает верхний уровень, индексы L и R указывают левую и правую стороны, соответственно, а число после букв указывает азимутальный угол от центрального канала. Верхний уровень обычно называют вышележащим уровнем.

Канал VOG является каналом, присутствующим над головами аудитории, имеет угол возвышения 90° и не имеет никакого азимутального угла. Однако, когда канал VOG даже немного неправильно расположен, у канала VOG имеется азимутальный угол и угол возвышения, который отличается от 90°, и, таким образом, канал VOG не может больше выступать в качестве канала VOG.

Средний уровень 320 находится в той же самой плоскости, что и существующие 5.1 каналы и включает в себя канал ML60, канал ML90, канал ML135, канал MR60, канал MR90 и канал MR135 помимо выходных каналов для каналов 5.1. С связи с этим индекс M, который является первым символом названия каждого канала, указывает средний уровень, а следующее далее число указывает азимутальный угол от центрального канала.

Нижний уровень 330 включает в себя канал L0, канал LL45 и канал LR45. С связи с этим индекс L, который является первым символом названия каждого канала, указывает нижний уровень, а следующее далее число указывает азимутальный угол от центрального канала.

В каналах 22.2 средний уровень называют горизонтальным каналом, а каналы VOG, T0, T180, M180, L и C, соответствующие азимутальному углу 0° или 180°, называют вертикальными каналами.

Когда 22.2-канальный входной сигнал воспроизводится с использованием 5.1-канальной системы в соответствии с самым общим способом, межканальный сигнал может быть распределен с использованием выражения понижающего микширования. Альтернативно, может быть выполнен рендеринг для обеспечения виртуального чувства возвышения по вертикали так, чтобы 5.1-канальная система воспроизводила аудиосигнал, имеющий чувство возвышения по вертикали.

Фиг. 4 является блок-схемой основных компонентов средства рендеринга в соответствии с вариантом осуществления.

Средство рендеринга является понижающим число каналов микшером, который преобразовывает многоканальный входной сигнал, имеющий Nin каналов, в формат воспроизведения, имеющий Nout каналов, и называется преобразователем формата. В связи с этим Nout<Nin. Фиг. 4 является блок-схемой основных компонентов преобразователя формата, сконфигурированного из средства рендеринга, в отношении понижающего микширования.

Кодированный аудиосигнал подается на вход основного декодера 110 в формате битового потока. Сигнал, подаваемый на вход основного декодера 110, декодируется инструментом декодера, подходящим для схемы кодирования, и подается на вход преобразователя 125 формата.

Преобразователь 125 формата включает в себя два основных блока. Первый основной блок является блоком 1251 конфигурации понижающего микширования, который выполняет алгоритм инициализации, который отвечает за статические параметры, такие как входной и выходной форматы. Второй основной блок является блоком 1252 понижающего микширования, который выполняет понижающее микширование выходного сигнала микшера на основании параметра понижающего микширования, полученного с использованием алгоритма инициализации.

Блок 1251 конфигурации понижающего микширования генерирует параметр понижающего микширования, который оптимизирован на основании выходной схемы расположения для микшера, соответствующей схеме расположения сигнала входного канала, и схемы расположения воспроизведения, соответствующей схеме расположения выходного канала. Параметр микшера с понижением числа каналов может быть матрицей понижающего микширования, и он определяется доступной комбинацией данного входного формата и выходного канала.

В связи с этим алгоритм, который выбирает выходной громкоговоритель (выходной канал), применяется к каждому входному каналу с помощью самого подходящего правила соответствия, включенного в список правил соответствия с учетом психологических аспектов звука. Правило соответствия предназначено для постановки в соответствие одному входному каналу одного выходного громкоговорителя или множества выходных громкоговорителей.

Входной канал может ставиться в соответствие одному выходному каналу или может панорамироваться на два выходных канала. Входной канал, такой как канал VOG, может распределяться по множеству выходных каналов. Альтернативно, входной сигнал может панорамироваться на множество выходных кана