Устройство предоставления аудио и способ предоставления аудио

Устройство предоставления аудио и способ предоставления аудио

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

[0001] Идея изобретения относится к устройству и способу предоставления аудио и, в частности, к устройству и способу предоставления аудио, которые выполняют рендеринг и выводят аудиосигналы, имеющие различные форматы, оптимальные для системы воспроизведения аудио.

Уровень техники

[0002] В настоящее время различные аудиоформаты используются на мультимедийном рынке. Например, устройство предоставления аудио предоставляет различные аудиоформаты из 2-канального аудиоформата в 22.2-канальный аудиоформат. В частности, обеспечивается аудиосистема, которая использует каналы, такие как 7.1-канал, 11.1-канал и 22.2-канал для выражения источника звука в трехмерном пространстве.

[0003] Однако большинство обеспечиваемых в настоящий момент аудиосигналов имеют 2.1-канальный формат или 5.1-канальный формат и имеют ограничение при выражении источника звука в трехмерном пространстве. Также, реально трудно устанавливать в домах аудиосистему для воспроизведения 7.1-канальных, 11.1-канальных и 22.2-канальных аудиосигналов.

[0004] Поэтому, требуется разработка способа активного рендеринга аудиосигнала в соответствии с форматом входного сигнала и системой воспроизведения аудио.

Подробное описание идеи изобретения

Техническая задача

[0005] Идея изобретения обеспечивает способ предоставления аудио и устройство предоставления аудио, использующие способ, которые оптимизируют канальный аудиосигнал для среды прослушивания посредством повышающего смешивания или понижающего смешивания канального аудиосигнала и выполнения рендеринга объектного аудиосигнала в соответствии с геометрической информацией для получения звукового изображения, оптимизированного для среды прослушивания.

Техническое решение

[0006] Согласно аспекту идеи изобретения обеспечивается устройство предоставления аудио, включающее в себя: блок рендеринга объекта, который выполняет рендеринг объектного аудиосигнала, основываясь на геометрической информации, касающейся объектного аудиосигнала; блок рендеринга канала, который выполняет рендеринг аудиосигнала, имеющего первое количество каналов, в аудиосигнал, имеющий второе количество каналов; и блок смешивания, который смешивает рендерируемый объектный аудиосигнал с аудиосигналом, имеющим второе количество каналов.

[0007] Блок рендеринга объекта может включать в себя: анализатор геометрической информации, который преобразует геометрическую информацию, касающуюся объектного аудиосигнала, в информацию трехмерных координат (3D); контроллер расстояния, который генерирует информацию управления расстоянием, основываясь на информации 3D-координат; контроллер глубины, который генерирует информацию управления глубиной, основываясь на информации 3D-координат; локализатор, который генерирует информацию локализации для локализации объектного аудиосигнала, основываясь на информации 3D-координат; и рендерер, который выполняет рендеринг объектного аудиосигнала, основываясь на информации управления расстоянием, информации управления глубиной и информации локализации.

[0008] Контроллер расстояния может получать коэффициент усиления расстояния объектного аудиосигнала. Когда увеличивается расстояние объектного аудиосигнала, контроллер расстояния может уменьшать коэффициент усиления расстояния объектного аудиосигнала, и, когда уменьшается расстояние объектного аудиосигнала, контроллер расстояния может увеличивать коэффициент усиления расстояния объектного аудиосигнала.

[0009] Контроллер глубины может получать коэффициент усиления глубины, основываясь на расстоянии горизонтальной проекции объектного аудиосигнала, и коэффициент усиления глубины может выражаться в виде суммы отрицательного вектора и положительного вектора или может выражаться в виде суммы отрицательного вектора и нулевого вектора.

[0010] Локализатор получает коэффициент усиления панорамирования для локализации объектного аудиосигнала в соответствии с расположением громкоговорителей устройства предоставления аудио.

[0011] Рендерер может выполнять рендеринг объектного аудиосигнала в мультиканал, основываясь на коэффициенте усиления глубины, коэффициенте усиления панорамирования и коэффициенте усиления расстояния объектного аудиосигнала.

[0012] Когда объектный аудиосигнал является множественным, блок рендеринга объекта может получать разность фаз между множеством объектных аудиосигналов, имеющих корреляцию среди множества объектных аудиосигналов, и перемещать один из множества объектных аудиосигналов на полученную разность фаз для объединения множества объектных аудиосигналов.

[0013] Когда устройство предоставления аудио воспроизводит аудио посредством использования множества громкоговорителей, имеющих одинаковое возвышение, блок рендеринга объекта может включать в себя: виртуальный фильтр, который корректирует спектральные характеристики объектного аудиосигнала и добавляет информацию о виртуальном возвышении к объектному аудиосигналу; и виртуальный рендерер, который выполняет рендеринг объектного аудиосигнала, основываясь на информации о виртуальном возвышении, обеспечиваемой виртуальным фильтром.

[0014] Виртуальный фильтр может иметь древовидную структуру, состоящую из множества ступеней.

[0015] Когда расположение аудиосигнала, имеющего первое количество каналов, представляет собой двумерное (2D) расположение, блок рендеринга канала может выполнять повышающее смешивание аудиосигнала, имеющего первое количество каналов, в аудиосигнал, имеющий второе количество каналов, которое больше первого количества каналов, и расположение аудиосигнала, имеющего второе количество каналов, может представлять собой трехмерное (3D) расположение, имеющее информацию о возвышении, которая отличается от информации о возвышении, касающейся аудиосигнала, имеющего первое количество каналов.

[0016] Когда расположение аудиосигнала, имеющего первое количество каналов, представляет собой трехмерное (3D) расположение, блок рендеринга канала может выполнять понижающее смешивание аудиосигнала, имеющего первое количество каналов, в аудиосигнал, имеющий второе количество каналов, которое меньше первого количества каналов, и расположение аудиосигнала, имеющего второе количество каналов, может представлять собой двумерное (2D) расположение, где множество каналов имеет одинаковую составляющую возвышения.

[0017] По меньшей мере один, выбранный из объектного аудиосигнала и аудиосигнала, имеющего первое количество каналов, может включать в себя информацию для определения, выполнять ли виртуальный трехмерный (3D) рендеринг конкретного кадра.

[0018] Блок рендеринга канала может получать разность фаз между множеством аудиосигналов, имеющих корреляцию в операции рендеринга аудиосигнала, имеющего первое количество каналов, в аудиосигнал, имеющий второе количество каналов, и перемещать один из множества аудиосигналов на полученную разность фаз для объединения множества аудиосигналов.

[0019] Блок смешивания может получать разность фаз между множеством аудиосигналов, имеющих корреляцию при смешивании рендерируемого объектного аудиосигнала с аудиосигналом, имеющим второе количество каналов, и перемещать один из множества аудиосигналов на полученную разность фаз для объединения множества аудиосигналов.

[0020] Объектный аудиосигнал может включать в себя по меньшей мере одно из идентификации (ID) и информации о типе, касающейся объектного аудиосигнала, чтобы дать возможность пользователю выбрать объектный аудиосигнал.

[0021] Согласно другому аспекту идеи изобретения обеспечивается способ предоставления аудио, включающий в себя: рендеринг объектного аудиосигнала, основываясь на геометрической информации, касающейся объектного аудиосигнала; рендеринг аудиосигнала, имеющего первое количество каналов, в аудиосигнал, имеющий второе количество каналов; и смешивание рендерируемого объектного аудиосигнала с аудиосигналом, имеющим второе количество каналов.

[0022] Рендеринг объектного аудиосигнала может включать в себя: преобразование геометрической информации, касающейся объектного аудиосигнала, в информацию трехмерных (3D) координат; генерирование информации управления расстоянием, основываясь на информации 3D-координат; генерирование информации управления глубиной, основываясь на информации 3D-координат; генерирование информации локализации для локализации объектного аудиосигнала, основываясь на информации 3D-координат; и рендеринг объектного аудиосигнала, основываясь на информации управления расстоянием, информации управления глубиной и информации локализации.

[0023] Генерирование информации управления расстоянием может включать в себя: получение коэффициента усиления расстояния объектного аудиосигнала; уменьшение коэффициента усиления расстояния объектного аудиосигнала, когда увеличивается расстояние объектного аудиосигнала; и увеличение коэффициента усиления расстояния объектного аудиосигнала, когда уменьшается расстояние объектного аудиосигнала.

[0024] Генерирование информации управления глубиной может включать в себя получение коэффициента усиления глубины, основываясь на расстоянии горизонтальной проекции объектного аудиосигнала, и коэффициент усиления глубины может выражаться в виде суммы отрицательного вектора и положительного вектора или может выражаться в виде суммы отрицательного вектора и нулевого вектора.

[0025] Генерирование информации локализации может включать в себя получение коэффициента усиления панорамирования для локализации объектного аудиосигнала в соответствии с расположением громкоговорителей устройства предоставления аудио.

[0026] Рендеринг может включать в себя рендеринг объектного аудиосигнала в мультиканал, основываясь на коэффициенте усиления глубины, коэффициенте усиления панорамирования и коэффициенте усиления расстояния объектного аудиосигнала.

[0027] Рендеринг объектного аудиосигнала может включать в себя: когда объектный аудиосигнал является множественным, получение разности фаз между множеством объектных аудиосигналов, имеющих корреляцию среди множества объектных аудиосигналов, и перемещение одного из множества объектных аудиосигналов на полученную разность фаз для объединения множества объектных аудиосигналов.

[0028] Когда устройство предоставления аудио воспроизводит аудио посредством использования множества громкоговорителей, имеющих одинаковое возвышение, рендеринг объектного аудиосигнала может включать в себя: коррекцию спектральных характеристик объектного аудиосигнала и добавление информации о виртуальном возвышении к объектному аудиосигналу; и рендеринг объектного аудиосигнала, основываясь на информации о виртуальном возвышении, обеспечиваемой виртуальным фильтром.

[0029] Получение может включать в себя информацию о виртуальном возвышении, касающуюся объектного аудиосигнала, посредством использования виртуального фильтра, который имеет древовидную структуру, состоящую из множества ступеней.

[0030] Рендеринг аудиосигнала, имеющего первое количество каналов, в аудиосигнал, имеющий второе количество каналов, может включать в себя, когда расположение аудиосигнала, имеющего первое количество каналов, представляет собой двумерное (2D) расположение, повышающее смешивание аудиосигнала, имеющего первое количество каналов, в аудиосигнал, имеющий второе количество каналов, которое больше первого количества каналов, и расположение аудиосигнала, имеющего второе количество каналов, может представлять собой трехмерное (3D) расположение, имеющее информацию о возвышении, которая отличается от информации о возвышении, касающейся аудиосигнала, имеющего первое количество каналов.

[0031] Рендеринг аудиосигнала, имеющего первое количество каналов, в аудиосигнал, имеющий второе количество каналов, может включать в себя, когда расположение аудиосигнала, имеющего первое количество каналов, представляет собой трехмерное (3D) расположение, понижающее смешивание аудиосигнала, имеющего первое количество каналов, в аудиосигнал, имеющий второе количество каналов, которое меньше первого количества каналов, и расположение аудиосигнала, имеющего второе количество каналов, может представлять собой двумерное (2D) расположение, где множество каналов имеет одинаковую составляющую возвышения.

[0032] По меньшей мере один, выбранный из объектного аудиосигнала и аудиосигнала, имеющего первое количество каналов, может включать в себя информацию для определения, выполнять ли виртуальный трехмерный (3D) рендеринг конкретного кадра.

Полезные эффекты

[0033] Согласно различным вариантам осуществления настоящего изобретения устройство предоставления аудио воспроизводит аудиосигналы, имеющие различные форматы, оптимальные для выводной аудиосистемы.

Описание чертежей

[0034] Фиг. 1 представляет собой блок-схему, иллюстрирующую конфигурацию устройства предоставления аудио согласно примерному варианту осуществления настоящего изобретения.

[0035] Фиг. 2 представляет собой блок-схему, иллюстрирующую конфигурацию блока рендеринга объекта согласно примерному варианту осуществления настоящего изобретения.

[0036] Фиг. 3 представляет собой диаграмму для описания геометрической информации объектного аудиосигнала согласно примерному варианту осуществления настоящего изобретения.

[0037] Фиг. 4 представляет собой график для описания коэффициента усиления расстояния на основе информации о расстоянии объектного аудиосигнала согласно примерному варианту осуществления настоящего изобретения.

[0038] Фиг. 5A и 5B представляют собой графики для описания коэффициента усиления глубины на основе информации о глубине объектного аудиосигнала согласно примерному варианту осуществления настоящего изобретения.

[0039] Фиг. 6 представляет собой блок-схему, иллюстрирующую конфигурацию блока рендеринга объекта для обеспечения виртуального трехмерного (3D) объектного аудиосигнала согласно другому примерному варианту осуществления настоящего изобретения.

[0040] Фиг. 7A и 7B представляют собой диаграммы для описания виртуального фильтра согласно примерному варианту осуществления настоящего изобретения.

[0041] Фиг. 8A - 8G представляют собой диаграммы для описания рендеринга канала аудиосигнала согласно различным примерным вариантам осуществления настоящего изобретения.

[0042] Фиг. 9 представляет собой блок-схему последовательности операций для описания способа предоставления аудиосигнала согласно примерному варианту осуществления настоящего изобретения.

[0043] Фиг. 10 представляет собой блок-схему, иллюстрирующую конфигурацию устройства предоставления аудио согласно другому примерному варианту осуществления настоящего изобретения.

Лучший вариант осуществления изобретения

[0044] Ниже в данном документе подробно описывается настоящее изобретение с ссылкой на прилагаемые чертежи. Фиг. 1 представляет собой блок-схему, иллюстрирующую конфигурацию устройства 100 предоставления аудио согласно примерному варианту осуществления настоящего изобретения. Как показано на фиг. 1, устройство 100 предоставления аудио включает в себя блок 110 ввода, демультиплексор 120, блок 130 рендеринга объекта, блок 140 рендеринга канала, блок 150 смешивания и блок 160 вывода.

[0045] Блок 110 ввода может принимать аудиосигнал от различных источников. В данном случае, аудиоисточник может включать в себя канальный аудиосигнал и объектный аудиосигнал. В данном случае, канальный аудиосигнал представляет собой аудиосигнал, включающий в себя фоновый звук соответствующего кадра и может иметь первое количество каналов (например, 5.1-канал, 7.1-канал и т.д.). Также объектный аудиосигнал может представлять собой объект, имеющий движение, или аудиосигнал важного объекта в соответствующем кадре. Примеры объектного аудиосигнала могут включать в себя голос, стрельбу и т.д. Объектный аудиосигнал может включать в себя геометрическую информацию объектного аудиосигнала.

[0046] Демультиплексор 120 может демультиплексировать канальный аудиосигнал и объектный аудиосигнал из принятого аудиосигнала. Также, демультиплексор 120 может соответственно выводить демультиплексированный объектный аудиосигнал и канальный аудиосигнал на блок 130 рендеринга объекта и блок 140 рендеринга канала.

[0047] Блок 130 рендеринга объекта может выполнять рендеринг принятого объектного аудиосигнала, основываясь на геометрической информации, касающейся принятого объектного аудиосигнала. В данном случае, блок 130 рендеринга аудио объекта может выполнять рендеринг принятого объектного аудиосигнала в соответствии с расположением громкоговорителей устройства 100 предоставления аудио. Например, когда расположение громкоговорителей устройства 100 предоставления аудио представляет собой двумерное (2D) расположение, имеющее одинаковое возвышение, блок 130 рендеринга объекта может выполнять двумерный рендеринг принятого объектного аудиосигнала. Также, когда расположение громкоговорителей устройства 100 предоставления аудио представляет собой 3D-расположение, имеющее множество возвышений, блок 130 рендеринга объекта может выполнять трехмерный рендеринг принятого объектного аудиосигнала. Также, хотя расположение громкоговорителей устройства 100 предоставления аудио представляет собой 2D-расположение, имеющее одно и то же возвышение, блок 130 рендеринга объекта может добавлять информацию о виртуальном возвышении к принятому объектному аудиосигналу и выполнять трехмерный рендеринг объектного аудиосигнала. Блок 130 рендеринга объекта подробно описывается с ссылкой на фиг. 2-7B.

[0048] Фиг. 2 представляет собой блок-схему, иллюстрирующую конфигурацию блока 130 рендеринга объекта согласно примерному варианту осуществления настоящего изобретения. Как показано на фиг. 2, блок 130 рендеринга объекта может включать в себя анализатор 131 геометрической информации, контроллер 132 расстояния, контроллер 133 глубины, локализатор 134 и рендерер 135.

[0049] Анализатор 131 геометрической информации может принимать и анализировать геометрическую информацию, касающуюся объектного аудиосигнала. Подробно, анализатор 131 геометрической информации может преобразовывать геометрическую информацию, касающуюся объектного аудиосигнала, в информацию 3D-координат, необходимую для рендеринга. Например, анализатор 131 геометрической информации, как показано на фиг. 3, может анализировать принятый объектный аудиосигнал «O» в информацию координат (r, θ, ϕ). В данном случае, r обозначает расстояние между положением слушателя и объектным аудиосигналом, θ обозначает азимутальный угол звукового изображения, и ϕ обозначает угол возвышения звукового изображения.

[0050] Контроллер 132 расстояния может генерировать информацию управления расстоянием, основываясь на информации 3D-координат. Подробно, контроллер 132 расстояния может вычислять коэффициент усиления расстояния объектного аудиосигнала, основываясь на 3D-расстоянии «r», полученном посредством анализа анализатором 131 геометрической информации. В данном случае, контроллер 132 расстояния может вычислять коэффициент усиления расстояния обратно пропорционально 3D-расстоянию «r». Т.е. когда увеличивается расстояние объектного аудиосигнала, контроллер 132 расстояния может уменьшать коэффициент усиления расстояния объектного аудиосигнала, и, когда уменьшается расстояние объектного аудиосигнала, контроллер 132 расстояния может увеличивать коэффициент усиления расстояния объектного аудиосигнала. Также, когда положение находится ближе к начальной точке, контроллер 132 расстояния может устанавливать верхнее предельное значение коэффициента усиления, которое не является исключительно обратно пропорциональным, чтобы не отклонялся коэффициент усиления расстояния. Например, контроллер 132 расстояния может вычислять коэффициент «d_g» усиления расстояния, как выражено в следующем уравнении (1):

[0051] Т.е., как показано на фиг. 4, контроллер 132 расстояния может устанавливать значение «d_g» коэффициента усиления расстояния на 1-3,3, основываясь на уравнении (1).

[0052] Контроллер 133 глубины может генерировать информацию управления глубиной, основываясь на информации 3D-координат. В данном случае, контроллер 133 глубины может получать коэффициент усиления глубины, основываясь на расстоянии «d» горизонтальной проекции объектного аудиосигнала и положении слушателя.

[0053] В данном случае, контроллер 133 глубины может выражать коэффициент усиления глубины в виде суммы отрицательного вектора и положительного вектора. Подробно, когда r<1 в 3D-координатах объектного аудиосигнала, а именно, когда объектный аудиосигнал располагается в сфере, состоящей из громкоговорителя, включенного в устройство 100 предоставления аудио, положительный вектор определяется как (r, θ, ϕ), и отрицательный вектор определяется как (r, θ+180, ϕ). Чтобы определить объектный аудиосигнал, контроллер 133 глубины может вычислять коэффициент «v_p» усиления глубины положительного вектора и коэффициент «v_n» усиления глубины отрицательного вектора для выражения геометрического вектора объектного аудиосигнала в виде суммы положительного вектора и отрицательного вектора. В данном случае, коэффициент «v_p» усиления глубины положительного вектора и коэффициент «v_n» усиления глубины отрицательного вектора могут вычислять так, как выражено в следующем уравнении (2):

[0054] Т.е., как показано на фиг. 5A, контроллер 133 глубины может вычислять коэффициент усиления глубины положительного вектора и коэффициент усиления глубины отрицательного вектора, где расстояние «d» горизонтальной проекции равно 0-1.

[0055] Кроме того, контроллер 133 глубины может выражать коэффициент усиления глубины в виде суммы положительного вектора и отрицательного вектора. Подробно, коэффициент усиления панорамирования, когда нет направления, где сумма умножений коэффициентов панорамирования и положений всех каналов сходится к 0, может определяться как нулевой вектор. В частности, контроллер 133 глубины может вычислять коэффициент «v_p» усиления глубины положительного вектора и коэффициент «v_nll» усиления глубины нулевого вектора, так что, когда расстояние «d» горизонтальной проекции близко к 0, коэффициент усиления глубины нулевого вектора отображается на 1, и, когда расстояние «d» горизонтальной проекции близко к 1, коэффициент усиления глубины положительного вектора отображается на 1. В данном случае, коэффициент «v_p» усиления глубины положительного вектора и коэффициент «v_nll» усиления глубины нулевого вектора могут вычисляться так, как выражено в следующем уравнении (3):

[0056] Т.е., как показано на фиг. 5B, контроллер 133 глубины может вычислять коэффициент усиления глубины положительного вектора и коэффициент усиления глубины нулевого вектора, где расстояние «d» горизонтальной проекции равно 0-1.

[0057] Управление глубиной выполняется контроллером 133 глубины, и, когда расстояние горизонтальной проекции близко к 0, звук может выводиться всеми громкоговорителями. Поэтому, уменьшается неоднородность, которая имеет место на границе панорамирования.

[0058] Локализатор 134 может генерировать информацию локализации для локализации объектного аудиосигнала, основываясь на информации 3D-координат. В частности, локализатор 134 может вычислять коэффициент усиления панорамирования для локализации объектного аудиосигнала в соответствии с расположением громкоговорителей устройства 100 предоставления аудио. Подробно, локализатор 134 может выбирать триплетный громкоговоритель для локализации положительного вектора, имеющего тоже направление, что и направление геометрии объектного аудиосигнала, и вычислять коэффициент «g_p» 3D-панорамирования для триплетного громкоговорителя положительного вектора. Также, когда контроллер 133 глубины выражает коэффициент усиления глубины посредством положительного вектора и отрицательного вектора, локализатор 134 может выбирать триплетный громкоговоритель для локализации отрицательного вектора, имеющего направление, которое противоположно направлению траектории объектного аудиосигнала, и вычислять коэффициент «g_n» 3D-панорамирования для триплетного громкоговорителя отрицательного вектора.

[0059] Рендерер 135 может выполнять рендеринг объектного аудиосигнала, основываясь на информации управления расстоянием, информации управления глубиной и информации локализации. В частности, рендерер 135 может принимать коэффициент «d_g» усиления расстояния от контроллера 132 расстояния, принимать коэффициент «v» усиления глубины от контроллера 133 глубины, принимать коэффициент «g» усиления панорамирования от локализатора 134 и применять коэффициент «d_g» усиления расстояния, коэффициент «v» усиления глубины и коэффициент «g» усиления панорамирования к объектному аудиосигналу для генерирования многоканального объектного аудиосигнала. В частности, когда коэффициент усиления глубины объектного аудиосигнала выражается в виде суммы положительного вектора и отрицательного вектора, рендерер 135 может вычислять окончательный коэффициент «Gm» усиления m-го канала, как выражено в следующем уравнении (4):

,

где g_p,m обозначает коэффициент панорамирования, применяемый к каналу, когда локализуется положительный вектор, и g_n,m обозначает коэффициент панорамирования, применяемый к m-каналу, когда локализуется отрицательный вектор.

[0060] Кроме того, когда коэффициенту усиления глубины объектного аудиосигнала выражается в виде суммы положительного вектора и нулевого вектора, рендерер 135 может вычислять окончательный коэффициент «Gm» усиления m-го канала, как выражено в следующем уравнении (5):

,

где g_p,m обозначает коэффициент панорамирования, применяемый к m-каналу, когда локализуется положительный вектор, и g_n,m обозначает коэффициент панорамирования, применяемый к m-каналу, когда локализуется отрицательный вектор. Кроме того, может стать равным 0.

[0061] Кроме того, рендерер 135 может применять окончательный коэффициент усиления к объектному аудиосигналу «x» для вычисления окончательного выходного результата «Y_m» объектного аудиосигнала m-го канала, как выражено в следующем уравнении (6):

[0062] Окончательный выходной результат «Y_m» объектного аудиосигнала, вычисленный так, как описано выше, может выводиться на блок 150 смешивания.

[0063] Кроме того, когда имеется множество объектных аудиосигналов, блок 130 рендеринга объекта может вычислять разность фаз между множеством объектных аудиосигналов и перемещать один из множества объектных аудиосигналов на вычисленную разность фаз для объединения множества объектных аудиосигналов.

[0064] Подробно, в случае, если множество объектных аудиосигналов являются одинаковыми сигналами, но имеют противоположные фазы, в то время как вводится множество объектных аудиосигналов, когда множество объектных аудиосигналов объединяются «как есть», аудиосигнал искажается из-за перекрытия множества объектных аудиосигналов. Поэтому, блок 130 рендеринга объекта может вычислять корреляцию между множеством объектных аудиосигналов, и, когда корреляция равна или больше заданного значения, блок 130 рендеринга объекта может вычислять разность фаз между множеством объектных аудиосигналов и перемещать один из множества объектных аудиосигналов на вычисленную разность фаз для объединения множества объектных аудиосигналов. Следовательно, когда вводится множество объектных аудиосигналов, подобных друг другу, предотвращается искажение, вызванное объединением множества объектных аудиосигналов.

[0065] В вышеописанном примерном варианте осуществления расположение громкоговорителей устройства 100 предоставления аудио представляет собой 3D-расположение, имеющее разные восприятия возвышения, но он является только примерным вариантом осуществления. Расположение громкоговорителей устройства 100 предоставления аудио может быть 2D-расположением, имеющим одинаковое значение возвышения. В частности, когда расположение громкоговорителей устройства 100 предоставления аудио представляет собой 2D-расположение, имеющее одинаковое восприятие возвышения, блок 130 рендеринга объекта может устанавливать значение ϕ, включенное в вышеописанную геометрическую информацию, касающуюся объектного аудиосигнала, на 0.

[0066] Кроме того, расположение громкоговорителей устройства 100 предоставления аудио может быть 2D-расположением, имеющим одинаковое восприятие возвышения, но устройство 100 предоставления аудио может виртуально обеспечивать 3D объектный аудиосигнал посредством использования 2D-расположения громкоговорителей.

[0067] Ниже в данном документе описывается примерный вариант осуществления для обеспечения виртуального 3D объектного аудиосигнала с ссылкой на фиг. 6 и 7.

[0068] Фиг. 6 представляет собой блок-схему, иллюстрирующую конфигурацию блока 130’ рендеринга объекта для обеспечения виртуального 3D объектного аудиосигнала согласно примерному варианту осуществления настоящего изобретения. Как показано на фиг. 6, блок 130’ рендеринга объекта включает в себя виртуальный фильтр 136, 3D-рендерер 137, виртуальный рендерер 138 и смеситель 139.

[0069] 3D-рендерер 137 может выполнять рендеринг объектного аудиосигнала посредством использования способа, описанного выше с ссылкой на фиг. 2-5B. В данном случае, 3D-рендерер 137 может выводить объектный аудиосигнал, который способен выводиться через физический громкоговоритель устройства 100 предоставления аудио, на смеситель 139 и выводить виртуальный коэффициент «g_m,top» усиления панорамирования виртуального громкоговорителя, обеспечивая разные восприятия возвышения.

[0070] Виртуальный фильтр 136 представляет собой блок, который компенсирует тембр объектного аудиосигнала. Виртуальный фильтр 136 может компенсировать спектральные характеристики вводимого объектного аудиосигнала, основываясь на психоакустике, и обеспечивать звуковое изображение в положении виртуального громкоговорителя. В данном случае, виртуальный фильтр 136 может быть реализован в виде фильтров различных типов, таких как фильтр передаточной функции головы (HRTF), фильтр бинауральной импульсной характеристики комнаты (BRIR) и т.д.

[0071] Кроме того, когда длительность виртуального фильтра 136 меньше длительности кадра, виртуальный фильтр 136 может применяться посредством свертки блоков.

[0072] Кроме того, когда рендеринг выполняется в частотной области, такой как быстрое преобразование Фурье (FFT), модифицированное дискретное косинусное преобразование (MDCT) и квадратурный зеркальный фильтр (QMF), виртуальный фильтр 136 может применяться как умножение.

[0073] Когда обеспечивается множество виртуальных громкоговорителей верхнего уровня, виртуальный фильтр 136 может генерировать множество виртуальных громкоговорителей верхнего уровня посредством использования формулы распределения физических громкоговорителей и один фильтр возвышения.

[0074] Кроме того, когда обеспечивается множество виртуальных громкоговорителей верхнего уровня и виртуальный тыловой громкоговоритель, виртуальный фильтр 136 может генерировать множество виртуальных громкоговорителей верхнего уровня и виртуальный тыловой громкоговоритель посредством использования формулы распределения физических громкоговорителей и множество виртуальных фильтров для применения спектральной окраски в разных положениях.

[0075] Кроме того, если используется количество N спектральных окрасок, таких как H1, H2, …, HN, виртуальный фильтр 136 может быть разработан древовидной структуры, чтобы уменьшить количество арифметических операций. Подробно, как показано на фиг. 7A, виртуальный фильтр 136 может быть разработан с провалом/пиком, который используется совместно для распознавания высоты, для H0 и подсоединять K1-KN, которые представляют собой компоненты, полученные вычитанием характеристики HO из H1-HN, к HO каскадным типом. Также, виртуальный фильтр 136 может иметь древовидную структуру, состоящую из множества ступеней, изображенную на фиг. 7B, основываясь на общей компоненте и спектральной окраске.

[0076] Виртуальный рендерер 138 представляет собой блок рендеринга для выражения виртуального канала в качестве физического канала. В частности, виртуальный рендерер 138 может генерировать объектный аудиосигнал, который выводится на виртуальный громкоговоритель в соответствии с формулой распределения виртуального канала, выводимой из виртуального фильтра 136, и умножать сгенерированный объектный аудиосигнал виртуального громкоговорителя на коэффициент «g_m,top» усиления виртуального панорамирования для объединения выводимых сигналов. В данном случае, положение виртуального громкоговорителя может изменяться в соответствии со степенью распределения на множество физических громкоговорителей с усеченным конусом, и степень распределения может определяться как формула распределения виртуального канала.

[0077] Смеситель 139 может смешивать объектный аудиосигнал физического канала с объектным аудиосигналом виртуального канала.

[0078] Поэтому, объектный аудиосигнал может выражаться как располагаемый на 3D-расположении посредством использования устройства 100 предоставления аудио, имеющего 2D-расположение громкоговорителей.

[0079] Ссылаясь снова на фиг. 1, блок 140 рендеринга канала может выполнять рендеринг канального аудиосигнала, имеющего первое количество каналов, в аудиосигнал, имеющий второе количество каналов. В данном случае, блок 140 рендеринга канала может изменять канальный аудиосигнал, имеющий первое количество каналов, в аудиосигнал, имеющий второе количество каналов, основываясь на расположении громкоговорителей.

[0080] Подробно, когда расположение канального аудиосигнала является такое же, что и расположение громкоговорителей устройства 100 предоставления аудио, блок 140 рендеринга канала может выполнять рендеринг канального аудиосигнала без изменения канала.

[0081] Кроме того, когда количество каналов канального аудиосигнала больше количества каналов расположения громкоговорителей устройства 100 предоставления аудио, блок 140 рендеринга канала может выполнять понижающее смешивание канального аудиосигнала для выполнения рендеринга. Например, когда каналом канального аудиосигнала является 7.1-канал, и расположение громкоговорителей устройства 100 предоставления аудио является 5.1-канал, блок 140 рендеринга канала может выполнять понижающее смешивание канального аудиосигнала, имеющего 7.1-канал, в 5.1-канал.

[0082] В частности, при понижающем смешивании канального аудиосигнала блок 140 рендеринга канала может определять объект, где геометрия канального аудиосигнала фиксируется без какого-либо изменения, и выполнять понижающее смешивание. Также, при понижающем смешивании 3D-канального аудиосигнала в 2D-сигнал блок 140 рендеринга канала может удалить составляющую возвышения канального аудиосигнала для двумерного понижающего смешивания канального аудиосигнала или трехмерного понижающего смешивания канального аудиосигнала, чтобы иметь восприятие виртуального возвышения, как описано выше с ссылкой на фиг. 6. Также, блок 140 рендеринга канала может выполнять понижающее смешивание всех сигналов кроме фронтального левого канала, фронтального правого канала и центрального канала, которые составляют фронтальный аудиосигнал, таким образом реализуя сигнал с правым окружающим каналом и левым окружающим каналом. Также, блок 140 рендеринга канала может выполнять понижающее смешивание посредством использования уравнения многоканального понижающего смешивания.

[0083] Кроме того, когда количество каналов канального аудиосигнала меньше количества каналов расположения громкоговорителей устройства 100 предоставлен