Бинауральная аудиообработка

Бинауральная аудиообработка

Иллюстрации

Показать все

Реферат

Область техники

Изобретение относится к бинауральной аудиообработке и, в частности, но не только, к передаче и обработке данных бинауральной передаточной функции головы для вариантов применения на основе аудиообработки.

Уровень техники

В последние десятилетия все более важным становится цифровое кодирование различных исходных сигналов по мере того, как представление и передача цифровых сигналов все в большей степени заменяют аналоговое представление и передачу. Например, аудиоконтент, такой как речь и музыка, все в большей степени основывается на кодировании цифрового контента. Кроме того, потребление аудио все в большей степени становится всеобъемлющим трехмерным представлением, при этом преобладающими становятся, например, компоновки с объемным звуком и системой домашнего кинотеатра.

Разрабатываются форматы кодирования аудио для того, чтобы предоставлять все более мощные, вариативные и гибкие услуги передачи аудио, и в частности, разрабатываются форматы кодирования аудио, поддерживающие услуги передачи пространственного аудио.

Известные технологии кодирования аудио, такие как DTS и Dolby Digital, формируют кодированный многоканальный аудиосигнал, который представляет пространственное изображение в качестве числа каналов, которые размещены вокруг слушателя в фиксированных позициях. Для компоновки динамиков, которая отличается от компоновки, которая соответствует многоканальному сигналу, пространственное изображение является субоптимальным. Кроме того, системы канального кодирования аудио типично неспособны справляться с другим числом динамиков.

Стандарт объемного звучания MPEG (ISO/IEC-MPEG-D) предоставляет инструментальное средство многоканального кодирования аудио, которое обеспечивает возможность расширения существующих моно- или стереокодеров на многоканальные аудиоприложения. Фиг. 1 иллюстрирует пример элементов системы по стандарту объемного звучания MPEG. С использованием пространственных параметров, полученных посредством анализа исходного многоканального входа, декодер по стандарту объемного звучания MPEG может воссоздавать пространственное изображение посредством управляемого повышающего микширование моно- или стереосигнала, чтобы получать многоканальный выходной сигнал.

Поскольку пространственное изображение многоканального входного сигнала параметризовано, стандарт объемного звучания MPEG предоставляет возможность декодирования идентичного многоканального потока битов посредством устройств воспроизведения, которые не используют многоканальную компоновку динамиков. Пример представляет собой проигрывание с виртуальным объемным звучанием в головных наушниках, которое упоминается в качестве процесса бинаурального декодирования по стандарту объемного звучания MPEG. В этом режиме, реалистичное ощущение объемного звучания может предоставляться с использованием обычных головных наушников. Другой пример представляет собой отсечение многоканальных выходов высшего порядка, например, 7.1 каналов, до компоновок низшего порядка, например, до каналов 5.1.

Фактически, вариативность и гибкость в конфигурациях воспроизведения, используемых для воспроизведения пространственного звука, в последние годы значительно возросла, при этом все большее число форматов проигрывания становятся доступными типичному потребителю. Это требует гибкого представления аудио. Важные шаги предприняты с введением кодека по стандарту объемного звучания MPEG. Тем не менее, аудио по-прежнему формируется и передается для конкретной компоновки громкоговорителей, например, компоновки динамиков по стандарту ITU 5.1. Проигрывание в различных компоновках и в нестандартных (т.е. гибких или определяемых пользователем) компоновках динамиков не указывается. Фактически, желательно делать кодирование и представление аудио более независимым от конкретных предварительно определенных и номинальных компоновок динамиков. Более предпочтительно, если гибкая адаптация к широкому спектру различных компоновок динамиков может выполняться на стороне декодера/воспроизведения.

Чтобы предусматривать более гибкое представление аудио, MPEG стандартизирует формат, известный как "пространственное кодирование аудиообъектов' (ISO/IEC MPEG-D SAOC). В отличие от систем кодирования многоканального аудио, таких как DTS, Dolby Digital и стандарт объемного звучания MPEG, SAOC предоставляет эффективное кодирование отдельных аудиообъектов, а не аудиоканалов. Тогда как в стандарте объемного звучания MPEG, каждый канал динамика может рассматриваться как исходящий из различного микширования звуковых объектов, SAOC делает отдельные звуковые объекты доступными на стороне декодера для интерактивной обработки, как проиллюстрировано на фиг. 2. В SAOC, несколько звуковых объектов кодируются в моно- или стереосигналы посредством понижающего микширования вместе с параметрическими данными, предоставляя возможность извлечения звуковых объектов на стороне воспроизведения, за счет этого обеспечивая доступность отдельных аудиообъектов для обработки, например, конечным пользователем.

Фактически, аналогично стандарту объемного звучания MPEG, SAOC также создает моно- или стереосигналы посредством понижающего микширования. Помимо этого, параметры объекта вычисляются и включаются. На стороне декодера пользователь может обрабатывать эти параметры, чтобы управлять различными признаками отдельных объектов, такими как позиция, уровень, частотная коррекция, либо даже применять такие эффекты, как реверберация. Фиг. 3 иллюстрирует интерактивный интерфейс, который позволяет пользователю управлять отдельными объектами, содержащимися в SAOC-потоке битов. Посредством матрицы воспроизведения, отдельные звуковые объекты преобразуются в каналы динамика.

SAOC обеспечивает более гибкий подход и, в частности, обеспечивает большую адаптируемость на основе воспроизведения посредством передачи аудиообъектов, а не только каналов проигрывания. Это позволяет стороне декодера размещать аудиообъекты в произвольных позициях в пространстве при условии, что пространство адекватно покрывается динамиками. Таким образом, отсутствует взаимосвязь между передаваемым аудио и компоновкой для проигрывания или воспроизведения, и как следствие, могут использоваться произвольные компоновки динамиков. Это является преимущественным, например, для компоновок с системой домашнего кинотеатра в типичной гостиной, в которых динамики практически никогда не располагаются в намеченных позициях. В SAOC, то, где объекты размещены в звуковой сцене, определяется на стороне декодера, что зачастую является нежелательным с художественной точки зрения. SAOC-стандарт предоставляет способы передавать матрицу воспроизведения по умолчанию в потоке битов, исключая ответственность декодера. Тем не менее, предоставленные способы основываются либо на фиксированных компоновках для проигрывания, либо на неуказанном синтаксисе. Таким образом, SAOC не предоставляет нормативное средство для того, чтобы полностью передавать аудиосцену независимо от компоновки динамиков. Кроме того, SAOC не приспособлено оптимально к достоверному воспроизведению компонентов рассеянного сигнала. Хотя есть возможность включать так называемый многоканальный фоновый объект (MBO) для того, чтобы захватывать рассеянный звук, этот объект привязан к одной конкретной конфигурации динамиков.

Другие технические требования для аудиоформата для трехмерного аудио разрабатываются посредством Альянса по стандартизации в области трехмерного аудио (3DAA), который является отраслевым альянсом. 3DAA специально создан для разработки стандартов для передачи трехмерного аудио, которые "упрощают переход от текущей парадигмы прямой подачи звука в динамики к гибкому объектно-ориентированному подходу". В 3DAA, должен задаваться формат потока битов, который обеспечивает возможность передачи унаследованного многоканального понижающего микширования вместе с отдельными звуковыми объектами. Помимо этого, данные позиционирования объектов включены. Принцип формирования 3DAA-аудиопотока проиллюстрирован на фиг. 4.

В 3DAA-подходе, звуковые объекты принимаются отдельно в расширенном потоке, и они могут извлекаться из многоканального понижающего микширования. Результирующее многоканальное понижающее микширование подготовлено посредством воспроизведения вместе с доступными по отдельности объектами.

Объекты могут состоять из так называемых стемов. Эти стемы по существу представляют собой сгруппированные (микшированные с понижением) дорожки или объекты. Следовательно, объект может состоять из нескольких подобъектов, пакетированных в стем. В 3DAA, многоканальное опорное микширование может передаваться с выбором аудиообъектов. 3DAA передает трехмерные позиционные данные для каждого объекта. Объекты затем могут извлекаться с использованием трехмерных позиционных данных. Альтернативно, может передаваться обратная матрица микширования, описывающая взаимосвязь между объектами и опорным микшированием.

Из описания 3DAA, информация звуковых сцен, вероятно, передается посредством назначения угла и расстояния для каждого объекта, которые указывают то, где должен быть размещен объект относительно, например, прямого направления по умолчанию. Таким образом, позиционная информация передается для каждого объекта. Это является полезным для точечных источников, но не может описывать широкие источники (такие как, например, хор или аплодисменты) или рассеянные звуковые поля (к примеру, окружение). Когда все точечные источники извлекаются из опорного микширования, окружающее многоканальное микширование остается. Аналогично SAOC, остаток в 3DAA является фиксированным для конкретной компоновки динамиков.

Таким образом, SAOC- и 3DAA-подходы включают передачу отдельных аудиообъектов, которые могут быть по отдельности обработаны на стороне декодера. Различие между двумя подходами заключается в том, что SAOC предоставляет информацию относительно аудиообъектов посредством предоставления параметров, характеризующих объекты относительно понижающего микширования (т.е. таким образом, что аудиообъекты формируются из понижающего микширования на стороне декодера), тогда как 3DAA предоставляет аудиообъекты в качестве полных и отдельных аудиообъектов (т.е. которые могут формироваться независимо от понижающего микширования на стороне декодера). Для обоих подходов позиционные данные могут передаваться для аудиообъектов.

Бинауральная обработка, в которой пространственное восприятие создано посредством виртуального позиционирования источников звука с использованием отдельных сигналов для ушей слушателя, становится все более широко распространенной. Виртуальное объемное звучание представляет собой способ воспроизведения звука таким образом, что аудиоисточники воспринимаются как исходящие из конкретного направления, за счет этого создавая иллюзию прослушания в физической компоновке с объемным звуком (например, с динамиками 5.1) или в окружении (на концерте). За счет надлежащей обработки бинаурального воспроизведения могут вычисляться сигналы, требуемые в барабанных перепонках для восприятия слушателем звука из любого требуемого направления, и сигналы могут быть подготовлены посредством воспроизведения таким образом, что они предоставляют требуемый эффект. Как проиллюстрировано на фиг. 5, эти сигналы затем воссоздаются в барабанной перепонке либо с использованием головных наушников, либо с использованием способа подавления перекрестных помех (подходящего для воспроизведения посредством близкорасположенных динамиков).

Наряду с прямым воспроизведением по фиг. 5, конкретные технологии, которые могут использоваться для того, чтобы подготавливать посредством воспроизведения виртуальное объемное звучание, включают в себя кодирование по стандарту объемного звучания MPEG и пространственное кодирование аудиообъектов, а также объект предстоящих исследований трехмерного аудио в MPEG. Эти технологии предусматривают вычислительно эффективный рендеринг виртуального объемного звучания.

Бинауральное воспроизведение основано на бинауральных передаточных функциях головы, которые варьируются в зависимости от человека вследствие акустических свойств головы, ушей и отражающих поверхностей, таких как плечи. Например, бинауральные фильтры могут использоваться для того, чтобы создавать бинауральную запись, моделирующую несколько источников в различных местоположениях. Это может быть реализовано посредством свертки каждого источника звука с парой импульсных характеристик головы (HRIR), которые соответствуют позиции источника звука.

Посредством измерения, например, характеристик из источника звука в конкретном местоположении в двумерном или трехмерном пространстве в микрофонах, размещенных в/около человеческих ушей, могут определяться надлежащие бинауральные фильтры. Типично такие измерения выполняются, например, с использованием моделей человеческих голов, или фактически в некоторых случаях измерения могут выполняться посредством присоединения микрофонов около барабанных перепонок человека. Бинауральные фильтры могут использоваться для того, чтобы создавать бинауральную запись, моделирующую несколько источников в различных местоположениях. Это может быть реализовано, например, посредством свертки каждого источника звука с парой измеренных импульсных характеристик для требуемой позиции источника звука. Чтобы создавать иллюзию того, что источник звука перемещается вокруг слушателя, большое число бинауральных фильтров требуется с соответствующим пространственным разрешением, например, в 10 градусов.

Бинауральные передаточные функции головы могут быть представлены, например, в качестве импульсных характеристик головы (HRIR) или, эквивалентно, в качестве передаточных функций головы (HRTF), либо в качестве бинауральных импульсных характеристик в помещении (BRIR) или бинауральных передаточных функций в помещении (BRTF). (Например, оцененная или предполагаемая) передаточная функция от данной позиции в уши (или барабанные перепонки) слушателя известна как бинауральная передаточная функция головы. Эта функция, например, может задаваться в частотной области, причем в этом случае она типично упоминается в качестве HRTF или BRTF, либо во временной области, причем в этом случае она типично упоминается в качестве HRIR или BRIR. В некоторых сценариях, бинауральные передаточные функции головы определяются как включающие в себя аспекты или свойства акустического окружения и, в частности, помещения, в котором выполняются измерения, тогда как в других примерах рассматриваются только характеристики пользователя. Примеры первого типа функций представляют собой BRIR и BRTF.

Во многих сценариях желательно предоставлять возможность передачи и распределения параметров для требуемого бинаурального воспроизведения, к примеру, конкретных бинауральных передаточных функций головы, которые должны быть.

Технический комитет sc-02 Общества звукоинженеров (AES) недавно анонсировал начала нового проекта по стандартизации формата файлов для того, чтобы обмениваться параметрами бинаурального прослушивания в форме бинауральных передаточных функций головы. Формат является масштабируемым таким образом, что он соответствует доступному процессу воспроизведения. Формат проектируется с возможностью включать в себя исходные материалы из различных баз данных бинауральных передаточных функций головы. Имеется сложность в том, как такие бинауральные передаточные функции головы могут лучше всего поддерживаться, использоваться и распределяться в аудиосистеме.

Соответственно, требуется усовершенствованный подход для поддержки бинауральной обработки и, в частности, для передачи данных для бинаурального воспроизведения. В частности, должен быть преимущественным подход, обеспечивающий улучшенное представление и передачу данных бинаурального воспроизведения, меньшую скорость передачи данных, меньший объем служебной информации, упрощенную реализацию и/или повышенную производительность.

Сущность изобретения

Следовательно, изобретение предпочтительно нацелено на уменьшение, облегчение или устранение одного или более вышеуказанных недостатков по отдельности или в любой комбинации.

Согласно аспекту изобретения, предусмотрено устройство для обработки аудиосигнала, причем устройство содержит: приемное устройство для приема входных данных, причем входные данные содержат, по меньшей мере, данные, описывающие бинауральную передаточную функцию головы, содержащую раннюю часть и часть реверберации, причем данные содержат: данные ранней части, указывающие раннюю часть бинауральной передаточной функции головы, данные реверберации, указывающие часть реверберации бинауральной передаточной функции головы, индикатор синхронизации, указывающий сдвиг по времени между ранней частью и частью реверберации; схему ранней части для формирования первого аудиокомпонента посредством применения бинауральной обработки к аудиосигналу, причем бинауральная обработка, по меньшей мере, частично определяется посредством данных ранней части; ревербератор для формирования второго аудиокомпонента посредством применения реверберационной обработки к аудиосигналу, причем реверберационная обработка, по меньшей мере, частично определяется посредством данных реверберации; модуль комбинирования для формирования, по меньшей мере, первого слухового сигнала из бинаурального сигнала, причем модуль комбинирования выполнен с возможностью комбинировать первый аудиокомпонент и второй аудиокомпонент; и синхронизатор для синхронизации первого аудиокомпонента и второго аудиокомпонента в ответ на индикатор синхронизации.

Изобретение позволяет обеспечивать очень эффективную работу. При этом может достигаться очень эффективное представление и/или обработка на основе бинауральной передаточной функции головы. Подход может приводить к меньшим скоростям передачи данных и/или к обработке с меньшей сложностью, и/или к бинауральному воспроизведению.

Фактически, вместо использования простого длинного представления бинауральной передаточной функции головы, которое приводит к высокой скорости передачи данных и комплексной обработке, бинауральная передаточная функция головы может быть разделена, по меньшей мере, на две части. Представление и обработка могут быть по отдельности оптимизированы для характеристик отдельных частей бинауральной передаточной функции головы. В частности, представление и обработка могут быть оптимизированы для отдельных физических характеристик, определяющих бинауральную передаточную функцию головы в отдельных частях, и/или для перцепционных характеристик, ассоциированных с каждой из частей.

Например, представление и/или обработка ранней части может быть оптимизирована для прямого тракта распространения аудио, тогда как представление и/или обработка тракта реверберации может быть оптимизирована для отраженных трактов распространения аудио.

Кроме того, подход позволяет обеспечивать повышенное качество звука посредством предоставления возможности управления синхронизацией воспроизведения различных частей со стороны кодера. Это обеспечивает возможность тщательного управления относительной временной синхронизацией между ранней частью и частью реверберации, так чтобы предоставлять полный эффект, который соответствует исходной бинауральной передаточной функции головы. Фактически, это обеспечивает возможность управления синхронизацией различных частей на основе информации относительно информации полной бинауральной передаточной функции головы. В частности, временная синхронизация отражений и рассеянных ревербераций относительно прямого тракта зависит, например, от позиции источника звука и позиции прослушивания, а также от конкретных характеристик помещения. Эта информация отражается в измеренной бинауральной передаточной функции головы, но типично не доступна для модуля бинаурального воспроизведения. Тем не менее, подход позволяет модулю воспроизведения точно эмулировать исходную измеренную бинауральную передаточную функцию головы несмотря на то, что она представлена посредством двух различных частей.

Бинауральная передаточная функция головы, в частности, может представлять собой передаточную функцию восприятия звука в помещении, такую как BRIR или BRTF.

Синхронизатор, в частности, может быть выполнен с возможностью совмещать по времени первый и второй аудиокомпонент, при этом смещение временного совмещения определяется из индикатора синхронизации.

Синхронизатор может синхронизировать первый аудиокомпонент и второй аудиокомпонент любым подходящим способом. Таким образом, любой подход может использоваться для того, чтобы регулировать временную синхронизацию первого аудиокомпонента относительно второго аудиокомпонента до комбинирования, при этом временное регулирование определяется в ответ на индикатор синхронизации. Например, задержка может применяться к одному из аудиокомпонентов, и/или задержки, например, могут применяться к сигналам, из которых формируются первый и/или второй аудиокомпоненты.

Ранняя часть может соответствовать временному интервалу импульсной характеристики бинауральной передаточной функции головы до данного момента времени, и часть реверберации может соответствовать временному интервалу импульсной характеристики бинауральной передаточной функции головы после данного момента времени (причем два момента времени могут, но не обязательно должны, быть идентичным моментом времени). По меньшей мере, часть временного интервала импульсной характеристики для части реверберации располагается позднее временного интервала импульсной характеристики для ранней части. В большинстве вариантов осуществления и сценариев, начало части реверберации располагается позднее начала ранней части. В некоторых вариантах осуществления, временной интервал импульсной характеристики для части реверберации является временным интервалом после данного времени (импульсной характеристики), и временной интервал импульсной характеристики для ранней части является временным интервалом до данного времени.

Ранняя часть в некоторых сценариях может соответствовать или включать в себя часть бинауральной передаточной функции головы, которая соответствует прямому тракту из позиции (виртуального) источника звука бинауральной передаточной функции головы в (номинальную) позицию прослушивания. В некоторых вариантах осуществления или сценариях, ранняя часть может включать в себя часть бинауральной передаточной функции головы, которая соответствует одному или более ранним отражениям из позиции (виртуального) источника звука бинауральной передаточной функции головы в (номинальную) позицию прослушивания.

Часть реверберации в некоторых сценариях может соответствовать или включать в себя часть бинауральной передаточной функции головы, которая соответствует рассеянной реверберации в аудиоокружении, представленном посредством бинауральной передаточной функции головы. В некоторых вариантах осуществления или сценариях, часть реверберации может включать в себя часть бинауральной передаточной функции головы, которая соответствует одному или более ранним отражениям из позиции (виртуального) источника звука бинауральной передаточной функции головы в (номинальную) позицию прослушивания. Таким образом, ранние отражения могут быть распределены по ранней части и части реверберации.

Во многих вариантах осуществления и сценариях, ранняя часть может соответствовать части бинауральной передаточной функции головы, которая соответствует прямому тракту из позиции (виртуального) источника звука бинауральной передаточной функции головы в (номинальную) позицию прослушивания, и часть реверберации может соответствовать части бинауральной передаточной функции головы, которая соответствует ранним отражениям и рассеянной реверберации.

Данные ранней части могут служить признаком ранней части бинауральной передаточной функции головы посредством включения данных, которые, по меньшей мере, частично описывают раннюю часть бинауральной передаточной функции головы. В частности, они могут содержать данные, которые (прямо или косвенно), по меньшей мере, описывают бинауральную передаточную функцию головы в раннем временном интервале. Например, импульсная характеристика бинауральной передаточной функции головы в раннем временном интервале может быть, по меньшей мере, частично описана посредством данных ранней части.

Данные части реверберации могут служить признаком части реверберации бинауральной передаточной функции головы посредством включения данных, которые, по меньшей мере, частично описывают часть реверберации бинауральной передаточной функции головы. В частности, они могут содержать данные, которые (прямо или косвенно), по меньшей мере, описывают бинауральную передаточную функцию головы во временном интервале реверберации. Например, импульсная характеристика бинауральной передаточной функции головы во временном интервале реверберации может быть, по меньшей мере, частично описана посредством данных ранней части. Временной интервал реверберации заканчивается после раннего временного интервала и, во многих вариантах осуществления, также начинается после конца раннего временного интервала.

Первый аудиокомпонент может формироваться, чтобы соответствовать аудиосигналу, фильтруемому посредством ранней части бинауральной передаточной функции головы, поскольку эта функция описывается посредством данных ранней части.

Второй аудиокомпонент может соответствовать компоненту сигнала реверберации во временном интервале, соответствующем части реверберации, причем компонент сигнала реверберации формируется из аудиосигнала в соответствии с процессом, описанным (по меньшей мере, частично) посредством данных реверберации.

Бинауральная обработка может соответствовать фильтрации аудиосигнала посредством фильтра, соответствующего бинауральной передаточной функции головы в ранней части, поскольку функция определяется посредством данных ранней части.

Бинауральная обработка может формировать первый аудиокомпонент для одного сигнала из бинаурального стереосигнала (т.е. она может формировать аудиокомпонент для сигнала одного из ушей).

Процесс реверберации может представлять собой процесс формирования посредством синтетического ревербератора сигнала реверберации в части реверберации из аудиосигнала в соответствии с процессом, определенным из данных реверберации.

Процесс реверберации может соответствовать аудиосигналу, фильтруемому посредством части реверберации бинауральной передаточной функции головы, поскольку функция описывается посредством данных части реверберации.

В соответствии с необязательным признаком изобретения, синхронизатор выполнен с возможностью вводить задержку для второго аудиокомпонента относительно первого аудиокомпонента, причем задержка является зависимой от индикатора синхронизации.

Это позволяет обеспечивать эффективную работу с низкой сложностью.

В соответствии с необязательным признаком изобретения, данные ранней части служат признаком безэховой части бинауральной передаточной функции головы.

Это может приводить к сверхпреимущественной работе и типично к высокоэффективному представлению и обработке.

В соответствии с необязательным признаком изобретения, данные ранней части содержат параметры фильтрации в частотной области, и обработка ранней части представляет собой обработку в частотной области.

Это может приводить к сверхпреимущественной работе и типично к высокоэффективному представлению и обработке. В частности, фильтрация в частотной области может обеспечивать очень точную эмуляцию распространения аудио прямого тракта с низкой сложностью и использованием ресурсов. Кроме того, она может достигаться без необходимости также представления реверберации посредством фильтрации в частотной области, которая требует высокой степени сложности.

В соответствии с необязательным признаком изобретения, данные части реверберации содержат параметры для модели реверберации, и ревербератор выполнен с возможностью реализовывать модель реверберации с использованием параметров, указываемых посредством данных части реверберации.

Это может приводить к сверхпреимущественной работе и типично к высокоэффективному представлению и обработке. В частности, моделирование реверберации может обеспечивать очень точную эмуляцию отраженного аудио распределения с низкой сложностью и использованием ресурсов. Кроме того, это может достигаться без необходимости также представления прямых аудиотрактов посредством идентичной модели.

В соответствии с необязательным признаком изобретения, ревербератор содержит синтетический ревербератор, и данные части реверберации содержат параметры для синтетического ревербератора.

Это может приводить к сверхпреимущественной работе и типично к высокоэффективному представлению и обработке. В частности, синтетический ревербератор может обеспечивать очень точную эмуляцию отраженного аудио распределения с низкой сложностью и использованием ресурсов при одновременном обеспечении точного представления прямых аудиотрактов.

В соответствии с необязательным признаком изобретения, ревербератор содержит реверберационный фильтр, и данные реверберации содержат параметры для реверберационного фильтра.

Это может приводить к сверхпреимущественной работе и типично к высокоэффективному представлению и обработке.

В соответствии с необязательным признаком изобретения, бинауральная передаточная функция головы дополнительно содержит часть ранних отражений между ранней частью и частью реверберации, и данные дополнительно содержат: данные части ранних отражений, указывающие часть ранних отражений бинауральной передаточной функции головы; и второй индикатор синхронизации, указывающий сдвиг по времени между частью ранних отражений и, по меньшей мере, одной из ранней части и части реверберации; и устройство дополнительно содержит: процессор части ранних отражений для формирования третьего аудиокомпонента посредством применения обработки отражения к аудиосигналу, причем обработка отражения, по меньшей мере, частично определяется посредством данных части ранних отражений; и модуль комбинирования выполнен с возможностью формировать первый слуховой сигнал бинаурального сигнала в ответ на комбинирование, по меньшей мере, первого аудиокомпонента, второго аудиокомпонента и третьего аудиокомпонента; и синхронизатор выполнен с возможностью синхронизировать третий аудиокомпонент, по меньшей мере, с одним из первого аудиокомпонента и второго аудиокомпонента в ответ на второй индикатор синхронизации.

Это может приводить к повышенному качеству звука и/или к более эффективному представлению и/или обработке.

В соответствии с необязательным признаком изобретения, ревербератор выполнен с возможностью формировать второй аудиокомпонент в ответ на процесс реверберации, применяемый к первому аудиокомпоненту.

Это позволяет обеспечивать сверхпреимущественную реализацию в некоторых вариантах осуществления и сценариях.

В соответствии с опциональным признаком изобретения, индикатор синхронизации компенсируется в отношении задержки бинауральной обработки.

Это позволяет обеспечивать сверхпреимущественную работу в некоторых вариантах осуществления и сценариях.

В соответствии с необязательным признаком изобретения, индикатор синхронизации компенсируется в отношении задержки реверберационной обработки.

Это позволяет обеспечивать достаточно преимущественную работу в некоторых вариантах осуществления и сценариях.

Согласно аспекту изобретения, предусмотрено устройство для формирования потока битов, причем устройство содержит: процессор для приема бинауральной передаточной функции головы, содержащей раннюю часть и часть реверберации; схему обработки ранней части для формирования данных ранней части, указывающих раннюю часть бинауральной передаточной функции головы; схему реверберации для формирования данных реверберации, указывающих часть реверберации бинауральной передаточной функции головы; схему синхронизации для формирования данных синхронизации, содержащих индикатор синхронизации, указывающий сдвиг по времени между данными ранней части и данными реверберации; и выходная схема для формирования потока битов, содержащего данные ранней части, данные реверберации и данные синхронизации.

Согласно аспекту изобретения, предусмотрен способ обработки аудиосигнала, причем способ содержит: прием входных данных, причем входные данные содержат, по меньшей мере, данные, описывающие бинауральную передаточную функцию головы, содержащую раннюю часть и часть реверберации, причем данные содержат: данные ранней части, указывающие раннюю часть бинауральной передаточной функции головы, данные реверберации, указывающие часть реверберации бинауральной передаточной функции головы, индикатор синхронизации, указывающий сдвиг по времени между ранней частью и частью реверберации; формирование первого аудиокомпонента посредством применения бинауральной обработки к аудиосигналу, причем бинауральная обработка, по меньшей мере, частично определяется посредством данных ранней части; формирование второго аудиокомпонента посредством применения реверберационной обработки к аудиосигналу, причем реверберационная обработка, по меньшей мере, частично определяется посредством данных реверберации; формирование, по меньшей мере, первого слуховой сигнала из бинаурального сигнала в ответ на комбинирование первого аудиокомпонента и второго аудиокомпонента; и синхронизацию первого аудиокомпонента и второго аудиокомпонента в ответ на индикатор синхронизации.

Согласно аспекту изобретения, предусмотрен способ передачи сигнала изображения, при этом способ содержит: прием бинауральной передаточной функции головы, содержащей раннюю часть и часть реверберации; формирование данных ранней части, указывающих раннюю часть бинауральной передаточной функции головы; формирование данных реверберации, указывающих часть реверберации бинауральной передаточной функции головы; формирование данных синхронизации, содержащих индикатор синхронизации, указывающий сдвиг по времени между данными ранней части и данными реверберации; и формирование потока битов, содержащего данные ранней части, данные реверберации и данные синхронизации.

Согласно аспекту изобретения, предусмотрен поток битов, содержащий данные, представляющие бинауральную передаточную функцию головы, содержащую раннюю часть и часть реверберации, причем данные содержат: данные ранней части, указывающие раннюю часть бинауральной передаточной функции головы; данные реверберации, указывающие часть реверберации бинауральной передаточной функции головы; данные синхронизации, содержащие индикатор синхронизации, указывающий сдвиг по времени между данными ранней части и данными реверберации.

Эти и другие аспекты, признаки и преимущества изобретения должны становиться очевидными и должны истолковываться со ссылкой на описанные далее варианты осуществления.

Краткое описание чертежей

Варианты осуществления изобретения описаны далее только в качестве примера со ссылкой на чертежи, из которых:

Фиг. 1 иллюстрирует пример элементов системы по стандарту объемного звучания MPEG.

Фиг. 2 иллюстрирует обработку аудиообъектов, возможных в MPEG SAOC.

Фиг. 3 иллюстрирует интерактивный интерфейс, который позволяет пользователю управлять отдельными объектами, содержащимися в SAOC-потоке битов.

Фиг. 4 иллюстрирует пример принципа кодирования аудио 3DAA.

Фиг. 5 иллюстрирует пример бинауральной обработки.

Фиг. 6 иллюстрирует пример бинауральной импульсной характеристики в помещении.

Фиг. 7 иллюстрирует