Аудиосистема и способ оперирования ею

Аудиосистема и способ оперирования ею

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Изобретение относится к аудиосистеме и способу оперирования ею и, в частности, к виртуальному пространственному воспроизведению аудиосигналов.

Уровень техники

Воспроизведение пространственного звука за рамками простого стерео стало распространенным благодаря таким применениям, как системы домашнего кинотеатра. Как правило, такие системы используют громкоговорители, расположенные в конкретных пространственных позициях. Кроме того, были разработаны системы, которые обеспечивают восприятие пространственного звука через головные наушники. Стандартное стереовоспроизведение, как правило, обеспечивает звуки, которые воспринимаются как возникающие внутри головы пользователя. Однако были разработаны системы, которые обеспечивают полное восприятие пространственного звука на основе бинауральных сигналов, обеспечиваемых непосредственно в уши пользователя посредством внутриушных наушников/головных наушников. Такие системы часто называются системами виртуального звука, поскольку они обеспечивают восприятие виртуальных звуковых источников в позициях, где нет настоящих звуковых источников.

Виртуальный объемный звук является технологией, которая осуществляет попытку создать впечатление, что слушателя окружают звуковые источники, которые физически отсутствуют. В таких системах не кажется, что звук возникает внутри головы пользователя, как известно из стандартных систем воспроизведения с головными наушниками. Вместо этого звук может восприниматься как возникающий вне головы пользователя, как в случае естественного прослушивания без головных наушников. Вдобавок к более реалистичным впечатлениям, виртуальное объемное аудио также, как правило, оказывает положительное воздействие на утомление слушателя и разборчивость речи.

Для того чтобы достичь этого восприятия, необходимо задействовать некое средство обмана слуховой системы человека, чтобы ей казалось, будто звук идет от желаемых позиций. Широко известным подходом для обеспечения восприятия виртуального объемного звука является использование бинауральной записи. В таких подходах запись звука использует специализированное расположение микрофонов и предназначена для воспроизведения с использованием головных наушников. Запись делается путем размещения микрофонов в ушном канале либо объекта опыта, либо муляжа головы, то есть бюста, который включает в себя ушные раковины (наружные уши). Использование такого муляжа головы, включающего в себя ушные раковины, обеспечивает очень схожее пространственное впечатление с впечатлением, которое человек, прослушивающий записи, получал бы, если бы присутствовал во время записи. Однако поскольку ушные раковины каждого человека уникальны, и фильтрация, налагаемая ими на звук, зависит от направленной инцидентности поступающей звуковой волны и, соответственно, также уникальна, локализация источников является зависимой от объекта. Действительно, конкретные особенности, используемые для локализации источников, осваиваются каждым человеком с раннего детства. Следовательно, любое несоответствие между ушными раковинами, используемыми во время записи, и ушными раковинами слушателя может приводить к ухудшенному восприятию и неправильным пространственным впечатлениям.

Путем измерения импульсных откликов от звукового источника в конкретном местоположении в трехмерном пространстве к микрофонам в ушах муляжа головы для каждого индивида так называемые зависящие от головы импульсные отклики (HRIR) могут быть определены. HRIR могут использоваться для создания бинауральной записи, имитирующей множество источников в различных местах. Это может быть осуществлено путем выполнения свертки каждого звукового источника с парой HRIR, которая соответствует позиции звукового источника. HRIR также может называться зависящей от головы функцией передачи (HRTF). Таким образом, HRTF и HRIR эквиваленты. В случае, когда HRIR также включает в себя эффект помещения, они называются бинауральными импульсными откликами помещения (BRIR). BRIR состоят из части звукопоглощения, которая зависит только от антропометрических характеристик объекта (таких как размер головы, форма уха и т. д.), за которой следует часть реверберации, которая характеризует комбинацию помещения и антропометрических свойств.

Часть реверберации содержит две временные области, как правило частично совпадающие. Первая область содержит так называемые ранние отражения, которые являются изолированными отражениями звукового источника от стен или препятствий внутри помещения перед достижением барабанной перепонки (или измеряющего микрофона). По мере увеличения запаздывания количество отражений, присутствующих в фиксированном временном интервале, увеличивается, к этому моменту вдобавок содержащее отражения более высшего порядка.

Вторая область в части реверберации является частью, где эти отражения уже не изолированы. Эта область называется диффузным или поздним реверберационным хвостом. Часть реверберации содержит ориентиры, которые дают слуховой системе информацию о расстоянии до источника и о размере и акустических свойствах помещения. Кроме того, она является зависимой от объекта ввиду фильтрации отражений посредством HRIR. Энергия части реверберации по отношению к энергии части звукопоглощения в значительной степени определяет воспринимаемое расстояние до звукового источника. Плотность (ранних) отражений участвует в воспринимаемом размере помещения. Время реверберации T_6o определяется как время, которое требуется, чтобы отражения потеряли 60 дБ по энергетическому уровню. Время реверберации дает информацию об акустических свойствах помещения, являются ли его стены очень отражающими (например, ванная комната) или присутствует ли сильное поглощение звука (например, спальня с мебелью, ковром и занавесками), а также объем (размер) помещения.

Помимо использования измеренных импульсных откликов, использующих некоторую акустическую среду, алгоритмы искусственной реверберации часто задействуются ввиду способности модификации определенных свойств акустической имитации и ввиду их относительно низкой вычислительной сложности.

Примером системы, которая использует методики виртуального объемного звучания, является MPEG Surround, которая является одним из главных достижений в кодировании многоканального аудио, недавно стандартизованным MPEG (ISO/IEC 23003-1:2007, MPEG Surround).

MPEG Surround является инструментом кодирования многоканального аудио, который обеспечивает возможность расширения существующих кодеров на основе моно или стерео на многоканальное аудио. Фиг. 1 изображает структурную схему базового стереокодера, расширенного посредством MPEG Surround. Прежде всего, кодер MPEG Surround создает стереосигнал понижающего микширования из многоканального входного сигнала. Стереосигнал понижающего микширования кодируется в битовый поток с использованием ядерного кодера, например HE-AAC. Затем пространственные параметры оцениваются из многоканального входного сигнала. Эти параметры кодируются в пространственный битовый поток. Получающийся в результате битовый поток базового кодера и пространственный битовый поток совмещаются для создания общего битового потока MPEG Surround. Как правило, пространственный битовый поток содержится в части вспомогательных данных битового потока базового кодера. На стороне декодера базовый и пространственный битовые потоки сначала разделяются. Базовый битовый поток стерео декодируется, чтобы воспроизвести стереосигнал понижающего микширования. Этот сигнал понижающего микширования вместе с пространственным битовым потоком являются входными данными для декодера MPEG Surround. Пространственный битовый поток декодируется, в результате чего получаются пространственные параметры. Пространственные параметры затем используются для получения сигнала повышающего микширования стереосигнала понижающего микширования, чтобы получить многоканальный выходной сигнал, который является приближением исходного многоканального входного сигнала.

Поскольку пространственное отображение многоканального входного сигнала является параметризованным, MPEG Surround также обеспечивает возможность декодирования того же многоканального битового потока на устройстве представления, отличном от многоканальной установки динамиков. Примером является виртуальное воспроизведение в головных наушниках, что называется процессом бинаурального декодирования MPEG Surround. В этом режиме реалистичное впечатление объема может обеспечиваться посредством обычных головных наушников.

Фиг. 2 изображает структурную схему базового стереокодека, расширенного посредством MPEG Surround, где выходные данные декодируются в бинауральные данные. Процесс кодера идентичен процессу с фиг. 1. После декодирования битового стереопотока пространственные параметры объединяются с HRTF/HRIR-данными для создания так называемого бинаурального выхода.

На основе концепции MPEG Surround MPEG стандартизовали "Кодирование пространственного аудиообъекта" (SAOC) (ISO/IEC 23003-2:2010, Кодирование пространственного аудиообъекта).

С точки зрения высокого уровня в SAOC вместо каналов эффективно кодируются звуковые объекты. В то время как в MPEG Surround канал каждого динамика может рассматриваться как исходящий от различной смеси звуковых объектов, в SAOC эти отдельные звуковые объекты являются в некоторой степени доступными в декодере для интерактивного манипулирования. Аналогично MPEG Surround, моно- или стереосигнал понижающего микширования также создается в SAOC, где сигнал понижающего микширования кодируется с использованием стандартного кодера сигнала понижающего микширования, такого как HE-AAC. Параметры объекта кодируются и встраиваются в часть вспомогательных данных кодированного битового потока сигнала понижающего микширования. На стороне декодера путем воздействия на эти параметры пользователь может управлять различными признаками отдельных объектов, такими как позиция, усиление/ослабление, выравнивание, и даже применять эффекты, такие как искажение и искусственное эхо.

Качество виртуального объемного представления стерео- или многоканального содержимого может быть существенным образом улучшено путем так называемой фантомной материализации, описанной в работе Дж. Брибаарт (Breebaart, J.), Е. Шуерс (Schuijers, E.) (2008), "Фантомная материализация: Новаторский способ улучшения воспроизведения стереозвука в головных наушниках", Журнал "IEEE Transactions on Audio Speech and Language Processing" 16, 1503-1511.

Вместо построения виртуального стереосигнала на основе предположения о двух звуковых источниках, исходящих от позиций виртуальных громкоговорителей, подход фантомной материализации разбивает звуковой сигнал на направленный сигнальный компонент и непрямой/декоррелированный сигнальный компонент. Прямой компонент синтезируется путем имитации виртуального репродуктора в фантомной позиции. Опосредованный компонент синтезируется путем имитации виртуальных громкоговорителей в виртуальном направлении(ях) диффузного звукового поля. Процесс фантомной материализации имеет преимущество в том, что он не накладывает ограничений установки динамиков на сцену виртуального представления.

Было обнаружено, что воспроизведение виртуального пространственного звука обеспечивает очень эффектные пространственные впечатления во многих сценариях. Однако также было обнаружено, что этот подход может в некоторых сценариях давать впечатления, которые не полностью соответствуют пространственному впечатлению, которое было бы получено в сценарии реального мира с настоящими звуковыми источниками в имитированных позициях в трехмерном пространстве.

Было предложено, что на пространственное восприятие виртуального аудиопредставления может оказывать воздействие конфликт в мозгу между позиционными ориентирами, обеспечиваемыми аудио, и позиционными ориентирами, обеспечиваемыми зрением пользователя.

В повседневной жизни визуальные ориентиры (как правило, подсознательно) объединяются со слуховыми ориентирами для улучшения пространственного восприятия. Одним примером является то, что разборчивость речи человека увеличивается, когда движения его губ также могут наблюдаться. В другом примере было обнаружено, что человека можно обмануть, обеспечив визуальный ориентир в поддержку виртуального звукового источника, например, путем размещения муляжа динамика в местоположении, где генерируется виртуальный звуковой источник. Визуальный ориентир, таким образом, улучшит или модифицирует виртуализацию. Визуальный ориентир может в некоторой степени даже менять воспринимаемое местоположение звукового источника, как в случае чревовещателя. И, наоборот, человеческому мозгу сложно определить местоположение звуковых источников, которые не поддерживаются визуальным ориентиром (к примеру, в синтезе волновых полей), что в действительности противоречит человеческой природе.

Другим примером является вторжение внешних звуковых источников из окружения слушателя, которые смешиваются с виртуальными звуковыми источниками, генерируемыми аудиосистемой на основе головных наушников. В зависимости от аудиосодержимого и местоположения пользователя акустические свойства физических и виртуальных сред могут существенно отличаться, в результате чего возникает двойственность по отношению к среде прослушивания. Такое смешение акустических сред может вызывать противоестественное и нереалистичное воспроизведение звука.

Есть еще множество аспектов, относящихся к взаимодействию с визуальными ориентирами, которые до сих пор до конца не изучены, и в действительности эффект, оказываемый визуальными ориентирами на воспроизведение виртуального пространственного звука, не полностью изучен.

Таким образом, улучшенная аудиосистема будет иметь преимущества и, в частности, подход, обеспечивающий возможность увеличенной гибкости, облегченного осуществления, облегченного оперирования, улучшенного пространственного впечатления пользователя, улучшенного генерирования виртуального пространственного звука и/или улучшенной производительности, будет иметь преимущества.

Сущность изобретения

Соответственно, изобретение стремится предпочтительно смягчить, облегчить или устранить один или несколько из вышеупомянутых недостатков по отдельности или в любой комбинации.

Согласно одному аспекту изобретения обеспечивается аудиосистема по п. 1 формулы изобретения.

Изобретение может обеспечивать улучшенное пространственное впечатление. Во многих вариантах осуществления может восприниматься более естественное пространственное впечатление, и воспроизведение звука может казаться менее искусственным. Действительно, характеристики виртуального звука могут быть адаптированы для большего согласования с другими позиционными ориентирами, такими как визуальные ориентиры. Более реалистичное восприятие пространственного звука, таким образом, может быть достигнуто посредством обеспечения пользователя воспроизведением виртуального звука, который кажется более естественным и с улучшенным овеществлением (экстернализацией).

Аудиосигнал может соответствовать одному звуковому источнику, и обработка аудиосигнала может быть такой, чтобы аудио, представленное аудиосигналом, представлялось из желаемой виртуальной позиции для звукового источника. Аудиосигнал может, к примеру, соответствовать одному аудиоканалу (такому как звуковой канал системы объемного звука) или может, например, соответствовать одному аудиообъекту. Аудиосигнал, в частности, может быть одним одноканальным аудиосигналом из пространственного многоканального сигнала. Каждый пространственной сигнал может обрабатываться для представления так, чтобы он воспринимался как исходящий из заданной виртуальной позиции.

Аудиосигнал может быть представлен сигналом временной области, сигналом частотной области и/или параметризованным сигналом (таким как закодированный сигнал). В качестве конкретного примера аудиосигнал может быть представлен значениями данных в формате временно-частотного сегмента. В некоторых вариантах осуществления аудиосигнал может иметь ассоциированную информацию о положении. К примеру, аудиообъект может обеспечиваться позиционной информацией, указывающей позицию предполагаемого звукового источника для аудиосигнала. В некоторых сценариях информация о положении может обеспечиваться в виде параметров пространственного сигнала повышающего микширования. Система может конфигурироваться для дополнительной адаптации бинауральной функции передачи на основе информации о положении для аудиосигнала. К примеру, система может выбирать бинауральную функцию передачи для обеспечения позиционного ориентира звука, соответствующего указанной позиции.

Бинауральный выходной сигнал может содержать сигнальные компоненты от множества аудиосигналов, каждый из которых мог быть обработан в соответствии с бинауральной функцией передачи, где бинауральная функция передачи для каждого аудиосигнала может соответствовать желаемой позиции для этого аудиосигнала. Каждая из бинауральных функций передачи может во многих вариантах осуществления адаптироваться на основе параметра акустической среды.

Обработка, в частности, может применять бинауральную функцию передачи к аудиосигналу или сигналу, получаемому из него (например, путем усиления, обработки и т. д.). Взаимосвязь между бинауральным выходным сигналом и аудиосигналом зависит от/выражается в бинауральной функции передачи. Аудиосигнал, в частности, может генерировать сигнальный компонент для бинаурального выходного сигнала, который соответствует применению бинауральной функции передачи к аудиосигналу. Бинауральная функция передачи, таким образом, может соответствовать функции передачи, приложенной к аудиосигналу, для генерирования бинаурального выходного сигнала, который обеспечивает восприятие аудиоисточника как находящегося в желаемой позиции. Бинауральная функция передачи может включать в себя вклад от HRTF, HRIR или BRIR или соответствовать им.

Бинауральная функция передачи может применяться к аудиосигналу (или к сигналу, полученному из него) путем применения бинауральной функции передачи во временной области, в частотной области или в их комбинации. К примеру, бинауральная функция передачи может применяться к временно-частотным сегментам, например, путем применения комплексного значения бинауральной функции передачи к каждому временно-частотному сегменту. Согласно другим примерам, аудиосигнал может фильтроваться фильтром, осуществляющим бинауральную функцию передачи.

В соответствии с опциональным признаком изобретения, параметр акустической среды содержит параметр реверберации для акустической среды.

Это может обеспечить возможность в особенности выгодной адаптации виртуального звука для обеспечения улучшенного и, как правило, более естественного впечатления пользователя от звуковой системы, использующей позиционирование виртуальных звуковых источников.

В соответствии с опциональным признаком изобретения, параметр акустической среды содержит по меньшей мере одно из: времени реверберации; энергии реверберации по отношению к энергии прямого пути; частотного спектра по меньшей мере части импульсного отклика помещения; модальной плотности по меньшей мере части импульсного отклика помещения; плотности эха по меньшей мере части импульсного отклика помещения; межауральной когерентности или корреляции; уровня ранних отражений и оценки размера помещения.

Эти параметры могут обеспечивать возможность в особенности выгодной адаптации виртуального звука для обеспечения улучшенного и, как правило, более естественного впечатления пользователя от звуковой системы, использующей позиционирование виртуальных звуковых источников. Кроме того, параметры могут облегчать осуществление и/или оперирование.

В соответствии с опциональным признаком изобретения, цепь адаптации конфигурируется для адаптации характеристики реверберации бинауральной функции передачи.

Это может обеспечить возможность в особенности выгодной адаптации виртуального звука для обеспечения улучшенного и, как правило, более естественного впечатления пользователя от звуковой системы, использующей позиционирование виртуальных звуковых источников. Этот подход может обеспечить возможность облегченного оперирования и/или осуществления, поскольку характеристики реверберации в особенности подходят для адаптации. Модификация может осуществляться так, чтобы обработка модифицировалась для соответствия бинауральной функции передачи с различными характеристиками реверберации.

В соответствии с опциональным признаком изобретения, цепь адаптации сконфигурирована для адаптации по меньшей мере одной из следующих характеристик бинауральной функции передачи: время реверберации; энергия реверберации по отношению к энергии прямого звука; частотный спектр по меньшей мере части бинауральной функции передачи; модальная плотность по меньшей мере части бинауральной функции передачи; плотность эха по меньшей мере части бинауральной функции передачи; межауральная когерентность или корреляция и уровень ранних отражений по меньшей мере части бинауральной функции передачи.

Эти параметры могут обеспечить возможность в особенности выгодной адаптации виртуального звука для обеспечения улучшенного и, как правило, более естественного впечатления пользователя от звуковой системы, использующей позиционирование виртуальных звуковых источников. Кроме того, параметры могут облегчить осуществление и/или оперирование.

В соответствии с опциональным признаком изобретения, обработка содержит комбинацию заранее определенной бинауральной функции передачи и переменной бинауральной функции передачи, адаптируемой на основе параметра акустической среды.

Это может во многих сценариях обеспечивать облегченное и/или улучшенное осуществление и/или оперирование. Заранее определенная бинауральная функция передачи и переменная бинауральная функция передачи могут объединяться. К примеру, функции передачи могут применяться к аудиосигналу последовательно или могут применяться к аудиосигналу параллельно, после чего получающиеся в результате сигналы объединяются.

Заранее определенная бинауральная функция передачи может быть фиксированной, а может быть независимой от параметра акустической среды. Переменная бинауральная функция передачи может быть функцией передачи имитации акустической среды.

В соответствии с опциональным признаком изобретения, цепь адаптации сконфигурирована для динамического обновления бинауральной функции передачи.

Динамическое обновление может производиться в реальном времени. Изобретение может обеспечивать возможность системы, которая автоматически и непрерывно адаптирует обеспечение звука к среде, в которой она используется. К примеру, когда пользователь, переносящий аудиосистему, перемещается, звук может автоматически адаптировать представляемое аудио для соответствия конкретной акустической среде, например, для соответствия конкретному помещению. Цепь измерения может непрерывно измерять характеристику среды, и обработка может непрерывно обновляться на ее основе.

В соответствии с опциональным признаком изобретения, цепь адаптации сконфигурирована для модификации бинауральной функции передачи, только когда характеристика среды удовлетворяет некоторому критерию.

Это может обеспечивать улучшенное впечатление пользователя во многих сценариях. В частности, это может во многих вариантах осуществления обеспечивать более стабильное впечатление. Цепь адаптации может, к примеру, модифицировать характеристику бинауральной функции передачи, только когда параметр аудиосреды удовлетворяет некоторому критерию. Критерий может, к примеру, заключаться в том, что разница между значением параметра акустической среды и предыдущим значением, используемым для адаптации бинауральной функции передачи, превосходит некоторый порог.

В соответствии с опциональным признаком изобретения, цепь адаптации сконфигурирована для ограничения скорости перехода для бинауральной функции передачи.

Это может обеспечивать улучшенное впечатление пользователя и может делать адаптацию к особым условиям среды менее заметной. Модификации бинауральной функции передачи могут быть подвергнуты эффекту низкочастотной фильтрации с ослаблением изменений выше 1 Гц, что часто имеет преимущества. К примеру, пошаговые изменения бинауральной функции передачи могут быть ограничены постепенными переходами с продолжительностями приблизительно 1-5 секунд.

В соответствии с опциональным признаком изобретения, аудиосистема дополнительно содержит: хранилище данных для хранения данных бинауральной функции передачи; цепь для извлечения данных бинауральной функции передачи из хранилища данных на основе параметра акустической среды, и причем цепь адаптации сконфигурирована для адаптации бинауральной функции передачи на основе извлеченных данных бинауральной функции передачи.

Это может обеспечивать в особенности эффективное осуществление во многих сценариях. Подход, в частности, может уменьшить требования на вычислительные ресурсы.

В некоторых вариантах осуществления аудиосистема может дополнительно содержать цепь для обнаружения, что никакие данные бинауральной функции передачи, сохраненные в хранилище данных, не ассоциируются с характеристиками акустической среды, соответствующими параметру акустической среды, и в ответ сгенерировать и сохранить данные бинауральной функции передачи в хранилище данных вместе с ассоциированными данными, характеризующими акустическую среду.

В соответствии с опциональным признаком изобретения, аудиосистема дополнительно содержит: цепь тестового сигнала, сконфигурированную для испускания звукового тестового сигнала в акустическую среду, и причем цепь измерения сконфигурирована для захвата принятого звукового сигнала в среде, причем принятый аудиосигнал содержит сигнальный компонент, возникающий из испускаемого звукового тестового сигнала; и цепь определения сконфигурирована для определения параметра акустической среды на основе звукового тестового сигнала.

Это может обеспечивать низкую сложность и при этом точный и удобный способ определения параметра акустической среды. Определение параметра акустической среды, в частности, может выполняться на основе корреляции между принятым тестовым сигналом и тестовым аудиосигналом. К примеру, частотные или временные характеристики могут сравниваться и использоваться для определения параметра акустической среды.

В соответствии с опциональным признаком изобретения, цепь определения сконфигурирована для определения импульсного отклика среды на основе принятого звукового сигнала и для определения параметра акустической среды на основе импульсного отклика среды.

Это может обеспечивать в особенности устойчивый, низкий по сложности и/или точный подход для определения параметра акустической среды.

В соответствии с опциональным признаком изобретения, цепь адаптации дополнительно сконфигурирована для обновления бинауральной функции передачи на основе позиции пользователя.

Это может обеспечивать в особенности положительное впечатление пользователя. К примеру, представление виртуального звука может непрерывно обновляться при перемещении пользователя, благодаря чему обеспечивается непрерывная адаптация не только к, например, помещению, но также к позиции пользователя в помещении.

В некоторых вариантах осуществления параметр акустической среды зависит от позиции пользователя.

Это может обеспечивать особенно положительное впечатление пользователя. К примеру, представление виртуального звука может непрерывно обновляться при перемещении пользователя, благодаря чему обеспечивается непрерывная адаптация не только, например, к помещению, но также к позиции пользователя в помещении. В качестве примера параметр акустической среды может быть определен из измеренного импульсного отклика, который может динамически меняться при перемещении пользователя внутри среды. Позицией пользователя может являться направление взгляда или местоположение пользователя.

В соответствии с опциональным признаком изобретения, бинауральная цепь содержит ревербератор, и цепь адаптации сконфигурирована для адаптации обработки реверберации ревербератора на основе параметра акустической среды.

Это может обеспечивать особенно удобный подход для модификации обработки для отражения модифицированных бинауральных функций передачи. Ревербератор может обеспечивать особенно эффективный подход для адаптации характеристик, при этом являющийся достаточно простым в управлении. Ревербератор может, к примеру, быть ревербератором Жота, описанным, например, в работе Ж.-М. Жота (J.-M. Jot) и А. Шэня (A. Chaigne) "Цепи цифровой задержки для осуществления искусственных ревербераторов", съезд Общества инженеров по звуковой технике, февраль 1991 г.

Согласно одному аспекту изобретения обеспечивается способ оперирования для аудиосистемы по п. 14 формулы изобретения.

Эти и другие аспекты, признаки и преимущества изобретения станут очевидными и будут разъяснены со ссылками на варианты осуществления, описанные далее.

Краткое описание чертежей

Варианты осуществления настоящего изобретения будут описаны исключительно в качестве примера со ссылками на чертежи, где

фиг. 1 изображает структурную схему базового стереокодека, расширенного посредством MPEG Surround;

фиг. 2 изображает структурную схему базового стереокодека, расширенного посредством MPEG Surround и обеспечивающего бинауральный выходной сигнал;

фиг. 3 иллюстрирует пример элементов аудиосистемы в соответствии с некоторыми вариантами осуществления настоящего изобретения;

фиг. 4 иллюстрирует пример элементов бинаурального процессора в соответствии с некоторыми вариантами осуществления настоящего изобретения;

фиг. 5 иллюстрирует пример элементов процессора бинауральных сигналов в соответствии с некоторыми вариантами осуществления настоящего изобретения;

фиг. 6 иллюстрирует пример элементов процессора бинауральных сигналов в соответствии с некоторыми вариантами осуществления настоящего изобретения; и

фиг. 7 иллюстрирует пример элементов ревербератора Жота.

Подробное описание некоторых вариантов осуществления изобретения

Фиг. 3 иллюстрирует пример аудиосистемы в соответствии с некоторыми вариантами осуществления настоящего изобретения. Аудиосистема является виртуальной звуковой системой, которая имитирует позиции пространственно звуковых источников путем генерирования бинаурального сигнала, который содержит сигнал для каждого уха пользователя. Как правило, бинауральное аудио обеспечивается пользователю через пару головных наушников, внутриушных наушников или подобного.

Аудиосистема содержит приемник 301, который принимает аудиосигнал, который должен быть представлен аудиосистемой. Аудиосигнал предназначен для представления в качестве звукового источника с желаемой виртуальной позицией. Таким образом, аудиосистема представляет аудиосигнал так, чтобы пользователь (по меньшей мере приблизительно) воспринимал сигнал как исходящий от желаемой позиции или по меньшей мере направления.

В этом примере аудиосигнал, таким образом, рассматривается как соответствующий одному аудиоисточнику. Как таковой, аудиосигнал ассоциируется с одной желаемой позицией. Аудиосигнал может соответствовать, например, сигналу пространственного канала и, в частности, аудиосигнал может являться одним сигналом пространственного многоканального сигнала. Такой сигнал может неявно иметь желаемую ассоциированную позицию. К примеру, сигнал центрального канала ассоциируется с позицией прямо перед слушателем, передний левый канал ассоциируется с позицией спереди и слева от слушателя, задний левый сигнал ассоциируется с позицией сзади и слева от слушателя и т. д. Аудиосистема, таким образом, может представлять этот сигнал как производящий впечатление, будто он исходит от этой позиции.

В качестве другого примера аудиосигнал может быть аудиообъектом и может, к примеру, быть аудиообъектом, который пользователь может свободно расположить в (виртуальном) пространстве. Таким образом, в некоторых примерах желаемая позиция может локально генерироваться или выбираться, например, пользователем.

Аудиосигнал может, к примеру, представляться, обеспечиваться и/или обрабатываться как сигнал временной области. Альтернативно или дополнительно аудиосигнал может обеспечиваться и/или обрабатываться как сигнал частотной области. Действительно, во многих системах аудиосистема может иметь возможность переключения между такими представлениями и применять обработку в той области, которая наиболее эффективна для конкретной операции.

В некоторых вариантах осуществления аудиосигнал может быть представлен как сигнал временно-частотного сегмента. Таким образом, сигнал может разбиваться на сегменты, где каждый сегмент соответствует временному интервалу и частотному интервалу. Для каждого из этих сегментов сигнал может быть представлен набором значений. Как правило, одно комплексное значение сигнала обеспечивается для каждого временно-частотного сегмента.

В описании один аудиосигнал описывается и обрабатывается для представления из виртуальной позиции. Однако следует понимать, что в большинстве примеров звук, представляемый слушателю, содержит звуки от многих различных звуковых источников. Таким образом, в типичных вариантах осуществления множество аудиосигналов принимаются и представляются, как правило, от различных виртуальных позиций. К примеру, для системы виртуального объемного звука, как правило, принимается пространственный многоканальный сигнал. В таких сценариях каждый сигнал обычно обрабатывается отдельно, как описано далее для одного аудиосигнала, и затем они объединяются. Разумеется, различные сигналы, как правило, представляются от различных позиций, и, таким образом, различные позиции бинауральной передачи могут применяться.

Аналогично во многих вариантах осуществления большое количество аудиообъектов может быть принято, и каждый из них (или их комбинация) может отдельно обрабатываться, как было описано.

К примеру, существует возможность представить комбинацию объектов или сигналов посредством комбинации бинауральных функций передачи так, чтобы каждый объект в комбинации объектов представлялся различным образом, например, в различных местах. В некоторых сценариях комбинация аудиообъектов или сигналов может обрабатываться как объединенная сущность. Например, сигнал понижающего микширования переднего и бокового левого каналов может быть представлен посредством бинауральной функции передачи, которая состоит из взвешенного смешанного сигнала двух соответствующих бинауральных функций передачи.

Выходные сигналы затем могут просто генерироваться путем комбинации (например, добавления) бинауральных сигналов, генерируемых для каждого из различных аудиосигналов.

Таким образом, в то время как следующее описание фокусируется на одном аудиосигнале, это может рассматриваться как всего лишь сигнальный компонент аудиосигнала, который соответствует одному звуковому источнику из множества аудиосигналов.

Приемник 301 соединяется с бинауральным процессором 303, который принимает аудиосигнал и который генерирует бинауральный выходной сигнал путем обработки аудиосигнала. Бинауральный процессор 303 соединяется с парой головных наушников 305, которым подается бинауральный сигнал. Таким образом, бинауральный сигнал содержит сигнал для левого уха и сигнал для правого уха.

Следует понимать, что, хотя использование головных наушников может быть обычным для многих применений, описанное изобретение и принципы не ограничиваются эт