Рендеринг отраженного звука для объектно-ориентированной аудиоинформации

Рендеринг отраженного звука для объектно-ориентированной аудиоинформации

Иллюстрации

Показать все

Реферат

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

По этой заявке испрашивается приоритет предварительной заявки №61/695893 на патент США, поданной 31 августа 2012 года, которая полностью включена в эту заявку посредством ссылки.

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Одна или несколько реализаций относятся в основном к обработке аудиосигналов, а более конкретно, к рендерингу адаптивного аудиоконтента с помощью головок прямого и отраженного излучения в определенных средах прослушивания.

УРОВЕНЬ ТЕХНИКИ

Основные положения, рассматриваемые в разделе «Уровень техники», не следует считать принадлежащими к предшествующему уровню техники только вследствие упоминания их в разделе «Уровень техники». Точно так же проблему, упомянутую в разделе «Уровень техники» или связанную с основными положениями из раздела «Уровень техники», не следует считать ранее выявленной в предшествующем уровне техники. Основные положения в разделе «Уровень техники» представляют всего лишь различные принципы, которые в сочетании или сами по себе также могут быть изобретениями.

Звуковые треки кинофильма обычно содержат многочисленные различные звуковые элементы, соответствующие изображениям на экране, диалог, шумы и звуковые эффекты, которые исходят из различных мест на экране и сочетаются с фоновой музыкой и окружающими эффектами для создания полного впечатления присутствия. Для точного воспроизведения требуется, чтобы звуки воспроизводились с возможно близким соответствием тому, что показывается на экране, с учетом положения, интенсивности, перемещения и глубины источника звука. В традиционных канально-ориентированных аудиосистемах аудиоконтент направляется в виде подач сигналов к индивидуальным громкоговорителям в среде воспроизведения. С появлением цифровой кинематографии были разработаны новые стандарты для звука кинофильма, связанные с включением многочисленных каналов аудио, что позволило усилить творческую деятельность создателей контента и создавать более окружающее и реалистичное звуковое впечатление для зрителей. Расширение за пределы традиционных подач сигналов громкоговорителей и канально-ориентированного аудио в качестве средства распределения пространственного аудио крайне важно, и проявляется значительный интерес к основанному на модели описанию аудио, которое позволяет слушателю выбирать желаемую конфигурацию воспроизведения аудио, рендеринг которого выполнен специально для выбранной конфигурации. Воспроизведение звука в истинных трехмерных (3D) или виртуальных трехмерных средах стало областью интенсивных исследований и разработки для дальнейшего повышения восприятия слушателем. Для пространственного представления звука используют аудиообъекты, которые представляют собой аудиосигналы совместно со связанными параметрическими описаниями положений кажущихся источников (например, в трехмерных координатах), шириной кажущихся источников и другими параметрами. Объектно-ориентированное аудио можно использовать для многих мультимедийных применений, таких как цифровые кинофильмы, видеоигры, имитаторы, и она является особенно важной в домашней среде, в которой количество громкоговорителей и размещение их обычно ограниченны или удерживаются в границах относительно небольшой среды прослушивания.

Различные технологии были разработаны для улучшения звуковых систем в кинематографических средах и для более точного захвата и воспроизведения творческого замысла создателя звукового трека кинофильма. Например, разработан пространственный аудиоформат (также называемый «адаптивным аудиоформатом») следующего поколения, который содержит микс аудиообъектов и традиционные канально-ориентированные подачи сигналов громкоговорителей с использованием позиционных метаданных для аудиообъектов. Из декодера пространственного аудио каналы направляются непосредственно к относящимся к ним громкоговорителям (если соответствующие громкоговорители имеются) или подвергаются понижающему микшированию под существующий набор громкоговорителей, а рендеринг аудиообъектов адаптивно выполняется декодером. Параметрическое описание источников, связанное с каждым объектом, в том числе с позиционной траекторией в трехмерном пространстве, используется в качестве входных данных наряду с количеством и положениями громкоговорителей, связанных с декодером. В таком случае в рендерере используются определенные алгоритмы, такие как правило панорамирования, для распределения аудио, связанного с каждым объектом, по присоединенным наборам громкоговорителей. Этим способом созданный автором пространственный замысел для каждого объекта оптимально представляется в конкретной конфигурации громкоговорителей, которые имеются в среде прослушивания.

Современные пространственные аудиосистемы обычно разрабатывают для применения в кинематографии и поэтому их размещают в больших комнатах и используют относительно дорогое оборудование, в том числе группы многочисленных громкоговорителей, распределенных по периметру среды прослушивания. Увеличение объема кинематографического контента, производимого в настоящее время, делает доступным воспроизведение в домашней среде с помощью потоковой технологии и усовершенствованной медийной технологии, такой как стандарт Blu-Ray, и т.д. Кроме того, новые технологии, такие как трехмерное телевидение и усовершенствованные компьютерные игры и имитаторы, благоприятствуют использованию относительно сложного оборудования, такого как мониторы с большим экраном, ресиверы объемного звука и группы громкоговорителей в домашних и других средах (не кинематографических и не театральных) прослушивания. Однако стоимость оборудования, сложность установки и размеры комнаты являются реальными ограничениями, которые препятствуют полному использованию пространственного аудио в большей части домашних сред. Например, в усовершенствованных объектно-ориентированных аудиосистемах обычно используют подвесные или верхние громкоговорители для воспроизведения звука, который должен возникать над головой слушателя. Во многих случаях, и особенно в домашней среде, такие верхние громкоговорители могут отсутствовать. В этом случае, если такие аудиообъекты воспроизводятся через напольные и установленные на стенке громкоговорители, верхняя информация теряется.

Поэтому имеется необходимость в адаптивной аудиосистеме, обеспечивающей полную пространственную информацию, воспроизводимую в среде прослушивания, которая может включать в себя только часть полной группы громкоговорителей, предназначенных для воспроизведения, таких как громкоговорители с ограниченными возможностями и не подвесные, и в которой можно использовать громкоговорители отраженного излучения для излучения звука с мест, на которых громкоговорители прямого излучения отсутствуют.

КРАТКОЕ ИЗЛОЖЕНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Описываются системы и способы для аудиоформата и система, которая включает в себя обновленные средства создания контента, способы распределения и улучшенного восприятия пользователем на основе адаптивной аудиосистемы, которая включает в себя новые конфигурации громкоговорителей и каналов и также делает возможным новый формат пространственного описания, создаваемый для кинорежиссеров с помощью набора усовершенствованных средств создания контента. Варианты осуществления включают в себя систему, в которой ориентированная на кинематограф концепция адаптивного аудио распространена на конкретную экосистему воспроизведения аудио, в том числе на домашний театр (например, аудио/видео ресивер, звуковую панель и устройство воспроизведения дисков Blu-Ray), электронные средства массовой информации (например, персональный компьютер, мобильное устройство и проигрыватель с воспроизведением через наушники), широковещательные средства (телевизор и телевизионную приставку), музыку, игры, живой звук, образованный пользователем контент (ОПК) и т.д. Система домашней среды включает в себя компоненты, которые обеспечивают совместимость с театральным контентом, и характерные определения метаданных, которые включают в себя информацию о создании контента для передачи творческого замысла, медийную интеллектуальную информацию, относящуюся к аудиообъектам, подачи сигналов громкоговорителей, пространственную информацию о рендеринге и зависящие от контента метаданные, которые показывают вид контента, такой как диалог, музыка, окружающая среда и т.д. Описания адаптивной аудиосистемы могут включать в себя подачи сигналов стандартных громкоговорителей через посредство аудиоканалов в добавление к аудиообъектам вместе с соответствующей пространственной информацией о рендеринге (такой как размер, скорость и положение в трехмерном пространстве). Кроме того, описаны новое расположение громкоговорителей (или конфигурация каналов) и сопутствующий новый формат пространственного описания, который поддерживает многочисленные технологии рендеринга. Аудиопотоки (обычно включающие каналы и объекты) передаются наряду с метаданными, которые описывают контент создателя или замысел звукорежиссера, включая заданное положение аудиопотока. Положение может быть выражено в виде именованного канала (из заданной конфигурации каналов) или в виде информации о трехмерном пространственном положении. Эти каналы в дополнение к формату объектов обеспечивают получение наилучших канально-ориентированных и основанных на модели способов описания аудиосцены.

В частности, варианты осуществления относятся к системе для рендеринга звука с использованием элементов отраженного звука, содержащей группу звуковых головок, распределенных по периметру среды прослушивания, в которой некоторые головки представляют собой головки прямого излучения и другие представляют собой головки отраженного излучения, которые сконфигурированы для проецирования звуковых волн к одной или нескольким поверхностям среды прослушивания для отражения к конкретной области прослушивания; рендерер для обработки аудиопотоков и одного или нескольких наборов метаданных, которые связаны с каждым аудиопотоком и которые точно определяют место воспроизведения в среде прослушивания соответствующего аудиопотока, при этом аудиопотоки содержат один или несколько отраженных аудиопотоков и один или несколько прямых аудиопотоков; и систему воспроизведения для рендеринга аудиопотоков к группе звуковых головок в соответствии с одним или несколькими наборами метаданных, и при этом один или несколько отраженных аудиопотоков передаются к звуковым головкам отраженного излучения.

ВКЛЮЧЕНИЕ ПУТЕМ ССЫЛКИ

Любая публикация, патент и/или заявка на патент, упомянутые в этом описании, полностью включаются в эту заявку путем ссылки, в той же степени, как если бы было конкретно и индивидуально указано, что каждая отдельная публикация и/или заявка на патент должна быть включена путем ссылки.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

На нижеследующих чертежах одинаковые позиции используются для аналогичных элементов. Хотя на нижеследующих чертежах показаны различные примеры, одна или несколько реализаций не ограничены примерами, показанными на чертежах.

На чертежах:

фиг. 1 - иллюстрация примера размещения громкоговорителей в системе объемного звука (например, системе 9.1 объемного звука), в которой верхние громкоговорители расположены для воспроизведения верхних каналов;

фиг. 2 - иллюстрация канала и объектно-ориентированных данных, в сочетании предназначенных для образования адаптивного аудиомикса, согласно варианту осуществления;

фиг. 3 - структурная схема архитектуры воспроизведения, предназначенной для использования в адаптивной аудиосистеме, согласно варианту осуществления;

фиг. 4А - структурная схема, на которой показаны функциональные компоненты, адаптирующие аудиоконтент кинофильма для использования в среде прослушивания, согласно варианту осуществления;

фиг. 4В - подробная структурная схема компонентов из фиг. 3А, согласно варианту осуществления;

фиг. 4С - структурная схема функциональных компонентов аудиосреды, согласно варианту осуществления;

фиг. 5 - иллюстрация размещения адаптивной аудиосистемы в среде домашнего театра;

фиг. 6 - иллюстрация применения излучающей вверх головки при использовании отраженного звука для имитации подвесного громкоговорителя в среде прослушивания;

фиг. 7А - вид громкоговорителя, имеющего множество головок в первой конфигурации, предназначенного для использования в адаптивной аудиосистеме, имеющей рендерер отраженного звука, согласно варианту осуществления;

фиг. 7В - вид системы громкоговорителей, имеющей головки, распределенные по многочисленным корпусам, предназначенной для использования в адаптивной аудиосистеме, имеющей рендерер отраженного звука, согласно варианту осуществления;

фиг. 7С - иллюстрация примера конфигурации звуковой панели, применяемой в адаптивной аудиосистеме с использованием рендерера отраженного звука, согласно варианту осуществления;

фиг. 8 - иллюстрация примера размещения громкоговорителей, имеющих индивидуально адресуемые головки, в том числе излучающие вверх головки, расположенные в среде прослушивания;

фиг. 9А - иллюстрация конфигурации громкоговорителей для адаптивной аудиосистемы 5.1 с использованием многочисленных адресуемых головок для формирования отраженных аудиосигналов, согласно варианту осуществления;

фиг. 9В - иллюстрация конфигурации громкоговорителей для адаптивной аудиосистемы 7.1 с использованием многочисленных адресуемых головок для формирования отраженных аудиосигналов, согласно варианту осуществления;

фиг. 10 - схема, которая иллюстрирует состав двунаправленного соединения, согласно варианту осуществления;

фиг. 11 - иллюстрация процесса автоматического конфигурирования и калибровки, предназначенного для использования в адаптивной аудиосистеме, согласно варианту осуществления;

фиг. 12 - блок-схема последовательности действий, иллюстрирующая этапы способа калибровки, используемого в адаптивной аудиосистеме, согласно варианту осуществления;

фиг. 13 - иллюстрация применения адаптивной аудиосистемы на примере использования телевизора и звуковой панели;

фиг. 14 - иллюстрация упрощенного представления трехмерной бинауральной виртуализации наушников в адаптивной аудиосистеме, согласно варианту осуществления;

фиг. 15 - таблица описаний некоторых метаданных, предназначенных для использования в адаптивной аудиосистеме с применением рендерера отраженного звука применительно к средам прослушивания, согласно варианту осуществления; и

фиг. 16 - график, иллюстрирующий частотную характеристику комбинированного фильтра, согласно варианту осуществления.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

Описываются системы и способы применительно к адаптивной аудиосистеме, в соответствии с которыми осуществляется рендеринг отраженного звука в адаптивных аудиосистемах, в которых отсутствуют подвесные громкоговорители. Аспекты одного или нескольких вариантов осуществления, описанных в этой заявке, могут быть реализованы в аудио- или аудиовизуальной системе, в которой аудиоинформация источника обрабатывается в системе смешения, рендеринга и воспроизведения, которая включает в себя один или несколько компьютеров или устройств обработки, исполняющих инструкции программного обеспечения. Любой из описанных вариантов осуществления можно использовать сам по себе или совместно с другими вариантами осуществления в любом сочетании. Хотя различные варианты осуществления могут быть мотивированы различными недостатками из предшествующего уровня техники, которые могут рассматриваться или упоминаться в одном или нескольких местах описания, вариантами осуществления необязательно устраняется любой из этих недостатков. Иначе говоря, различными вариантами осуществления могут устраняться разные недостатки, которые могут рассматриваться в описании. Некоторыми вариантами осуществления могут только частично устраняться некоторые недостатки или всего лишь один недостаток, который может рассматриваться в описании, а некоторыми вариантами осуществления может не устраняться никакой из этих недостатков.

Применительно к настоящему описанию нижеследующие термины имеют связанные с ними значения: термин «канал» означает аудиосигнал в дополнение к метаданным, в которых положение кодируется в качестве идентификатора канала, например, левое фронтальное звуковое окружение или правое верхнее звуковое окружение; «канально-ориентированное аудио» представляет собой аудио, форматированное для воспроизведения в пределах заданного набора зон громкоговорителей с соответствующими номинальными местами, например 5.1, 7.1 и т.д.; термин «объект» или «объектно-ориентированное аудио» означает один или несколько аудиоканалов с описанием параметрического источника, таким как положение кажущегося источника (например, в трехмерных координатах), ширина кажущегося источника и т.д.; и термин «адаптивное аудио» означает канально-ориентированные и/или объектно-ориентированные аудиосигналы в дополнение к метаданным, в соответствии с которыми осуществляется рендеринг аудиосигналов в зависимости от среды воспроизведения при использовании аудиопотока в дополнение к метаданным, в которых положение кодировано как трехмерное положение в пространстве; и термин «среда прослушивания» означает любое открытое, частично закрытое или полностью закрытое пространство, такое как комната, которое можно использовать для воспроизведения только аудиоконтента или в сочетании с видео- или другим контентом и можно реализовать в домашних условиях, в кинотеатре, театре, аудитории, студии, игровой консоли и т.п. Такое пространство может иметь одну или несколько поверхностей, расположенных в нем, таких как стены или перегородки, которые могут прямо или диффузно отражать звуковые волны.

Адаптивный аудиоформат и система

Варианты осуществления касаются системы рендеринга отраженного звука, которая сконфигурирована для работы с использованием аудиоформата, и системы обработки, которую можно назвать «пространственной аудиосистемой» или «адаптивной аудиосистемой», которая основана на аудиоформате и технологии рендеринга, позволяющими обеспечить более глубокое погружение слушателей, большее художественное воздействие, и гибкость, и масштабируемость системы. В целом адаптивная аудиосистема обычно содержит систему кодирования, распределения и декодирования аудио, сконфигурированную для образования одного или нескольких битовых потоков, содержащих обычные канально-ориентированные аудиоэлементы и элементы кодирования аудиообъектов. При таком комбинированном подходе обеспечивается большая эффективность кодирования и гибкость рендеринга по сравнению с канально-ориентированным подходом или объектно-ориентированным подходом, используемыми отдельно. Пример адаптивной аудиосистемы, которую можно использовать в сочетании с предложенными вариантами осуществления, описан в находящейся на рассмотрении предварительной заявке №61/636429 на патент США, поданной 20 апреля 2012 года, под названием “System and method for adaptive audio signal generation, coding and rendering”, которая полностью включена в эту заявку путем ссылки.

Примером реализации адаптивной аудиосистемы и связанного с ней аудиоформата является платформа Dolby® Atmos™. Такая система имеет линейный размер по высоте (вверх/вниз) и может быть реализована как система 9.1 объемного звука или как аналогичная конфигурация объемного звука. На фиг. 1 показано размещение громкоговорителей в предложенной системе объемного звука (например, в системе 9.1 объемного звука), которая снабжена верхними громкоговорителями для воспроизведения верхних каналов. Конфигурация 9.1 системы 100 состоит из пяти громкоговорителей 102 в плоскости пола и четырех громкоговорителей 104 в верхней плоскости. В общем случае эти громкоговорители можно использовать для создания звука, который предназначен для излучения более или менее точно с любого места в пределах среды прослушивания. При заданных конфигурациях громкоговорителей, таких как конфигурация, показанная на фиг. 1, может естественным образом ограничиваться возможность точного представления положения конкретного источника звука. Например, источник звука нельзя панорамировать левее места нахождения левого громкоговорителя. Это применимо к каждому громкоговорителю, и поэтому формируется одномерная (например, влево/вправо), двумерная (например, вперед/назад) или трехмерная (например, влево/вправо, вперед/назад, вверх/вниз) геометрическая форма, при которой понижающее микширование ограниченно. Различные конфигурации можно использовать в качестве такой конфигурации и громкоговорители различных видов можно использовать в такой конфигурации. Например, в некоторых улучшенных аудиосистемах можно использовать громкоговорители в конфигурациях 9.1, 11.1, 13.1, 19.4 или в иной конфигурации. Громкоговорители могут включать в себя широкополосные громкоговорители прямого излучения, группы громкоговорителей, громкоговорители объемного звучания, сабвуферы, высокочастотные громкоговорители и громкоговорители других видов.

Аудиообъекты можно рассматривать как группы аудиоэлементов, которые могут воспринимать излучение с конкретного физического места или мест в среде прослушивания. Такие объекты могут быть статическими (то есть, неподвижными) или динамическими (то есть, подвижными). Аудиообъекты регулируются метаданными, которые задают положение звука в конкретной точке во времени наряду с выполнением других функций. Когда объекты воспроизводятся, их рендеринг осуществляется в соответствии с позиционными метаданными с использованием имеющихся громкоговорителей вместо обязательного вывода в заданные физические каналы. Трек в сессии может быть аудиообъектом, а стандартные данные панорамирования являются аналогом позиционных метаданных. Таким образом, контент, помещенный на экран, можно эффективно панорамировать таким же образом, как и при использовании канально-ориентированного контента, но при желании рендеринг контента, помещенного в звуковое окружение, можно осуществлять для индивидуального громкоговорителя. Хотя использование аудиообъектов обеспечивает желаемое регулирование дискретных эффектов, другие аспекты звукового трека могут эффективно работать в канально-ориентированной среде. Например, на самом деле многие эффекты внешней среды или реверберацию выгодно подавать на группы громкоговорителей. Хотя их можно рассматривать как объекты с шириной, достаточной для заполнения группы, предпочтительно поддерживать некоторую канально-ориентированную функциональность.

Адаптивная аудиосистема сконфигурирована для поддержания «слоев» в дополнение к аудиообъектам, при этом слои представляют собой эффективные канально-ориентированные субмиксы или стемы. В зависимости от замысла создателя контента они могут быть поданы на конечное воспроизведение (рендеринг) индивидуально или в сочетании с одним слоем. Эти слои могут создаваться при различных канально-ориентированных конфигурациях, таких как 5.1, 7.1 и 9.1, и группах, которые включают в себя подвесные громкоговорители, такие, как показанные на фиг. 1. На фиг. 2 показано сочетание канала и объектно-ориентированных данных для получения адаптивного аудиомикса согласно варианту осуществления. Как показано в процессе 200, канально-ориентированные данные 202, которые могут быть, например, данными объемного звука 5.1 или 7.1, полученными в виде данных с импульсно-кодовой модуляцией (ИКМ), объединяются с данными 204 об аудиообъектах с образованием адаптивного аудиомикса 208. Данные 204 об аудиообъектах образуются объединением элементов исходных канально-ориентированных данных с соответствующими метаданными, которыми точно определяются некоторые параметры, имеющие отношение к местоположению аудиообъектов. Как концептуально показано на фиг. 2, средства авторской обработки позволяют создавать аудиопрограммы, которые одновременно охватывают сочетание групп каналов громкоговорителей и объектных каналов. Например, аудиопрограмма может охватывать один или несколько каналов громкоговорителей, которые по желанию можно организовывать в группы (или треки, например стереофонические треки, или треки 5.1), описательные метаданные для одного или нескольких каналов громкоговорителей, одного или нескольких объектных каналов и описательные метаданные для одного или нескольких объектных каналов.

Адаптивная аудиосистема эффективно оставляет позади простые «подачи сигналов громкоговорителей» как средство распределения пространственного аудио, и были разработаны усовершенствованные основанные на модели описания аудио, позволяющие слушателю свободно выбирать конфигурацию воспроизведения, которая удовлетворяет его индивидуальным потребностям или бюджету, с рендерингом аудио, специально выполненным для индивидуально выбранной конфигурации. На высоком уровне имеются четыре основных формата описания пространственного аудио: (1) подача сигнала громкоговорителей, когда аудио описывается как сигналы, предназначенные для громкоговорителей, расположенных на номинальных местах громкоговорителей; (2) подача сигнала микрофона, когда аудио описывается как сигналы, захватываемые реальными или виртуальными микрофонами в заданной конфигурации (количество микрофонов и их относительное положение); (3) основанное на модели описание, в котором аудио описывается как последовательность аудиособытий в описанные моменты времени и в описанных местах; и (4) бинауральное, когда аудио описывается сигналами, которые достигают двух ушей слушателя.

Четыре формата описания часто связывают с нижеследующими распространенными технологиями рендеринга, в которых термин «рендеринг» означает преобразование в электрические сигналы, используемые в качестве подач сигналов громкоговорителей: (1) панорамирование, когда аудиопоток преобразуется в подачи сигналов громкоговорителей с использованием набора правил панорамирования и известных или предполагаемых положений громкоговорителей (обычно рендеринг выполняется до распределения); (2) формат амбиофонии, когда сигналы микрофонов преобразуются в подачи сигналов для масштабируемой группы громкоговорителей (обычно подвергаемые рендерингу после распределения); (3) синтез волнового поля (СВП), когда аудиособытия преобразуются в соответствующие сигналы громкоговорителей для синтезирования звукового поля (обычно подвергаемому рендерингу после распределения); и (4) бинауральный формат, когда левые и правые бинауральные сигналы подводят к левому и правому ушам, обычно через наушники, но также и через громкоговорители в сочетании с подавлением перекрестных помех.

В общем случае любой формат можно преобразовать в другой формат (хотя для этого может требоваться слепое разделение источников или подобная технология) и выполнить рендеринг при использовании любой из упомянутых выше технологий; однако на практике не все преобразования приводят в хорошим результатам. Формат подачи сигналов громкоговорителей является наиболее распространенным, поскольку он является простым и эффективным. Наилучшие акустические результаты (то есть, наибольшие точность и надежность) достигаются при смешении/мониторинге и затем непосредственном распределении подач сигналов по громкоговорителям, поскольку не требуется обработка между создателем контента и слушателем. Если система воспроизведения известна заранее, описанием подач сигналов громкоговорителей обеспечивается наивысшая верность воспроизведения; однако система воспроизведения и ее конфигурация часто неизвестны заранее. В отличие от этого основанное на модели описание является наиболее легко приспосабливаемым, поскольку в нем отсутствуют допущения относительно системы воспроизведения и поэтому легче всего применять многочисленные технологии рендеринга. В основанном на модели описании может эффективно захватываться пространственная информация, но оно может стать очень неэффективным, когда количество аудиоисточников возрастает.

В адаптивной аудиосистеме сочетаются преимущества канальных и основанных на модели систем, при этом конкретные преимущества включают в себя высокое качество тембра, оптимальное воспроизведение артистического замысла при смешении и рендеринге с использованием такой же конфигурации каналов, один перечень при использовании адаптации «сверху вниз» для конфигурации рендеринга, относительно небольшое влияние на системный конвейер и усиленный эффект погружения благодаря более высокому пространственному разрешению горизонтальных громкоговорителей и новым верхним каналам. Адаптивная аудиосистема обеспечивает получение нескольких новых особенностей, включая один перечень при адаптации сверху вниз и снизу вверх для конкретной конфигурации рендеринга кинофильма, то есть задержанного рендеринга и оптимального использования имеющихся громкоговорителей в среде воспроизведения; усиленное окружение, в том числе оптимизированное понижающее микширование для исключения артефактов межканальной корреляции (МКК); повышенное пространственное разрешение благодаря непрерывно управляемым группам (что позволяет, например, динамически приписывать аудиообъект к одному или нескольким громкоговорителям в группе объемного звука); и повышенное разрешение фронтального канала благодаря высокоразрешающей центральной или аналогичной конфигурации громкоговорителей.

Пространственные эффекты аудиосигналов являются важными при создании эффекта погружения слушателя. Звуки, которые предназначены для излучения из конкретной области обозреваемого экрана или среды прослушивания, должны воспроизводиться через громкоговоритель (громкоговорители), расположенный на том же самом относительном месте. Таким образом, первичные аудиометаданные звукового события в основанном на модели описании представляют положение, хотя другие параметры, такие как размер, ориентация, скорость и акустическая дисперсия, также могут описываться. Чтобы переместить положение, для основанного на модели трехмерного пространственного описания аудио необходима трехмерная система координат. Систему координат, используемую при переносе (эвклидову, сферическую, цилиндрическую), обычно выбирают исходя из удобства или компактности; однако другие системы координат можно использовать для процесса рендеринга. В дополнение к системе координат система отсчета необходима для представления мест нахождения объектов в пространстве. Для точного воспроизведения позиционно-ориентированного звука в ряде различных сред выбор надлежащей системы отсчета для системы может быть важным. При использовании аллоцентрической системы отсчета положение источника звука определяется относительно элементов в среде рендеринга, таких как стены и углы комнаты, стандартные места нахождения громкоговорителей и место нахождения экрана. При эгоцентрической системе отсчета положения представляют относительно взгляда слушателя, например, «передо мной», «несколько левее» и т.д. Научное исследование пространственного восприятия (звукового и иного) показало, что эгоцентрическая перспектива используется почти повсюду. Однако в условиях кинотеатра аллоцентрическая система отсчета обычно является более подходящей. Например, точное местоположение аудиообъекта наиболее важно в случае, когда связанный с ним объект имеется на экране. При использовании аллоцентрической системы отсчета для каждого места прослушивания и при любом размере экрана звук будет локализован в том же самом относительном месте на экране, например, «на треть левее середины экрана». Другая причина заключается в том, что звукооператоры склонны размышлять и выполнять микширование в аллоцентрических условиях, а средства панорамирования располагают при использовании аллоцентрической системы отсчета (то есть, стен комнаты), и звукооператоры ожидают выполнения рендеринга, например, «этот звук должен быть на экране», «этот звук должен быть вне экрана» или «от левой стены» и т.д.

Независимо от использования аллоцентрической системы отсчета в среде кинотеатра имеются некоторые случаи, когда эгоцентрическая система отсчета может быть полезной и более подходящей. Эти случаи включают в себя закадровые звуки, то есть, звуки, которые не присутствуют в «пространстве фабулы», например, музыкальное сопровождение, для которого эгоцентрически равномерное представление может быть желательным. Еще один случай относится к эффектам ближнего поля (например, к жужжанию комаров в левом ухе слушателя), для которых требуется эгоцентрическое представление. Кроме того, бесконечно далекие источники звука (и результирующие плоские волны) могут проявляться как приходящие с постоянного эгоцентрического места (например, на 30° левее), и такие звуки легче описывать в эгоцентрических терминах, чем в аллоцентрических терминах. В некоторых случаях можно использовать аллоцентрическую систему отсчета при условии, что определяют номинальное положение прослушивания, тогда как в некоторых примерах требуется эгоцентрическое представление, иначе говоря, выполнение рендеринга невозможно. Хотя аллоцентрическая система отсчета может быть более полезной и подходящей, аудиопредставление должно быть расширяемым, поскольку многие новые признаки, включая эгоцентрическое представление, могут быть более желательными в некоторых применениях и средах прослушивания.

Варианты осуществления адаптивной аудиосистемы включают в себя гибридный способ пространственного описания, который включает в себя рекомендованную конфигурацию каналов для оптимальной верности воспроизведения и для рендеринга рассеянных или сложных многоточечных источников (например, народа на стадионе, окружения) при использовании эгоцентрической системы отсчета с добавлением аллоцентрического основанного на модели описания звука для эффективного обеспечения повышенного пространственного разрешения и масштабируемости. На фиг. 3 согласно варианту осуществления представлена структурная схема архитектуры воспроизведения, предназначенной для использования в адаптивной аудиосистеме. Система из фиг. 3 включает в себя блоки обработки, которые выполняют декодирование унаследованного аудио, объектов и каналов, рендеринг объектов, переназначение каналов и обработку сигналов до передачи аудио на постобработку, и/или усиление, и каскады громкоговорителей.

Система 300 воспроизведения сконфигурирована для рендеринга и воспроизведения аудиоконтента, который создается одним или несколькими компонентами захвата, предварительной обработки, авторской обработки и кодирования. Препроцессор адаптивного аудио может обладать функциональной возможностью разделения источников и обнаружения вида контента с тем, чтобы автоматически формировать соответствующие метаданные на основании анализа входного аудио. Например, позиционные метаданные могут быть получены из многоканальной записи в результате выполнения анализа относительных уровней коррелированных входных сигналов пары каналов. Определение вида контента, такого как «речь» или «музыка», может быть получено, например, путем извлечения и классификации признаков. Некоторые средства авторской обработки позволяют выполнять авторскую обработку аудиопрограмм путем оптимизации входных сигналов и кодификации творческого замысла звукооператора, что позволяет создавать конечный аудиомикс, который оптимизирован для воспроизведения практически в любой среде воспроизведения. Это можно выполнить путем использования аудиообъектов и позиционных данных, то есть, связанных и кодированных при использовании исходного аудиоконтента. Для точного размещения звуков по периметру аудитории звукооператору необходимо контролировать, каким образом в конечном счете рендеринг звука будет выполнен на основании реальных ограничений и особенностей среды воспроизведения. В адаптивной аудио