Обработка пространственно диффузных или больших звуковых объектов

Обработка пространственно диффузных или больших звуковых объектов

Иллюстрации

Показать все

Реферат

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

[0001] По настоящей заявке испрашивается приоритет патентной заявки Испании № P201331193, поданной 31 июля 2013 г., и предварительной заявки США № 61/885805, поданной 2 октября 2013 г., полное содержание каждой из которых включено в настоящий документ посредством ссылки.

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0002] Это раскрытие относится к обработке аудиоданных. В частности, это раскрытие относится к обработке аудиоданных, соответствующих диффузным или пространственно большим звуковым объектам.

УРОВЕНЬ ТЕХНИКИ

[0003] Со времени появления звука в фильмах в 1927 г. происходило стабильное развитие технологии, используемой для захвата авторского замысла кинематографической звуковой дорожки и для воспроизведения этого содержимого. В 1970-х компания "Dolby" представила экономически эффективное средство кодирования и распространения миксов с тремя экранными каналами и моноканалом объемного звучания. "Dolby" обеспечила цифровой звук для кино в 1990-х посредством 5.1-канального формата, который обеспечивает дискретные левый, центральный и правый экранные каналы, левую и правую матрицы объемного звучания и канал сабвуфера для низкочастотных эффектов. Система Dolby Surround 7.1, представленная в 2010 г., увеличила количество каналов объемного звучания путем разбиения существующих левого и правого каналов объемного звучания на четыре "зоны".

[0004] Системы проигрывания аудио как для кино, так и для домашних кинотеатров становятся все более универсальными и сложными. Системы проигрывания аудио домашнего кинотеатра включают в себя все большие количества динамиков. Поскольку количество каналов увеличивается и размещение громкоговорителей переходит от плоской двухмерной (2D) матрицы к трехмерной (3D) матрице, включающей в себя приподнятость, воспроизведение звуков в среде проигрывания становится все более сложным процессом. Улучшенные способы обработки аудио были бы желательны.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0005] Улучшенные способы для обработки диффузных или пространственно больших звуковых объектов обеспечены. Используемый здесь термин "звуковой объект" ссылается на аудиосигналы (также называемые здесь "сигналами звуковых объектов") и ассоциированные метаданные, которые могут создаваться или "разрабатываться" без ссылки на какую-либо конкретную среду проигрывания. Ассоциированные метаданные могут включать в себя данные позиции звукового объекта, данные усиления звукового объекта, данные размера звукового объекта, данные траектории звукового объекта и т. д. Используемый здесь термин "рендеринг" относится к процессу преобразования звуковых объектов в подаваемые сигналы динамика для конкретной среды проигрывания. Процесс рендеринга может выполняться, по меньшей мере частично, согласно ассоциированным метаданным и согласно данным среды проигрывания. Данные среды проигрывания могут включать в себя указание некоторого количества динамиков в среде проигрывания и указание местоположения каждого динамика внутри среды проигрывания.

[0006] Пространственно большой звуковой объект не подразумевается как воспринимаемый в качестве точечного источника звука, но должен вместо этого восприниматься как покрывающий большую пространственную область. В некоторых случаях большой звуковой объект должен восприниматься как окружающий слушателя. Такие аудиоэффекты не могут быть достигнуты одним только панорамированием и вместо этого могут требовать дополнительной обработки. Для создания убедительного размера пространственного объекта или пространственной диффузности, существенная часть сигналов динамика в среде проигрывания должна быть взаимно независима или по меньшей мере некоррелирована (например, независима в плане взаимной корреляции первого порядка или ковариации). Достаточно сложная система рендеринга, такая как система рендеринга для кинотеатра, может иметь возможность обеспечения такой декорреляции. Однако менее сложные системы рендеринга, такие как предназначенные для систем домашнего кинотеатра, не могут иметь возможность обеспечения надлежащей декорреляции.

[0007] Некоторые осуществления, описанные здесь, могут включать в себя определение диффузных или пространственно больших звуковых объектов для специальной обработки. Процесс декорреляции может выполняться над аудиосигналами, соответствующими большим звуковым объектам, для создания декоррелированных аудиосигналов больших звуковых объектов. Эти декоррелированные аудиосигналы больших звуковых объектов могут быть ассоциированы с местоположениями объектов, которые могут быть стационарными или изменяющимися во времени местоположениями. Процесс ассоциирования может быть независим от конфигурации фактических динамиков проигрывания. Например, декоррелированные аудиосигналы больших звуковых объектов могут подвергаться рендерингу для местоположений виртуальных динамиков. В некоторых осуществлениях выходной сигнал из такого процесса рендеринга может быть входным для процесса упрощения сцены.

[0008] Соответственно, по меньшей мере некоторые аспекты этого раскрытия могут осуществляться в способе, который может включать в себя прием аудиоданных, содержащих звуковые объекты. Звуковые объекты могут включать в себя сигналы звуковых объектов и ассоциированные метаданные. Метаданные могут включать в себя по меньшей мере данные размера звукового объекта.

[0009] Способ может включать в себя определение, на основе данных размера звукового объекта, большого звукового объекта, имеющего размер звукового объекта, который больше порогового размера, и выполнение процесса декорреляции над аудиосигналами больших звуковых объектов для создания декоррелированных аудиосигналов больших звуковых объектов. Способ может включать в себя ассоциирование декоррелированных аудиосигналов больших звуковых объектов с местоположениями объектов. Процесс ассоциирования может быть независим от конфигурации фактических динамиков проигрывания. Конфигурация фактических динамиков проигрывания может впоследствии быть использована для осуществления рендеринга декоррелированных аудиосигналов больших звуковых объектов для динамиков среды проигрывания.

[0010] Способ может включать в себя прием метаданных декорреляции для большого звукового объекта. Процесс декорреляции может выполняться, по меньшей мере частично, согласно метаданным декорреляции. Способ может включать в себя кодирование аудиоданных, выходящих из процесса ассоциирования. В некоторых осуществлениях процесс кодирования может не включать в себя кодирование метаданных декорреляции для большого звукового объекта.

[0011] Местоположения объектов могут включать в себя местоположения, соответствующие по меньшей мере некоторым из данных позиции звукового объекта принятых звуковых объектов. По меньшей мере некоторые из местоположений объектов могут быть стационарными. Однако в некоторых осуществлениях по меньшей мере некоторые из местоположений объектов могут изменяться с течением времени.

[0012] Процесс ассоциирования может включать в себя рендеринг декоррелированных аудиосигналов больших звуковых объектов согласно местоположениям виртуальных динамиков. В некоторых примерах процесс приема может включать в себя прием одного или нескольких сигналов звуковой подложки, соответствующих местоположениям динамиков. Способ может включать в себя микширование декоррелированных аудиосигналов больших звуковых объектов с по меньшей мере некоторыми из принятых сигналов звуковой подложки или принятых сигналов звуковых объектов. Способ может включать в себя вывод декоррелированных аудиосигналов больших звуковых объектов в качестве дополнительных сигналов звуковой подложки или сигналов звуковых объектов.

[0013] Способ может включать в себя применение процесса регулирования уровня к декоррелированным аудиосигналам больших звуковых объектов. В некоторых осуществлениях метаданные большого звукового объекта могут включать в себя метаданные позиции звукового объекта, и процесс регулирования уровня может зависеть, по меньшей мере частично, от метаданных размера звукового объекта и метаданных позиции звукового объекта большого звукового объекта.

[0014] Способ может включать в себя ослабление или удаление аудиосигналов больших звуковых объектов, после того как процесс декорреляции выполняется. Однако в некоторых осуществлениях способ может включать в себя сохранение аудиосигналов, соответствующих вкладу точечного источника большого звукового объекта, после того как процесс декорреляции выполняется.

[0015] Метаданные большого звукового объекта могут включать в себя метаданные позиции звукового объекта. В некоторых таких осуществлениях способ может включать в себя вычисление вкладов от виртуальных источников внутри области или объема звукового объекта, определенных данными позиции большого звукового объекта и данными размера большого звукового объекта. Способ также может включать в себя определение набора значений усиления звуковых объектов для каждого из множества выходных каналов на основе, по меньшей мере частично, вычисленных вкладов. Способ может включать в себя микширование декоррелированных аудиосигналов больших звуковых объектов с аудиосигналами для звуковых объектов, которые пространственно отделяются пороговой величиной расстояния от большого звукового объекта.

[0016] В некоторых осуществлениях способ может включать в себя выполнение процесса кластеризации звуковых объектов после процесса декорреляции. В некоторых таких осуществлениях процесс кластеризации звуковых объектов может выполняться после процесса ассоциирования.

[0017] Способ может включать в себя оценку аудиоданных для определения типа содержимого. В некоторых таких осуществлениях процесс декорреляции может выборочно выполняться согласно типу содержимого. Например, количество декорреляции, которая должна быть выполнена, может зависеть от типа содержимого. Процесс декорреляции может включать в себя задержки, универсальные фильтры, псевдослучайные фильтры и/или алгоритмы реверберации.

[0018] Способы, раскрываемые здесь, могут осуществляться с помощью аппаратных средств, программно-аппаратных средств, программных средств, сохраненных на одном или нескольких некратковременных носителей, и/или комбинаций перечисленного. Например, по меньшей мере некоторые аспекты этого раскрытия могут осуществляться в устройстве, которое включает в себя систему интерфейса и логическую систему. Система интерфейса может включать в себя пользовательский интерфейс и/или сетевой интерфейс. В некоторых осуществлениях устройство может включать в себя систему памяти. Система интерфейса может включать в себя по меньшей мере один интерфейс между логической системой и системой памяти.

[0019] Логическая система может включать в себя по меньшей мере один процессор, такой как универсальный одно- или многочиповый процессор, процессор цифровых сигналов (DSP), специализированную интегральную схему (ASIC), программируемую пользователем вентильную матрицу (FPGA) или другое программируемое логическое устройство, схему на дискретных компонентах или транзисторную логическую схему, дискретные аппаратные компоненты и/или комбинации перечисленного.

[0020] В некоторых осуществлениях логическая система может иметь возможность приема, посредством системы интерфейса, аудиоданных, содержащих звуковые объекты. Звуковые объекты могут включать в себя сигналы звуковых объектов и ассоциированные метаданные. В некоторых осуществлениях метаданные включают в себя по меньшей мере данные размера звукового объекта. Логическая система может иметь возможность определения, на основе данных размера звукового объекта, большого звукового объекта, имеющего размер звукового объекта, который больше порогового размера, и выполнения процесса декорреляции над аудиосигналами больших звуковых объектов для создания декоррелированных аудиосигналов больших звуковых объектов. Логическая система может иметь возможность ассоциирования декоррелированных аудиосигналов больших звуковых объектов с местоположениями объектов.

[0021] Процесс ассоциирования может быть независим от конфигурации фактических динамиков проигрывания. Например, процесс ассоциирования может включать в себя рендеринг декоррелированных аудиосигналов больших звуковых объектов согласно местоположениям виртуальных динамиков. Конфигурация фактических динамиков проигрывания может впоследствии быть использована для осуществления рендеринга декоррелированных аудиосигналов больших звуковых объектов для динамиков среды проигрывания.

[0022] Логическая система может иметь возможность приема, посредством системы интерфейса, метаданных декорреляции для большого звукового объекта. Процесс декорреляции может выполняться, по меньшей мере частично, согласно метаданным декорреляции.

[0023] Логическая система может иметь возможность кодирования аудиоданных, выходящих из процесса ассоциирования. В некоторых осуществлениях процесс кодирования может не включать в себя кодирование метаданных декорреляции для большого звукового объекта.

[0024] По меньшей мере некоторые из местоположений объектов могут быть стационарными. Однако по меньшей мере некоторые из местоположений объектов могут изменяться с течением времени. Метаданные большого звукового объекта могут включать в себя метаданные позиции звукового объекта. Местоположения объектов могут включать в себя местоположения, соответствующие по меньшей мере некоторым из метаданных позиции звукового объекта принятых звуковых объектов.

[0025] Процесс приема может включать в себя прием одного или нескольких сигналов звуковой подложки, соответствующих местоположениям динамиков. Логическая система может иметь возможность микширования декоррелированных аудиосигналов больших звуковых объектов с по меньшей мере некоторыми из принятых сигналов звуковой подложки или принятых сигналов звуковых объектов. Логическая система может иметь возможность вывода декоррелированных аудиосигналов больших звуковых объектов в качестве дополнительных сигналов звуковой подложки или сигналов звуковых объектов.

[0026] Логическая система может иметь возможность применения процесса регулирования уровня к декоррелированным аудиосигналам больших звуковых объектов. Процесс регулирования уровня может зависеть, по меньшей мере частично, от метаданных размера звукового объекта и метаданных позиции звукового объекта большого звукового объекта.

[0027] Логическая система может иметь возможность ослабления или удаления аудиосигналов больших звуковых объектов, после того как процесс декорреляции выполняется. Однако устройство может иметь возможность сохранения аудиосигналов, соответствующих вкладу точечного источника большого звукового объекта, после того как процесс декорреляции выполняется.

[0028] Логическая система может иметь возможность вычисления вкладов от виртуальных источников внутри области или объема звукового объекта, определенных данными позиции большого звукового объекта и данными размера большого звукового объекта. Логическая система может иметь возможность определения набора значений усиления звуковых объектов для каждого из множества выходных каналов на основе, по меньшей мере частично, вычисленных вкладов. Логическая система может иметь возможность микширования декоррелированных аудиосигналов больших звуковых объектов с аудиосигналами для звуковых объектов, которые пространственно отделяются пороговой величиной расстояния от большого звукового объекта.

[0029] Логическая система может иметь возможность выполнения процесса кластеризации звуковых объектов после процесса декорреляции. В некоторых осуществлениях процесс кластеризации звуковых объектов может выполняться после процесса ассоциирования.

[0030] Логическая система может иметь возможность оценки аудиоданных для определения типа содержимого. Процесс декорреляции может выборочно выполняться согласно типу содержимого. Например, количество декорреляции, которая должна быть выполнена, зависит от типа содержимого. Процесс декорреляции может включать в себя задержки, универсальные фильтры, псевдослучайные фильтры и/или алгоритмы реверберации.

[0031] Подробности одного или нескольких осуществлений изобретения, описанного в этом техническом описании, излагаются на сопроводительных чертежах и в описании ниже. Другие признаки, аспекты и преимущества станут очевидны из описания, чертежей и пунктов формулы. Следует заметить, что относительные размеры следующих чертежей могут не быть изображены в масштабе.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0032] Фиг.1 изображает пример среды проигрывания, имеющей конфигурацию Dolby Surround 5.1.

[0033] Фиг.2 изображает пример среды проигрывания, имеющей конфигурацию Dolby Surround 7.1.

[0034] Фиг.3A и 3B изображают два примера сред проигрывания домашнего кинотеатра, которые включают в себя конфигурации динамиков высоты.

[0035] Фиг.4A изображает пример графического пользовательского интерфейса (GUI), который иллюстрирует зоны динамиков на изменяющихся приподнятостях в виртуальной среде проигрывания.

[0036] Фиг.4B изображает пример другой среды проигрывания.

[0037] Фиг.5 изображает блок-схему, которая обеспечивает пример звуковой обработки для пространственно больших звуковых объектов.

[0038] Фиг.6A–6F изображают структурные схемы, которые иллюстрируют примеры компонентов звукового обрабатывающего устройства с возможностью обработки больших звуковых объектов.

[0039] Фиг.7 изображает структурную схему, которая изображает пример системы, выполненной с возможностью исполнения процесса кластеризации.

[0040] Фиг.8 изображает структурную схему, которая иллюстрирует пример системы, выполненной с возможностью кластеризации объектов и/или подложек в системе адаптивной звуковой обработки.

[0041] Фиг.9 изображает структурную схему, которая обеспечивает пример процесса кластеризации, следующего за процессом декорреляции для больших звуковых объектов.

[0042] Фиг.10A изображает пример местоположений виртуальных источников по отношению к среде проигрывания.

[0043] Фиг.10B изображает альтернативный пример местоположений виртуальных источников по отношению к среде проигрывания.

[0044] Фиг.11 изображает структурную схему, которая обеспечивает примеры компонентов звукового обрабатывающего устройства.

[0045] Подобные ссылочные позиции и обозначения на различных чертежах указывают подобные элементы.

ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0046] Следующее описание направлено на конкретные осуществления в целях описания некоторых новаторских аспектов этого раскрытия, а также примеры контекстов, в которых эти новаторские аспекты могут осуществляться. Однако принципы, описанные здесь, могут применяться различными другими способами. Например, несмотря на то, что различные осуществления описаны в отношении конкретных сред проигрывания, принципы, описанные здесь, могут широко применяться в других известных средах проигрывания, а также средах проигрывания, которые могут быть представлены в будущем. Кроме того, описанные осуществления могут осуществляться, по меньшей мере частично, в различных устройствах и системах в качестве аппаратных средств, программных средств, программно-аппаратных средств, облачных систем и т. д. Соответственно, принципы этого раскрытия не подразумеваются как ограниченные осуществлениями, показанными на чертежах и/или описанными здесь, а вместо этого имеют широкую применимость.

[0047] Фиг.1 изображает пример среды проигрывания, имеющей конфигурацию Dolby Surround 5.1. В этом примере среда проигрывания является средой проигрывания кинотеатра. Dolby Surround 5.1 была разработана в 1990-х, но эта конфигурация все еще широко применяется в домашних и кинотеатральных средах проигрывания. В среде проигрывания кинотеатра проектор 105 может быть сконфигурирован для проецирования видеоизображений, например для фильма, на экран 150. Аудиоданные могут синхронизироваться с видеоизображениями и обрабатываться звуковым процессором 110. Усилители 115 мощности могут обеспечивать подаваемые сигналы динамика к динамикам среды 100 проигрывания.

[0048] Конфигурация Dolby Surround 5.1 включает в себя левый канал 120 объемного звучания для левой матрицы 122 объемного звучания и правый канал 125 объемного звучания для правой матрицы 127 объемного звучания. Конфигурация Dolby Surround 5.1 также включает в себя левый канал 130 для левой матрицы 132 динамиков, центральный канал 135 для центральной матрицы 137 динамиков и правый канал 140 для правой матрицы 142 динамиков. В среде кинотеатра эти каналы могут называться левым каналом экрана, центральным каналом экрана и правым каналом экрана, соответственно. Отдельный канал 144 низкочастотных эффектов (LFE) обеспечен для сабвуфера 145.

[0049] В 2010 г. Dolby обеспечила улучшение для цифрового звука кинотеатра путем введения Dolby Surround 7.1. Фиг.2 изображает пример среды проигрывания, имеющей конфигурацию Dolby Surround 7.1. Цифровой проектор 205 может быть сконфигурирован для приема цифровых видеоданных и для проецирования видеоизображений на экран 150. Аудиоданные могут обрабатываться звуковым процессором 210. Усилители мощности 215 могут обеспечивать подаваемые сигналы динамика к динамикам среды проигрывания 200.

[0050] Как и Dolby Surround 5.1, конфигурация Dolby Surround 7.1 включает в себя левый канал 130 для левой матрицы 132 динамиков, центральный канал 135 для центральной матрицы 137 динамиков, правый канал 140 для правой матрицы 142 динамиков и канал 144 LFE для сабвуфера 145. Конфигурация Dolby Surround 7.1 включает в себя левую боковую матрицу 220 объемного звучания (Lss) и правую боковую матрицу 225 объемного звучания (Rss), каждая из которых может приводиться в действие одним каналом.

[0051] Однако Dolby Surround 7.1 увеличивает количество каналов объемного звучания путем разбиения левых и правых каналов объемного звучания Dolby Surround 5.1 на четыре зоны: дополнительно к левой боковой матрице 220 объемного звучания и правой боковой матрице 225 объемного звучания, отдельные каналы включены для левых задних динамиков 224 объемного звучания (Lrs) и правых задних динамиков 226 объемного звучания (Rrs). Увеличенное количество зон объемного звучания внутри среды 200 проигрывания может существенно улучшить локализацию звука.

[0052] В попытке создания более иммерсивной среды некоторые среды проигрывания могут быть сконфигурированы с увеличенными количествами динамиков, приводимых в действие увеличенными количествами каналов. Кроме того, некоторые среды проигрывания могут включать в себя динамики, размещенные на различных приподнятостях, некоторые из которых могут быть "динамиками высоты", сконфигурированными для создания звука от области, которая выше области сидения среды проигрывания.

[0053] Фиг.3A и 3B изображают два примера сред проигрывания домашнего кинотеатра, которые включают в себя конфигурации динамиков высоты. В этих примерах, среды 300a и 300b проигрывания включают в себя основные признаки конфигурации Dolby Surround 5.1, включающие в себя левый динамик 322 объемного звучания, правый динамик 327 объемного звучания, левый динамик 332, правый динамик 342, центральный динамик 337 и сабвуфер 145. Однако среда 300 проигрывания включает в себя расширение конфигурации Dolby Surround 5.1 для динамиков высоты, которое может называться конфигурацией Dolby Surround 5.1.2.

[0054] Фиг.3A изображает пример среды проигрывания, имеющей динамики высоты, установленные на потолке 360 среды проигрывания домашнего кинотеатра. В этом примере среда 300a проигрывания включает в себя динамик 352 высоты, который находится в левой верхней средней (Ltm) позиции, и динамик 357 высоты находится в правой верхней средней (Rtm) позиции. В примере, изображенном на фиг.3B, левый динамик 332 и правый динамик 342 являются динамиками приподнятости Dolby, которые конфигурируются для отражения звука от потолка 360. При надлежащей конфигурации отраженный звук может восприниматься слушателями 365 так, как если бы источник звука находился на потолке 360. Однако количество и конфигурация динамиков обеспечены лишь в качестве примера. Некоторые текущие осуществления домашних кинотеатров предусматривают вплоть до 34 позиций динамиков, и предполагаемые осуществления домашних кинотеатров могут обеспечить возможность еще большего количества позиций динамиков.

[0055] Соответственно, современной тенденцией является включать не только больше динамиков и больше каналов, но также включать динамики на различных высотах. По мере того как количество каналов увеличивается и размещение динамиков переходит от 2D к 3D, задачи позиционирования и рендеринга звуков становятся все более сложными.

[0056] Соответственно, Dolby разработала различные инструменты, включающие в себя, но не ограничивающиеся, пользовательские интерфейсы, которые увеличивают функциональные возможности и/или уменьшают сложность разработки для системы звука 3D-аудио. Некоторые такие инструменты могут быть использованы для создания звуковых объектов и/или метаданных для звуковых объектов.

[0057] Фиг.4A изображает пример графического пользовательского интерфейса (GUI), который иллюстрирует зоны динамиков на изменяющихся приподнятостях в виртуальной среде проигрывания. GUI 400 может, например, отображаться на устройстве отображения согласно инструкциям от логической системы, согласно сигналам, принятым от устройств ввода пользователя, и т. д. Некоторые такие устройства описаны ниже со ссылками на фиг.11.

[0058] Используемый здесь со ссылками на виртуальные среды проигрывания, такие как виртуальная среда 404 проигрывания, термин "зона динамика" в общем случае ссылается на логическую структуру, которая может иметь или не иметь взаимно-однозначное соответствие с фактическим динамиком среды проигрывания. Например, "местоположение зоны динамика" может соответствовать или не соответствовать конкретному местоположению динамика среды проигрывания кинотеатра. Вместо этого термин "местоположение зоны динамика" может ссылаться в общем случае на зону виртуальной среды проигрывания. В некоторых осуществлениях зона динамика виртуальной среды проигрывания может соответствовать виртуальному динамику, например, путем использования технологии виртуализации, такой как Dolby Headphone™ (иногда называемой Mobile Surround™), которая создает виртуальную среду объемного звука в реальном времени с использованием комплекта двухканальных стереонаушников. В GUI 400 существует семь зон 402a динамиков на первой приподнятости и две зоны 402b динамиков на второй приподнятости, что в сумме обеспечивает девять зон динамиков в виртуальной среде 404 проигрывания. В этом примере зоны 1–3 динамиков находятся в передней области 405 виртуальной среды 404 проигрывания. Передняя область 405 может соответствовать, например, области среды проигрывания кинотеатра, в которой расположен экран 150, области дома, в которой расположен телевизионный экран, и т. д.

[0059] Здесь зона 4 динамика соответствует в общем динамикам в левой области 410, и зона 5 динамика соответствует динамикам в правой области 415 виртуальной среды 404 проигрывания. Зона 6 динамика соответствует левой задней области 412, и зона 7 динамика соответствует правой задней области 414 виртуальной среды 404 проигрывания. Зона 8 динамика соответствует динамикам в верхней области 420a, и зона 9 динамика соответствует динамикам в верхней области 420b, которая может быть областью виртуального потолка. Соответственно, местоположения зон 1–9 динамиков, которые показаны на фиг.4A, могут соответствовать или не соответствовать местоположениям фактических динамиков среды проигрывания. Кроме того, другие осуществления могут включать в себя больше или меньше зон динамиков и/или приподнятостей.

[0060] В различных осуществлениях, описанных здесь, пользовательский интерфейс, такой как GUI 400, может быть использован в составе инструмента разработки и/или инструмента рендеринга. В некоторых осуществлениях инструмент разработки и/или инструмент рендеринга может осуществляться с помощью программных средств, сохраненных на одном или нескольких некратковременных носителях. Инструмент разработки и/или инструмент рендеринга может осуществляться (по меньшей мере частично) посредством аппаратных средств, программно-аппаратных средств и т. д., таких как логическая система и другие устройства, описанные ниже со ссылками на фиг.11. В некоторых осуществлениях разработки ассоциированный инструмент разработки может быть использован для создания метаданных для ассоциированных аудиоданных. Метаданные могут, например, включать в себя данные, указывающее позицию и/или траекторию звукового объекта в трехмерном пространстве, данные ограничения зоны динамика и т. д. Метаданные могут создаваться в отношении зон 402 динамиков виртуальной среды 404 проигрывания, а не в отношении конкретного размещения фактических динамиков среды проигрывания. Инструмент рендеринга может принимать аудиоданные и ассоциированные метаданные и может вычислять усиления аудио и подаваемые сигналы динамика для среды проигрывания. Такие усиления аудио и подаваемые сигналы динамика могут быть вычислены согласно процессу панорамирования амплитуды, который может создавать впечатление, что звук исходит из позиции P в среде проигрывания. Например, подаваемые сигналы динамика могут быть обеспечены динамикам от 1 до N среды проигрывания согласно следующему уравнению:

[0061] x_i(t)=g_ix(t), i=1,..., N (Уравнение 1)

[0062] В уравнении 1 x_i(t) представляет подаваемый сигнал динамика, который должен быть применен к динамику i, g_i представляет коэффициент усиления соответствующего канала, x(t) представляет аудиосигнал и t представляет время. Коэффициенты усиления могут быть определены, например, согласно способам панорамирования амплитуды, описанным в разделе 2 на страницах 3-4 работы В. Пулкки "Компенсация замещения виртуальных источников после панорамирования амплитуды" (Общество инженеров по звуковой технике (AES), Международная конференция по виртуальному, синтетическому и развлекательному аудио), которая включена в настоящий документ посредством ссылки. В некоторых осуществлениях усиления могут быть зависимы от частоты. В некоторых осуществлениях время задержка может быть представлено путем замены x(t) на x(t-Δt).

[0063] В некоторых осуществлениях рендеринга данные воспроизведения аудио, созданные со ссылками на зоны 402 динамиков, могут быть отображены в местоположения динамиков широкого диапазона сред проигрывания, которые могут быть конфигурацией Dolby Surround 5.1, конфигурацией Dolby Surround 7.1, конфигурацией Hamasaki 22.2 или другой конфигурацией. Например, со ссылкой на фиг.2, инструмент рендеринга может отображать данные воспроизведения аудио для зон 4 и 5 динамиков в матрицу 220 объемного звучания левой стороны и матрицу 225 объемного звучания правой стороны среды проигрывания, имеющей конфигурацию Dolby Surround 7.1. Данные воспроизведения аудио для зон 1, 2 и 3 динамиков могут отображаться в левый канал 230 экрана, правый канал 240 экрана и центральный канал 235 экрана, соответственно. Данные воспроизведения аудио для зон 6 и 7 динамиков могут отображаться в левые задние динамики 224 объемного звучания и правые задние динамики 226 объемного звучания.

[0064] Фиг.4B изображает пример другой среды проигрывания. В некоторых осуществлениях инструмент рендеринга может отображать данные воспроизведения аудио для зон 1, 2 и 3 динамиков для соответствующих динамиков 455 экрана среды 450 проигрывания. Инструмент рендеринга может отображать данные воспроизведения аудио для зон 4 и 5 динамиков в матрицу 460 объемного звучания левой стороны и матрицу 465 объемного звучания правой стороны и может отображать данные воспроизведения аудио для зон 8 и 9 динамиков в левые верхние динамики 470a и правые верхние динамики 470b. Данные воспроизведения аудио для зон 6 и 7 динамиков могут отображаться в левые задние динамики 480a объемного звучания и правые задние динамики 480b объемного звучания.

[0065] В некоторых осуществления разработки инструменты разработки могут быть использованы для создания метаданных для звуковых объектов. Метаданные могут указывать 3D-позицию объекта, ограничения рендеринга, тип содержимого (например, диалог, эффекты и т. д.) и/или другую информацию. В зависимости от осуществления, метаданные могут включать в себя другие типы данных, такие как данные ширины, данные усиления, данные траектории и т. д. Некоторые звуковые объекты могут быть статичными, в то время как другие могут перемещаться.

[0066] Звуковые объекты подвергаются рендерингу согласно их ассоциированным метаданным, которые в общем случае включают в себя позиционные метаданные, указывающие позицию звукового объекта в трехмерном пространстве в некоторый заданный момент времени. Когда звуковые объекты отслеживаются или проигрываются в среде проигрывания, звуковые объекты подвергаются рендерингу согласно позиционным метаданным с использованием динамиков, которые присутствуют в среде проигрывания, вместо того чтобы выводиться в предварительно определенный физический канал, как в случае с традиционными системами на основе каналов, такими как Dolby 5.1 и Dolby 7.1.

[0067] В качестве дополнения к позиционным метаданным, другие типы метаданных могут быть необходимы для создания надлежащих аудиоэффектов. Например, в некоторых осуществлениях метаданные, ассоциированные со звуковым объектом, могут указывать размер звукового объекта, который может также называться "шириной". Метаданные размера могут быть использованы для указания пространственной области или объема, занятых звуковым объектом. Пространственно большой звуковой объект должен восприниматься как покрывающий большую пространственную область, не только в качестве точечного источника звука, имеющего местоположение, определенное только метаданными позиции звукового объекта. В некоторых случаях, например, большой звуковой объект должен восприниматься как занимающий существенную часть среды проигрывания, возможно даже окружающий слушателя.

[0068] Система слуха человека очень чувствительна к изменениям в корреляции или согласованности сигналов, поступающих в оба уха, и отображает эту корреляцию в атрибут воспринимаемого размера объекта, если нормализованная корреляция меньше значения +1. Таким образом, для того чтобы создать убедительный размер пространственного объекта, или пространственную диффузность, существенная часть сигналов динамика в среде проигрывания должна быть взаимно независима или по меньшей мере некоррелированна (например, независима в плане взаимной корреляции первого порядка или ковариации). Удовлетворительный процесс декорреляции обычно достаточно сложен и, как правило, включает в себя фильтры, переменные во времени.

[0069] Кинематографическая звуковая дорожка может включать в себя сотни объектов, с каждым из которых ассоциированы метаданные позиции, метаданные размера и, возможно, другие пространственные метаданные. Кроме того, система звука кинотеатра может включать в себя сотни громкоговорителей, которые могут быть индивидуально управляемыми для обеспечения удовлетворительного восприятия местоположений и размеров звуковых объектов. В кинотеатре, таким образом, сотни объектов могут воспроизводиться сотнями громкоговорителей, и отображение из объекта в сигнал громкоговорителя состоит из очень большой матрицы коэффициентов панорамирования. Когда количество объектов представлено как M и количество громкоговорителей представлено как N, эта матрица имеет вплоть до M*N элементов. Это создает осложнения для воспроизведения диффузных или больших объектов. Для создания убедительного размера пространственного объекта, или пространственной диффузности, существенная часть сигналов N громкоговорителей должна быть взаимно независимой или по меньшей мере некоррелированной. Это в общем случае включает в себя использование множества (вплоть до N) независимых процессов декорреляции, вызывающих существенную процессорную нагрузку для процесса рендеринга. Кроме того, количество декорреляции может быть различным для каждого объекта, что дополнительно усложняет процесс рендери