Система и инструментальные средства для усовершенствованной авторской разработки и представления трехмерных аудиоданных

Система и инструментальные средства для усовершенствованной авторской разработки и представления трехмерных аудиоданных

Иллюстрации

Показать все

Реферат

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

[0001] Данная заявка заявляет приоритет предварительной заявки на патент США №61/504005, поданной 1 июля 2011 г., и предварительной заявки на патент США №61/636102, поданной 20 апреля 2012 г., обе заявки с сылкой включаются в данное раскрытие полностью во всех отношениях.

ОБЛАСТЬ ТЕХНИЧЕСКОГО ПРИМЕНЕНИЯ

[0002] Данное раскрытие относится к авторской разработке и представлению данных звуковоспроизведения. В частности, данное раскрытие относится к авторской разработке и представлению данных звуковоспроизведения для таких воспроизводящих сред, как системы звуковоспроизведения для кинематографии.

ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯ

[0003] С момента представления в 1927 г. звука на пленке происходило устойчивое развитие технологии, используемой для захвата авторского замысла звуковой дорожки кинокартины и для ее проигрывания в среде кинематографии. В 1930-е гг. синхронизированный звук на диске уступил место переменной области звука на пленке, которая в дальнейшем развивалась в 1940-е гг. вместе с соображениями акустики для театров и совершенствования конструкции громкоговорителей наряду с первыми представлениями многодорожечной записи и управляемого проигрывания (с использованием управляющих тонов для перемещения звуков). В 1950-е и 1960-е гг. нанесение магнитной дорожки на пленку сделало возможным многоканальное воспроизведение в театре, введение окружающих каналов и до пяти экранных каналов в театрах высокого класса.

[0004] В 1970-е гг. Dolby представила шумоподавление как при компоновке кинопродукции, так и на пленке наряду с экономичными средствами кодирования и распространения микшированных звуковых дорожек с тремя экранными каналами и монофоническим окружающим каналом. Качество кинематографического звука было дополнительно улучшено в 1980-е гг. шумоподавлением Dolby Spectral Recording (SR) и такими программами аттестации, как THX. В ходе 1990-х гг. Dolby привнесла в кинематографию цифровой звук с форматом каналов 5.1, который предусматривает отдельные левый, центральный и правый экранные каналы, левый и правый окружающие массивы и сверхнизкочастотный канал для низкочастотных эффектов. Dolby Surround 7.1, представленный в 2010 г., увеличил количество окружающих каналов путем разложения существующих левого и правого окружающих каналов на четыре «зоны».

[0005] По мере того, как увеличивается количество каналов, и схема расположения громкоговорителей переходит от плоского двумерного (2D) массива к трехмерному (3D) массиву, включая возвышение, задача определения местоположения и представления данных для звуков становится все более и более сложной. Были бы желательны усовершенствованные способы авторской разработки и представления аудиоданных.

КРАТКОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

[0006] Некоторые особенности предмета изобретения, описываемые в данном раскрытии, могут быть реализованы в инструментальных средствах для авторской разработки и представления данных звуковоспроизведения. Некоторые из указанных инструментальных средств авторской разработки позволяют обобщать данные звуковоспроизведения на широкий выбор воспроизводящих сред. Согласно некоторым из указанных реализаций, данные звуковоспроизведения могут авторски разрабатываться путем создания метаданных для звуковых объектов. Эти метаданные могут создаваться со ссылкой на зоны громкоговорителей. В ходе процесса представления данных, данные звуковоспроизведения могут воспроизводиться в соответствии со схемой расположения воспроизводящих громкоговорителей для конкретной воспроизводящей среды.

[0007] Некоторые реализации, описываемые в данном раскрытии, предусматривают устройство, которое включает систему интерфейсов и логическую систему. Логическая система может конфигурироваться для приема посредством системы интерфейсов данных звуковоспроизведения, которые содержат один или несколько звуковых объектов и связанные метаданные, и данные воспроизводящей среды. Данные воспроизводящей среды могут содержать указатель количества воспроизводящих громкоговорителей в воспроизводящей среде и указатель местоположения каждого воспроизводящего громкоговорителя в пределах воспроизводящей среды. Логическая система может конфигурироваться для представления данных звуковых объектов в одном или нескольких сигналах, подаваемых на громкоговорители, по меньшей мере, частично на основе связанных метаданных и данных воспроизводящей среды, где каждый сигнал, подаваемый на громкоговоритель, соответствует, по меньшей мере, одному воспроизводящему громкоговорителю в пределах воспроизводящей среды. Логическая система может конфигурироваться для вычисления коэффициентов усиления для громкоговорителей, соответствующих местоположениям виртуальных громкоговорителей.

[0008] Воспроизводящая среда может, например, представлять собой среду звуковой системы для кинематографии. Воспроизводящая среда может иметь конфигурацию Dolby Surround 5.1, конфигурацию Dolby Surround 7.1 или конфигурацию окружающего звука Hamasaki 22.2. Данные воспроизводящей среды могут содержать данные схемы расположения воспроизводящих громкоговорителей, указывающие местоположения воспроизводящих громкоговорителей. Данные воспроизводящей среды могут содержать данные зон воспроизводящих громкоговорителей, указывающие области воспроизводящих громкоговорителей и местоположения воспроизводящих громкоговорителей, которые соответствуют областям воспроизводящих громкоговорителей.

[0009] Метаданные могут содержать информацию для присвоения местоположения звукового объекта местоположению единичного воспроизводящего громкоговорителя. Представление данных может включать создание совокупного коэффициента усиления на основе одного или нескольких следующих параметров: требуемого положения звукового объекта, расстояния от требуемого положения звукового объекта до исходного положения, скорости звукового объекта или типа содержимого звукового объекта. Метаданные могут содержать данные для ограничения положения звукового объекта одномерной кривой или двумерной поверхностью. Метаданные могут содержать данные траектории для звукового объекта.

[0010] Представление данных может включать наложение ограничений на зоны громкоговорителей. Например, устройство может содержать систему пользовательского ввода. Согласно некоторым реализациям, представление данных может включать применение управления балансом между экраном и помещением в соответствии с данными управления балансом между экраном и помещением, получаемыми из системы пользовательского ввода.

[0011] Устройство может содержать дисплейную систему. Логическая система может конфигурироваться для управления дисплейной системой с целью демонстрации динамического трехмерного вида воспроизводящей среды.

[0012] Представление данных может включать управление распространением звукового объекта в одном или нескольких из трех измерений. Представление данных может включать динамическое перераспределение объекта в ответ на перегрузку громкоговорителей. Представление данных может включать присвоения местоположений звуковых объектов плоскостям массивов громкоговорителей воспроизводящей среды.

[0013] Устройство может содержать один или несколько постоянных носителей данных, таких как запоминающие устройства системы памяти. Запоминающие устройства могут, например, включать память с произвольным доступом (RAM), постоянное запоминающее устройство (ROM), флеш-память, один или несколько накопителей на жестких магнитных дисках. Система интерфейсов может содержать интерфейс между логической системой и одним или несколькими указанными запоминающими устройствами. Система интерфейсов также может содержать сетевой интерфейс.

[0014] Метаданные могут содержать метаданные ограничения зон громкоговорителей. Логическая система может конфигурироваться для ослабления выбранных сигналов, подаваемых на выбранный громкоговоритель, путем выполнения следующих операций: вычисления первых коэффициентов усиления, которые содержат вклады от выбранных громкоговорителей; вычисление вторых коэффициентов усиления, которые не включают вклады от выбранных громкоговорителей; и смешивания первых коэффициентов усиления со вторыми коэффициентами усиления. Логическая система может конфигурироваться для определения того, применять правила панорамирования для положения звукового объекта или присваивать положение звукового объекта местоположению единичного громкоговорителя. Логическая система может конфигурироваться для плавных переходов между коэффициентами усиления громкоговорителей при переходе от присвоения положения звукового объекта от местоположения первого единичного громкоговорителя в местоположение второго единичного громкоговорителя. Логическая система может конфигурироваться для плавных переходов между коэффициентами усиления громкоговорителей при переходе между присвоением положения звукового объекта местоположению единичного громкоговорителя и применением правил панорамирования к положению звукового объекта. Логическая система может конфигурироваться для вычисления коэффициентов усиления громкоговорителей для положений звукового объекта на одномерной кривой между положениями виртуальных громкоговорителей.

[0015] Некоторые способы, описываемые в данном раскрытии, включают прием данных звуковоспроизведения, которые содержат один или несколько звуковых объектов и связанные метаданные, и прием данных воспроизводящей среды, которые включают указатель количества воспроизводящих громкоговорителей в воспроизводящей среде. Данные воспроизводящей среды могут содержать указатель местоположения каждого воспроизводящего громкоговорителя в пределах воспроизводящей среды. Указанные способы могут включать представление данных звуковых объектов в один или несколько сигналов, подаваемых на громкоговорители, по меньшей мере, частично на основе связанных метаданных. Каждый сигнал, подаваемый на громкоговоритель, может соответствовать, по меньшей мере, одному из воспроизводящих громкоговорителей в пределах воспроизводящей среды. Воспроизводящая среда может представлять собой среду звуковой системы для кинематографии.

[0016] Представление данных может включать создание совокупного коэффициента усиления на основе одного или нескольких параметров: требуемого местоположения звукового объекта, расстояния от требуемого местоположения звукового объекта до исходного положения, скорости звукового объекта или типа содержимого звукового объекта. Метаданные могут включать данные для ограничения местоположения звукового объекта одномерной кривой или двумерной поверхностью. Представление данных может включать наложение ограничений на зоны громкоговорителей.

[0017] Некоторые реализации могут обнаруживаться на одном или нескольких постоянных носителях данных, содержащих хранящееся в их памяти программное обеспечение. Программное обеспечение может содержать команды для управления одним или несколькими устройствами с целью выполнения следующих операций: приема данных звуковоспроизведения, содержащих один или несколько звуковых объектов и связанные метаданные; приема данных воспроизводящей среды, содержащих указатель количества воспроизводящих громкоговорителей в воспроизводящей среде и указатель местоположения каждого воспроизводящего громкоговорителя в пределах воспроизводящей среды; и представления данных звуковых объектов в один или несколько сигналов, подаваемых на громкоговорители, по меньшей мере, частично на основе связанных метаданных. Каждый сигнал, подаваемый на громкоговоритель, может соответствовать, по меньшей мере, одному из воспроизводящих громкоговорителей в пределах воспроизводящей среды. Воспроизводящая среда может, например, представлять собой среду звуковой системы для кинематографии.

[0018] Представление данных может включать создание совокупного коэффициента усиления на основе одного или нескольких параметров: требуемого положения звукового объекта, расстояния от требуемого местоположения звукового объекта до исходного положения, скорости звукового объекта или типа содержимого звукового объекта. Метаданные могут содержать данные для ограничения положения звукового объекта одномерной кривой или двумерной поверхностью. Представление данных может включать наложение ограничений на зоны громкоговорителей. Представление данных может включать динамическое перераспределение объекта в ответ на перегрузку громкоговорителей.

[0019] В данном раскрытии описываются и альтернативные устройства. Некоторые такие устройства могут содержать систему интерфейсов, систему пользовательского ввода и логическую систему. Логическая система может конфигурироваться для приема аудиоданных через систему интерфейсов, приема положения звукового объекта через систему пользовательского ввода или систему интерфейсов и определения положения звукового объекта в трехмерном пространстве. Указанное определение может включать ограничение положения одномерной кривой или двумерной поверхностью в пределах трехмерного пространства. Логическая система может конфигурироваться для создания метаданных, связанных со звуковым объектом, по меньшей мере, частично на основе пользовательского ввода, принимаемого через систему пользовательского ввода, при этом метаданные содержат данные, указывающие положение звукового объекта в трехмерном пространстве.

[0020] Метаданные могут содержать данные траектории, указывающие переменное во времени положение звукового объекта в пределах трехмерного пространства. Логическая система может конфигурироваться для вычисления данных траектории в соответствии с пользовательским вводом, принимаемым через систему пользовательского ввода. Данные траектории могут содержать набор положений в пределах трехмерного пространства для нескольких моментов времени. Данные траектории могут содержать исходное положение, данные скорости и данные ускорения. Данные траектории могут содержать исходное положение и уравнение, которое определяет положения в трехмерном пространстве и соответствующие времена.

[0021] Устройство может содержать дисплейную систему. Логическая система может конфигурироваться для управления дисплейной системой с целью демонстрации траектории звукового объекта в соответствии с данными траектории.

[0022] Логическая система может конфигурироваться для создания метаданных ограничения зон громкоговорителей в соответствии с пользовательским вводом, принимаемым через систему пользовательского ввода. Метаданные ограничения зон громкоговорителей могут содержать данные для блокирования выбранных громкоговорителей. Логическая система может конфигурироваться для создания метаданных ограничения зон громкоговорителей путем присвоения положения звукового объекта единичному громкоговорителю.

[0023] Устройство может содержать систему звуковоспроизведения. Логическая система может конфигурироваться для управления системой звуковоспроизведения, по меньшей мере, частично в соответствии с метаданными.

[0024] Положение звукового объекта может ограничиваться одномерной кривой. Логическая система может дополнительно конфигурироваться для создания положений виртуальных громкоговорителей на одномерной кривой.

[0025] В данном раскрытии описываются и альтернативные способы. Некоторые такие способы включают прием аудиоданных, прием положения звукового объекта и определение положения звукового объекта в трехмерном пространстве. Указанное определение может включать ограничение положения одномерной кривой или двумерной поверхностью в пределах трехмерного пространства. Указанные способы могут включать создание метаданных, связанных со звуковым объектом, по меньшей мере, частично на основе пользовательского ввода.

[0026] Метаданные могут содержать данные, указывающие положение звукового объекта в трехмерном пространстве. Метаданные могут содержать данные траектории, указывающие переменное во времени положение звукового объекта в пределах трехмерного пространства. Создание метаданных может включать создание метаданных ограничения зон громкоговорителей, например, в соответствии с пользовательским вводом. Метаданные ограничения зон громкоговорителей могут содержать данные для блокирования выбранных громкоговорителей.

[0027] Положение звукового объекта может ограничиваться одномерной кривой. Указанные способы могут включать создание положений виртуальных громкоговорителей на указанной одномерной кривой.

[0028] Другие особенности данного раскрытия могут реализовываться на одном или нескольких постоянных носителях данных, в памяти которых содержится программное обеспечение. Указанное программное обеспечение может содержать команды для управления одним или несколькими устройствами с целью выполнения следующих операций: приема аудиоданных; приема положения звукового объекта; и определения положения звукового объекта в трехмерном пространстве. Указанное определение может включать ограничение указанного положения одномерной кривой или двумерной поверхностью в пределах трехмерного пространства. Указанное программное обеспечение может содержать команды для управления одним или несколькими устройствами с целью создания метаданных, связанных с указанным звуковым объектом. Метаданные, по меньшей мере, частично основываются на пользовательском вводе.

[0029] Метаданные могут содержать данные, указывающие положение звукового объекта в трехмерном пространстве. Указанные метаданные могут содержать данные траектории, указывающие переменное во времени положение звукового объекта в пределах указанного трехмерного пространства. Создание метаданных может включать создание метаданных ограничения зон громкоговорителей, например, в соответствии с пользовательским вводом. Метаданные ограничения зон громкоговорителей могут содержать данные для блокирования выбранных громкоговорителей.

[0030] Указанное положение звукового объекта может быть ограничено одномерной кривой. Программное обеспечение может содержать команды для управления одним или несколькими устройствами с целью создания положений виртуальных громкоговорителей на указанной одномерной кривой.

[0031] Подробности одной или нескольких реализаций предмета изобретения, описываемые в данном описании, изложены ниже в сопроводительных графических материалах и описании. Другие характерные признаки, особенности и преимущества будут очевидны из описания, графических материалов и формулы изобретения. Следует отметить, что относительные размеры на нижеследующих фигурах могут не являться вычерченными в масштабе.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

[0032] На фиг. 1 показан пример воспроизводящей среды, имеющей конфигурацию Dolby Surround 5.1.

[0033] На фиг. 2 показан пример воспроизводящей среды, имеющей конфигурацию Dolby Surround 7.1.

[0034] На фиг. 3 показан пример воспроизводящей среды, имеющей конфигурацию окружающего звука Hamasaki 22.2.

[0035] На фиг. 4A показан пример графического пользовательского интерфейса (GUI), который графически представляет зоны громкоговорителей при переменных возвышениях в виртуальной воспроизводящей среде.

[0036] На фиг. 4В показан пример другой воспроизводящей среды.

[0037] На фиг. 5А-5С показаны примеры характеристик громкоговорителей, соответствующих звуковому объекту, имеющему положение, которое ограничено двумерной поверхностью в трехмерном пространстве.

[0038] На фиг. 5D и 5Е показаны примеры двумерных поверхностей, которыми может ограничиваться звуковой объект.

[0039] Фиг. 6А представляет собой схему последовательности операций, которая описывает один из примеров процесса ограничения положений звукового объекта двумерной поверхностью.

[0040] Фиг. 6В представляет собой схему последовательности операций, которая описывает один из примеров процесса присвоения положения звукового объекта местоположению единичного громкоговорителя или зоне единичного громкоговорителя.

[0041] Фиг. 7 представляет собой схему последовательности операций, которая описывает процесс создания и использования виртуальных громкоговорителей.

[0042] На фиг. 8А-8С показаны примеры виртуальных громкоговорителей, присвоенных конечным точкам линии, и соответствующие характеристики громкоговорителей.

[0043] На фиг. 9А-9С показаны примеры использования виртуальной привязки для перемещения звукового объекта.

[0044] Фиг. 10А представляет собой схему последовательности операций, которая описывает процесс использования виртуальной привязки для перемещения звукового объекта.

[0045] Фиг. 10В представляет собой схему последовательности операций, которая описывает альтернативный процесс использования виртуальной привязки для перемещения звукового объекта.

[0046] На фиг. 10С-10Е показаны примеры процесса, описанного на фиг. 10В.

[0047] На фиг. 11 показан пример применения ограничения зон громкоговорителей в виртуальной воспроизводящей среде.

[0048] Фиг. 12 представляет собой схему последовательности операций, которая описывает некоторые примеры применения правил ограничения зон громкоговорителей.

[0049] На фиг. 13А и 13В показан один из примеров GUI, который может переключаться между двумерным изображением и трехмерным изображением виртуальной воспроизводящей среды.

[0050] На фиг. 13С-13Е показаны сочетания двумерных и трехмерных иллюстраций воспроизводящих сред.

[0051] Фиг. 14А представляет собой схему последовательности операций, которая описывает процесс управления устройством, предназначенным для представления таких интерфейсов GUI, как интерфейсы, показанные на фиг. 13С-13Е.

[0052] Фиг. 14В представляет собой схему последовательности операций, которая описывает процесс представления данных звуковых объектов для воспроизводящей среды.

[0053] На фиг. 15А показан один из примеров звукового объекта и связанной ширины звукового объекта в виртуальной воспроизводящей среде.

[0054] На фиг. 15В показан один из примеров профиля распространения, соответствующего ширине звукового объекта, показанной на фиг. 15А.

[0055] Фиг. 16 представляет собой схему последовательности операций, которая описывает процесс перераспределения звуковых объектов.

[0056] На фиг. 17А и 17В показаны примеры звукового объекта, расположенного в трехмерной виртуальной воспроизводящей среде.

[0057] На фиг. 18 показаны примеры зон, которые соответствуют режимам панорамирования.

[0058] На фиг. 19A-19D показаны примеры применения методик панорамирования в ближней зоне и дальней зоне к звуковым объектам в различных местоположениях.

[0059] На фиг. 20 указаны зоны громкоговорителей воспроизводящей среды, которая могут использоваться в процессе управления смещением между экраном и помещением.

[0060] Фиг. 21 представляет собой блок-схему, которая представляет примеры компонентов устройства для авторской разработки и/или представления данных.

[0061] Фиг. 22А представляет собой блок-схему, которая представляет некоторые компоненты, которые могут использоваться для создания звукового содержимого.

[0062] Фиг. 22В представляет собой блок-схему, которая представляет некоторые компоненты, которые могут использоваться для проигрывания звука в воспроизводящей среде.

[0063] Сходные ссылочные позиции и обозначения в различных графических материалах указывают сходные элементы.

ОПИСАНИЕ ПРИМЕРНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

[0064] Нижеследующее описание направлено на некоторые реализации с целью описания некоторых изобретательских особенностей данного раскрытия, а также примеров контекстов, в которых эти изобретательские особенности могут реализовываться. Однако описанные идеи данного раскрытия могут применяться и другими различными способами. Например, несмотря на то, что различные реализации описаны в отношении конкретных воспроизводящих сред, идеи данного раскрытия широко применимы к другим известным воспроизводящим средам, а также к воспроизводящим средам, которые могут быть представлены в будущем. Аналогично, несмотря на то, что в данном раскрытии представлены примеры графических пользовательских интерфейсов (GUI), некоторые из которых предусматривают примеры местоположений громкоговорителей, зон громкоговорителей и т.д., предполагаются и другие реализации. Кроме того, описанные реализации могут реализовываться в различных инструментальных средствах авторской разработки и/или представления данных, которые могут разнообразно реализовываться в аппаратном обеспечении, программном обеспечении, аппаратно-программном обеспечении и т.д. Соответственно идеи данного раскрытия не подразумеваются как ограниченные реализациями, показанными на фигурах и/или описанными в данном раскрытии, но вместо этого имеют широкую применимость.

[0065] На фиг. 1 показан пример воспроизводящей среды, имеющей конфигурацию Dolby Surround 5.1. Dolby Surround 5.1 разрабатывалась в 1990-е гг., однако эта конфигурация по-прежнему широко распространена в средах звуковых систем для кинематографии. Проектор 105 может конфигурироваться для проецирования видеоизображений, например, кинокартины, на экран 150. Данные звуковоспроизведения могут синхронизироваться с видеоизображениями и обрабатываться устройством 110 обработки звука. Усилители 115 мощности могут снабжать громкоговорители воспроизводящей среды 100 сигналами, подаваемыми на громкоговорители.

[0066] Конфигурация Dolby Surround 5.1 содержит левый окружающий массив 120 и правый окружающий массив 125, каждый из которых комплексно управляется единственным каналом. Конфигурация Dolby Surround 5.1 также содержит отдельные каналы для левого экранного канала 130, центрального экранного канала 135 и правого экранного канала 140. Для низкочастотных эффектов (LFE) предусматривается отдельный канал для сверхнизкочастотного громкоговорителя 145.

[0067] В 2010 г. Dolby представила усовершенствования цифрового звука для кинематографии, представив Dolby Surround 7.1. На фиг. 2 показан пример воспроизводящей среды, имеющей конфигурацию Dolby Surround 7.1. Цифровой проектор 205 может конфигурироваться для приема цифровых видеоданных и для проецирования видеоизображений на экран 150. Данные звуковоспроизведения могут обрабатываться устройством 210 обработки звука. Усилители 215 мощности могут снабжать громкоговорители воспроизводящей среды 200 сигналами, подаваемыми на громкоговорители.

[0068] Конфигурация Dolby Surround 7.1 включает левый боковой окружающий массив 220 и правый боковой окружающий массив 225, каждый из которых может управляться единственным каналом. Как и Dolby Surround 5.1, конфигурация Dolby Surround 7.1 содержит отдельные каналы для левого экранного канала 230, центрального экранного канала 235, правого экранного канала 240 и сверхнизкочастотного громкоговорителя 245. Однако Dolby Surround 7.1 увеличивает количество окружающих каналов путем разделения левого и правого окружающих каналов Dolby Surround 5.1 на четыре зоны: в дополнение к левому боковому окружающему массиву 220 и правому боковому окружающему массиву 225, для левых задних окружающих громкоговорителей 224 и правых задних окружающих громкоговорителей 226 включены отдельные каналы. Увеличение количества окружающих зон в пределах воспроизводящей среды 200 может значительно улучшать локализацию звука.

[0069] В попытке создать более многонаправленную среду, некоторые воспроизводящие среды могут конфигурироваться с повышенными количествами громкоговорителей, управляемых повышенными количествами каналов. Более того, некоторые воспроизводящие среды могут содержать громкоговорители, развернутые на разных возвышениях, некоторые из которых могут находиться над опорной поверхностью воспроизводящей среды.

[0070] На фиг. 3 показан пример воспроизводящей среды, имеющей конфигурацию окружающего звука Hamasaki 22.2. Hamasaki 22.2 разрабатывалась в NHK Science & Technology Research Laboratories в Японии как компонент окружающего звука для телевидения сверхвысокой четкости. Hamasaki 22.2 предусматривает 24 канала громкоговорителей, которые могут использоваться для управления громкоговорителями, расположенными в трех слоях. Верхний слой 310 громкоговорителей воспроизводящей среды 300 может управляться 9 каналами. Средний слой 320 громкоговорителей может управляться 10 каналами. Нижний слой 330 громкоговорителей может управляться 5 каналами, два из которых предназначены для сверхнизкочастотных громкоговорителей 345a и 345b.

[0071] Соответственно современным направлением является включение не только большего количества громкоговорителей и большего количества каналов, но также включение громкоговорителей на разных высотах. По мере того, как увеличивается количество каналов, и слой громкоговорителей переходит от двумерного массива к трехмерному массиву, становятся все более и более сложными задачи определения положения и представления данных для звуков.

[0072] Данное раскрытие предусматривает различные инструментальные средства, а также относящиеся к ним пользовательские интерфейсы, что увеличивает функциональные возможности и/или снижает сложность авторской разработки для системы трехмерного звука.

[0073] На фиг. 4А показан один из примеров графического пользовательского интерфейса (GUI), который графически представляет зоны громкоговорителей на различных возвышениях в виртуальной воспроизводящей среде. GUI 400 графически представляет зоны на различных возвышениях в виртуальной среде. GUI 400 может, например, отображаться на дисплейном устройстве в соответствии с командами из логической системы, в соответствии с сигналами, принимаемыми от устройств пользовательского ввода данных и т.д. Некоторые такие устройства описаны ниже со ссылкой на фиг. 21.

[0074] В контексте данного раскрытия, со ссылкой на такие виртуальные воспроизводящие среды, как виртуальная воспроизводящая среда 404, термин «зона громкоговорителей» обычно относится к логической структуре, которая может обладать, но может и не обладать, взаимнооднозначным соответствием с воспроизводящим громкоговорителем фактической воспроизводящей среды. Например, «местоположение зоны громкоговорителей» может соответствовать, но может и не соответствовать, местоположению конкретного воспроизводящего громкоговорителя воспроизводящей среды для кинематографии. Вместо этого, термин «местоположение зоны громкоговорителей» обычно может относиться к зоне виртуальной воспроизводящей среды. В некоторых реализациях, зона громкоговорителя виртуальной воспроизводящей среды может соответствовать виртуальному громкоговорителю, например, посредством использования такой технологии виртуализации, как Dolby Headphone,™ (иногда именуемой Mobile Surround™), которая создает виртуальную среду окружающего звука в реальном времени с использованием комплекта двухканальных стереофонических наушников. В GUI 400 имеется семь зон 402а громкоговорителей на первом возвышении и две зоны 402b громкоговорителей на втором возвышении, что в сумме составляет девять зон громкоговорителей в виртуальной воспроизводящей среде 404. В данном примере, зоны 1-3 громкоговорителей находятся в передней области 405 виртуальной воспроизводящей среды 404. Передняя область 405 может соответствовать, например, области воспроизводящей среды для кинематографии, в которой расположен экран 150, к области дома, в которой расположен телевизионный экран и т.д.

[0075] Здесь, зона 4 громкоговорителей обычно соответствует громкоговорителям в левой области 410, а зона 5 громкоговорителей соответствует громкоговорителям в правой области 415 виртуальной воспроизводящей среды 404. Зона 6 громкоговорителей соответствует левой задней области 412, и зона 7 громкоговорителей соответствует правой задней области 414 виртуальной воспроизводящей среды 404. Зона 8 громкоговорителей соответствует громкоговорителям в верхней области 420а, и зона 9 громкоговорителей соответствует громкоговорителям в верхней области 420b, которая может представлять собой область виртуального потолка, такую как область виртуального потолка 520, показанная на фиг. 5D и 5Е. Соответственно, и как более подробно будет описано ниже, местоположения зон 1-9 громкоговорителей, которые показаны на фиг. 4А, может соответствовать или может не соответствовать, местоположениям воспроизводящих громкоговорителей фактической воспроизводящей среды. Кроме того, другие реализации могут содержать больше или меньше зон громкоговорителей и/или возвышений.

[0076] В различных реализациях, описываемых в данном раскрытии, пользовательский интерфейс, такой как GUI 400, может использоваться как часть инструментального средства авторской разработки и/или инструментального средства представления данных. В некоторых реализациях, инструментальное средство авторской разработки и/или инструментальное средство представления данных может реализовываться посредством программного обеспечения, хранящегося в памяти одного или нескольких постоянных носителей данных. Инструментальное средство авторской разработки и/или инструментальное средство представления данных могут реализовываться (по меньшей мере, частично) аппаратным обеспечением, программно-аппаратным обеспечением и т.д., таким как логическая система и другие устройства, описываемые ниже со ссылкой на фиг. 21. В некоторых реализациях авторской разработки связанное инструментальное средство авторской разработки может использоваться с целью создания метаданных для связанных аудиоданных. Метаданные могут, например, содержать данные, указывающие положение и/или траекторию звукового объекта в трехмерном пространстве, данные ограничения зон громкоговорителей и т.д. Метаданные могут создаваться в отношении зон 402 громкоговорителей виртуальной воспроизводящей среды 404, а не в отношении конкретной схемы расположения громкоговорителей фактической воспроизводящей среды. Инструментальное средство представления данных может принимать аудиоданные и связанные метаданные и вычислять коэффициенты усиления звука и сигналы, подаваемые на громкоговорители, для воспроизводящей среды. Указанные коэффициенты усиления звука и сигналы, подаваемые на громкоговорители, могут вычисляться согласно процессу амплитудного панорамирования, который может создавать ощущение того, что звук приходит из положения Р в воспроизводящей среде. Например, сигналы, подаваемые на громкоговорители, могут доставляться воспроизводящим громкоговорителям 1-N воспроизводящей среды в соответствии со следующим уравнением:

[0077] x i ( t ) = g i x ( t ) , i=1,…N (Уравнение 1)

[0078] В уравнении 1 x i ( t ) представляет сигнал, подаваемый на громкоговоритель, который подлежит применению к громкоговорителю i, g_i представляет коэффициент усиления соответствующего канала, x ( t ) представляет звуковой сигнал, и t представляет время. Коэффициенты усиления могут определяться, например, в соответствии со способами амплитудного панорамирования, описанными в разделе 2 на страницах 3-4 публикации V. Pulkki, Compensating Displacement of Amplitude-Panned Virtual Sources (Audio Engineering Society (AES) International Conference on Virtual, Synthetic and Entertainment Audio), которая ссылкой включается в данное раскрытие. В некоторых реализациях, коэффициенты усиления могут быть частотнозависимыми. В некоторых реализациях, путем замены x ( t ) на x ( t − Δ t ) может вводиться временная задержка.

[0079] В некоторых реализациях представления данных, данные звуковоспроизведения, созданные со ссылкой на зоны 402 громкоговорителей, могут присваиваться местоположениям громкоговорителей для широкого выбора воспроизводящ