Способы и системы синхронизации и переключения для системы адаптивного звука

Способы и системы синхронизации и переключения для системы адаптивного звука

Иллюстрации

Показать все

Реферат

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

[0001] Данная заявка заявляет приоритет предварительной заявки на патент США №61/504005, поданной 1 июля 2011 г., и предварительной заявки на патент США №61/636456, поданной 20 апреля 2012 г., при этом обе эти заявки ссылкой включаются в данное раскрытие полностью во всех отношениях.

ОБЛАСТЬ ИЗОБРЕТЕНИЯ

[0002] Одна или несколько реализаций относятся, в общем, к обработке звуковых сигналов и, в частности, к способам синхронизации аудиопотока и переключения в системе адаптивного звука.

ПРЕДПОСЫЛКИ

[0003] Не следует полагать, что предмет изобретения, обсуждаемый в разделе предпосылок, относится к известному уровню техники только лишь в результате его упоминания в разделе предпосылок. Аналогично, не следует полагать, что проблема, упоминаемая в разделе предпосылок или связанная с предметом изобретения в разделе предпосылок, является ранее признанной в известном уровне техники. Предмет изобретения в разделе предпосылок лишь представляет различные подходы, которые сами по себе также могут представлять собой изобретения.

[0004] Современные сервера цифровых кинотеатров передают в мультимедийный блок сжатые потоки видеоданных в определенном формате (например, в формате видеоизображения JPEG 2000) наряду с несколькими каналами оцифрованного звука, например с 16 каналами звука с импульсно-кодовой модуляцией (РСМ) с частотой дискретизации 48 КГц. Звуковое содержимое представляет собой пакетированный поток, который может иметь различные форматы в зависимости от поставщика кинематографической системы. Перед вводом в мультимедийный блок звуковой сигнал и видеосигнал могут зашифровываться. Мультимедийный блок дешифрует видеоизображение JPEG в несжатый немодулированный сигнал и передает звук в устройство обработки данных для кинематографии для их подготовки к требованиям среды проигрывания. Устройство обработки данных для кинематографии выполняет такие функции, как коррекция амплитудно-частотной характеристики для среды проигрывания, и направляет звуковые сигналы в соответствующие громкоговорители массива окружающего звука на основании меток каналов громкоговорителей, доставляемых в звуковом содержимом. Окончательный вывод включает подаваемый видеосигнал, который выходит в формате HD-SDI (цифровой последовательный интерфейс высокой четкости) на проектор, и аналоговый звук, который передается в усилители и громкоговорители. Для надлежащего проигрывания звуковые дорожки должны быть надлежащим образом синхронизированы с содержимым видеоизображения.

[0005] Вообще, аудиовизуальная (A/V) синхронизация в средах кинотеатров не является очень точной, и технические специалисты кинотеатров в настоящее время обычно не измеряют аудиовизуальную синхронизацию в ходе установки/калибровки. Аудиовизуальная синхронизация кинофильма считается точной в пределах 1,5 кадров (63 мс при скорости 24 кадров/с). Поскольку звук распространяется со скоростью около 1 фута/мс, аудиовизуальная синхронизация может варьироваться в пределах до 50 мс в зависимости от местоположения слушателя в кинотеатре. В современных кинематографических системах согласование звукового сигнала и видеосигнала по времени хорошо известно, поэтому звук и видеоизображение обычно синхронизированы. Времена ожидания таких общепринятых компонентов, как устройства обработки данных и проекторы, также хорошо известны, например время ожидания проектора, как правило, указывается равным около двух кадров, или 88 мс, поэтому сервер кинотеатра обычно можно запрограммировать для приспосабливания к различным характеристикам согласования по времени с целью обеспечения надлежащей синхронизации. В типичных приложениях мультимедийный блок содержит два компонента, действующих в реальном времени: интерфейс HD-SDI и интерфейс AAS (системы звукоусиления). Эти интерфейсы являются действующими в реальном времени и могут конфигурироваться для создания аудиовизуального вывода, который является синхронизированным или, в случае необходимости, запрограммированным с некоторой задержкой. Таким образом, несмотря на некоторую неточность, имеющуюся в современных системах, согласование по времени между звуковым содержимым и видеосодержимым является фиксированным, поэтому, когда дискретное значение цифрового звука передается в устройство обработки данных для кинематографии, за ним через довольно точно определенный промежуток времени (например, спустя 1/24 секунды) следует аналоговый звуковой сигнал, передаваемый на громкоговорители.

[0006] Было разработано новое устройство обработки данных адаптивного звука и формат звука на основе объектов, что позволяет передавать звук в боковой полосе соединения с сетью Ethernet. Указанное соединение с сетью Ethernet обеспечивает канал с высокой пропускной способностью для передачи нескольких комплексных звуковых сигналов. Если предположить, что пропускная способность единичного канала цифрового звука равна 1,5 мегабит/с (Мбит/с), то пропускная способность для современной 16-канальной системы (например, AES8) имеет порядок 24 Мбит/с (16×1,5 Мбит/с). Для сравнения, пропускная способность соединения с сетью Ethernet в данном приложении имеет порядок 150 Мбит/с, допуская до 128 дискретных комплексных звуковых сигналов. Такая система адаптивного звука передает звуковое содержимое из массива RAID (или аналогичного элемента хранения данных), действующего не в реальном времени, из сервера цифрового кинотеатра через сеть Ethernet в устройство обработки данных адаптивного звука для кинематографии. Сеть Ethernet представляет собой неравномерную, действующую не в реальном времени и недетерминированную среду передачи данных. Поэтому характерный признак аудиовизуальной синхронизации в современных системах обработки данных для кинематографии не применим к системе адаптивного звука данного типа. Звук, который доставляется через сеть Ethernet, должен синхронизироваться с видеоизображением посредством явной функции синхронизации. С целью выравнивания с видеосигналом звукового содержимого, доставляемого через сеть Ethernet, для надлежащей синхронизации звукового содержимого и видеосодержимого должно существовать детерминированное время ожидания.

КРАТКОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0007] Традиционные серверы цифровых кинотеатров доставляют звуковой сигнал и видеосигнал в единый мультимедийный блок. Указанный мультимедийный блок затем декодирует, выравнивает во времени и доставляет их синхронизированным образом. В системе адаптивного звука звуковое содержимое доставляется в двух отдельных типах содержимого, в форме многоканального звука (например, содержимого окружающего звука 51 или 7.1) и в форме адаптивного звука на основе объектов, который включает звук на основе каналов с метаданными, которые кодируют информацию местоположения для проигрывания звука в среде проигрывания. В системе адаптивного звука адаптивный звук с высокой битовой скоростью передачи данных передается из сервера цифрового кинотеатра через сеть Ethernet в устройство обработки данных адаптивного звука. Он представляет собой не находящийся в реальном времени и недетерминированный аудиопоток. Для того чтобы синхронизировать адаптивное звуковое содержимое с видеоизображением, предоставляемым сервером цифрового кинотеатра, с многоканальным звуком связывается сигнал синхронизации, чтобы устройство обработки данных адаптивного звука могло определять, какой кадр адаптивного звука проигрывать.

[0008] В одном варианте осуществления изобретения для поддержания адаптивного звукового содержимого в синхронизации с многоканальным звуковым содержимым сигнал синхронизации внедряется в поток многоканального звука и содержит идентификатор дорожки и информацию счетчика кадров. Это обеспечивает механизм обеспечения надлежащей аудиовизуальной синхронизации в среде проигрывания. Если происходит ошибка, например, кадр адаптивного звука не является доступным, или если идентификатор дорожки и информация номера кадра не совпадает с сигналом синхронизации, или если требуется проигрывать многоканальное содержимое вместо адаптивного звукового содержимого, запускается процесс переключения. Процесс переключения включает компонент плавного изменения уровня сигнала, который вызывает плавное уменьшения уровня звука до молчания с последующим плавным повышением уровня многоканальной звуковой дорожки от молчания до текущего уровня. Система будет продолжать проигрывать многоканальную звуковую дорожку до тех пор, пока номер кадра сигнала синхронизации и номер кадра адаптивного звука не совпадут, после чего уровень адаптивного звукового содержимого будет снова плавно повышен.

[0009] Варианты осуществления изобретения предусматривают надлежащую синхронизацию звукового сигнала и видеосигнала в кинематографической системе на основе адаптивного звука. Система полагается на то, что звук на основе каналов уже является синхронизированным с видеосигналом, и предусматривает способ передачи сигналов, который синхронизирует недетерминированное адаптивное звуковое содержимое на основе объектов с содержимым на основе каналов. Такой способ аудиовизуальной синхронизации обеспечивает надлежащее согласование по времени, защиту преодоления отказов и возможности переключения между звуковым содержимым в целом (многоканальный звук и адаптивный звук) и видеосигналом.

[0010] Варианты осуществления изобретения описаны для механизма синхронизации и переключения в системе адаптивного звука, где многоканальный (т.е. окружающий) звук предусматривается наряду с адаптивным звуковым содержимым на основе объектов. Сигнал синхронизации внедряется в поток многоканального звука и содержит идентификатор дорожки и счетчик кадров для адаптивного звука, подлежащего проигрыванию. Идентификатор дорожки и счетчик кадров принятого адаптивного аудиокадра сравнивается с идентификатором дорожки и счетчиком кадров, содержащимися в сигнале синхронизации. Если идентификатор дорожки или счетчик кадров не совпадает с сигналом синхронизации, запускается процесс переключения, который плавно понижает уровень адаптивной звуковой дорожки и плавно повышает уровень многоканальной звуковой дорожки. Система будет продолжать проигрывать многоканальную звуковую дорожку до тех пор, пока идентификатор дорожки и счетчик кадров сигнала синхронизации не совпадают с идентификатором дорожки и счетчиком кадров адаптивного звука, после чего уровень адаптивного звукового содержимого будет снова плавно повышен.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

[0011] В нижеследующих графических материалах сходные ссылочные позиции используются для ссылок на сходные элементы. Несмотря на то что нижеследующие чертежи изображают различные примеры, указанная одна или несколько реализаций не ограничиваются примерами, изображенными на чертежах.

[0012] Фиг. 1 - блок-схема системы адаптивного звука, которая реализует процесс синхронизации и защитного переключения согласно варианту осуществления изобретения.

[0013] Фиг. 2A - блок-схема системы адаптивного звука, которая содержит боковой канал сети Ethernet для передачи сигналов адаптивного звука согласно варианту осуществления изобретения, в котором сигнал синхронизации связывается с многоканальным звуковым содержимым.

[0014] Фиг. 2 В - блок-схема системы адаптивного звука, которая содержит боковой канал сети Ethernet для передачи сигналов адаптивного звука, согласно альтернативному варианту осуществления изобретения, в котором сигнал синхронизации генерируется мультимедийным блоком, принимающим многоканальное звуковое содержимое.

[0015] Фиг. 3 - схема последовательности операций, которая иллюстрирует способ синхронизации адаптивной звуковой дорожки с многоканальной звуковой дорожкой согласно варианту осуществления изобретения.

[0016] Фиг. 4 иллюстрирует состав звукового содержимого и адаптивного звукового содержимого в реальном времени при вводе в устройство обработки данных адаптивного звука согласно варианту осуществления изобретения.

[0017] Фиг. 5 - схема, иллюстрирующая буферизацию и обработку адаптивного звукового содержимого согласно варианту осуществления изобретения.

[0018] Фиг. 6 иллюстрирует состав сигнала синхронизации согласно варианту осуществления изобретения.

[0019] Фиг. 7 - схема, которая иллюстрирует компоненты и последовательности операций процессов обработки сигнала синхронизации согласно варианту осуществления изобретения.

[0020] Фиг. 8 - схема последовательности операций, которая иллюстрирует способ синхронизации сигналов адаптивного звука с использованием сигнала синхронизации согласно варианту осуществления изобретения.

[0021] Фиг. 9 иллюстрирует различные примеры содержимого, которое включает как звук на основе каналов, так и адаптивный звук на основе объектов и которое может использовать варианты осуществления способа синхронизации и переключения.

ПОДРОБНОЕ ОПИСАНИЕ

[0022] Системы и способы описываются для ступени представления данных системы адаптивного звука, которая синхронизирует аудиопотоки и обеспечивает защитное переключение при проигрывании аудиопотоков различных типов в случае недоступности аудиопотока предпочтительного типа. Особенности указанного одного или нескольких вариантов осуществления изобретения, описываемых в данном раскрытии, могут реализовываться в аудиосистеме, или аудиовизуальной системе, которая обрабатывает исходную звуковую информацию в системе микширования, представления данных и проигрывания, которая содержит один или несколько компьютеров или устройств обработки данных, исполняющих команды программного обеспечения. Любой из описываемых вариантов осуществления изобретения может использоваться отдельно или совместно с любым другим в любом сочетании. Несмотря на то что разные варианты осуществления изобретения могут быть мотивированы разными недостатками в известном уровне техники, которые могут обсуждаться или упоминаться в одном или нескольких местах данного описания, указанные варианты осуществления изобретения не обязательно обращаются к какому-либо из этих недостатков. Иными словами, разные варианты осуществления изобретения могут обращаться к разным недостаткам, которые могут обсуждаться в данном описании. Некоторые варианты осуществления изобретения могут лишь частично обращаться к некоторым недостаткам или только к одному недостатку, который может обсуждаться в данном описании, а некоторые варианты осуществления изобретения могут не обращаться ни к одному из этих недостатков.

[0023] Для целей нижеследующего описания термин «канал», или «аудиоканал», означает монофонический звуковой сигнал или аудиопоток и метаданные, в которых в качестве ID-канала закодировано положение, например «левый передний» или «правый верхний окружающий». Канал может активировать несколько громкоговорителей, например левые окружающие каналы (Ls) будут подавать сигнал на все громкоговорители в левом окружающем массиве. «Конфигурация каналов» представляет собой предварительно определяемый набор зон громкоговорителей со связанными номинальными местоположениями, например 5.1, 7.1 и т.д.; 5.1 относится к шестиканальной аудиосистеме окружающего звука, содержащей передние левый и правый каналы, один центральный канал, два окружающих канала и канал низкочастотного громкоговорителя; 7.1 относится к восьмиканальной системе окружающего звука, которой к системе 5.1 добавляются два дополнительных окружающих канала. Примеры конфигураций 5.1 и 7.1 включают системы окружающего звука Dolby®. «Объект», или «объектный канал», представляет собой один или несколько аудиоканалов с параметрическим описанием источника, таким как положение (например, трехмерных координат) кажущегося источника, ширина кажущегося источника и т.д. Например, объект может представлять собой аудиопоток и метаданные, в которых положение кодируется как трехмерное положение в пространстве. Термин «адаптивный звук» означает звуковое содержимое на основе объектов или на основе каналов, которое связано с метаданными, которые управляют представлением данных звукозаписи на основе среды проигрывания.

[0024] В одном варианте осуществления изобретения аудиозапись стандартного окружающего звука может обрабатываться посредством традиционных аудиокодеков на основе каналов, которые воспроизводят звук через массив громкоговорителей, находящихся в предварительно определенных положениях относительно слушателя. Для создания завершенной многоканальной звуковой программы звукоинженеры, как правило, микшируют большое количество отдельных аудиопотоков (например, диалог, музыку, эффекты) для создания желаемого общего впечатления. Решения при микшировании звука, как правило, принимаются путем прослушивания звуковой программы, которую воспроизводят массивом громкоговорителей, находящихся в предварительно определенных положениях, например определенной системой 5.1 или 7.1 в конкретном кинотеатре. Конечный, микшированный сигнал служит вводом в аудиокодек. В отличие от звука на основе каналов кодирование объектов предусматривает в качестве ввода в кодер отчетливые источники звука (звуковые объекты) в форме отдельных аудиопотоков. Каждый звуковой объект связан с пространственными параметрами, которые среди прочего могут включать положение звука, ширину звука и информацию о скорости. Звуковые объекты и связанные параметры затем кодируются с целью распространения и хранения. Окончательное микширование звуковых объектов и представление данных выполняется как часть проигрывания звуковой программы на принимающем конце цепочки распространения аудиозаписей. Этот этап может основываться на сведениях о фактических положениях громкоговорителей, таким образом, результатом является система распространения аудиозаписей, которая является настраиваемой в соответствии со специфическими для пользователя условиями прослушивания. Обе кодированные формы, на основе каналов и на основе объектов, оптимально действуют в разных условиях входного сигнала. Например, аудиокодеры на основе каналов обычно более эффективны при кодировании входных сигналов, содержащих плотные смеси разных источников звука, и для рассеянных звуков. Напротив, кодеры звуковых объектов более эффективны при кодировании небольшого количества высоконаправленных источников звука.

[0025] Фиг. 1 представляет собой блок-схему системы адаптивного звука, которая реализует процесс синхронизации и переключения, согласно одному варианту осуществления изобретения. Как показано в системе 100, входные звуковые сигналы доставляются в блок 102 устройства обработки данных адаптивного звука. Процессор генерирует оба звуковых сигнала PCM на основе каналов, которые включают метки каналов громкоговорителей для передачи звуковых сигналов на основе каналов в определенные громкоговорители окружающего звука или в группы громкоговорителей в соответствии с известными преобразованиями окружающего звука. Указанное устройство 102 обработки данных также генерирует звук на основе объектов, который содержит метаданные, идентифицирующие определенные громкоговорители в пределах массива громкоговорителей, предназначенные для проигрывания соответствующих звуковых объектов. Информация о положении доставляется в форме математических функций местоположения и определяет местоположения внутри помещения среды проигрывания относительно объема и размеров помещения и экрана, в отличие от определенных идентификаторов громкоговорителей или местоположений относительно отдельного слушателя в помещении. Такая аудиосистема обеспечивает восприятие слушателем большего эффекта присутствия и сохраняет замысел звукоинженера или оператора микширования для всех слушателей практически в любой среде прослушивания, поскольку данные звуков представляются на основе аллоцентрической системы отсчета. Аллоцентрическая система отсчета - это пространственная система отсчета, в которой звуковые объекты определяются относительно таких характерных признаков в пределах среды представления данных, как, например, стены и углы помещения, стандартные местоположения громкоговорителей и местоположение экрана (например, левый передний угол помещения), в отличие от эгоцентрической системы отсчета, которая представляет собой пространственную систему отсчета, в которой звуковые объекты определяются относительно перспективы слушателя и часто описываются относительно углов по отношению к слушателю (например, 30 градусов справа от слушателя).

[0026] Блок 104 устройства представления данных/вывода создает вывод на соответствующие громкоговорители массива громкоговорителей, который может содержать как громкоговорители 106 окружающего звука в определенной конфигурации (например, 5.1 или 7.1), так и дополнительные громкоговорители 108, предназначенные для проигрывания адаптивного звукового содержимого. Такие дополнительные громкоговорители могут включать смонтированные на потолке верхние громкоговорители, дополнительные задние низкочастотные громкоговорители, дополнительные экранные и боковые окружающие громкоговорители и т.д. В контексте данного раскрытия, термин «проигрывающая система» относится к одному или нескольким компонентам, которые совместно служат для выполнения функций представления данных, усиления и звукового вещания, и может содержать устройство представления данных, один или несколько усилителей, буферы, громкоговорители, соединительные компоненты и любые другие подходящие компоненты в любом сочетании или с любым устройством элементов.

[0027] Система 100 также содержит аудиокодек, который способен эффективно распределять и сохранять многоканальные звуковые программы. Он объединяет традиционные аудиоданные на основе каналов со связанными метаданными для получения звуковых объектов, которые способствуют созданию и доставке звука, который является адаптированным и оптимизированным для представления данных и проигрывания в средах, которые могут отличаться от среды микширования. Это позволяет звукоинженеру кодировать его замысел в отношении того, как конечная звукозапись должна слышаться слушателем, на основе фактической среды прослушивания слушателем. Компоненты системы 100 содержат систему кодирования, распространения и декодирования аудиозаписей, сконфигурированную для генерирования одного или нескольких битовых потоков, содержащих как традиционные звуковые элементы на основе каналов, так и звуковые элементы на основе объектов. Такой комбинированный подход обеспечивает большую эффективность кодирования и гибкость представления данных по сравнению с отдельно взятыми подходами на основе каналов или на основе объектов. Варианты осуществления изобретения включают расширение обратно совместимым образом предварительно определенного кодека на основе каналов для включения элементов кодирования звуковых объектов. Новый слой расширения, содержащий элементы кодирования звуковых объектов, определяется и добавляется к «базовому», или обратно совместимому, слою битового потока аудиокодека на основе каналов. Этот подход делает возможным один или несколько битовых потоков, которые включают слой расширения, подлежащий обработке унаследованными декодерами, в то же время обеспечивая усиленные слушательские впечатления для пользователей с новыми декодерами. Одним примером усиления слушательских впечатлений является управление представлением данных звукового объекта. Дополнительное преимущество данного подхода заключается в том, что звуковые объекты могут добавляться и модифицироваться повсюду в цепочке распространения без декодирования/микширования/повторного кодирования многоканального звука, кодированного аудиокодеком на основе каналов.

[0028] В системе адаптивного звука сигнал адаптивного звука с высокой скоростью передачи битов передается сервером цифрового кинотеатра через сеть Ethernet в устройство обработки данных адаптивного звука. Фиг. 2А представляет собой блок-схему системы адаптивного звука, которая содержит боковой канал сети Ethernet для передачи сигналов адаптивного звука согласно одному варианту осуществления изобретения. Система 200 может представлять часть подсистемы представления данных в системе обработки данных для цифровой кинематографии. Как показано в системе 200, для сервера 202 цифрового кинотеатра предусмотрен аудиовизуальный (A/V) ввод 203. A/V ввод представляет звуковое содержимое и видеосодержимое, которое разработано создателями с использованием инструментальных средств авторской разработки системы обработки данных для кинематографии. Для варианта осуществления изобретения по фиг. 2А, аудиовизуальный входной сигнал 203 содержит видеоданные, аудиоданные (звук на основе каналов и объектов, а также метаданные местоположения) и сигнал синхронизации.

[0029] В том, что касается видеосодержимого, сервер 202 выводит видеосодержимое как сжатые данные (например, JPEG 2000) через первую линию Gigabit Ethernet (l000BaseT) или аналогичную линию 201 в мультимедийный блок 206, который затем передает надлежащим образом отформатированный видеосигнал (например, HD-SDI) в проектор 208.

[0030] В том, что касается звукового содержимого, сервер 202 цифрового кинотеатра выводит адаптивное звуковое содержимое через вторую линию 205 Gigabit Ethernet в устройство 204 обработки данных адаптивного звука. Адаптивное звуковое содержимое содержит звуковое содержимое на основе объектов, которое связано с метаданными, управляющими представлением данных звука на основе среды проигрывания. Поскольку адаптивное звуковое содержимое передается через соединение с сетью Ethernet, оно по своей сути является недетерминированным и представляет звуковую составляющую не в реальном времени. Сервер 202 кинотеатра также генерирует из содержимого на основе каналов из A/V ввода 203 пакетированный многоканальный звук. Он передается по первому каналу 201 сети Ethernet в мультимедийный блок 206, который генерирует звуковое содержимое в реальном времени для передачи в устройство 204 обработки данных адаптивного звука по каналу 207. В варианте осуществления изобретения мультимедийный блок 206 форматирует пакетированный многоканальный звук, принимаемый по каналу 201, согласно стандарту передачи цифровых звуковых сигналов, такому как AES3, для генерирования звукового содержимого в реальном времени, передаваемого по каналу 207. В типовой реализации звук в реальном времени содержит восемь сигналов AES3 для в общей сложности 16 каналов 207.

[0031] Устройство 204 обработки данных адаптивного звука действует в двух режимах: в режиме устройства обработки данных для кинематографии (традиционной цифровой кинематографии) и в режиме адаптивного звука. В режиме устройства обработки данных для кинематографии мультимедийный блок 206 генерирует несколько аудиоканалов, и они по линии 207 принимаются для ввода в устройство 206 обработки данных адаптивного звука. В типовой реализации этот звук содержит восемь сигналов AES3 для в общей сложности 16 каналов 207. Вывод устройства 204 обработки данных адаптивного звука в режиме устройства обработки данных для кинематографии (также именуемых звуком AES или DCI) содержит, например, 64 сигналов, подаваемых на громкоговорители (или массивы 7.1), которые выводятся на усилители 212 окружающих каналов. При обработке в цепи В (EQ, управление басами, ограничение) может предусматриваться корректируемое время ожидания, например 13-170 мс. В общем, подаваемые сигналы цепи В относятся к сигналам, обрабатываемым усилителями мощности, разделителями спектра и громкоговорителями, в отличие от содержимого цепи А, которое составляет звуковую дорожку на кинопленке.

[0032] В указанном режиме адаптивного звука устройство 204 обработки данных адаптивного звука действует как звуковой мультимедийный блок с подключением к сети Ethernet l000BaseT от сервера 202 для данных/управляющих сигналов. Восемь каналов 207 AES, которые доставляются в него из мультимедийного блока 206, используются для тактирования и синхронизации сигналов адаптивного звука, передаваемых из сервера 202 по второму каналу 205 сети Ethernet. Время ожидания этих сигналов приводится в соответствие c режимом устройства обработки данных для кинематографии посредством сигнала синхронизации, который связывается со звуковым содержимым 207 в реальном времени. В том, что касается представления данных адаптивного звука и обработки в цепи В, сигнал синхронизации внедряется в определенный канал (например, канал 13) файла звуковой дорожки DCI, содержащего звук в реальном времени. Поток адаптивного звукового содержимого и информации кадров передается из сервера 202 цифрового кинотеатра по сети Ethernet не в реальном времени в устройство 204 обработки адаптивного звука. В общем, кадры представляют собой короткие, независимо кодированные сегменты, на которые разделяется полная звуковая программа, и частота и границы аудиокадра обычно выравниваются с видеокадрами. Процесс или компонент сравнения в устройстве 204 обработки данных адаптивного звука следит за номером кадра в сигнале синхронизации и информацией кадра из второго канала 205 сети Ethernet и сравнивает оба эти значения. Если они совпадают, устройство обработки данных адаптивного звука проигрывает кадр адаптивного звука через усилители 210 и 212. Если информация кадров для сигнала синхронизации и адаптивного звукового содержимого не совпадает, или если сигнал синхронизации отсутствует, устройство обработки данных возвращается к аудиопотоку в реальном времени.

[0033] Для варианта осуществления изобретения, проиллюстрированного на фиг. 2А, сигнал синхронизации генерируется и связывается со звуковым сигналом входного аудиовизуального содержимого 203, или внедряется в этот сигнал, в ходе окончательной обработки или авторской разработки содержимого. В альтернативном варианте осуществления изобретения сигнал синхронизации автоматически генерируется компонентом или процессом на ступени представления данных. Фиг. 2В представляет собой блок-схему системы адаптивного звука, в которой сигнал синхронизации генерируется мультимедийным блоком, принимающим многоканальное звуковое содержимое. Как показано в системе 220 по фиг. 2В, входное аудиовизуальное содержимое содержит звуковое содержимое и видеосодержимое 213, которое является входным в сервер 202 цифрового кинотеатра. Этот сервер 202 цифрового кинотеатра сконфигурирован для передачи информации, касающейся состава содержимого, также именуемой списком состава воспроизведения, в мультимедийный блок 206. Этот список состава воспроизведения включает (1) длину файла видеодорожки в кадрах (т.е. первый кадр видеоизображения, предназначенный для проигрывания, и последний кадр видеоизображения, предназначенный для проигрывания); (2) длину файла дорожки многоканального звука в кадрах (т.е. первый кадр видеоизображения, предназначенный для проигрывания, и последний кадр видеоизображения, предназначенный для проигрывания); и (3) длину файла звуковой дорожки в кадрах (т.е. первый кадр адаптивного звука, предназначенный для проигрывания, и последний кадр адаптивного звука, предназначенный для проигрывания). Также, по мере необходимости в зависимости от ограничений и требований реализации, может включаться дополнительная или другая информация. Сигнал синхронизации автоматически генерируется мультимедийным блоком 206 и передается в реальном времени по каналу 207 в формате AES3, например, в устройство 204 обработки данных адаптивного звука. Как результат процесса создания и окончательной обработки содержимого, файлы дорожек многоканального (по линии 201) и адаптивного (по линии 205) звука должны содержать одинаковое количество дискретных значений/кадров и должны быть выровненными во времени. Если мультимедийный блок 206 принимает список состава воспроизведения и вызывается файл дорожки адаптивного звука, мультимедийный блок может динамически представлять данные сигнала синхронизации, основываясь на номере текущего кадра файла многоканальной звуковой дорожки, который проигрывается. Это может облегчать вывод сигнала синхронизации, когда содержимое не вызывает файл дорожки адаптивного звука.

[0034] Фиг. 3 представляет собой схему последовательности операций, которая иллюстрирует способ синхронизации дорожки адаптивного звука с многоканальной звуковой дорожкой, согласно варианту осуществления изобретения. Как показано на фиг. 3, процесс начинается с внедрения сигнала синхронизации как части файла многоканального звука, который передается по первому каналу 201 сети Ethernet из сервера 202. В варианте осуществления изобретения для звукового содержимого в реальном времени, передаваемого по каналу 207, сигнал синхронизации AES форматируется как специальный незвуковой поток (например, SMPTE 337M), который содержит счетчик текущего кадра и информацию идентификатора дорожки (например, UUID), и повторяется несколько раз в каждом кадре. Как показано в отношении системы 200 по фиг. 2А, сигнал синхронизации может генерироваться во время представления данных или упаковки и вставляться в дорожку 13 файла звуковой дорожки в реальном времени (DCI), действие 304. В альтернативном варианте, как показано в отношении системы 220 по фиг. 2В, сигнал синхронизации может генерироваться мультимедийным блоком 206. Сигнал синхронизации относится к началу файла звуковой дорожки. Сигнал адаптивного звука и связанная информация кадра передаются в потоке по второму соединению 205 Gigabit Ethernet в устройство 204 обработки данных адаптивного звука, действие 306. Затем система сравнивает номер кадра в сигнале синхронизации с информацией кадра адаптивного звука, действие 308. Если номера кадров совпадают, что определяется в блоке 308, то кадр адаптивного звука проигрывается, действие 312. Иначе существует состояние ошибки, и взамен проигрывается многоканальный звук в реальном времени, действие 314.

[0035] В альтернативном варианте осуществления изобретения сигнал синхронизации может кодироваться как слышимый звуковой сигнал с использованием, например, частотной манипуляции (FSK) в противоположность незвуковому потоку в формате SMPTE 337M. Это позволяет сигналу синхронизации быть устойчивым к применению звуковых водяных знаков и преобразованию частоты дискретизации от 48 КГц до 96 КГц, которые могут применяться мультимедийным блоком перед выводом сигналов в формате AES3 по каналу 207.

[0036] Сигнал синхронизации содержит идентификатор дорожки для того, чтобы препятствовать проигрыванию звука из одной композиции с видеоизображением из другой композиции. Наличие как номера кадра, так и идентификатора кадра (например, дорожки UUID) создает уникальную связь, препятствующую появлению указанной ошибки. Такая возможность демонстрируется со ссылкой на фиг. 9, где несколько видеоклипов в показе могут содержать адаптивный звук с одинаковыми номерами кадров. В этом случае, разные идентификаторы кадров предотвращают неверное проигрывание звука, которое может быть вызвано связыванием или неверным связыванием аудиокадров с разными видеоклипами.

[0037] Пакеты сети Ethernet не в реальном времени, которые передаются из сервера 202 цифрового кинотеатра в устройство 204 обработки данных адаптивного звука по каналу 205, содержат заголовки с ID дорожки и информацией счетчика кадров. ID дорожки и счетчик кадров внедряются в звуковую дорожку в реальном времени и передаются по каналам 207 AES из мультимедийного блока 206 в устройство 204 обработки данных адаптивного звука. Устройство обработки данных адаптивного звука сравнивает данные кадра из сети Ethernet с таковыми для сигнала синхронизации и проигрывает кадр адаптивного звука, если этот кадр обнаруживается. Фиг. 4 иллюстрирует состав данных адаптивного канала в реальном времени и данных адаптивного звука в сети Ethernet согласно варианту осуществления изобретения. Как показано на фиг. 4, пакет данных, передаваемый по каналу 205 Gigabyte Ethernet из сервера 202 в устройство 204 обработки данных, включает пакеты данных, перемежаемые информацией кадров. В примере по фиг. 4 данные сети Ethernet 205 организуются в аудиокадры B1-A3-A2-A1. Аудиоданные в реальном времени, передаваемые по каналу 207 из мультимедийного блока 206 в устройство 204 обработки данных, кодируются с номерами кадров, зак