Сигнализация внедренных данных

Сигнализация внедренных данных

Иллюстрации

Показать все

Реферат

Изобретение относится к сигнализации внедренных данных, а также форматированию и обработке потоков данных с внедренными данными.

Описание синтаксиса нескольких стандартов/схем кодирования аудиоданных (например, тр3 и MPEG-ACC, см. например, ISO/IEC 13818-3 и 13818-7 соответственно) обеспечивает возможность добавления вспомогательных/внедренных данных в кодированные потоки аудио. Соответствующие декодеры необходимы только для анализа внедренных данных, но не для их интерпретации. На практике внедренные данные часто используются для сохранения потока кодированных данных, относящегося к усовершенствованному кодеру/инструментальному средству (например, mp3PRO, MPEG-4 AAC+SBR, где «SBR» (Spectral Band Replication) предназначено для «репликации полосы спектра»). Такой усовершенствованный кодер/инструментальное средство может быть использован «поверх» основного кодера для улучшения качества основных потоков аудио. Так как неусовершенствованный кодер требуется для анализа внедренных данных, внедрение данных выполняют с обеспечением обратной совместимости.

В MPEG-4 (см. ISO/IEC 14496-1 для систем MPEG-4 и ISO/IEC 14496-3 для MPEG-4 Аудио) сигнализация потока контента осуществляется посредством дескрипторов. Каждый элементарный поток (т.е. последовательный поток однородных аудиовизуальных данных, таких как аудио или видео, которые могут быть объединены в пакеты) имеет соответствующий дескриптор. Текущее описание дескриптора не предусматривает сигнализацию внедренных данных. Конечно, сигнализация внедренных данных может быть реализована посредством исправления ошибок по дескрипторам. Однако такое исправление ошибок не может быть выполнено так, чтобы стандарт сохранял обратную совместимость с текущим определением. В качестве альтернативы можно использовать дескриптор внутри самих внедренных данных. Это имеет недостаток, заключающийся в том, что внедренные данные не сигнализированы на уровне элементарного потока и, следовательно, внедренным данным необходимо быть доступными для просмотра того, что они содержат.

Задачей изобретения является обеспечение успешной сигнализации (о) внедренных данных. Для этого изобретение предлагает способ, кодер, сигнал, носитель информации, способ декодирования, декодер, передатчик или устройство записи и приемник, как определено в независимых пунктах формулы изобретения. Предпочтительные варианты осуществления определены в зависимых пунктах формулы изобретения.

Согласно первому аспекту изобретения обеспечивается сигнал, представляющий основные данные, при этом основные данные включают в себя внедренные данные, при этом основные данные снабжаются дескриптором основных данных для сигнализации содержимого (контента), включенного в основные данные, и при этом формируют дескриптор основных данных для сигнализации контента, включенного во внедренные данные, и при этом дескриптор основных данных сформирован вне (или отдельно от) основных данных и дескриптора основных данных. Предусматривая дескриптор внедренных данных вне дескриптора основных данных, исправление ошибок в настоящее время определенного набора дескрипторов основных данных не является необходимым для принятия во внимание неопределенного контента (содержимого), включенного во внедренные данные; сигнал, имеющий новые дескрипторы внедренных данных, остается обратно совместимым в отношении основных данных и дескрипторов основных данных. Обеспечивая дескриптор внедренных данных вне основных данных, и таким образом также вне внедренных данных, основные данные остаются совместимыми, и дополнительно не требуется осуществлять доступ к самим внедренным данным для получения их описания.

В результате элементарные потоки с внедренными данными могут иметь два соответствующих дескриптора, один для основных данных и другой для внедренных данных.

Основные данные, внедренные данные, дескриптор основных данных и дескриптор внедренных данных могут быть представлены в одном и том же сигнале передачи.

Преимущественно этот сигнал является элементарным потоком аудиоданных, в котором внедренные данные являются расширенными данными для улучшения аудио, доступного в оставшейся части этого элементарного потока. Расширенные данные предпочтительно являются информацией, подходящей для выполнения репликации полосы спектра. Альтернативно расширенные данные являются подходящими для увеличения количества каналов, например, с 1 до 2 каналов или с 2 до 5, см., например, Faller and Baumgarte, "Binaural cue coding applied to stereo and multichannel audio compression", AES 112^th, paper 5574, May 10-13, 2002, Germany, и, например, заявка №02076588.9 на Европейский патент, поданная 22 апреля 2002.

Варианты осуществления изобретения особенно выгодны в тех стандартах, в которых есть возможность реализовать отдельный дескриптор внедренных данных, так чтобы обычный кодер не использовал их контент неправомерно, например, посредством игнорирования дескриптора внедренных данных, например, потому, что тот использует нераспознаваемый код, который дает команду декодеру игнорировать информацию. Примерами стандартов, в которых возможно простое осуществление этого, являются системы MPEG-4 и RFC 3016.

Эти и другие аспекты изобретения очевидны из нижеследующего описания вместе с сопроводительными чертежами.

На чертежах:

фиг.1 иллюстрирует пример обычного элементарного потока,

фиг.2 иллюстрирует пример элементарного потока, снабженного дескриптором внедренных данных в соответствии с вариантом осуществления изобретения.

фиг.3 иллюстрирует систему согласно варианту осуществления изобретения.

Эти чертежи иллюстрируют только те элементы, которые необходимы для понимания вариантов осуществления изобретения.

Фиг.1 изображает пример обычного элементарного потока (ЭП, ES). Элементарный поток ЭП может быть пакетированным элементарным потоком. Элементарный поток ЭП содержит основные данные (ОД, MD) и дескриптор основных данных (ДОД, MDD). Пример дескриптора ДОД для закодированного потока аудио может быть следующим:

MDD

{Audio object type ("AOT")

Sampling frequency

Channel configuration

AOT specific configuration information

}

(MDD

{Тип аудиообъекта ("ТАО")

Частота выборки

Конфигурация канала

Информация о конфигурации, специфичная для ТАО

})

В качестве примера, информация о конфигурации, специфичная для ТАО, связанного с ААС, включает в себя длину кадра, т.е. количество выборок РСМ (кодово-импульсной модуляции) на канал, относящийся к одному аудиокадру ААС.

Дополнительно основные данные MD включают в себя внедренные данные (ВД, ED). Основные данные ОД предпочтительно содержат кодированные аудиоданные, например, кодированные данные ААС или mp3. Также возможно, что основные данные ОД содержат видеоданные. Внедренные данные ВД предпочтительно включают в себя данные расширения для улучшения основных данных ОД, например, посредством репликации полосы спектра в случае аудио или посредством пространственного, посредством отношения сигнал/шум или другого расширения видео. Альтернативно данные расширения являются подходящими для увеличения количества каналов, например, с 1 до 2 или с 2 до 5, как указано выше.

В некоторых системах, например, в MPEG-4, дескриптор ДОД данных не конкатенирован с основными данными ОД в элементарном потоке, а обеспечивается отдельно. Для того чтобы определить, какой дескриптор относится к какому элементарному потоку, используется некоторая идентификационная информация и в дескрипторе, и в элементарном потоке ЭП.

Внедренные данные ВД анализируются в декодере и распознаются улучшенным декодером, который способен использовать данные расширения, присутствующие во внедренных данных ВД. Обычно внедренные данные ВД включают в себя некоторый вид идентификационной информации/описания, чтобы сделать возможной идентификацию внедренных данных ВД, хотя в частных системах также возможно «соглашение» между кодером и декодером, что внедренные данные ВД всегда содержат данные расширения в соответствии с заранее определенным форматом.

Фиг.2 иллюстрирует пример дополнительного (расширенного) элементарного потока (РЭП, EES), снабженный дескриптором внедренных данных (ДВД, EDD), в соответствии с вариантом осуществления изобретения. Дескриптор ДВД внедренных данных включает в себя идентификационную информацию для обеспечения возможности идентификации типа внедренных данных ВД. Дескриптор ДВД может также включать в себя другую полезную информацию. Пример дескриптора ДВД для данных, внедренных в закодированный аудиопоток, может быть следующим:

EDD

{Audio (enhancement) object type ("AOT")

AOT specific configuration information

(EDD

{Тип (расширенного) аудиообъекта ("ТАО")

информация о конфигурации, специфичная для ТАО

}

Определение EDD существенно зависит от типа (расширенного) объекта аудио. В случае SBR он содержит режим частоты выборки, которая может выполняться с одной или множеством частот. В случае расширения канала дескриптор внедренных данных может содержать информацию о конфигурации расширенного канала.

Дескриптор ДВД внедренных данных обеспечивается вне основных данных ОД и дескриптора ДОД основных данных и поэтому легко доступен. В зависимости от схемы кодирования используемые дескрипторы ДОД и ДВД данных могут быть поданы в конкатенированном виде вместе с основными данными ОД. Также возможно обеспечить дескрипторы отдельно в другой части сигнала, например, сгруппировать все дескрипторы вместе. Некоторая связывающая информация необходима для отнесения этих дескрипторов к соответствующим элементарным потокам.

Реализация в MPEG-4

Вышеописанный вариант осуществления изобретения успешно применен в MPEG-4 или MPEG-4 подобных схемах кодирования. В MPEG-4 дескриптор ДОД основных данных и дескриптор ДВД внедренных данных обеспечиваются отдельно по отношению к элементарному потоку ЭП. Системы MPEG-4 обеспечивают инструментальные средства для соотнесения дескрипторов с соответствующими элементарными потоками.

Реализация в RFC 3016

В RFC 3016 (IETF RFC 3016 «RTP Payload Format for MPEG-4 Audio/Visual Streams», Kikuchi Y. et al., November, 2002) информация дескриптора передается в качестве параметра протокола описания сеанса (SDP). Например, в случае аудио эта конфигурация декодирования аудио описывается параметром «config» в виде шестнадцатеричной строки, которая представляет аудиодескриптор, как определено в MPEG-4. Пример приведен ниже:

Config=000001В001000001В5090000010000000120008440FA282C2090А21F.

Другой дескриптор может быть добавлен посредством нового параметра, таком как «embedded-data-config» (конфигурация внедренных данных). Требуется, чтобы приемник игнорировал новые или неизвестные параметры.

Система согласно варианту осуществления изобретения

Фиг.3 иллюстрирует систему, разработанную в соответствии с вариантом осуществления изобретения. Система содержит устройство 1 для передачи или записи кодированного сигнала [S]. Устройство 1 содержит устройство 10 ввода для получения входного сигнала S, например, сигнала аудио и/или видео. Устройством 10 ввода может быть антенна, микрофон, сетевое соединение и т.д. Устройство 1 дополнительно содержит кодер для кодирования сигнала S в соответствии с описанным выше вариантом осуществления изобретения (см., в частности, фиг.2) для получения кодированного сигнала, содержащего основные данные ОД, включающие в себя внедренные данные ВД, и дескрипторы ДОД и ДВД. Закодированный сигнал передается на устройство 12 вывода, которое форматирует (преобразует формат) основные данные ОД, включающие внедренные данные ВД, а также дескрипторы ДОД и ДВД, в закодированный сигнал [S], имеющий подходящий формат для передачи или хранения при помощи среды передачи или среды 2 хранения (например, как определено в RFC 3016). Система дополнительно содержит приемник или устройство воспроизведения 3, которое принимает кодированный сигнал [S] в устройство 30 ввода. Устройство 30 ввода передает основные данные ОД, внедренные данные ВД и дескрипторы ДОД и ДВД данных в декодер 31. Декодер 31 декодирует кодированный сигнал, выполняя процесс декодирования, который по существу представляет собой операцию, обратную кодированию в кодере 11, причем получают декодированный сигнал S', который соответствует исходному сигналу S', за исключением тех частей, которые были потеряны в процессе кодирования. Декодер 31 передает декодированный сигнал S' на устройство 32 воспроизведения, например, громкоговоритель для воспроизведения декодированного сигнала S'. Устройство 32 воспроизведения может быть также передатчиком для последующей передачи декодированного сигнала S', например, через домашнюю сеть и т.п.

Существующие приемники способны игнорировать ДВД, как описано выше для случая RFC 3016. Дополнительные варианты реализации приемника могут быть способны интерпретировать ДВД. В этом случае прохождение ДВД на устройство 31 может зависеть от возможностей устройства 31. Например, в тех вариантах осуществления, в которых декодер 31 не поддерживает признак, к которому относятся внедренные данные, устройство 30 ввода может принять решение не передавать ДВД на устройство 31 для того, чтобы сохранить полосу пропускания.

Варианты осуществления изобретения могут быть применены в аудио- и/или видеовещании, радио по Интернет, 3GPP, распространению по Интернет, плеерах без движущихся механических частей, 3G терминалах, GPRS и их последующих коммерческих версиях.

Следует заметить, что вышеуказанные варианты осуществления не являются ограничениями изобретения, и специалистам в данной области техники очевидны много альтернативных вариантов осуществления изобретения без отрыва от объема прилагаемой формулы изобретения. В формуле изобретения любые ссылочные позиции в скобках не следует рассматривать как ограничение изобретения. Слово «содержащий» не исключает наличие других элементов или этапов, отличных от тех, которые приведены в формуле. Изобретение может быть реализовано в виде аппаратных средств, содержащих несколько отдельных элементов, либо посредством соответствующим образом запрограммированного компьютера. В пунктах формулы, относящихся к устройству, перечисляющих несколько средств, некоторые средства могут быть воплощены одним и тем же элементом аппаратного обеспечения. Тот факт, что некоторые средства перечислены во взаимно различающихся зависимых пунктах формулы изобретения, не означает, что комбинация этих средств не может быть выгодно использована.

1. Способ обеспечения сигнала, представляющего основные данные, при этом основные данные включают в себя внедренные данные, при этом основные данные снабжают дескриптором основных данных для описания контента, включенного в основные данные, при этом способ содержит этапы: формируют дескриптор внедренных данных для описания контента, включенного во внедренные данные, обеспечивают в упомянутом сигнале дескриптор внедренных данных вне основных данных и дескриптора основных данных.

2. Способ по п.1, в котором основные данные содержат аудио- и/или видеоданные, и при этом внедренные данные содержат данные расширения для расширения аудио- и/или видеоданных.

3. Кодер для выдачи сигнала, представляющего основные данные, при этом основные данные включают в себя внедренные данные, причем основные данные снабжены дескриптором основных данных для описания контента, включенного в основные данные, при этом кодер содержит: средство для формирования дескриптора внедренных данных для описания контента, включенного во внедренные данные, средство для обеспечения в упомянутом сигнале дескриптора внедренных данных вне основных данных и дескриптора основных данных.

4. Сигнал, представляющий основные данные, для его кодирования или декодирования в системе обработки потоков данных с внедренными данными, при этом основные данные включают в себя внедренные данные, основные данные снабжены дескриптором основных данных для описания контента, включенного в основные данные, внедренные данные снабжены дескриптором внедренных данных для описания контента, включенного во внедренные данные, при этом дескриптор внедренных данных обеспечивается вне основных данных и дескриптора основных данных.

5. Способ декодирования сигнала, причем сигнал представляет основные данные, при этом основные данные включают в себя внедренные данные, основные данные снабжены дескриптором основных данных для описания контента, включенного в основные данные, внедренные данные снабжены дескриптором внедренных данных для описания контента, включенного во внедренные данные, причем дескриптор внедренных данных обеспечивается вне основных данных и дескриптора основных данных, способ декодирования содержит этапы: считывают дескриптор внедренных данных, используют внедренные данные в зависимости от содержимого считанного упомянутого дескриптора внедренных данных.

6. Декодер для декодирования сигнала, причем сигнал представляет основные данные, основные данные включают в себя внедренные данные, при этом основные данные снабжены дескриптором основных данных для описания контента, включенного в основные данные, внедренные данные снабжены дескриптором внедренных данных для описания контента, включенного во внедренные данные, при этом дескриптор внедренных данных обеспечивается вне основных данных и дескриптора основных данных, упомянутый декодер содержит: средство для считывания дескриптора внедренных данных, средство для использования внедренных данных в зависимости от содержимого упомянутого считанного дескриптора внедренных данных.

7. Передатчик, содержащий устройство ввода для получения входного сигнала, кодер по п.3 для кодирования входного сигнала для получения основных данных, при этом основные данные включают в себя внедренные данные, основные данные снабжены дескриптором основных данных для описания контента, включенного в основные данные, при этом внедренные данные снабжены дескриптором внедренных данных для описания контента, включенного во внедренные данные, при этом дескриптор внедренных данных обеспечивается вне основных данных и дескриптора основных данных, и устройство вывода для форматирования основных данных, включающих в себя внедренные данные, дескриптора основных данных и дескриптора внедренных данных в кодированный сигнал и для передачи кодированного сигнала.

8. Устройство записи, содержащее устройство ввода для получения входного сигнала, кодер по п.3 для кодирования входного сигнала для получения основных данных, при этом основные данные включают в себя внедренные данные, основные данные снабжены дескриптором основных данных для описания контента, включенного в основные данные, при этом внедренные данные снабжены дескриптором внедренных данных для описания контента, включенного во внедренные данные, при этом дескриптор внедренных данных обеспечивается вне основных данных и дескриптора основных данных, и устройство вывода для форматирования основных данных, включающих в себя внедренные данные, дескриптора основных данных и дескриптора внедренных данных в кодированный сигнал и для записи кодированного сигнала.

9. Приемник, содержащий устройство ввода для получения сигнала, представляющего основные данные, причем основные данные включают в себя внедренные данные, основные данные снабжены дескриптором основных данных для описания контента, включенного в основные данные, при этом внедренные данные снабжены дескриптором внедренных данных для описания контента, включенного во внедренные данные, при этом дескриптор внедренных данных обеспечивается вне основных данных и дескриптора основных данных, декодер по п.6 для декодирования сигнала для получения декодированного сигнала, устройство вывода для воспроизведения декодированного сигнала.