Способы и устройство для использования в системе кодирования многовидового видео

Способы и устройство для использования в системе кодирования многовидового видео

Иллюстрации

Показать все

Реферат

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

Данная заявка испрашивает приоритет предварительной заявки США с серийным номером 60/787,092, поданной 29 марта 2006 г., которая полностью включается в данный документ посредством ссылки. Эта заявка также непосредственно относится к двум другим заявкам, одновременно поданным с рассматриваемой в данный момент заявкой и имеющим общих авторов изобретения и общего правопреемника (Номера дел поверенного №№ PU070031 и PU070032), каждая из которых полностью включается посредством ссылки.

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящие принципы, в общем, относятся к кодированию и декодированию видео, а более конкретно к способам и устройству для использования в системе кодирования многовидового видео (видео с несколькими представлениями).

УРОВЕНЬ ТЕХНИКИ

В текущей реализации кодирования многовидового видео (MVC), совместимого со стандартом Улучшенного кодирования видео (AVC) части 10 стандарта 4-й Экспертной группы по движущимся изображениям (MPEG-4) Международной организации по стандартизации/Международной электротехнической комиссии (ISO/IEC)/рекомендацией H.264 сектора телекоммуникаций Международного союза электросвязи (ITU-T) (в дальнейшем - "стандарт MPEG-4 AVC"), отсутствует положение для идентификации конкретного вида (кадра) и сигнализирования параметров камеры. Эта информация о виде (кадре) необходима по нескольким причинам. Масштабируемость вида, произвольный доступ к виду, параллельная обработка, формирование вида и синтез вида являются требованиями кодирования многовидового видео, которые используют информацию о виде. Кроме того, некоторые из этих требований также используют параметры камеры, которые в настоящее время не передаются стандартизованным способом.

Предложен способ для задействования эффективного произвольного доступа в многовидовых сжатых потоках двоичных сигналов. В предложенном способе определяются тип V-изображения и сообщение с дополнительной информацией расширения (SEI) о зависимости видов. Обязательным признаком в предложенном типе V-изображения является то, что V-изображения одновременно не должны иметь временной зависимости от других изображений в той же камере и могут лишь предсказываться по изображениям в других камерах в то же самое время. Предложенное сообщение с дополнительной информацией расширения о зависимости видов будет точно описывать, какие виды V-изображения, а также предшествующие и последующие последовательности изображений, от чего могут зависеть. В последующем описании подробно указываются предложенные изменения.

По отношению к синтаксису и семантике V-изображения отдельная таблица синтаксиса, относящаяся к стандарту MPEG-4 AVC, расширяется для включения в себя типа 14 уровня абстракции сети (NAL), соответствующего V-изображению. Также, тип V-изображения определяется, как имеющий следующую семантику:

V-изображение: кодированное изображение, в котором все секции ссылаются только на секции с одинаковым временным индексом (то есть, только секции в других видах, а не секции в текущем виде). Когда V-изображение будет выведено или показано, это также заставит процесс декодирования пометить все изображения из одинакового вида, которые не являются IDR-изображениями или V-изображениями, и которые предшествуют V-изображению в порядке выхода, как "неиспользуемые для ссылки". Каждое V-изображение будет ассоциировано с сообщением с SEI о зависимости видов, возникающим в том же NAL.

Что касается синтаксиса и семантики сообщения с дополнительной информацией расширения о зависимости видов, то сообщение с дополнительной информацией расширения о зависимости видов задается следующим синтаксисом:

view_dependency ( payloadSize ) {

num_seq_reference_views ue(v)

seq_reference_view_0 ue(v)

seq_reference_view_1 ue(v)

…

seq_reference_view_N ue(v)

num_pic_reference_views ue(v)

pic_reference_view_0 ue(v)

pic_reference_view_1 ue(v)

…

pic_reference_view_N ue(v)

}

где num_seq_reference_views/num_pic_reference_views обозначает количество возможных видов, которое может использоваться как базис для текущей последовательности/изображения, и seq_reference_view_i/pic_reference_view_i обозначает номер вида для i^го базового вида.

Изображение, ассоциированное с сообщением с дополнительной информацией расширения о зависимости видов, будет ссылаться только на указанные виды, описываемые при помощи pic_reference_view_i. Аналогичным образом все последующие изображения в порядке выхода этого вида до следующего сообщения с дополнительной информацией расширения о зависимости видов в этом виде будут ссылаться только на указанные виды, описываемые при помощи seq_reference_view_i.

Сообщение с дополнительной информацией расширения о зависимости видов будет ассоциировано с каждым изображением с мгновенным обновлением декодирования (IDR) и V-изображением.

По меньшей мере, одним недостатком этого способа является сложность, представленная в декодере, вследствие рекурсивно получаемой зависимости. Дополнительно этот способ требует, чтобы каждое V-изображение содержало сообщение SEI (которое является ненормативной частью стандарта MPEG-4 AVC), приводя к зависимости, которую невозможно использовать для нормативного режима работы, например выбора базисного изображения.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Настоящие принципы обращаются к этим и другим недостаткам и неудобствам предшествующего уровня техники, которые ориентированы на способы и устройство для использования в системе кодирования многовидового видео.

Согласно аспекту настоящих принципов предоставляется устройство. Устройство включает в себя кодер для кодирования, по меньшей мере, двух видов (кадров), соответствующих многовидовому (многокадровому) видео контенту в результирующий поток двоичных сигналов, в котором результирующий поток двоичных сигналов кодируется, чтобы включать в себя относящуюся к виду особую информацию. Относящаяся к виду особая информация указывает взаимозависимость декодирования между, по меньшей мере, некоторыми, по меньшей мере, из двух видов.

Согласно другому аспекту настоящих принципов предоставляется способ. Способ включает в себя кодирование, по меньшей мере, двух видов (кадров), соответствующих многовидовому видео контенту, в результирующий поток двоичных сигналов, в котором результирующий поток двоичных сигналов кодируется, чтобы включать в себя относящуюся к виду особую информацию. Относящаяся к виду особая информация указывает взаимозависимость декодирования между, по меньшей мере, некоторыми, по меньшей мере, из двух видов.

Согласно еще одному аспекту настоящих принципов предоставляется устройство. Устройство включает в себя декодер для декодирования, по меньшей мере, двух видов (кадров), соответствующих многовидовому (многокадровому) видео контенту, из потока двоичных сигналов, где поток двоичных сигналов декодируется для определения относящейся к виду особой информации, включенной в него, причем относящаяся к виду особая информация указывает взаимозависимость декодирования между, по меньшей мере, некоторыми, по меньшей мере, из двух видов.

Согласно еще одному аспекту настоящих принципов предоставляется способ. Способ включает в себя декодирование, по меньшей мере, двух видов (кадров), соответствующих многовидовому видео контенту, из потока двоичных сигналов, где поток двоичных сигналов декодируется для определения относящейся к виду особой информации, включенной в него. Относящаяся к виду особая информация указывает взаимозависимость декодирования между, по меньшей мере, некоторыми, по меньшей мере, из двух видов.

Согласно дополнительному аспекту настоящих принципов предоставляется устройство. Устройство включает в себя кодер для кодирования, по меньшей мере, двух видов (кадров), соответствующих многовидовому видео контенту, путем задания в качестве основного вида любого, по меньшей мере, из двух видов, который для декодирования его независим от любого другого, по меньшей мере, из двух видов.

Согласно другому дополнительному аспекту настоящих принципов предоставляется способ. Способ включает в себя кодирование, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, путем задания в качестве основного вида любого, по меньшей мере, из двух видов, который для декодирования его независим от любого другого, по меньшей мере, из двух видов.

Согласно еще одному дополнительному аспекту настоящих принципов предоставляется устройство. Устройство включает в себя декодер для декодирования, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, в котором декодер определяет, какой, по меньшей мере, из двух видов, при их наличии, является основным видом, который для декодирования его независим от любого другого, по меньшей мере, из двух видов.

Согласно дополнительному аспекту настоящих принципов предоставляется способ. Способ включает в себя декодирование, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, в котором этап декодирования определяет, какой, по меньшей мере, из двух видов, при их наличии, является основным видом, который для декодирования его независим от любого другого, по меньшей мере, из двух видов.

Согласно аспекту настоящих принципов предоставляется устройство. Устройство включает в себя кодер для кодирования, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, путем кодирования, по меньшей мере, одного из, по меньшей мере, двух видов в результирующий поток двоичных сигналов, который синтаксически совместим со стандартом Улучшенного кодирования видео части 10 стандарта 4-й Экспертной группы по движущимся изображениям Международной организации по стандартизации/Международной электротехнической комиссии/рекомендацией H.264 сектора телекоммуникаций Международного союза электросвязи для обратной совместимости с ним.

Согласно другому аспекту настоящих принципов предоставляется способ. Способ включает в себя кодирование, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, путем кодирования, по меньшей мере, одного из, по меньшей мере, двух видов в результирующий поток двоичных сигналов, который синтаксически совместим со стандартом Улучшенного кодирования видео части 10 стандарта 4-й Экспертной группы по движущимся изображениям Международной организации по стандартизации/Международной электротехнической комиссии/рекомендацией H.264 сектора телекоммуникации Международного союза электросвязи для обратной совместимости с ним.

Согласно еще одному аспекту настоящих принципов предоставляется устройство. Устройство включает в себя декодер для декодирования, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, в котором, по меньшей мере, один из, по меньшей мере, двух видов включается в поток двоичных сигналов, который синтаксически совместим со стандартом Улучшенного кодирования видео части 10 стандарта 4-й Экспертной группы по движущимся изображениям Международной организации по стандартизации/Международной электротехнической комиссии/рекомендацией H.264 сектора телекоммуникаций Международного союза электросвязи для обратной совместимости с ним.

Согласно еще одному аспекту настоящих принципов предоставляется способ. Способ включает в себя декодирование, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, в котором, по меньшей мере, один из, по меньшей мере, двух видов включается в поток двоичных сигналов, который синтаксически совместим со стандартом Улучшенного кодирования видео части 10 стандарта 4-й Экспертной группы по движущимся изображениям Международной организации по стандартизации/Международной электротехнической комиссии/рекомендацией H.264 сектора телекоммуникаций Международного союза электросвязи для обратной совместимости с ним.

Согласно дополнительному аспекту настоящих принципов предоставляется устройство. Устройство включает в себя кодер для кодирования, по меньшей мере, одного из, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, путем выбора между одним из двух предопределенных типов секций.

Согласно другому дополнительному аспекту настоящих принципов предоставляется способ. Способ включает в себя кодирование, по меньшей мере, одного из, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, путем выбора между одним из двух предопределенных типов секций.

Согласно еще одному дополнительному аспекту настоящих принципов предоставляется устройство. Устройство включает в себя декодер для декодирования, по меньшей мере, одного из, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, путем определения между одним из двух предопределенных типов секций.

Согласно дополнительному аспекту настоящих принципов предоставляется способ. Способ включает в себя декодирование по меньшей мере одного из, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, путем определения между одним из двух предопределенных типов секций.

Согласно аспекту настоящих принципов предоставляется устройство. Устройство включает в себя кодер для кодирования по меньшей мере двух видов, соответствующих многовидовому контенту, в результирующий поток двоичных сигналов, в котором результирующий поток двоичных сигналов кодируется, чтобы включать в себя по меньшей мере один параметр камеры, соответствующий по меньшей мере одному из, по меньшей мере, двух видов.

Согласно другому аспекту настоящих принципов предоставляется способ. Способ включает в себя кодирование, по меньшей мере, двух видов, соответствующих многовидовому контенту, в результирующий поток двоичных сигналов, в котором результирующий поток двоичных сигналов кодируется, чтобы включать в себя, по меньшей мере, один параметр камеры, соответствующий по меньшей мере одному из, по меньшей мере, двух видов.

Согласно еще одному аспекту настоящих принципов предоставляется устройство. Устройство включает в себя декодер для декодирования, по меньшей мере, двух видов, соответствующих многовидовому контенту, из потока двоичных сигналов, где поток двоичных сигналов декодируется, чтобы определять, по меньшей мере, один параметр камеры, включенный в него. По меньшей мере, один параметр камеры соответствует, по меньшей мере, одному из, по меньшей мере, двух видов.

Согласно еще одному аспекту настоящих принципов предоставляется способ. Способ включает в себя декодирование, по меньшей мере, двух видов, соответствующих многовидовому контенту, из потока двоичных сигналов, где поток двоичных сигналов декодируется, чтобы определять, по меньшей мере, один параметр камеры, включенный в него. По меньшей мере, один параметр камеры соответствует, по меньшей мере, одному из, по меньшей мере, двух видов.

Согласно дополнительному аспекту настоящих принципов предоставляется устройство. Устройство включает в себя кодер для кодирования, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, в результирующий поток двоичных сигналов, в котором результирующий поток двоичных сигналов кодируется, чтобы включать в себя, по меньшей мере, один синтаксический элемент, относящийся, по меньшей мере, к одному параметру камеры, по меньшей мере, для одного из, по меньшей мере, двух видов.

Согласно другому дополнительному аспекту настоящих принципов предоставляется способ. Способ включает в себя кодирование, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, в результирующий поток двоичных сигналов, в котором результирующий поток двоичных сигналов кодируется, чтобы включать в себя, по меньшей мере, один синтаксический элемент, относящийся, по меньшей мере, к одному параметру камеры для, по меньшей мере, одного из, по меньшей мере, двух видов.

Согласно еще одному дополнительному аспекту настоящих принципов предоставляется устройство. Устройство включает в себя декодер для декодирования, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, из потока двоичных сигналов, где поток двоичных сигналов декодируется, чтобы определять, по меньшей мере, один параметр камеры для, по меньшей мере, одного из, по меньшей мере, двух видов на основе, по меньшей мере, одного синтаксического элемента, включенного в поток двоичных сигналов.

Согласно дополнительному аспекту настоящих принципов предоставляется способ. Способ включает в себя декодирование, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, из потока двоичных сигналов, где поток двоичных сигналов декодируется, чтобы определять, по меньшей мере, один параметр камеры для, по меньшей мере, одного из, по меньшей мере, двух видов на основе, по меньшей мере, одного синтаксического элемента, включенного в поток двоичных сигналов.

Эти и другие аспекты, признаки и преимущества настоящих принципов станут очевидными из последующего Осуществления изобретения с подробным описанием примерных вариантов осуществления, которые необходимо рассматривать применительно к прилагаемым чертежам.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Настоящие принципы могут быть лучше поняты в соответствии со следующими иллюстративными чертежами, на которых:

Фиг. 1 - блок-схема для примерного видеокодера, к которому могут быть применены настоящие принципы, в соответствии с вариантом осуществления настоящих принципов.

Фиг. 2 - блок-схема для примерного видеодекодера, к которому могут быть применены настоящие принципы, в соответствии с вариантом осуществления настоящих принципов.

Фиг. 3 - схема для структуры межвидового временного предсказания на основе стандарта MPEG-4 AVC, использующей иерархические B-изображения, в соответствии с вариантом осуществления настоящих принципов.

Фиг. 4 - блок-схема алгоритма для примерного способа для кодирования нескольких видов многовидового видео контента в соответствии с вариантом осуществления настоящих принципов.

Фиг. 5 - блок-схема алгоритма для примерного способа для декодирования нескольких видов многовидового видео контента в соответствии с вариантом осуществления настоящих принципов.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Настоящие принципы ориентированы на способы и устройство для использования в системе кодирования многовидового (многокадрового) видео.

Данный раздел «Осуществление изобретения» иллюстрирует настоящие принципы. Таким образом, будет принято во внимание, что специалисты в данной области техники смогут разработать различные схемы, которые, хотя и не явно описаны или показаны в данном документе, реализуют настоящие принципы и включены в их сущность и объем.

Все примеры и условный язык, изложенные в данном документе, предназначены для учебных целей, чтобы помочь читателю в понимании настоящих принципов и идей, внесенных автором (авторами) изобретения как вклад в развитие уровня техники, и должны быть истолкованы как не ограничивающие до таких конкретно изложенных примеров и условий.

Кроме того, все утверждения, излагающие в данном документе принципы, аспекты и варианты осуществления настоящих принципов, а также их отдельные примеры, предназначены для охвата как структурных, так и их функциональных эквивалентов. Дополнительно подразумевается, что такие эквиваленты включают в себя как известные в настоящее время эквиваленты, так и эквиваленты, разработанные в будущем, т.е. любые разработанные элементы, которые выполняют ту же функцию, независимо от структуры.

Таким образом, например, специалистами в данной области техники будет принято во внимание, что представленные в данном документе блок-схемы представляют концептуальные представления иллюстративной схемы, реализующей настоящие принципы. Аналогично будет принято во внимание, что любые блок-схемы алгоритма, блок-схемы, диаграммы перехода из одного состояния в другое, псевдокод и тому подобное представляют различные процессы, которые по существу могут быть представлены в машиночитаемом носителе и поэтому могут выполняться компьютером или процессором, показан ли явно такой компьютер или процессор или нет.

Функции различных элементов, показанных на чертежах, могут предоставляться посредством использования специализированных аппаратных средств, а также аппаратных средств, допускающих выполнение программного обеспечения в связи с соответствующим программным обеспечением. Будучи предоставленными процессором, функции могут предоставляться единственным специализированным процессором, единственным общим процессором или набором отдельных процессоров, некоторые из которых могут быть совместно использованы. Более того, явное использование термина "процессор" или "контроллер" не следует толковать исключительно для ссылки на аппаратные средства, допускающие выполнение программного обеспечения, и может неявным образом включать в себя без ограничения оборудование с цифровым процессором сигналов ("DSP"), постоянное запоминающее устройство ("ROM") для хранения программного обеспечения, оперативное запоминающее устройство ("RAM") и энергонезависимое запоминающее устройство.

Также могут включаться другие аппаратные средства, общепринятые и/или заказные. Аналогично, любые переключатели, показанные на чертежах, являются лишь концептуальными. Их функция может выполняться посредством работы программной логики, посредством нестандартной логики, посредством взаимодействия программного управления и нестандартной логики, или даже вручную, причем конкретная методика выбирается конструктором, как более точно понятная из контекста.

В формуле изобретения любой элемент, выраженный как средство для выполнения заданной функции, предназначается для охвата любого способа выполнения этой функции, включая, например, a) сочетание элементов схемы, которое выполняет эту функцию, или b) программное обеспечение в любой форме, включая микропрограммное обеспечение, микрокод или тому подобное, объединенные с соответствующей схемой для выполнения этого программного обеспечения для выполнения функции. Настоящие принципы, которые определены такой формулой изобретения, заключаются в том, что функциональные возможности, предоставленные различными перечисленными средствами, объединяются и сводятся вместе способом, который требует формула изобретения. Таким образом, считается, что любое средство, которое может предоставлять эти функциональные возможности, эквивалентно показанным в данном документе.

Ссылка в описании изобретения на «один вариант осуществления» или «вариант осуществления» настоящих принципов означает, что конкретный признак, конструкция, характеристика и так далее, описанные в связи с вариантом осуществления, включается, по меньшей мере, в один вариант осуществления настоящих принципов. Таким образом, появления фразы «в одном варианте осуществления» или «в варианте осуществления», возникающие в разных местах во всем описании изобретения, необязательно указывают на один и тот же вариант осуществления.

Обращаясь к Фиг. 1, примерный видеокодер, к которому могут применяться настоящие принципы, в целом указывается номером ссылки 100.

Вход в видеокодер 100 соединен для обмена сигналами с не инвертирующим входом сумматора 110. Выход сумматора 110 соединен для обмена сигналами с преобразователем/квантователем 120. Выход преобразователя/квантователя 120 соединен для обмена сигналами со статистическим кодером 140. Выход статистического кодера 140 действителен как выход кодера 100.

Выход преобразователя/квантователя 120 дополнительно соединен для обмена сигналами с обратным преобразователем/квантователем 150. Выход обратного преобразователя/квантователя 150 соединен для обмена сигналами с входом фильтра 160 уменьшения блочности. Выход фильтра 160 уменьшения блочности соединен для обмена сигналами с накопителем 170 опорных изображений. Первый выход накопителя 170 опорных изображений соединен для обмена сигналами с первым входом блока 180 анализа движения. Вход кодера 100 дополнительно соединен для обмена сигналами со вторым входом блока 180 анализа движения. Выход блока 180 анализа движения соединен для обмена сигналами с первым входом компенсатора 190 движения. Второй выход накопителя 170 опорных изображений соединен для обмена сигналами со вторым входом компенсатора 190 движения. Выход компенсатора 190 движения соединен для обмена сигналами с инвертирующим входом сумматора 110.

Обращаясь к Фиг. 2, примерный видеодекодер, к которому могут применяться настоящие принципы, в целом указывается номером ссылки 200.

Видеодекодер 200 включает в себя статистический декодер 210 для приема видеопоследовательности. Первый выход статистического декодера 210 соединен для обмена сигналами с входом обратного квантователя/преобразователя 220. Выход обратного квантователя/преобразователя 220 соединен для обмена сигналами с первым не инвертирующим входом сумматора 240.

Выход сумматора 240 соединен для обмена сигналами с входом фильтра 290 уменьшения блочности. Выход фильтра 290 уменьшения блочности соединен для обмена сигналами с входом накопителя 250 опорных изображений. Выход накопителя 250 опорных изображений соединен для обмена сигналами с первым входом компенсатора 260 движения. Выход компенсатора 260 движения соединен для обмена сигналами со вторым не инвертирующим входом сумматора 240. Второй выход статистического декодера 210 соединен для обмена сигналами со вторым входом компенсатора 260 движения. Выход фильтра 290 уменьшения блочности действителен как выход видеодекодера 200.

В варианте осуществления настоящих принципов предлагается высокоуровневый синтаксис для эффективной обработки многовидовой последовательности. В частности, мы предлагаем создание нового набора параметров, названного набором параметров вида (VPS) со своим собственным типом модуля NAL, и два более новых типа модуля NAL для поддержки многовидовых секций, с типами модуля NAL, включающими идентификатор вида (id) в заголовке NAL для идентификации, к какому виду принадлежит секция. Для видовой масштабируемости и обратной совместимости с декодерами, совместимыми со стандартом MPEG-4 AVC, мы предлагаем сохранить один вид (изображение), совместимый с MPEG-4 AVC, который мы называем "Основным видом, совместимым с MPEG-4 AVC".

При использовании в данном документе "высокоуровневый синтаксис" относится к синтаксису, представленному в потоке двоичных сигналов, который постоянно находится выше уровня макроблока по иерархии. Например, высокоуровневый синтаксис при использовании в данном документе может относиться, но не ограничивается, к синтаксису на уровне заголовка секции, уровне дополнительной информации расширения (SEI), уровне набора параметров изображения и уровне набора параметров последовательности.

В данной реализации системы кодирования многовидового (многокадрового) видео, описанной выше как не имеющей обеспечения для идентификации отдельного вида (кадра) и сигнализации параметров камеры, разные виды чередуются для формирования единой последовательности, вместо обработки разных видов как отдельных видов. Поскольку синтаксис совместим со стандартом MPEG-4 AVC, как отмечено выше, в настоящее время невозможно идентифицировать, к какому из видов принадлежит данная секция. Эта информация о виде (изображении) необходима по нескольким причинам. Масштабируемость вида, произвольный доступ к виду, параллельная обработка, формирование вида и синтез вида являются требованиями кодирования многовидового видео, которые необходимы для идентификации вида. Для эффективной поддержки произвольного доступа к виду и масштабируемости вида декодеру важно знать, как разные изображения зависят друг от друга, чтобы декодировались только нужные изображения. Параметры камеры необходимы для синтеза вида. Если синтез вида, в конечном счете, используется в цикле декодирования, должен быть задан стандартизованный способ сигнализации параметров камеры. В соответствии с вариантом осуществления, используется набор параметров вида.

В варианте осуществления предполагается, что необходим один вид, который полностью обратно совместим со стандартом MPEG-4 AVC с целью поддержки декодеров, не совместимых с MVC, но совместимых с MPEG-4 AVC. В варианте осуществления предполагается, что будут виды, которые декодируются независимо, чтобы облегчить быстрый произвольный доступ к виду. Мы ссылаемся на эти виды как на "основные виды". Основной вид может быть или не быть совместимым со стандартом MPEG-4 AVC, но совместимый с MPEG-4 AVC вид всегда является основным видом.

Обращаясь к Фиг. 3, структура межвидового временного предсказания на основе стандарта MPEG-4 AVC, использующая иерархические B-изображения, указывается в целом номером ссылки 300. На Фиг. 3 переменная I обозначает изображение с интра кодированием, переменная P обозначает кодированное с предсказанием изображение, переменная B обозначает кодированное с двунаправленным предсказанием изображение, переменная T обозначает положение конкретного изображения, и переменная S обозначает конкретный вид, которому соответствует конкретное изображение.

В соответствии с вариантом осуществления определяются следующие условия:

Опорное изображение определяется как изображение, декодирование которого не затрагивает никакого изображения, дискретизированного в разные моменты времени. Опорное изображение сигнализируется путем установки nal_ref_idc в 3. На Фиг. 3 все изображения в положениях T0, T8…, T96 и T100 являются примерами опорных изображений.

Неопорное изображение определяется как изображение, которое не имеет вышеупомянутого ограничения, заданного для опорного изображения. На Фиг. 3 изображения B2, B3 и B4 являются неопорными изображениями.

Основным видом является вид, который не зависит от любого другого вида и может декодироваться независимо. На Фиг. 3 вид S0 является примером основного вида.

Также в варианте осуществления предлагается новый набор параметров, названный Набором параметров вида со своим собственным типом модуля NAL, и два новых типа модулей NAL для поддержки секций кодирования многовидового видео. Мы также изменяем синтаксис заголовка секции для указания view_id и набора параметров вида, который нужно использовать.

Стандарт MPEG-4 AVC включает в себя следующие два набора параметров: (1) Набор параметров последовательности (SPS), который включает в себя информацию, которая не предполагается к изменению во всей последовательности; и (2) Набор параметров изображения (PPS), который включает в себя информацию, которая не предполагается к изменению для каждого изображения.

Так как кодирование многовидового видео имеет дополнительную информацию, которая специфична для каждого вида, мы создали отдельный Набор параметров вида (VPS), чтобы передавать эту информацию. Вся информация, которая необходима для определения зависимости между разными видами, указывается в Наборе параметров вида. Таблица синтаксиса для предложенного набора параметров вида показана в ТАБЛИЦЕ 1 (синтаксис набора RBSP параметров вида). Набор параметров вида включается в новый тип модуля NAL, например, тип 14, как показано в ТАБЛИЦЕ 2 (коды типов модулей NAL).

В соответствии с описанием настоящего изобретения, определяются следующие условия:

view_parameter_set_id идентифицирует набор параметров вида, на который ссылаются в заголовке секции. Значение view_parameter_set_id должно быть в диапазоне от 0 до 255.

number_of_views_minus_1 плюс 1 идентифицирует общее количество видов в потоке двоичных сигналов. Значение number_of_views_minus_1 должно быть в диапазоне от 0 до 255.

avc_compatible_view_id указывает view_id совместимого с AVC вида. Значение avc_compatible_view_id должно быть в диапазоне от 0 до 255.

is_base_view_flag[i], равное 1, указывает, что вид i является основным видом и является независимо декодируемым. is_base_view_flag[i], равное 0, указывает, что вид i не является основным видом. Значение is_base_view_flag[i] должно быть равно 1 для вида i, совместимого с AVC.

dependency_update_flag, равный 1, указывает, что информация о зависимости для этого вида обновляется в VPS. dependency_update_flag, равный 0, указывает, что информация о зависимости для этого вида не обновляется и не должна изменяться.

anchor_picture_dependency_maps[i][j], равное 1, указывает, что опорные изображения с view_id, равное j, будут зависеть от опорных изображений с view_id, равное i.

non_anchor_picture_dependency_maps[i][j], равное 1, указывает что неопорные изображения с view_id, равное j, будут зависеть от неопорных изображений с view_id, равное i. non_anchor_picture_dependency_maps[i][j] присутствует, только когда anchor_picture_dependency_maps[i][j] равно 1. Если anchor_picture_dependency_maps[i][j] присутствует и равно нулю, то non_anchor_picture_dependency_maps[i][j] должно расцениваться как равное 0.

Таблица 1
view_parameter_set_rbsp() {	C	Дескриптор
view_parameter_set_id	0	ue(v)
number_of_views_minus_1	0	ue(v)
avc_compatible_view_id	0	ue(v)
for( i = 0; i <= number_of_views_minus_1; i++) {
is_base_view_flag[i]	0	u(1)
dependency_update_flag	0	u(1)
if (dependency_update_flag == 1) {
for(j = 0; j <= number_of_views_minus_1; j++) {
anchor_picture_dependency_maps[i][j]	0	f(1)
if (anchor_picture_dependency_maps[i][j] == 1)
non_anchor_picture_dependency_maps[i][j]	0	f(1)
}
}
}
for(i = 0; i <= number_of_views_minus_1; i++ ) {
camera_parameters_present_flag	0	u(1)
if (camera_parameters_present_flag == 1){
camera_parameters_1_1[i]	0	f(32)
***
camera_parameters_3_4[i]	0	f(32)
}
}
}

Таблица 2
nal_unit_type	Содержание модуля NAL и структура синтаксиса RBSP	C
0	Не задано
1	Кодированная секция не-IDR изображения slice_layer_without_partitioning_rbsp()	2, 3, 4
2	Сегмент A данных кодированной секции slice_data_partition_a_layer_rbsp()	2
3	Сегмент B данных кодированной секции slice_data_partition_b_layer_rbsp()	3
4	Сегмент C данных кодированной секции slice_data_partition_c_layer_rbsp()	4
5	Кодированная секция IDR-изображения slice_layer_without_partitioning_rbsp()	2, 3
6	Дополнительная информация расширения (SEI) sei_rbsp()	5
7	Набор параметров последовательности seq_parameter_set_rbsp()	0
8	Набор параметров изображения pic_parameter_set_rbsp()	1
9	Разделитель блока доступа access_unit_delimiter_rbsp()	6
10	Конец последовательности end_of_seq_rbsp()	7
11	Конец потока end_of_stream_rbsp()	8
12	Заполняющие данные filler_data_rbsp()	9
13	Расширение набора параметров последовательности seq_parameter_set_extension_rbsp()	10
14	Набор параметров вида view_parameter_set_rbps()	11
15..18	Зарезервировано
19	Кодированная секция добавочно кодированного изображения без разделения slice_layer_without_partitioning_rbsp()	2, 3, 4
20	Кодированная секция не-IDR изображения в изменяемом расширении slice_layer_in_scalable_extension_rbsp()	2, 3, 4
21	Кодированная секция IDR-изображения в изменяемом расширении slice_layer_in_scalable_extension_rbsp()	2, 3
22	Кодированная секция не-IDR изображения в многовидовом расширении slice_layer_in_mvc_extension_rbsp()	2, 3, 4
23	Кодированная секция IDR изображения в многовидовом расширении slice_layer_in_mvc_extension_rbsp()	2, 3
24..31	Не задано

Необязательные параметры в Наборе параметров вида включают в себя следующие:

camera_parameters_present_flag, равный 1, указывает, что проекционная матрица сигнализируется, как изложено ниже.

camera_parameters, предполагающий параметр камеры, передается в виде проекционной матрицы P размером 3x4, которая может использоваться для преобразования точки в трехмерном мире в координату плоского изображения:

I = P*[X _w :Y _w :Zw:1]

где I - однородные координаты I = [λ·I _x :λ·Iy:λ].

Каждый элемент camera_parameters_*_* может быть представлен в соответствии со стандартом IEEE одинарной точности для плавающей запятой (32 бита).

Преимущество помещения этой информации в отдельный набор параметров в том, что мы еще сохраняем Наборы параметров последовательности (SPS) и Наборы параметров изображения (PPS), которые