Способ и устройство для отделения номера кадра и/или счетчика очередности изображения (рос) для мультивидового видеокодирования и видеодекодирования

Способ и устройство для отделения номера кадра и/или счетчика очередности изображения (рос) для мультивидового видеокодирования и видеодекодирования

Иллюстрации

Показать все

Реферат

Перекрестные ссылки на родственные заявки

Настоящая заявка испрашивает приоритет предварительной патентной заявки США №60/818874, поданной 6 июля 2006 года, и предварительной патентной заявки США №60/807706, поданной 18 июля 2006 года, содержание которых включено в настоящий документ посредством ссылки. Кроме того, настоящая заявка является родственной по отношению к непредварительной заявке "Method and Apparatus for Decoupling Frame Number and/or Picture Order Count (POC) for Multi-view Video Encoding and Decoding" (дело патентного поверенного №PU060136), права на которую принадлежат правопреемнику настоящего изобретения, содержание которой включено в настоящий документ посредством ссылки.

Область техники, к которой относится изобретение

Настоящее изобретение относится в целом к видеокодированию и видеодекодированию и, в частности, касается способа и устройства для отделения номера кадра и/или счетчика очередности изображения (POC) для мультивидового видеокодирования и видеодекодирования.

Уровень техники

В стандарте The International Organization for Standardization/International Electrotechnical Commission (ISO/IEC) Moving Picture Experts Group-4 (MPEG-4) Part 10 Advanced Video Coding (AVC) standard/International Telecommunication Union, Telecommunication Sector (ITU-T) H.264 recommendation (Стандарт усовершенствованного видеокодирования (AVC), Часть 10, (MPEG-4) Экспертной группы по кинематографии Международной организации по стандартизации/Международной электротехнической комиссии (ISO/IEC)/Рекомендация H.264, Сектор телекоммуникаций (ITU-T) Международного союза телекоммуникаций) (далее называемый «стандарт MPEG-4 AVC») в качестве идентификатора для изображений используется синтаксический элемент frame_num, который имеет ряд ограничений, определенных в стандарте MPEG-4 AVC. Основным назначением элемента frame_num является выполнение функции счетчика, который увеличивает свое значение на единицу каждый раз, когда декодируется изображение, так что, если имеют место потери данных, декодер может обнаружить, что некоторое изображение (изображения) было утеряно, и способен скрыть эту проблему. Элемент frame_num увеличивается в порядке декодирования блоков доступа и не обязательно должен указывать последовательность отображения. В операциях управления памятью (MMCO) значение frame_num используется для маркировки изображений в качестве долгосрочных и краткосрочных опорных изображений или маркировки опорных изображений как не используемых в качестве опорных. Элемент frame_num также используют для упорядочивания стандартного списка опорных изображений для P- и SP-слоев.

Счетчик очередности изображения в стандарте MPEG-4 AVC указывает моменты времени или порядок вывода конкретного изображения. Счетчик очередности изображения является переменной, значение которой не убывает по мере увеличения позиции изображения в выходной последовательности по отношению к предыдущему изображению IDR (с мгновенным обновлением при декодировании) в порядке декодирования или относительно предыдущего изображения, содержащего операцию управления памятью, которая маркирует все опорные изображения как «не используемые в качестве опорных». Счетчик очередности изображения получают из синтаксических элементов заголовка слоя. Счетчик очередности изображения используют при получении векторов движения при работе во временном режиме DIRECT, неявном прогнозировании (предсказании) с взвешиванием и упорядочивании стандартного начального списка опорных изображений для В-слоев.

В частности, параметры движения в режиме DIRECT, с использованием временной корреляции, как правило, получают для текущего макроблока/блока с учетом информации о движении в смежной позиции в последующем опорном изображении или, точнее, в первом опорном изображении списка 1. Обратимся к фиг.1, где под ссылочной позицией 100 показана схема, иллюстрирующая временное прогнозирование (предсказание) DIRECT при кодировании В-слоя. Если предположить, что объект движется с постоянной скоростью, то эти параметры масштабируются в соответствии с временными интервалами (как показано на фиг.1) опорных изображений, включенных в схему. Векторы движения для кодированного блока DIRECT, исходя из вектора движения для его смежной позиции в первом опорном изображении списка 1, вычисляются следующим образом:

В вышеуказанных Уравнениях TD_B и TD_D - временные интервалы или, точнее, интервалы счетчика очередности изображения (POC) для опорного изображения, используемого вектором движения списка 0 смежного блока в изображении списка 1 по сравнению с текущим изображением и изображением списка 1 соответственно. Опорное изображение списка 1 и опорное изображение в списке 0, к которым обращаются векторы движения смежного блока в списке 1, используются в качестве двух опорных изображений режима DIRECT. Если ссылочный индекс refIdxL0 относится к долговременному опорному изображению или DiffPicOrderCnt (pic1, pic0) равен 0, то векторы движения и для участка прямого режима получают следующим образом:

=mv смежного макроблока

=0

Средство неявного предсказания с взвешиванием также использует информацию счетчика очередности изображения для определения весов. В режиме неявного предсказания с взвешиванием (WP) весовые коэффициенты не передаются в явном виде в заголовке слоя, а вместо этого их получают на основе относительных расстояний между текущим изображением и опорными изображениями. Неявный режим используют только для кодированных макроблоков и частей макроблоков с двунаправленным предсказанием в B-слоях, включая те, где используется режим DIRECT. Для неявного режима используется формула, показанная в Уравнении (1), за исключением того, что в этом случае значения сдвига О₀ и О₁ равны нулю, а весовые коэффициенты W₀ и W₁ получают с использованием формул, показанных ниже в Уравнениях с (6) по (10).

Эта безопасная 16-разрядная операция, не содержащая деление, реализуется следующим образом:

где TD_D - разница во времени между опорным изображением списка 1 и опорным изображением списка 0, ограниченная диапазоном [-128, 127], а TD_B - разница между текущим изображением и опорным изображением списка 0, ограниченная диапазоном [-128, 127]. При мультивидовом видеокодировании могут возникнуть случаи, когда TD_D можно считать равным нулю (это происходит, когда DiffPicOrderCnt (pic1, pic2) в Уравнении (11) становится равным нулю). В указанном случае веса W₀ и W₁ устанавливают равными 32.

В текущем варианте реализации мультивидового видеокодирования MVC, совместимом со стандартом MPEG-4 AVC, базовое программное обеспечение обеспечивает мультивидовое предсказание путем перемежения всех видеопоследовательностей в едином потоке. Таким образом, элемент frame_num и счетчик очередности изображения между видами соединены вместе. Это связано с рядом недостатков. Один из них состоит в том, что появляются пропуски в значении frame_num при частичном декодировании. Это может усложнить управление списками опорных изображений или сделать невозможным обнаружение ошибки на основе пропуска frame_num. Другой недостаток состоит в том, что счетчик очередности изображения не имеет реального физического смысла, что может вывести из строя средство кодирования, которое полагается на информацию счетчика очередности изображения, например, во временном режиме DIRECT или при неявном предсказании с взвешиванием. Еще один недостаток заключается в том, что указанное соединение затрудняет параллельное кодирование мультивидовых последовательностей.

Сущность изобретения

Настоящее изобретение имеет своей целью преодоление этих и других недостатков и несовершенств известного уровня техники и создание способа и устройства для отделения номера кадра и счетчика очередности изображения (POC) для мультивидового видеокодирования и видеодекодирования.

Согласно одному аспекту настоящего изобретения предлагается устройство. Это устройство включает в себя декодер для декодирования по меньшей мере одного изображения, соответствующего по меньшей мере одному из по меньшей мере двух видов мультивидового видеоконтента, из битового потока. В битовом потоке по меньшей мере одно из информации о порядке кодирования и информации о порядке вывода по меньшей мере для одного изображения отделено от по меньшей мере от одного вида, которому соответствует по меньшей мере одно изображение.

Согласно другому аспекту настоящего изобретения предлагается способ. Этот способ включает в себя декодирование по меньшей мере одного изображения, соответствующего по меньшей мере одному из по меньшей мере двух видов мультивидового видеоконтента, из битового потока. В битовом потоке по меньшей мере одно из информации о порядке кодирования и информации о порядке вывода по меньшей мере для одного изображения отделено от по меньшей мере одного вида, которому соответствует по меньшей мере одно изображение.

Согласно еще одному аспекту настоящего изобретения предлагается устройство. Это устройство включает в себя декодер для декодирования по меньшей мере одного из по меньшей мере двух видов, соответствующих мультивидовому видеоконтенту. Декодер декодирует по меньшей мере один из по меньшей мере двух видов с использованием переопределенных переменных в процессе построения стандартного списка опорных изображений и переупорядочивании списка опорных изображений согласно стандарту The International Organization for Standardization/International Electrotechnical Commission Moving Picture Experts Group-4 Part 10 Advanced Video Coding standard/International Telecommunication Union, Telecommunication Sector H.264 recommendation.

Согласно еще одному аспекту настоящего изобретения предлагается устройство. Это устройство включает в себя декодер (250) для декодирования по меньшей мере одного из по меньшей мере двух видов, соответствующих мультивидовому видеоконтенту. Декодер декодирует по меньшей мере один из по меньшей мере двух видов с использованием переопределенных переменных в процессе маркировки декодированных опорных изображений согласно стандарту The International Organization for Standardization/International Electrotechnical Commission Moving Picture Experts Group-4 Part 10 Advanced Video Coding standard/International Telecommunication Union, Telecommunication Sector H.264 recommendation.

Согласно еще одному аспекту настоящего изобретения предлагается способ. Этот способ включает в себя декодирование по меньшей мере одного из по меньшей мере двух видов, соответствующих мультивидовому видеоконтенту. На этапе декодирования декодируется по меньшей мере один из по меньшей мере двух видов с использованием переопределенных переменных в процессе построения стандартного списка опорных изображений и переупорядочивания списка опорных изображений согласно стандарту The International Organization for Standardization/International Electrotechnical Commission Moving Picture Experts Group-4 Part 10 Advanced Video Coding standard/International Telecommunication Union, Telecommunication Sector H.264 recommendation.

Согласно еще одному аспекту настоящего изобретения предлагается способ. Этот способ включает в себя декодирование по меньшей мере одного из по меньшей мере двух видов, соответствующих мультивидовому видеоконтенту. На шаге декодирования декодируется по меньшей мере один из по меньшей мере двух видов с использованием переопределенных переменных в процессе маркировки декодированных опорных изображений согласно стандарту The International Organization for Standardization/International Electrotechnical Commission Moving Picture Experts Group-4 Part 10 Advanced Video Coding standard/International Telecommunication Union, Telecommunication Sector H.264 recommendation.

Вышеуказанные и другие аспекты, признаки и преимущества настоящего изобретения станут более очевидными из последующего подробного описания примерных вариантов, которые следует рассматривать вместе с сопроводительными чертежами.

Краткое описание чертежей

Настоящее изобретение станет более понятным при рассмотрении следующих примерных чертежей, на которых:

фиг.1 - схема, иллюстрирующая временное предсказание DIRECT при кодировании B-слоя;

фиг.2А - блок-схема примерного кодера для мультивидового видеокодирования (MVC), к которому можно применить настоящее изобретение, согласно варианту настоящего изобретения;

фиг.2В - блок-схема примерного декодера для мультивидового видеокодирования (MVC), к которому можно применить настоящее изобретение, согласно варианту настоящего изобретения;

фиг.3 - блок-схема примерного способа кодирования мультивидового видеоконтента с использованием маркировки модифицированных декодированных опорных изображений согласно варианту настоящего изобретения;

фиг.4 - блок-схема примерного способа декодирования мультивидового видеоконтента с использованием маркировки модифицированных декодированных опорных изображений согласно варианту настоящего изобретения;

фиг.5 - блок-схема примерного способа кодирования мультивидового видеоконтента с использованием построения модифицированного списка опорных изображений согласно варианту настоящего изобретения;

фиг.6 - блок-схема другого примерного способа кодирования мультивидового видеоконтента с использованием построения модифицированного списка опорных изображений согласно варианту настоящего изобретения;

фиг.7 - блок-схема еще одного примерного способа кодирования мультивидового видеоконтента с использованием построения модифицированного списка опорных изображений согласно варианту настоящего изобретения;

фиг.8 - блок-схема примерного способа декодирования мультивидового видеоконтента с использованием построения модифицированного списка опорных изображений согласно варианту настоящего изобретения;

фиг.9 - блок-схема другого примерного способа декодирования мультивидового видеоконтента с использованием построения модифицированного списка опорных изображений согласно варианту настоящего изобретения;

фиг.10 - блок-схема еще одного примерного способа декодирования мультивидового видеоконтента с использованием построения модифицированного списка опорных изображений согласно варианту настоящего изобретения;

фиг.11 - блок-схема примерного способа кодирования мультивидового видеоконтента с использованием временного режима DIRECT и неявного предсказания с взвешиванием согласно варианту настоящего изобретения;

фиг.12 - блок-схема другого примерного способа кодирования мультивидового видеоконтента с использованием временного режима DIRECT и неявного предсказания с взвешиванием согласно варианту настоящего изобретения;

фиг.13 - блок-схема примерного способа декодирования мультивидового видеоконтента с использованием маркировки модифицированных декодированных опорных изображений согласно варианту настоящего изобретения;

фиг.14 - блок-схема другого примерного способа декодирования мультивидового видеоконтента с использованием маркировки модифицированных декодированных опорных изображений согласно варианту настоящего изобретения;

фиг.15 - блок-схема примерного способа кодирования мультивидового видеоконтента с использованием маркировки модифицированных декодированных опорных изображений согласно варианту настоящего изобретения;

фиг.16 - блок-схема примерного способа декодирования мультивидового видеоконтента с использованием маркировки модифицированных декодированных опорных изображений согласно варианту настоящего изобретения;

фиг.17 - блок-схема примерного способа кодирования мультивидового видеоконтента с использованием построения модифицированного списка опорных изображений и вычисления номера кадра согласно варианту настоящего изобретения;

фиг.18 - блок-схема другого примерного способа кодирования мультивидового видеоконтента с использованием построения модифицированного списка опорных изображений и вычисления номера кадра согласно варианту настоящего изобретения;

фиг.19 - блок-схема примерного способа декодирования мультивидового видеоконтента с использованием построения модифицированного списка опорных изображений и вычисления номера кадра согласно варианту настоящего изобретения;

фиг.20 - блок-схема другого примерного способа декодирования мультивидового видеоконтента с использованием построения модифицированного списка опорных изображений и вычисления номера кадра согласно варианту настоящего изобретения;

фиг.21 - блок-схема примерного способа кодирования мультивидового видеоконтента с использованием инициализации модифицированного списка опорных изображений с помощью команд переупорядочивания списка опорных изображений (RPLR) согласно варианту настоящего изобретения;

фиг.22 - блок-схема другого примерного способа кодирования мультивидового видеоконтента с использованием инициализации модифицированного списка опорных изображений с помощью команд переупорядочивания списка опорных изображений (RPLR) согласно варианту настоящего изобретения;

фиг.23 - блок-схема примерного способа декодирования мультивидового видеоконтента с использованием построения модифицированного списка опорных изображений с помощью команд переупорядочивания списка опорных изображений (RPLR) согласно варианту настоящего изобретения; и

фиг.24 - блок-схема другого примерного способа декодирования мультивидового видеоконтента с использованием построения модифицированного списка опорных изображений с помощью команд переупорядочивания списка опорных изображений (RPLR) согласно варианту настоящего изобретения.

Раскрытие изобретения

Настоящее изобретение имеет своей целью создание способа и устройства для отделения номера кадра и счетчика очередности изображения для мультивидового видеокодирования и видеодекодирования.

Данное описание иллюстрирует принципы настоящего изобретения. Опираясь на него, специалисты в данной области техники без труда смогут предложить различные конфигурации, которые (хотя они описаны или показаны здесь не в явном виде) воплощают настоящее изобретение и не будут выходить за рамки его существа и объема.

Все изложенные здесь примеры и принятый условный язык преследуют педагогические цели, помогающие читателю понять принципы настоящего изобретения и концепции, предложенные изобретателем (изобретателями) для развития современного уровня техники в данной области, причем следует понимать, что указанные принципы и концепции не сводятся к приведенным здесь частным примерам и условиям.

Кроме того, подразумевается, что все положения, излагающие принципы, аспекты и варианты настоящего изобретения, а также конкретные примеры охватывают как структурные, так и функциональные эквиваленты изобретения. Вдобавок, предполагается, что указанные эквиваленты включают в себя как известные на сегодняшний день эквиваленты, так и эквиваленты, которые могут быть разработаны в будущем, то есть любые разработанные элементы, которые выполняют аналогичную функцию независимо от их структуры.

Таким образом, специалистам в данной области техники должно быть ясно, например, что представленные здесь блок-схемы демонстрируют концептуальные иллюстративные варианты схем, воплощающих настоящее изобретение. Аналогичным образом должно быть ясно, что любые блок-схемы, диаграммы переходов из состояния в состояние, псевдокод и т.п. представляют различные процессы, которые по существу могут быть представлены на считываемом компьютером носителе и могут выполняться компьютером или процессором независимо от того, показан ли в явном виде указанный компьютер или процессор или нет.

Показанные на чертежах функции различных элементов могут быть обеспечены посредством использования специализированного аппаратного обеспечения, а также аппаратного обеспечения, способного исполнять программы, связанные с соответствующим программным обеспечением. При наличии процессора эти функции могут быть обеспечены одним специализированным процессором, одним процессором совместного использования или множеством отдельных процессоров, часть из которых может быть использована совместно. Кроме того, использование в явном виде термина «процессор» или «контроллер» не должно рассматриваться как имеющее отношение исключительно к аппаратному обеспечению, способному выполнять программы программного обеспечения, и может в неявном виде включать в себя без ограничений аппаратное обеспечение цифрового процессора сигналов (DSP), память только для считывания (ROM) для хранения программного обеспечения, память с произвольной выборкой (RAM) и энергонезависимое запоминающее устройство.

Также сюда можно включить другое аппаратное обеспечение, стандартное и/или выполненное на заказ. Аналогичным образом, любые показанные на чертежах переключатели являются только концептуальными. Их функция может быть реализована посредством операций программной логики, специализированной логики, посредством взаимодействия программного управления и специализированной логики или даже вручную, причем конкретный способ выбирается тем, кто реализует изобретение с учетом конкретного контекста.

В формуле изобретения подразумевается, что любой элемент, представленный как средство для выполнения заданной функции, включает в себя любой способ выполнения этой функции, в том числе, например: а) комбинацию схемных элементов, которые выполняют указанную функцию, или b) программное обеспечение в любой форме, включая программно-аппаратные средства, микрокод или т.п. в сочетании с соответствующими схемами для выполнения указанного программного обеспечения, реализующего упомянутую функцию. Настоящему изобретению, определенному упомянутой формулой изобретения, присуще то, что функциональные возможности, обеспечиваемые различными перечисленными средствами, скомбинированы и сведены вместе таким образом, как это заявлено в формуле изобретения. Таким образом, любые средства, которые могут обеспечить указанные функциональные возможности, эквивалентны показанным здесь средствам.

Ссылка в этом описании на «один вариант» или «вариант» настоящего изобретения означает, что конкретный признак, структура, характеристика и т.д., описанные в связи с данным вариантом изобретения, входят по меньшей мере в один вариант настоящего изобретения. Таким образом, встречающиеся в различных местах по всему описанию словосочетания «в одном варианте» или «в варианте» не обязательно относятся все к одному и тому же варианту.

Используемое здесь словосочетание «синтаксис высокого уровня» относится к синтаксису, представленному в битовом потоке, который по иерархии находится над уровнем макроблоков. Например, используемый здесь синтаксис высокого уровня может относиться, но не только, к синтаксису на уровне заголовка слоя, уровне SEI (дополнительная информация о расширении), уровне набора параметров изображения, уровне набора параметров следования и уровне заголовка блока NAL.

Кроме того, используемое здесь словосочетание «не использованный ранее синтаксис» относится к синтаксису, которого еще нет в существующих и известных на сегодняшний день стандартах видеокодирования, а также относящихся к ним рекомендациям и расширениям, включая, но не только, стандарт MPEG-4 AVC.

Также используемое здесь словосочетание «информация о порядке кодирования» относится к информации, представленной в битовом видеопотоке, которая указывает порядок, в котором кодируются и/или декодируются изображения в битовом потоке. Информация о порядке кодирования может включать в себя, например, frame_num.

Вдобавок, используемое здесь словосочетание «информация о порядке вывода» относится к информации, представленной в битовом видеопотоке, которая указывает порядок, в котором выводятся изображения в битовом потоке. Информация о порядке вывода может включать себя, например, значение счетчика очередности изображения (POC).

Кроме того, очевидно, что, хотя настоящее изобретение описано здесь применительно к стандарту MPEG-4 AVC, оно не ограничивается только этим стандартом и может быть использовано применительно к другим стандартам видеокодирования и их расширениям, включая расширения стандарта MPEG-4 AVC, оставаясь при этом в рамках существа настоящего изобретения.

Кроме того, используемые здесь взаимозаменяемые термины «перекрестное изображение» (cross-view) и «межвидовое» (inter-view) относятся к изображениям, принадлежащим к виду, отличному от текущего.

Обратимся к фиг.2А, где под ссылочной позицией 100 показан в общем виде кодер для мультивидового видеокодирования (MVC). Кодер 100 включает в себя сумматор 105, выход которого соединен с входом преобразователя 110. Выход преобразователя 110 соединен с входом квантователя 115. Выход квантователя 115 соединен с входом энтропийного кодера 120 и входом обратного квантователя 125. Выход обратного квантователя 125 соединен с входом обратного преобразователя 130. Выход обратного преобразователя 130 соединен с первым, неинвертирующим входом сумматора 135. Выход сумматор 135 соединен с входом внутрикадрового предсказателя 145 и входом деблокирующего фильтра 150. Выход деблокирующего фильтра 150 соединен с входом блока 155 хранения опорных изображений (для вида i). Выход блока 155 хранения опорных изображений соединен с первым входом компенсатора 175 движения и первым входом блока 180 оценки движения. Выход блока 180 оценки движения соединен со вторым входом компенсатора 175 движения.

Выход блока 160 для хранения опорных изображений (для других видов) соединен с первым входом блока 170 оценки рассогласования и первым входом компенсатора 165 рассогласования. Выход блока 170 оценки рассогласования соединен со вторым входом компенсатора 165 рассогласования.

Выход энтропийного декодера 120 представляет собой выход всего кодера 100. Неинвертирующий вход сумматора 105 представляет собой вход кодера 100, причем он соединен со вторым входом блока 170 оценки рассогласования и вторым входом блока 180 оценки движения. Выход переключателя 185 соединен со вторым, неинвертирующим входом сумматора 135 и с инвертирующим входом сумматора 105. Переключатель 185 содержит первый вход, соединенный с выходом компенсатора 175 движения, второй вход, соединенный с выходом компенсатора 165 рассогласования, и третий вход, соединенный с выходом внутрикадрового предсказателя 145.

Обратимся к фиг.2В, где под ссылочной позицией 3200 показан примерный декодер для мультивидового видеокодирования (MVC) в целом. Декодер 3200 включает в себя энтропийный декодер 3205, выход которого соединен с входом обратного квантователя 3210. Выход обратного квантователя соединен с входом обратного преобразователя 3215. Выход обратного преобразователя 3215 соединен с первым, неинвертирующим входом сумматора 3220. Выход сумматора 3220 соединен с входом деблокирующего фильтра 3225 и входом внутрикадрового предсказателя 3230. Выход деблокирующего фильтра 325 соединен с входом блока 3240 хранения опорных изображений (для вида i). Выход блока 3240 хранения опорных изображений соединен с первым входом компенсатора 3235 движения.

Выход блока 3245 хранения опорных изображений (для других видов) соединен с первым входом компенсатора 3250 рассогласования.

Вход энтропийного кодера 3205 является входом всего декодера 3200 и служит для приема остаточного битового потока. Кроме того, управляющий вход переключателя 3255 также является входом декодера 3200, предназначенным для приема синтаксиса управления для управления процессом выбора входа переключателем 3255. Кроме того, второй вход компенсатора 3235 движения является входом всего декодера 3200, предназначенным для приема векторов движения. Также входом всего декодера 3200 является второй вход компенсатора 3250 рассогласования, причем этот вход предназначен для приема векторов рассогласования.

Выход переключателя 3255 соединен со вторым, неинвертирующим входом сумматора 3220. Первый вход переключателя 3255 соединен с выходом компенсатора 3250 рассогласования. Второй вход переключателя 3255 соединен с выходом компенсатора 3235 движения. Третий вход переключателя 3255 соединен с входом внутрикадрового предсказателя 3230. Выход модуля 3260 режима соединен с переключателем 3255 для управления выбором входа, осуществляемым переключателем 3255. Выход деблокирующего фильтра 3225 является выходом всего декодера.

Согласно настоящему изобретению предлагается ряд изменений синтаксиса высокого уровня в стандарте MPEG-4 AVC для обеспечения эффективного кодирования мультивидовой видеопоследовательности. В одном варианте предлагается отделять значения номера кадра (frame_num) и счетчика очередности изображения (POC) между видами при кодировании мультивидовой видеопоследовательности. Одним из возможных применений является использование процесса декодирования и вывода, совместимого со стандартом MPEG-4 AVC, независимо для каждого вида. В одном варианте значения номера кадра и/или счетчика очередности изображения между видами отделяются путем посылки идентификатора вида для каждого из видов. Ранее было предложено просто добавлять идентификатор вида (view_id) в синтаксисе высокого уровня, поскольку информация view_id необходима для удовлетворения нескольких требований мультивидового видеокодирования (MVC), включая интерполяцию/синтез вида, произвольную выборку вида, параллельную обработку и т.д. Информация view_id также может быть полезной для специальных режимов кодирования, которые относятся только к межвидовому предсказанию. Этот идентификатор view_id используется согласно настоящему изобретению для отделения значений номера кадра и счетчика очередности изображения между видами мультивидового видеоконтента. Кроме того, в одном варианте предлагается решение для закрепления инструментальных средств кодирования в стандарте MPEG-4 AVC применительно к мультивидовому видеокодированию.

В одном варианте каждый вид будет иметь свой view_id, что позволяет многократно использовать одинаковые frame_num и POC для разных видов.

	T0	T8	T4	T2	T6	T1	T3	T5	T7	(Время)
S0	I0	I8	B4	B2	B6	B1	B3	B5	B7	(Типы слоя для вида 0)
S1	B0	B8	B4	B2	B6	B1	B3	B5	B7	(Типы слоя для вида 1)
S2	P0	P8	B4	B2	B6	B1	B3	B5	B7	(Типы слоя для вида 2)
	0	1	2	3	4	5	6	7	8	(frame_num )

Имеется несколько возможных способов кодирования разных видов, позволяющих параллельную обработку. Один из возможных способов заключается в таком кодировании, при котором изображения в одном виде кодируются сначала для группы GOP, после чего следуют изображения из другого вида для того же самого размера GOP, пока не будут закодированы все виды для этой группы GOP. Затем процесс повторяется для других групп GOP. В показанной выше таблице сначала кодируют изображения в виде S0, а затем изображения из вида S2, а затем из вида S1.

Другой возможный способ состоит сначала в кодировании всех изображений во всех видах, принадлежащих одному и тому же моменту времени, после чего следует кодирование другого набора изображений, принадлежащих другому моменту времени, во всех видах. Этот процесс повторяется до тех пор, пока не будут закодированы все изображения. В вышеуказанном примере сначала кодируют все изображения в виде S0, S1, S2 в момент времени Т0, после чего следует кодирование для моментов времени Т8, Т4 и т.д. Данное изобретение не зависит от порядка, в котором кодируют изображения.

Далее обсуждаются изменения в стандарте MPEG-4 AVC согласно различным вариантам настоящего изобретения. Также будет показано, каким образом одно или несколько изменений открывает возможность параллельного кодирования мультивидовых последовательностей. Однако должно быть ясно, что, хотя настоящее изобретение в основном описано применительно к стандарту MPEG-4 AVC, оно может быть без труда реализовано специалистами в данной области техники в соответствии с расширениями стандарта MPEG-4 AVC, а также применительно к другим стандартам видеокодирования, их рекомендациям и расширениям, при сохранении исходного объема настоящего изобретения.

Процесс маркировки декодированных опорных изображений

В известном на сегодняшний день стандарте MPEG-4 AVC не разрешается иметь множество изображений с одинаковым frame_num в буфере декодированных изображений (DPB). Однако согласно одному варианту настоящего изобретения это ограничение может быть снято при мультивидовом видеокодировании (MVC), поскольку frame_num и/или счетчик очередности изображения отделены, то есть предполагается, что каждый вид имеет собственные независимые значения frame_num и/или счетчика очередности изображения. Чтобы это обеспечить, в одном варианте с декодированными изображениями связывают идентификатор view_id. Это вводит еще одну размерность для каждого изображения. Таким образом, в одном варианте процесс маркировки декодированных опорных изображений переопределяют для включения в него view_id.

Имеется два способа, с помощью которых стандарт MPEG-4 AVC обеспечивает маркировку декодированных опорных изображений. Первый способ маркировки декодированных опорных изображений в стандарте MPEG-4 AVC включает маркировку декодированных опорных изображений с использованием окна передачи переменной длительности.

Второй способ маркировки декодированных опорных изображений в стандарте MPEG-4 AVC включает маркировку декодированных опорных изображений с адаптивным управлением памятью.

Согласно различным вариантам настоящего изобретения один или несколько из этих способов видоизменяют, чтобы учесть новый view_id, который представлен в заголовке слоя. В Таблице 1 показан синтаксис заголовка слоя согласно одному варианту настоящего изобретения.

Таблица 1
slice_header () {	C	дескриптор
first_mb_in_slice	2	ue(v)
Slice_type	2	ue(v)
pic_parameter_set_id	2	ue(v)
If(nal_unit_type==22 || nal_unit_type==23){
View_parameter_set_id	2	ue(v)
view_id	2	ue(v)
}
frame_num	2	u(v)
if( !frame_mbs_only_flag ){
field_pic_flag	2	u(1)
If( field_pic_flag)
bottom_field_flag	2	u(1)
}
………
}

Для первого способа маркировки декодированных опорных изображений в стандарте MPEG-4 AVC необходимо задать стандартный режим, когда имеются изображения с одинаковым значением frame_num/POC, но с разными значениями view_id. Один вариант указанного стандартного режима согласно настоящему изобретению состоит в применении команд MMCO только к изображениям с тем же view_id, что и декодируемое в настоящий момент изображение.

Для второго способа маркировки декодированных опорных изображений в стандарте MPEG-4 AVC согласно настоящему изобретению предусмотрены различные варианты, когда вводятся новые команды операций управления памятью (MMCO) и/или модифицируются существующие в стандарте MPEG-4 AVC команды MMCO, чтобы учесть view_id изображения, которое должно быть маркировано. Один вариант переопределения существующих операций MMCO (когда memory_management_control_operation равен 1) включает в себя следующее:

Пусть picNumX задано следующим выражением:

picNumX=CurrPicNum-(difference_of_pic_nums_minus1+1).

viewIdX=CurrViewid-(difference_of_view_Ids_minus1+1),

где picNumX, CurrPicNum, difference_of_pic_nums_minus1 определены в текущем стандарте MPEG-4 AVC, а viewIdX - идентификатор вида изображения, которое следует маркировать с использованием команды MMCO, CurrViewid - идентификатор вида текущего декодируемого изображения, difference_of_view_Ids_minus1 - разность между текущим view_id и view_id изображения, которое должно быть маркировано с использованием команды MMCO.

Вдобавок, для стандартного режима процесса маркировки декодированных опорных изображений с использованием окна передачи переменной длительности в качестве текущего изображения должны рассматриваться только изображения с одинаковым view_id с целью их маркировки как «не используемых в качестве опорных».

Обратимся к фиг.3, где в общем под ссылочной позицией 300 п