Способ кодирования видео с предсказанием движения, устройство кодирования видео с предсказанием движения, программа кодирования видео с предсказанием движения, способ декодирования видео с предсказанием движения, устройство декодирования видео с предсказанием движения и программа декодирования видео с предсказанием движения

Способ кодирования видео с предсказанием движения, устройство кодирования видео с предсказанием движения, программа кодирования видео с предсказанием движения, способ декодирования видео с предсказанием движения, устройство декодирования видео с предсказанием движения и программа декодирования видео с предсказанием движения

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к способу, устройству и программе кодирования видео с предсказанием и способу, устройству и программе декодирования видео с предсказанием, и, в частности, к описанию в буфере для опорных картинок, которые должны быть использованы в межкадровом кодировании с предсказанием.

УРОВЕНЬ ТЕХНИКИ

Технологии кодирования со сжатием используются для эффективной передачи и хранения видеоданных. Методики, определенные в MPEG-1-4 и H.261-H.264 ITU (Международного союза электросвязи), обычно используются для видеоданных.

В этих методиках кодирования картинка как цель кодирования разделяется на множество блоков, и затем поблочно осуществляются процесс кодирования и процесс декодирования. Способы кодирования с предсказанием, описанные ниже, используются для того, чтобы улучшить эффективность кодирования. Во внутрикадровом кодировании с предсказанием предсказанный сигнал генерируется с использованием сигнала ранее воспроизведенной соседней картинки (восстановленного сигнала, восстановленного из данных картинки, сжатых в прошлом), представленного в том же кадре, что и целевой блок, и затем остаточный сигнал, полученный путем вычитания предсказанного сигнала из сигнала целевого блока, кодируется. В межкадровом кодировании с предсказанием осуществляется поиск смещения сигнала со ссылкой на сигнал ранее воспроизведенной картинки, представленный в кадре, отличном от целевого блока, предсказанный сигнал генерируется с компенсацией смещения, и остаточный сигнал, полученный путем вычитания предсказанного сигнала из сигнала целевого блока, кодируется. Ранее воспроизведенная картинка, используемая как опорная для поиска движения и компенсации, называется опорной картинкой.

В межкадровом кодировании с предсказанием H.264 предсказанный сигнал для целевого блока выбирается путем выполнения поиска движения со ссылкой на множество опорных картинок, которые были закодированы и затем воспроизведены в прошлом, и определения сигнала картинки с наименьшей ошибкой в качестве оптимального предсказанного сигнала. Вычисляется разница между пиксельным сигналом целевого блока и этим оптимальным предсказанным сигналом, и она затем подвергается дискретному косинусному преобразованию, квантованию и энтропийному кодированию. Также в то же время кодируется информация о опорной картинке, из которой выводится оптимальный предсказанный сигнал для целевого блока (которая будет называться "опорный индекс"), и информация об области опорной картинки, из которой выводится оптимальный предсказанный сигнал (которая будет называться "вектором движения"). В H.264 воспроизведенные картинки сохраняются в виде четырех-пяти опорных картинок в памяти кадров или буфере воспроизведенных картинок (или буфере декодированных картинок, который будет также называться "DPB").

Общим способом управления множеством опорных картинок является методика освобождения, из буфера, области, занятой самой старой опорной картинкой (т.е. картинкой, которая была сохранена в буфере самое долгое время) из множества воспроизведенных картинок, и сохранения воспроизведенной картинки, которая была декодирована последней, в качестве опорной картинки. С другой стороны, в непатентной литературе 1 ниже раскрывается способ управления опорными картинками для гибкой подготовки оптимальных опорных картинок для целевой картинки для того, чтобы повысить эффективность межкадрового предсказания.

Согласно непатентной литературе 1, информация описания буфера для описания множества опорных картинок, которые должны быть сохранены в буфере, добавляется к закодированным данным каждой целевой картинки, и затем они кодируются. Идентификаторы опорных картинок, необходимых для обработки (кодирования или декодирования) целевой картинки и последующих картинок, описаны в этой информация описания буфера. В устройстве кодирования или устройстве декодирования управление буфером осуществляется так, чтобы назначенные воспроизведенные картинки сохранялись в буфере (памяти кадров) в соответствии с информацией описания буфера. С другой стороны, любая не назначенная воспроизведенная картинка стирается из буфера.

Информация описания буфера о каждой целевой картинке может быть отправлена, будучи добавленной к заголовку сжатых данных каждой целевой картинки, или элементы информации описания буфера о множестве целевых картинок могут быть отправлены вместе в составе информации PPS (набора параметров картинок), переносящей параметры процесса декодирования, применяемые совместно. Фиг. 15 изображает схематичное представление, показывающее информацию описания буфера, описанную в PPS. Хотя PPS содержит информацию, отличную от информации описания буфера, другая информация здесь опущена. В PPS-информации 1510 описываются количество 1511 описаний буфера (каждое из которых далее будет также называться "BD") и элементы информации (1520, 1522, 1524) о BD, количество которых равно упомянутому количеству. В информации о каждом BD (k-е BD будет упоминаться как BD[k]) описываются количество 1530 опорных картинок, сохраненных в буфере, и информация (1531, 1532), для определения которой опорная картинка должна быть сохранена. Информацией, используемой для определения каждой опорной картинки, является POC (счетчик вывода картинок), указывающий на порядок выхода картинки. Здесь вместо непосредственного использования POC-номера описывается ΔPOC_k,j (j-й компонент в k-м BD), которое является разницей между POC-номером опорной картинки и POC-номером целевой картинки обработки. Также отправляется D_ID_k,j, которое указывает зависимость опорной картинки от других картинок. Чем меньше значение D_ID_k,j, тем больше картинок, для которых воспроизведение зависит от опорной картинки; с другой стороны, чем больше это значение, тем меньше влияние на другие картинки. Если D_ID_k,j опорной картинки является наибольшим значением, опорная картинка не является необходимой для воспроизведения других картинок и, таким образом, не должна быть сохранена в качестве опорной картинки. Итого, стандартная технология сконфигурирована для отправки описания BD[k] буфера в форме информации о значении (#ΔPOC_k), указывающем количество опорных картинок и {ΔPOC_k,j, D_ID_k,j} для каждой из количества опорных картинок, со стороны передачи к стороне приема.

Фиг. 16 изображает состояние целевых картинок и опорных картинок в буфере DPB в обработке соответственных целевых картинок. POC-номер для идентификации картинки записывается в каждой ячейке. Например, строка 1610 означает, что в обработке (кодировании или декодировании) целевой картинки с POC=32, опорные картинки с POC=18, 20, 22 и 24 сохраняются в DPB. Фиг.17 изображает информацию описания буфера, полученную путем применения стандартной технологии к фиг.16. Каждая из ячеек под 1704 указывает значение ΔPOC_k,j.

СПИСОК ЦИТИРОВАНИЯ

НЕПАТЕНТНАЯ ЛИТЕРАТУРА

Непатентная литература 1: Rickard Sjoberg, Jonatan Samuelsson, "Absolute signaling of reference pictures" ("Абсолютное сигнализирование опорных картинок"), Joint Collaborative Team on Video Coding, JCTVC-F493, Торонто, 2011 г.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ПРОБЛЕМА

В кодировании и декодировании видео стандартным является делать ссылку на идентичную картинку от множества целевых картинок. Иными словами, одна и та же опорная картинка может быть использована множество раз (многократно). На фиг. 16 видно, что на опорную картинку с POC=32, заключенную в пунктирную линию 1603, делается ссылка от целевых картинок с POC=28, 26, 30, 25, 27, 29 и 31. Также видно из значений в соответственных ячейках под 1602 на фиг. 16, что опорные картинки с POC=22, 24, 28, 26 и 30 также используются множество раз.

В информации описания буфера на основе стандартной технологии, однако, ΔPOC_k,j независимо определяется в каждом BD[k], и по этой причине даже для одной и той же опорной картинки ее ΔPOC_k,j описано в каждом BD[k]; таким образом, одна и та же информация должна быть многократно передана и принята, несмотря на то, что она является той же самой, что и ранее переданная и принятая информация. Это будет объяснено с использованием примера с фиг. 16 и фиг. 17. Значения в соответственных ячейках, заключенных в пунктирную линию 1705, соответствуют POC-номерам соответственных ячеек, заключенных в пунктирную линию 1603 на фиг. 16. Хотя все значения в пунктирной линии 1603 представляют опорную картинку с POC=32, все значения ΔPOC_k,j в пунктирной линии 1705 различны. Поскольку эти значения ΔPOC_k,j преимущественно различны, необходимо кодировать их с использованием множества бит. Таким образом, стандартная технология имеет проблему в том, что одна и та же информация должна быть многократно передана и принята с использованием множества бит, для того чтобы передать информацию описания буфера.

РЕШЕНИЕ ПРОБЛЕМЫ

Для того чтобы решить вышеуказанную проблему, устройство кодирования видео с предсказанием согласно настоящему изобретению является устройством кодирования видео с предсказанием, содержащим: средство ввода, которое осуществляет ввод множества картинок, составляющих видеопоследовательность; средство кодирования, которое выполняет кодирование с предсказанием целевой картинки для генерирования сжатых данных картинки, с использованием, в качестве опорных картинок, множества картинок, которые были закодированы и затем декодированы и воспроизведены в прошлом; средство восстановления, которое декодирует сжатые данные картинки для восстановления воспроизведенной картинки; средство хранения картинок, которое хранит по меньшей мере одну вышеупомянутую воспроизведенную картинку в качестве опорной картинки, которая должна быть использована для кодирования последующей картинки; и средство управления буфером, которое управляет средством хранения картинок, при этом (перед обработкой целевой картинки) средство управления буфером управляет средством хранения картинок на основе информации BD[k] описания буфера, относящейся к множеству опорных картинок, которые должны быть использованы в кодировании с предсказанием целевой картинки, и, в то же время, средство управления буфером кодирует информацию BD[k] описания буфера со ссылкой на информацию BD[m] описания буфера для другой картинки, отличной от целевой картинки, и после этого добавляет ее закодированные данные к сжатым данным картинки.

Кроме того, устройство декодирования видео с предсказанием согласно настоящему изобретению является устройством декодирования видео с предсказанием, содержащим: средство ввода, которое осуществляет ввод сжатых данных картинки для каждой из множества картинок, составляющих видеопоследовательность, причем сжатые данные картинки содержат данные, получаемые в результате кодирования с предсказанием с использованием множества опорных картинок, которые были декодированы и воспроизведены в прошлом, и закодированные данные информации BD[k] описания буфера, относящиеся к множеству опорных картинок; средство восстановления, которое декодирует сжатые данные картинки для восстановления воспроизведенной картинки; средство хранения картинок, которое хранит по меньшей мере одну вышеупомянутую воспроизведенную картинку в качестве опорной картинки, которая должна быть использована для декодирования последующей картинки; и средство управления буфером, которое управляет средством хранения картинок, при этом (перед восстановлением воспроизведенной картинки) средство управления буфером декодирует закодированные данные информации BD[k] описания буфера для воспроизведенной картинки со ссылкой на информацию BD[m] описания буфера для другой картинки, отличной от воспроизведенной картинки, и затем управляет средством хранения картинок на основе декодированной информации BD[k] описания буфера.

ЭФФЕКТЫ ИЗОБРЕТЕНИЯ

Способы кодирования и декодирования информации описания буфера согласно настоящему изобретению используют свойство многократного использования одной и той же опорной картинки в процессах кодирования с предсказанием и декодирования для множества картинок, чтобы использовать корреляцию между элементами информации BD[k] описания буфера, используемыми для различных картинок, для того, чтобы уменьшить избыточную информацию, тем самым достигая эффекта эффективного кодирования информации описания буфера. Дополнительно, информация, характерная для каждой опорной картинки (информация зависимости), является той же самой, что и для картинки, на которую делается ссылка, и, таким образом, информация может быть унаследована без изменений, благодаря чему достигается преимущество отсутствия необходимости ее повторного кодирования и декодирования.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 изображает структурную схему, показывающую устройство кодирования видео с предсказанием согласно одному варианту осуществления настоящего изобретения.

фиг. 2 изображает структурную схему, показывающую устройство декодирования видео с предсказанием согласно одному варианту осуществления настоящего изобретения.

фиг. 3 изображает блок-схему, показывающую способ управления буфером в устройстве кодирования видео с предсказанием согласно одному варианту осуществления настоящего изобретения.

фиг. 4 изображает блок-схему, показывающую способ управления буфером в устройстве декодирования видео с предсказанием согласно одному варианту осуществления настоящего изобретения.

фиг. 5 изображает таблицу, показывающую информацию описания буфера, генерируемую способом управления буфером, используемым в одном варианте осуществления настоящего изобретения.

фиг. 6 изображает блок-схему, показывающую процесс кодирования информации описания буфера в устройстве кодирования видео с предсказанием согласно одному варианту осуществления настоящего изобретения.

фиг. 7 изображает блок-схему, показывающую процесс декодирования информации описания буфера в устройстве декодирования видео с предсказанием согласно одному варианту осуществления настоящего изобретения.

фиг. 8 изображает схематичное представление, показывающее информацию описания буфера, описанную в PPS, генерируемом одним вариантом осуществления настоящего изобретения.

фиг. 9 изображает другой пример, показывающий состояние целевых картинок и опорных картинок в буфере DPB в обработке соответственных целевых картинок.

фиг. 10 изображает блок-схему, показывающую процесс кодирования информации описания буфера в устройстве кодирования видео с предсказанием согласно одному варианту осуществления настоящего изобретения, касающемуся примера с фиг. 9.

фиг. 11 изображает блок-схему, показывающую процесс декодирования информации описания буфера в устройстве декодирования видео с предсказанием согласно одному варианту осуществления настоящего изобретения, касающемуся примера с фиг. 9.

фиг. 12 изображает схематичное представление, показывающее информацию описания буфера, описанную в PPS, генерируемом вариантом осуществления настоящего изобретения, касающимся примера с фиг. 9.

фиг. 13 изображает чертеж, показывающий аппаратную конфигурацию компьютера для исполнения программы, записанной в носителе записи.

фиг. 14 изображает вид в перспективе компьютера для исполнения программы, сохраненной в носителе записи.

фиг. 15 изображает схематичное представление, показывающее информацию описания буфера, описанную в PPS стандартной технологией.

фиг. 16 изображает пример, показывающий состояние целевых картинок и опорных картинок в буфере DPB в обработке соответственных целевых картинок.

фиг. 17 изображает таблицу, показывающую информацию описания буфера, полученную из примера с фиг. 16, на основе стандартной технологии.

фиг. 18 изображает блок-схему, показывающую процесс непосредственного кодирования POC-номеров информации описания буфера в устройстве кодирования видео с предсказанием согласно одному варианту осуществления настоящего изобретения.

фиг. 19 изображает блок-схему, показывающую процесс непосредственного декодирования POC-номеров информации описания буфера в устройстве декодирования видео с предсказанием согласно одному варианту осуществления настоящего изобретения.

фиг. 20 изображает таблицу, показывающую информацию описания буфера, полученную из примера с фиг. 9, на основе стандартной технологии.

фиг. 21 изображает таблицу, показывающую информацию описания буфера, полученную из примера с фиг. 20, на основе способа управления буфером, используемого в одном варианте осуществления настоящего изобретения.

фиг. 22 изображает блок-схему, показывающую другой способ осуществления, отличный от процесса с фиг. 6, для процесса кодирования информации описания буфера в устройстве кодирования видео с предсказанием согласно одному варианту осуществления настоящего изобретения.

фиг. 23 изображает блок-схему, показывающую другой способ осуществления, отличный от процесса с фиг. 7, для процесса декодирования информации описания буфера в устройстве декодирования видео с предсказанием согласно одному варианту осуществления настоящего изобретения.

фиг. 24 изображает схематичное представление, показывающее информацию описания буфера, описанную в PPS, генерируемом процессом кодирования информации описания буфера вариантом осуществления настоящего изобретения на основе фиг. 22.

ПОДРОБНОЕ ОПИСАНИЕ

Варианты осуществления настоящего изобретения будут описаны ниже с использованием фиг. 1-24.

Фиг. 1 изображает структурную схему, показывающую устройство 100 кодирования видео с предсказанием согласно одному варианту осуществления настоящего изобретения. Как показано на фиг.1, устройство 100 кодирования видео с предсказанием обеспечено входом 101, блоком 102 разделения на блоки, блоком 103 генерирования предсказанного сигнала, памятью 104 кадров (или буфером, который также будет называться DPB), блоком 105 вычитания, блоком 106 преобразования, блоком 107 квантования, блоком 108 обратного квантования, блоком 109 обратного преобразования, блоком 110 добавления, блоком 111 энтропийного кодирования, выходом 112 и блоком 114 управления буфером. Блок 105 вычитания, блок 106 преобразования и блок 107 квантования соответствуют "средству кодирования", описанному в объеме формулы изобретения. Блок 108 обратного квантования, блок 109 обратного преобразования и блок 110 добавления соответствуют "средству восстановления", описанному в объеме формулы изобретения.

В отношении устройства 100 кодирования видео с предсказанием, сконфигурированного, как описано выше, его операция будет описана ниже. Видеосигнал, состоящий из множества картинок, подается на вход 101. Картинка цели кодирования разделяется на множество областей блоком 102 разделения на блоки. В варианте осуществления согласно настоящему изобретению целевая картинка разделяется на блоки, каждый из которых состоит из 8×8 пикселей, но она может разделяться на блоки любого размера или формы, помимо вышеупомянутых. Предсказанный сигнал затем генерируется для области в качестве цели процесса кодирования (которая будет далее называться целевым блоком). Вариант осуществления согласно настоящему изобретению задействует два типа способов предсказания: межкадровое предсказание и внутрикадровое предсказание.

В межкадровом предсказании воспроизведенные картинки, которые были закодированы и после этого восстановлены в прошлом, используются в качестве опорных картинок, и информация движения для обеспечения предсказанного сигнала с наименьшим отличием от целевого блока определяется из опорных картинок. В зависимости от ситуаций, также может быть обеспечена возможность подразделить целевой блок на подобласти и определить способ межкадрового предсказания для каждой из подобластей. В этом случае наиболее эффективный способ разделения для всего целевого блока и информация движения каждой подобласти могут быть определены различными способами разделения. В варианте осуществления согласно настоящему изобретению операция осуществляется в блоке 103 генерирования предсказанного сигнала, целевой блок подается по линии L102, а опорные картинки подаются по L104. Опорными картинками, которые должны быть здесь использованы, является множество картинок, которые были закодированы и восстановлены в прошлом. Подробности являются теми же самыми, что и в способе по H.264, что является стандартной технологией. Информация движения и способ разделения на подобласти, определенные как описано выше, подаются по линии L112 к блоку 111 энтропийного кодирования, чтобы быть им закодированными, и затем закодированные данные выводятся из выхода 112. Информация (опорный индекс), указывающая то, из какой опорной картинки из множества опорных картинок выводится предсказанный сигнал, также отправляется по линии L112 к блоку 111 энтропийного кодирования. В варианте осуществления согласно настоящему изобретению от трех до шести воспроизведенных картинок сохраняется в памяти кадров 104, чтобы быть использованными в качестве опорных картинок. Блок 103 генерирования предсказанного сигнала выводит сигналы опорных картинок из памяти кадров 104 на основе опорных картинок и информации движения, которая соответствует способу разделения на подобласти и каждой подобласти, и генерирует предсказанный сигнал. Межкадровый предсказанный сигнал, генерируемый таким образом, подается по линии L103 к блоку 105 вычитания.

Во внутрикадровом предсказании внутрикадровый предсказанный сигнал генерируется с использованием ранее воспроизведенных пиксельных значений, пространственно смежных с целевым блоком. Конкретным образом, блок 103 генерирования предсказанного сигнала выводит ранее воспроизведенные пиксельные сигналы в том же самом кадре, что и целевой блок из памяти кадров 104, и экстраполирует эти сигналы для генерирования внутрикадрового предсказанного сигнала. Информация о способе экстраполяции подается по линии L112 к блоку 111 энтропийного кодирования, чтобы быть им закодированной, и затем закодированные данные выводятся из выхода 112. Внутрикадровый предсказанный сигнал, генерируемый таким образом, подается к блоку 105 вычитания. Способ генерирования внутрикадрового предсказанного сигнала в блоке 103 генерирования предсказанного сигнала является тем же самым, что и способ по H.264, что является стандартной технологией. Предсказанный сигнал с наименьшим отличием выбирается из межкадрового предсказанного сигнала, и внутрикадровый предсказанный сигнал, выведенный, как описано выше, и выбранный предсказанный сигнал подается к блоку 105 вычитания.

Блок 105 вычитания вычитает предсказанный сигнал (поданный по линии L103) из сигнала целевого блока (поданного по линии L102) для генерирования остаточного сигнала. Этот остаточный сигнал преобразуется путем дискретного косинусного преобразования блоком 106 преобразования, и получившиеся в результате коэффициенты преобразования квантуются блоком 107 квантования. Наконец, блок 111 энтропийного кодирования кодирует квантованные коэффициенты преобразования, и закодированные данные выводятся вместе с информацией о способе предсказания из выхода 112.

Для внутрикадрового предсказания или межкадрового предсказания последующего целевого блока сжатый сигнал целевого блока подвергается обратной обработке для восстановления. А именно, квантованные коэффициенты преобразования обратно квантуются блоком 108 обратного квантования и затем преобразуются путем обратного дискретного косинусного преобразования блоком 109 обратного преобразования для восстановления остаточного сигнала. Блок 110 добавления добавляет восстановленный остаточный сигнал к предсказанному сигналу, поданному по линии L103, для воспроизведения сигнала целевого блока, и воспроизведенный сигнал сохраняется в памяти кадров 104. Настоящий вариант осуществления задействует блок 106 преобразования и блок 109 обратного преобразования, но также возможно использование другой обработки преобразования вместо этих блоков преобразования. В некоторых ситуациях блок 106 преобразования и блок 109 обратного преобразования может опускаться.

Память кадров 104 является ограниченным хранилищем и не имеет возможности хранить все воспроизведенные картинки. Только воспроизведенные картинки, которые должны быть использованы в кодировании последующей картинки, сохраняются в памяти кадров 104. Блоком для управления этой памятью кадров 104 является блок 114 управления буфером. Входные данные, которые принимаются через вход 113, включают в себя: информацию, указывающую на порядок вывода каждой картинки (POC, счетчик вывода картинок), информацию зависимости (ID зависимости), относящуюся к D_ID_k,j, которая указывает зависимость от картинки в кодировании с предсказанием других картинок, и тип кодирования картинки (внутрикадровое кодирование с предсказанием или межкадровое кодирование с предсказанием); и блок 114 управления буфером работает на основе этой информации. Информация описания буфера, генерируемая блоком 114 управления буфером, и POC-информация каждой картинки подается по линии L114 к блоку 111 энтропийного кодирования, чтобы быть им закодированной, и закодированные данные выводятся вместе со сжатыми данными картинки. Способ обработки блока 114 управления буфером согласно настоящему изобретению будет описан ниже по тексту.

Далее будет описан способ декодирования видео с предсказанием согласно настоящему изобретению. Фиг. 2 изображает структурную схему устройства 200 декодирования видео с предсказанием согласно одному варианту осуществления настоящего изобретения. Как показано на фиг. 2, устройство 200 декодирования видео с предсказанием обеспечено входом 201, блоком 202 анализа данных, блоком 203 обратного квантования, блоком 204 обратного преобразования, блоком 205 добавления, блоком 208 генерирования предсказанного сигнала, памятью 207 кадров, выходом 206 и блоком 209 управления буфером. Блок 203 обратного квантования и блок 204 обратного преобразования соответствуют "средству восстановления", описанному в формуле изобретения. Средством восстановления могут быть и другие средства, помимо вышеописанных. Кроме того, блок обратного преобразования 204 может опускаться.

В отношении устройства 200 декодирования видео с предсказанием, сконфигурированного, как описано выше, его операция будет описана ниже. Сжатые данные, полученные в результате кодирования со сжатием путем вышеупомянутого способа, вводятся через вход 201. Эти сжатые данные содержат остаточный сигнал, выведенный в результате кодирования с предсказанием каждого целевого блока, полученного путем разделения картинки на множество блоков, и информацию, относящуюся к генерированию предсказанного сигнала. Информация, относящаяся к генерированию предсказанного сигнала, включает в себя информацию о разделении на блоки (размер блока), информацию движения и вышеупомянутую POC-информацию в случае межкадрового предсказания и включает в себя информацию о способе экстраполяции из ранее воспроизведенных окружающих пикселов в случае внутрикадрового предсказания. Сжатые данные также содержат информацию описания буфера для управления памятью 207 кадров.

Блок 202 анализа данных извлекает остаточный сигнал из целевого блока, информацию, относящуюся к генерированию предсказанного сигнала, параметр квантования и POC-информацию картинки из сжатых данных. Остаточный сигнал целевого блока обратно квантуется на основе параметра квантования (поданного по линии L202) блоком 203 обратного квантования. Результат преобразуется блоком 204 обратного преобразования с использованием обратного дискретного косинусного преобразования.

Далее информация, относящаяся к генерированию предсказанного сигнала, подается по линии L206b к блоку 208 генерирования предсказанного сигнала. Блок 208 генерирования предсказанного сигнала осуществляет доступ к памяти 207 кадров, на основе информации, относящейся к генерированию предсказанного сигнала, для выведения опорного сигнала из множества опорных картинок для генерирования предсказанного сигнала. Этот предсказанный сигнал подается по линии L208 к блоку 205 добавления, блок 205 добавления добавляет этот предсказанный сигнал к восстановленному остаточному сигналу для воспроизведения сигнала целевого блока, и сигнал выводится по линии L205 и одновременно сохраняется в памяти 207 кадров.

Воспроизведенные картинки, которые должны быть использованы для декодирования и воспроизведения последующей картинки, сохраняются в памяти 207 кадров. Блок 209 управления буфером управляет памятью 207 кадров. Блок 209 управления буфером работает на основе информации описания буфера и типа кодирования картинки, поданных по линии L206a. Способ управления блока 209 управления буфером согласно настоящему изобретению будет описан позже.

Далее операции блока управления буфером (114 на фиг. 1 и 209 на фиг. 2) будут описаны с использованием фиг. 3 и 4. Блок управления буфером согласно одному варианту осуществления настоящего изобретения управляет опорными картинками, сохраненными в памяти кадров (104, 207), следующим образом. А именно, сторона кодера генерирует элементы информации описания буфера для соответственных целевых картинок вместе и отправляет их в составе информации PPS (набора параметров картинок), переносящей параметры процесса декодирования, применяемые совместно. Сторона декодера извлекает из PPS-информации элементы информации описания буфера, отправленные вместе, и выполняет обработку декодирования и воспроизведения после подготовки опорных картинок в памяти кадров, на основе одного элемента информации описания буфера, назначенного в сжатых данных каждой целевой картинки. Любая опорная картинка, не описанная в информации описания буфера, стирается из памяти кадров и не может быть использована в качестве опорной картинки после этого.

Фиг. 3 изображает способ кодирования информации описания буфера в блоке 114 управления буфером устройства 100 кодирования видео с предсказанием согласно одному варианту осуществления настоящего изобретения, который является способом для кодирования элементов информации описания буфера вместе для соответственных целевых картинок. В настоящем техническом описании описание буфера представлено как BD (описание буфера), и BD[k] указывает информацию о k-м BD. Фиг. 8 изображает схематичное представление информации описания буфера, описанной в PPS, генерируемой согласно одному варианту осуществления настоящего изобретения.

На фиг. 3 этап 310 предназначен для установления счетчика k на ноль. Этап 320 предназначен для кодирования полного количества всех BD, описанных в PPS-информации. Это количество соответствует 811 на фиг. 8. Этап 330 предназначен для кодирования информации о BD[0], которое является первым BD. 820 на фиг. 8 указывает информацию BD[0]. #ΔPOC₀ (830) указывает количество компонентов BD[0], т.е. количество необходимых опорных картинок. Информация BD[0] здесь содержит не только опорные картинки, необходимые для кодирования и декодирования целевой картинки, но также и опорные картинки, на которые не выполняется ссылка в обработке целевой картинки, но делается ссылка в обработке кодирования и декодирования для последующих картинок, и по этой причине количество таких опорных картинок также считается в #ΔPOC₀.

Далее описана информация об опорных картинках (831, 832, ...), которые должны быть использованы. В настоящем варианте осуществления {ΔPOC_0,i, D_ID_0,i} описано как информация об опорных картинках. Индекс i представляет i-й компонент BD[0]. ΔPOC_0,i является значением разницы между POC-номером i-й опорной картинки и POC-номером целевой картинки, которая использует BD[0], и D_ID_0,i - информация зависимости i-й опорной картинки.

Информация о BD[k], кроме BD[0], кодируется с предсказанием со ссылкой на информацию BD[m] буфера, возникающую перед ней (этап 360). Настоящий вариант осуществления использует m=k-1, но ссылка может делаться на любое BD[m] при условии, что m<k. Информация, содержащаяся в BD[k], где k>0, иллюстрируется посредством 822 и 824 на фиг.8. Содержимое, описанное в ней, включает в себя количество компонентов BD[k] (которое соответствует количеству опорных картинок, необходимых для целевой картинки и последующих картинок) #ΔPOC_k (833, 839), ΔBD_k (834, 840) и Δidx_k,i (835, 836, 837, 841, 842, 843, 844) или {Δidx_k,i, D_ID_k,i} (838). Подробности этих переданных данных (синтаксических структур) будут описаны ниже по тексту. После того, как каждое BD[k] закодировано, оно отправляется в составе PPS-информации вместе с другими сжатыми данными. В кодировании каждой картинки блок 114 управления буфером готовит опорные картинки в памяти кадров 104 на основе одного элемента информации BD[k] описания буфера, назначенного посредством входа 113 на фиг. 1, и затем осуществляется процесс кодирования. На стороне приемника блок 209 управления буфером готовит опорные картинки в памяти 207 кадров на основе идентификатора k описания буфера, добавленного к заголовку сжатых данных каждой картинки, и затем осуществляется процесс декодирования.

Фиг. 4 изображает блок-схему, показывающую способ декодирования информации описания буфера в блоке 209 управления буфером устройства 200 декодирования видео с предсказанием согласно одному варианту осуществления настоящего изобретения. Блок 202 анализа данных извлекает данные об информации описания буфера из PPS-информации и подает данные к блоку 209 управления буфером. Этап 420 предназначен для того, чтобы сначала декодировать количество BD. Этап 430 предназначен для декодирования информации о BD[0], которое является первым BD. Информация о BD[k], где k>0, декодируется с предсказанием со ссылкой на описание буфера BD[m], возникающее перед ним (этап 460). Как описано выше, настоящий вариант осуществления задействует m=k-1. Информация описания буфера, получаемая в результате декодирования каждого BD[k], сохраняется в блоке 209 управления буфером. В декодировании каждой картинки блок 209 управления буфером готовит опорные картинки в памяти 207 кадров, на основе одного элемента информации BD[k] описания буфера, назначенного в сжатых данных, и затем осуществляется обработка декодирования и воспроизведения.

Описание буфера (BD[k], k>0), показанное на фиг. 8, может быть эффективно отправлено. Согласно настоящему варианту осуществления, использование BD[k] в качестве цели и BD[m] для предсказания цели удовлетворяет следующим условиям.

(a) По меньшей мере некоторые из опорных картинок, описанных в BD[k], уже описаны в BD[m].

(b) N картинок, которые только что закодированы или декодированы дополнительно к картинкам из (a) (выше), описаны как "дополнительные опорные картинки" в BD[k]. Число N здесь является целым не меньше 0.

Кроме того, более предпочтительные режимы удовлетворяют следующим условиям.

(c) m=(k-1); то есть непосредственно предыдущее BD в информации описания буфера используется для предсказания.

(d) Количество дополнительных опорных картинок, описанных в вышеупомянутом (b), равно всего лишь одной (N=1). Этой одной дополнительной опорной картинкой предпочтительно является картинка, генерируемая в процессе с использованием BD[m].

Вышеописанные условия будут описаны с использованием фиг. 16. Столбец 1601 на фиг. 16 представляет POC-номер каждой целевой картинки в качестве цели кодирования или процесса декодирования. POC-номера соответственных целевых картинок упорядочены сверху вниз в порядке процесса кодирования или декодирования. А именно, после того, как картинка с POC=32 кодируется или декодируется, картинка с POC=28 кодируется или декодируется. Кроме того, POC-номера опорных картинок (множество картинок), которые должны быть использованы в исполнении процесса кодирования или декодирования каждой целевой картинки, описаны в соответственных ячейках под столбцом 1602.

Информация об опорных картинках, используемых для кодирования или декодирования/воспроизведения целевой картинки (1610) с POC=32, кодируется как BD[0] с использованием синтаксической структуры 820 на фиг. 8. В этом случае #ΔPOC₀=4 и опорные картинки с POC-номерами 18, 20, 22 и 24 кодируются как ΔPOC_0,i. Значения ΔPOC_0,i являются значениями из i=0,1,2,3 в строке 1710 на фиг. 17, и каждое значение получается из разницы между POC-номером опорной картинки и POC-номером целевой картинки.

Информация об опорных картинках, описанная в строках 1611-161