Способ кодирования и способ декодирования видео, устройства для них, программы для них, а также носители хранения данных, которые сохраняют программы

Способ кодирования и способ декодирования видео, устройства для них, программы для них, а также носители хранения данных, которые сохраняют программы

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к способу кодирования видео для кодирования видеоизображения с помощью способа межкадрового прогнозирующего кодирования и соответствующего устройства; способу декодирования видео для декодирования закодированных данных, сформированных посредством способа кодирования видео и соответствующего устройства; программе кодирования видео для реализации способа кодирования видео и машиночитаемому носителю хранения данных, который сохраняет программу; и программе декодирования видео для реализации способа декодирования видео и машиночитаемому носителю хранения данных, который сохраняет программу.

Данная заявка притязает на приоритет Патентной заявки Японии № 2006-293901, зарегистрированной 30 октября 2006 года, содержание которой включено в настоящий документ посредством ссылки.

Уровень техники

Видеоизображения с несколькими точками обзора - это множество видеоизображений, полученных посредством съемки одного объекта и его фона с помощью множества камер. Ниже, видеоизображение, полученное посредством одной камеры, называется "двумерным видеоизображением", а набор из нескольких двумерных видеоизображений, полученных посредством съемки одного объекта и его фона, называется "видеоизображением с несколькими точками обзора".

Имеется сильная временная корреляция в двумерном видеоизображении каждой камеры, которое включено в видеоизображение с несколькими точками обзора. Помимо этого, когда камеры синхронизированы друг с другом, изображения (снятые камерами), соответствующие одному и тому же времени, фиксируют объект и их фон полностью в одном и том же состоянии с различных позиций, так что есть сильная корреляция между камерами. Эффективность кодирования видео может быть повышена с помощью этой корреляции.

Сначала показываются традиционные методы, касающиеся кодирования двумерных видеоизображений.

Во многих известных способах кодирования двумерных видеоизображений, таких как MPEG-2 и H.264 (которые являются международными стандартами кодирования видео) и т.п., высокая эффективность кодирования получается посредством межкадрового прогнозирующего кодирования, которое использует временную корреляцию.

Межкадровое прогнозирующее кодирование, выполняемое для кодирования двумерных видеоизображений, использует временную вариацию в видеоизображении, т.е. движение. Следовательно, способ, используемый в межкадровом прогнозирующем кодировании, в общем, называется "компенсацией движения". Соответственно, межкадровое прогнозирующее кодирование вдоль временной оси ниже называется "компенсацией движения". Помимо этого, "кадр" - это изображение, которое является составляющей частью видеоизображения и получается в конкретное время.

В общем, двумерное кодирование видео имеет следующие режимы кодирования для каждого кадра: I-кадр, кодируемый без использования межкадровой корреляции, P-кадр, кодируемый при выполнении компенсации движения на основе одного уже кодированного кадра, и B-кадр, кодируемый при выполнении компенсации движения на основе двух уже кодированных кадров.

Чтобы дополнительно повысить эффективность прогнозирования видеоизображений, в H.263 и H.264 декодированные изображения множества кадров (т.е. двух кадров или более) сохраняются в запоминающем устройстве опорных изображений, и опорное изображение выбирается из изображений запоминающего устройства, чтобы выполнять прогнозирование.

Опорное изображение может быть выбрано для каждого блока, и информация обозначения опорного изображения для обозначения опорного изображения может быть кодирована, чтобы выполнять соответствующее декодирование.

Для P-кадра одна часть информации обозначения опорного изображения кодируется для каждого блока. Для B-кадра две части элементов информации обозначения опорного изображения кодируются для каждого блока.

В компенсации движения, в дополнение к информации обозначения опорного изображения, кодируется вектор для указания позиции в опорном изображении, при этом целевой блок кодируется с помощью этой позиции, и вектор называется "вектором движения". Аналогично информации обозначения опорного изображения, один вектор движения кодируется для P-кадра, и два вектора движения кодируются для B-кадра.

При кодировании вектора движения в MPEG-4 или H.264, спрогнозированный вектор формируется с помощью вектора движения блока, смежного с целевым блоком кодирования, и только разностного вектора между прогнозированным вектором и вектором движения, используемым в компенсации движения, применяемой к целевому блоку. В соответствии с этим способом, когда непрерывность движения присутствует между релевантными смежными блоками, вектор движения может быть кодирован с высоким уровнем эффективности кодирования.

Непатентный документ 1 раскрывает процесс формирования прогнозированного вектора в H.264, и общее пояснение этого представляется ниже.

В H.264, как показано на фиг. 13A, на основе векторов движения (mv_a, mv_b и mv_c), используемых в блоке слева (см. "a" на фиг. 13A), блоке вверху (см. "b" на фиг. 13A) и блоке вверху справа (см. "c" на фиг. 13A) целевого блока кодирования, горизонтальные и вертикальные компоненты получаются посредством вычисления медианы для каждого направления.

Поскольку H.264 использует компенсацию движения с переменным размером блока, размер блока для компенсации движения может не быть одинаковым между целевым блоком и его периферийными блоками. В таком случае, как показано на фиг. 13B, блок "a" задается как самый верхний блок среди блоков слева, смежных с целевым блоком, блок "b" задается как крайний левый блок среди блоков сверху, смежных с целевым блоком, а блок "c" задается как самый близкий верхний левый блок.

Как исключение, если размер целевого блока составляет 8x16 пикселов, как показано на фиг. 13C, вместо медианы блок "a" и блок "c", соответственно, используются для прогнозирования левых и правых блоков. Как исключение, если размер целевого блока составляет 8x16 пикселов, как показано на фиг. 13C, вместо медианы блок "a" и блок "c", соответственно, используются для прогнозирования левых и правых блоков.

Как описано выше, в H.264 опорный кадр выбирается для каждого блока из множества уже кодированных кадров и используется для компенсации движения.

В общем, движение визуализируемого объекта не универсально и зависит от опорного кадра. Следовательно, по сравнению с вектором движения в компенсации движения, выполненной с помощью опорного кадра, отличного от опорного кадра для целевого блока, вектор движения в компенсации движения, выполненной с помощью того же опорного кадра, что и для целевого блока, должен быть близким к вектору движения, используемому для целевого блока.

Следовательно, в H.264, если есть только один блок (из блоков a, b и c), опорный кадр которого является таким же, что и опорный кадр целевого блока кодирования, то вместо медианы, вектор движения релевантного блока используется в качестве прогнозированного вектора для того, чтобы формировать прогнозированный вектор, имеющий относительно более высокий уровень надежности.

Далее поясняются традиционные способы кодирования для видеоизображений с несколькими точками обзора.

В общем, кодирование видео с несколькими точками обзора использует корреляцию между камерами, и высокий уровень эффективности кодирования получается за счет использования "компенсации диспаратности (различия)", в которой компенсация движения применяется к кадрам, которые получаются одновременно посредством использования различных камер.

Например, MPEG-2 Multiview profile или Непатентный документ 2 использует такой способ.

В способе, раскрытом в Непатентном документе 2, любая из компенсации движения и компенсации диспаратности выбирается для каждого блока. Таким образом, одна из них, имеющая более высокую эффективность кодирования, выбирается для каждого блока, так чтобы и временная корреляция, и корреляция между камерами могли использоваться. По сравнению со случаем использования только одного типа корреляции, получается более высокая эффективность кодирования.

В компенсации диспаратности, в дополнение к остатку прогнозирования, также кодируется вектор диспаратности. Вектор диспаратности соответствует вектору движения для указания временной вариации между кадрами и указывает разность между позициями на плоскостях изображения, которые получаются посредством камер, размещенных в различных позициях, и на которые проецируется одна позиция в визуализируемом объекте.

Фиг. 14 - это схематичное представление, показывающее идею диспаратности, формируемой между такими камерами. В схематичном представлении по фиг. 14, плоскости изображения камер, оптические оси которых параллельны друг другу, наблюдаются вертикально от верхней стороны.

При кодировании вектора диспаратности, аналогичном кодированию вектора движения, возможно то, что прогнозированный вектор формируется с помощью вектора диспаратности блока, смежного с целевым блоком кодирования, и кодируется только разностный вектор между прогнозированным вектором и вектором диспаратности, используемым в компенсации диспаратности, применяемой к целевому блоку. В соответствии с таким способом, когда есть непрерывность диспаратности между релевантными смежными блоками, вектор диспаратности может быть кодирован с высоким уровнем эффективности кодирования.

Для каждого кадра в видеоизображениях с несколькими точками обзора временная избыточность и избыточность между камерами присутствуют одновременно. Непатентный документ 3 раскрывает способ для одновременного удаления обеих избыточностей.

В релевантном способе выполняется временное прогнозирование разностного изображения между исходным изображением и компенсированным по диспаратности изображением, чтобы выполнять релевантное кодирование. Таким образом, после компенсации диспаратности кодируется остаток компенсации движения в разностном изображении.

В соответствии с вышеупомянутым способом, временная избыточность, которая не может быть удалена посредством компенсации диспаратности для удаления избыточности между камерами, может быть удалена с помощью компенсации движения. Следовательно, остаток прогнозирования, который в итоге кодируется, уменьшается, так что может достигаться высокий уровень эффективности кодирования.

Непатентный документ 1: ITU-T Rec.H.264/ISO/IEC 11496-10, "Editor's Proposed Draft Text Modifications for Joint Video Specification (ITU-T Rec. H.264/ISO/IEC 14496-10 AVC), Draft 7", Final Committee Draft, Document JVT-E022, стр. 63-64, сентябрь 2002 г.

Непатентный документ 2: Hideaki Kimata and Masaki Kitahara, "Preliminary results on multiple view video coding（3DAV)", document M10976 MPEG Redmond Meeting, июль 2004 года.

Непатентный документ 3: Shinya Shimizu, Masaki Kitahara, Kazuto Kamikura and Yoshiyuki Yashima, "Multi-view Video Coding based on 3-D Warping with Depth Map", In Proceedings of Picture Coding Symposium 2006, SS3-6, апрель 2006 года.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Проблема, которая должна быть решена изобретением

Традиционные способы, в которых вектор движения или вектор диспаратности, который фактически используется в целевом блоке кодирования, кодируются с помощью разности от прогнозированного вектора, сформированного с помощью вектора движения или вектора диспаратности, используемого в смежном блоке, основаны на том факте, что визуализируемый объект имеет непрерывность в реальном пространстве, и высока вероятность того, что движение самого визуализируемого объекта изменяется незначительно. Следовательно, вектор движения или вектор диспаратности, используемый в целевом блоке, могут быть кодированы с меньшим объемом кода.

Тем не менее, если опорный кадр, который является самым подходящим для прогнозирования изображения целевого блока, не используется в релевантном смежном блоке, разность между прогнозированным вектором и фактически используемым вектором движения возрастает, и объем кода не может быть уменьшен в достаточной степени.

В частности, при выполнении кодирования посредством адаптивного выбора компенсации движения или компенсации диспаратности для каждого блока невозможно сформировать прогнозированный вектор для вектора диспаратности из вектора движения или сформировать прогнозированный вектор для вектора движения из вектора диспаратности, поскольку вектор движения и вектор диспаратности имеют существенно отличающиеся характеристики. Следовательно, невозможно эффективно кодировать вектор движения или вектор диспаратности.

С другой стороны, в способах, применяемых к B-кадру или раскрытых в Непатентном документе 3, прогнозирование видео выполняется более точно, и размер остаточного сигнала, который в итоге кодируется, уменьшается так, чтобы видеоизображение могло быть кодировано с меньшим объемом кода.

Тем не менее, для B-кадра две части информации обозначения опорного изображения и две части векторной информации должны быть кодированы, и таким образом объем кода такой дополнительной информации, используемой для формирования прогнозированного изображения, увеличивается.

Также в способе по Непатентному документу 3, информация "глубины" для формирования компенсированного по диспарантности изображения и вектор движения для выполнения компенсации движения на разностном изображении для компенсации диспаратности должны быть кодированы, что увеличивает объем информации, используемый для прогнозирования видео.

В свете вышеописанного, цель настоящего изобретения, касающаяся кодирования видео, заключается в том, чтобы предоставить новый способ для эффективного кодирования векторной информации (как цели кодирования), используемой для межкадрового прогнозирующего кодирования, даже когда опорный кадр, используемый в межкадровом прогнозирующем кодировании, отличается между целевой областью кодирования и ее смежной областью.

Средство решения проблемы

Чтобы достичь вышеупомянутой цели, настоящее изобретение предоставляет способ кодирования видео для кодирования видеоизображения посредством деления всего изображения на области, формирования прогнозированного изображения для каждой области разделенного изображения на основе информации изображений множества уже кодированных кадров и кодирования разностной информации между изображением целевой области кодирования в целевом кадре кодирования и прогнозированным изображением, при этом способ кодирования видео содержит:

- этап выбора целевого кадра опорного вектора для выбора целевого кадра опорного вектора из числа уже кодированных кадров;

- этап кодирования информации обозначения целевого кадра опорного вектора для кодирования информации, которая обозначает целевой кадр опорного вектора;

- этап задания опорного вектора для задания опорного вектора, который указывает область, которая принадлежит целевому кадру опорного вектора и соответствует целевой области кодирования;

- этап кодирования опорного вектора для кодирования опорного вектора;

- этап выбора опорного кадра для выбора опорного кадра из числа уже кодированных кадров;

- этап кодирования информации обозначения опорного кадра для кодирования информации, которая обозначает опорный кадр;

- этап задания области опорного кадра для поиска соответствующей области посредством использования опорного кадра и информации изображений целевой области опорного вектора, которая принадлежит целевому кадру опорного вектора и указывается посредством опорного вектора; и задания опорной области в опорном кадре на основе результата поиска;

- этап формирования прогнозированного изображения для формирования прогнозированного изображения с помощью информации изображений опорного кадра, который соответствует опорной области; и

- этап кодирования разностной информации для кодирования разностной информации между информацией изображений целевой области кодирования и сформированного прогнозированного изображения.

В типичном примере, на этапе формирования прогнозированного изображения, прогнозированное изображение формируется с помощью информации изображений опорной области и информации изображений целевой области опорного вектора.

В другом типичном примере, на этапе формирования прогнозированного изображения выбирается то, формируется ли прогнозированное изображение с помощью информации изображений опорной области или с помощью информации изображений опорной области и информации изображений целевой области опорного вектора, и прогнозированное изображение формируется посредством выбранного способа формирования; и

- способ кодирования видео дополнительно содержит:

- этап кодирования информации обозначения способа формирования прогнозированных изображений для кодирования информации, которая обозначает выбранный способ формирования.

В другом типичном примере, если опорный кадр, выбранный на этапе выбора опорного кадра, является опорным кадром, который использовался при кодировании целевой области опорного вектора, то опорная область, заданная на этапе задания области опорного кадра, - это опорная область, которая использовалась при кодировании целевой области опорного вектора.

В другом типичном примере, если опорный кадр, выбранный на этапе выбора опорного кадра, является целевым кадром опорного вектора, который использовался при кодировании целевой области опорного вектора, то опорная область, заданная на этапе задания области опорного кадра, - это целевая область опорного вектора, которая использовалась при кодировании целевой области опорного вектора.

В другом типичном примере, если опорный кадр, выбранный на этапе выбора опорного кадра, является уже кодированным кадром, где зависимости информации по времени и точкам обзора между этим уже кодированным кадром и целевым кадром кодирования совпадают с зависимостями между целевым кадром опорного вектора, который использовался при кодировании целевой области опорного вектора, и целевым кадром опорного вектора, заданным для целевой области кодирования, то опорная область, заданная на этапе задания области опорного кадра, - это область, которая принадлежит выбранному опорному кадру и указывается посредством вектора, начальная точка которого задается в целевой области кодирования и который имеет такое же направление и размер, как и опорный вектор, который использовался при кодировании целевой области опорного вектора.

В другом типичном примере, если опорный кадр, выбранный на этапе выбора опорного кадра, является уже кодированным кадром, где зависимости информации по времени и точкам обзора между этим уже кодированным кадром и целевым кадром кодирования совпадают с зависимостями между опорным кадром, который использовался при кодировании целевой области опорного вектора, и целевым кадром опорного вектора, заданным для целевой области кодирования, то опорная область, заданная на этапе задания области опорного кадра, - это область, которая принадлежит выбранному опорному кадру и указывается посредством вектора, начальная точка которого задается в целевой области кодирования и который имеет такое же направление и размер, как и вектор, который указывает соответствующую зависимость между целевой областью опорного вектора и опорной областью, которая использовалась при кодировании целевой области опорного вектора.

В предпочтительном примере способ кодирования видео дополнительно содержит:

- этап задания промежуточного кадра для задания промежуточного кадра, который отличается от каждого из целевого кадра опорного вектора и опорного кадра и является уже закодированным, при этом:

- на этапе задания области опорного кадра, промежуточная область в промежуточном кадре задается с помощью информации целевой области опорного вектора, а опорная область задается с помощью информации промежуточной области или набора информации промежуточной области и информации целевой области опорного вектора.

В вышеупомянутом случае возможно то, что:

- промежуточный кадр, заданный на этапе задания промежуточного кадра, - это уже кодированный кадр, при этом зависимости информации по времени и точкам обзора между этим уже кодированным кадром и целевым кадром опорного вектора совпадают с такими зависимостями между целевым кадром кодирования и опорным кадром; и

- на этапе формирования прогнозированного изображения, прогнозированное изображение формируется с помощью информации изображений опорной области, информации изображений промежуточной области и информации изображений целевой области опорного вектора.

Также в вышеупомянутом случае возможно то, что:

- промежуточный кадр, заданный на этапе задания промежуточного кадра, - это уже кодированный кадр, при этом зависимости информации по времени и точкам обзора между этим уже кодированным кадром и целевым кадром опорного вектора совпадают с такими зависимостями между целевым кадром кодирования и опорным кадром;

- на этапе формирования прогнозированного изображения выбирается то, формируется ли прогнозированное изображение с помощью информации изображений опорной области, с помощью информации изображений опорной области и информации изображений целевой области опорного вектора или с помощью информации изображений опорной области, информации изображений промежуточной области и информации изображений целевой области опорного вектора, и прогнозированное изображение формируется посредством выбранного способа формирования; и

- способ кодирования видео дополнительно содержит:

- этап кодирования информации обозначения способа формирования прогнозированных изображений для кодирования информации, которая обозначает выбранный способ формирования.

Когда предусмотрен этап кодирования информации обозначения способа формирования прогнозированных изображений, возможно то, что:

- на этапе кодирования информации обозначения опорного кадра, таблица кодовых слов, используемая для кодирования информации, которая обозначает опорный кадр, переключается на основе кодированных данных целевой области опорного вектора; и

- на этапе кодирования информации обозначения способа формирования прогнозированных изображений, таблица кодовых слов, используемая для кодирования информации, которая обозначает выбранный способ формирования, переключается на основе, по меньшей мере, одного из кодированных данных целевой области опорного вектора, опорного кадра и целевого кадра опорного вектора.

Настоящее изобретение также предоставляет способ декодирования видео для декодирования видеоизображения посредством деления всего изображения на области, формирования прогнозированного изображения для каждой области разделенного изображения на основе информации изображений множества уже декодированных кадров и декодирования разностной информации между прогнозированным изображением и изображением целевой области декодирования в целевом кадре декодирования, при этом способ декодирования видео содержит:

- этап декодирования информации обозначения целевого кадра опорного вектора для декодирования, из кодированных данных, информации, которая обозначает целевой кадр опорного вектора, выбранный из числа уже декодированных кадров;

- этап декодирования опорного вектора для декодирования, из кодированных данных, опорного вектора, который указывает область, которая принадлежит целевому кадру опорного вектора и задается в соответствии с целевой областью декодирования;

- этап декодирования информации обозначения опорного кадра для декодирования, из кодированных данных, информации, которая обозначает опорный кадр, выбранный из числа уже декодированных кадров;

- этап задания области опорного кадра для поиска соответствующей области посредством использования опорного кадра и информации изображений целевой области опорного вектора, которая принадлежит целевому кадру опорного вектора и указывается посредством опорного вектора; и задания опорной области в опорном кадре на основе результата поиска; и

- этап формирования прогнозированного изображения для формирования прогнозированного изображения с помощью информации изображений опорного кадра, который соответствует опорной области.

В типичном примере, на этапе формирования прогнозированного изображения, прогнозированное изображение формируется с помощью информации изображений опорной области и информации изображений целевой области опорного вектора.

В другом типичном примере, этап декодирования информации обозначения способа формирования прогнозированных изображений для декодирования, из кодированных данных, информации, которая обозначает то, формируется ли прогнозированное изображение с помощью информации изображений опорной области или с помощью информации изображений опорной области и информации изображений целевой области опорного вектора, при этом:

- на этапе формирования прогнозированного изображения, прогнозированное изображение формируется посредством способа формирования, обозначенного посредством декодированной информации.

В другом типичном примере, если кадр, указанный посредством информации обозначения опорного кадра, которая декодирована при декодировании целевой области опорного вектора, совпадает с опорным кадром, то на этапе задания области опорного кадра, опорная область, которая использовалась при декодировании целевой области опорного вектора, задается в качестве опорной области.

В другом типичном примере, если кадр, указанный посредством информации обозначения целевого кадра опорного вектора, которая декодирована при декодировании целевой области опорного вектора, совпадает с опорным кадром, то на этапе задания области опорного кадра, целевая область опорного вектора, которая использовалась при декодировании вышеупомянутой целевой области опорного вектора, задается в качестве опорной области.

В другом типичном примере, если зависимости информации по времени и точкам обзора между целевым кадром опорного вектора и кадром, указанным посредством информации обозначения целевого кадра опорного вектора, которая декодирована при декодировании целевой области опорного вектора, совпадают с зависимостями между целевым кадром декодирования и опорным кадром, то на этапе задания области опорного кадра, область, которая принадлежит опорному кадру и указывается посредством вектора, начальная точка которого задается в целевой области декодирования и который имеет такое же направление и размер, как и опорный вектор, который использовался при декодировании целевой области опорного вектора, задается в качестве опорной области.

В другом типичном примере, если зависимости информации по времени и точкам обзора между целевым кадром опорного вектора и кадром, указанным посредством информации обозначения опорного кадра, которая декодирована при декодировании целевой области опорного вектора, совпадают с зависимостями между целевым кадром декодирования и опорным кадром, то на этапе задания области опорного кадра, область, которая принадлежит опорному кадру и указывается посредством вектора, начальная точка которого задается в целевой области декодирования и который имеет такое же направление и размер, как и вектор, который указывает соответствующую зависимость между целевой областью опорного вектора и опорной областью, которая использовалась при декодировании целевой области опорного вектора, задается в качестве опорной области.

В предпочтительном примере способ декодирования видео дополнительно содержит:

- этап задания промежуточного кадра для задания промежуточного кадра, который отличается от каждого из целевого кадра опорного вектора и опорного кадра и уже декодирован, при этом:

- на этапе задания области опорного кадра, промежуточная область в промежуточном кадре задается с помощью информации целевой области опорного вектора, а опорная область задается с помощью информации промежуточной области или набора информации промежуточной области и информации целевой области опорного вектора.

В вышеупомянутом случае возможно то, что:

- промежуточный кадр, заданный на этапе задания промежуточного кадра, - это уже декодированный кадр, при этом зависимости информации по времени и точкам обзора между этим уже декодированным кадром и целевым кадром опорного вектора совпадают с зависимостями между целевым кадром декодирования и опорным кадром; и

- на этапе формирования прогнозированного изображения, прогнозированное изображение формируется с помощью информации изображений опорной области, информации изображений промежуточной области и информации изображений целевой области опорного вектора.

Также в вышеупомянутом случае возможно то, что:

- промежуточный кадр, заданный на этапе задания промежуточного кадра, - это уже декодированный кадр, при этом зависимости информации по времени и точкам обзора между этим уже декодированным кадром и целевым кадром опорного вектора совпадают с зависимостями между целевым кадром декодирования и опорным кадром;

- способ декодирования видео дополнительно содержит:

- этап декодирования информации обозначения способа формирования прогнозированных изображений для декодирования, из кодированных данных, информации, которая обозначает то, формируется ли прогнозированное изображение с помощью информации изображений опорной области, с помощью информации изображений опорной области и информации изображений целевой области опорного вектора или с помощью информации изображений опорной области, информации изображений промежуточной области и информации изображений целевой области опорного вектора; и

- на этапе формирования прогнозированного изображения, прогнозированное изображение формируется с помощью способа формирования, обозначенного посредством декодированной информации.

Когда предусмотрен этап декодирования информации обозначения способа формирования прогнозированных изображений, возможно то, что:

- на этапе декодирования информации обозначения опорного кадра, таблица кодовых слов, используемая для декодирования информации, которая обозначает опорный кадр, переключается на основе кодированных данных целевой области опорного вектора; и

- на этапе декодирования информации обозначения способа формирования прогнозированных изображений, таблица кодовых слов, используемая для декодирования информации, которая обозначает выбранный способ формирования, переключается на основе, по меньшей мере, одного из декодированных данных целевой области опорного вектора, опорного кадра и целевого кадра опорного вектора.

Настоящее изобретение также предоставляет устройство кодирования видео, имеющее устройства для выполнения этапов в вышеописанном способе кодирования видео; программу кодирования видео, посредством которой компьютер выполняет соответствующие этапы; и машиночитаемый носитель хранения данных, который сохраняет программу.

Настоящее изобретение также предоставляет устройство декодирования видео, имеющее устройства для выполнения этапов в вышеописанном способе декодирования видео; программу декодирования видео, посредством которой компьютер выполняет соответствующие этапы; и машиночитаемый носитель хранения данных, который сохраняет программу.

Преимущество изобретения

В соответствии с настоящим изобретением, даже когда опорный кадр, используемый для формирования прогнозированного изображения, отличается между смежными областями, используется один и тот же целевой кадр опорного вектора, так что основной фактор (время или диспаратность), который вызывает изменение изображения и должен быть представлен вектором, является унифицированным, и прогнозированный вектор, близкий вектору, который должен быть кодирован, может быть сформирован с помощью уже кодированного вектора в смежной области. Следовательно, векторная информация для межкадрового прогнозирующего кодирования может быть кодирована с меньшим объемом кода.

Краткое описание чертежей

Фиг. 1 - схематичное представление, показывающее пример способа определения опорной области с помощью опорного кадра, когда целевая область опорного вектора была кодирована.

Фиг. 2 - схематичное представление, показывающее пример способа определения опорной области с помощью целевого кадра опорного вектора, когда целевая область опорного вектора была кодирована.

Фиг. 3 - схематичное представление, показывающее пример способа определения опорной области с помощью опорного вектора, когда целевая область опорного вектора была кодирована.

Фиг. 4 - схематичное представление, показывающее пример способа определения опорной области с помощью вектора, когда целевая область опорного вектора была кодирована.

Фиг. 5 - схематичное представление, показывающее пример способа определения опорной области с помощью опорного вектора, когда целевая область опорного вектора была кодирована.

Фиг. 6 показывает вариант осуществления устройства кодирования видео по настоящему изобретению.

Фиг. 7 - пример блок-схемы процесса кодирования видео, выполняемого посредством устройства кодирования видео по варианту осуществления.

Фиг. 8 - пример блок-схемы процесса определения опорной области, когда промежуточный кадр не используется, в варианте осуществления.

Фиг. 9 - пример блок-схемы процесса определения опорной области, когда промежуточный кадр используется, в варианте осуществления.

Фиг. 10 - пример блок-схемы процесса поиска соответствующей области в варианте осуществления.

Фиг. 11 показывает вариант осуществления устройства декодирования видео по настоящему изобретению.

Фиг. 12 - пример блок-схемы процесса декодирования видео, выполняемого посредством устройства декодирования видео по варианту осуществления.

Фиг. 13A - схематичное представление, поясняющее прогнозирование вектора движения в H.264.

Фиг. 13B - также схематичное представление, поясняющее прогнозирование вектора движения в H.264.

Фиг. 13C - также схематичное представление, поясняющее прогнозирование вектора движения в H.264.

Фиг. 13-D - также схематичное представление, поясняющее прогнозирование вектора движения в H.264.

Фиг. 14 - схематичное представление, показывающее диспаратность, формируемую между камерами.

Номера ссылок

100 - устройство кодирования видео

101 - модуль ввода изображений

102 - формирователь прогнозированных изображений

103 - кодер разностных изображений

104 - декодер разностных изображений

105 - запоминающее устройство опорных кадров

106 - модуль задания опорных кадров

107 - модуль задания целевых кадров опорного вектора

108 - модуль задания способа формирования прогнозированных изображений

109 - кодер дополнительной информации

110 - модуль поиска целевых областей опорного вектора

111 - модуль поиска опорных областей

112 - запоминающее устройство накопления информации о соответствующих зависимостях

113 - формирователь прогнозированных опорных векторов

114 - кодер разностных опорных векторов

Оптимальный режим осуществления изобретения

В настоящем изобретении, при задании векторной информации, используемой для межкадрового прогнозирующего кодирования, которое выполняется при кодировании информации изображений целевой области кодирования, задается не вектор, который указывает область в опорном кадре для формирования прогнозированного изображения, а целевой кадр опорного вектора, который является кадром, используемым для указания вектора. Получается и кодируется опорный вектор, который указывает область в целевом кадре опорного вектора, и выполняется поиск соответствующих точек, такой как поблочное сравнение, с помощью опорного кадра и информации изображений целевой области опорного вектора в целевом кадре опорного вектора, где область указана посредством опорного вектора. Прогнозированное изображение формируется с помощью информации изображений опорной области в опорном кадре, который получается в соответствии с поиском соответствующих точек.

Соответственно, даже