Способ кодирования многовидового изображения, способ декодирования многовидового изображения, устройство кодирования многовидового изображения, устройство декодирования многовидового изображения, компьютерно-читаемый носитель, содержащий программу кодирования многовидового изображения и компьютерно-читаемый носитель, содержащий программу декодирования многовидового изображения

Способ кодирования многовидового изображения, способ декодирования многовидового изображения, устройство кодирования многовидового изображения, устройство декодирования многовидового изображения, компьютерно-читаемый носитель, содержащий программу кодирования многовидового изображения и компьютерно-читаемый носитель, содержащий программу декодирования многовидового изображения

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к способу кодирования многовидового изображения и устройству, предназначенному для кодирования изображений объекта, сфотографированного с помощью множества камер, а также к способу декодирования многовидового изображения и устройству, предназначенному для декодирования данных, которые закодированы с использованием способа кодирования многовидового изображения, а также к программе кодирования многовидового изображения, которую используют, чтобы осуществлять этот способ кодирования многовидового изображения, и к программе декодирования многовидового изображения, которую используют, чтобы осуществлять этот способ декодирования многовидового изображения

Приоритет испрашивается по японской заявке на патент № 2009-29249, поданной 12 февраля 2009 г., содержание которой включено в настоящее описание в качестве ссылки.

УРОВЕНЬ ТЕХНИКИ

Понятие 'многовидовые изображения' относится к множеству изображений, полученных с помощью фотографирования одного и того же объекта и фона с использованием множества камер, в то время как понятие 'многовидовые движущиеся изображения' (т.е. 'многовидовое видео') относится к движущимся изображениям, полученным таким способом.

Компенсированное предсказание движения и компенсированное предсказание рассогласования предложены в качестве технологий, предназначенных для использования при кодировании обычного движущегося изображения и кодировании многовидового движущегося изображения.

Компенсированное предсказание движения является способом, который также используют в международных стандартах для форматов кодирования движущегося изображения последних лет, представленных с помощью Н.264. В этом способе движение объекта компенсируют между кадром, намеченным для кодирования, и опорным кадром, который уже закодирован, таким образом, чтобы получить разность между кадрами для сигнала изображения, и кодируют только этот разностный сигнал (см. непатентный документ 1).

В противоположность, при компенсированном предсказании рассогласования с помощью компенсации рассогласований в объекте с помощью использования кадра, сфотографированного с помощью другой камеры в качестве опорного кадра, кодирование может быть выполнено, когда получают разности между кадрами между сигналами изображений (см. непатентный документ 2).

Понятие 'рассогласование', которое использовано в настоящей заявке, относится к разностям в позициях в плоскостях изображений камер, которые помещены в разных позициях, в которых проецируют одну и ту же позицию в объекте. При компенсированном предсказании рассогласования его представляют с помощью двумерных векторов, а затем кодируют. Как изображено на фиг.8, поскольку рассогласования являются информацией, создание которой зависит от позиции камеры и от расстояния между объектом и камерой (т.е. глубины), существует способ, известный как предсказание с синтезом вида (предсказание с интерполяцией вида), который использует этот принцип.

При предсказании с синтезом вида (предсказании с интерполяцией вида) существует способ, при котором глубину вида оценивают с использованием информации о позиции камеры и теории триангуляции для многовидового изображения, полученного на стороне кодирования или стороне декодирования, и кадры, намеченные для кодирования, синтезируют (т.е. интерполируют) с использованием этой оцененной глубины таким образом, чтобы создать изображение предсказания (см. патентный документ 1 и непатентный документ 3). Следует заметить, что, если глубину оценивают на стороне кодирования, необходимо кодировать глубину, которую используют.

При компенсированном предсказании рассогласования и предсказании с синтезом вида, если между реакциями элементов формирования изображений камеры существуют разности, или если в каждой камере выполняют управление усилением или гамма-коррекцию, или если установки для глубины или поля диафрагмы, или тому подобного являются разными в каждой камере, или если в сцене имеется эффект освещенности, зависимой от направления, или тому подобное, тогда эффективность кодирования ухудшается. Причиной этого является то, что предсказание делают при допущении, что освещенность и цвет объекта являются одинаковыми как в кадре, намеченном для кодирования, так и в опорном кадре.

Исследованы способы, такие как компенсация освещенности и коррекция цвета, в качестве средств, которые имеют дело с изменениями освещенности и цвета объекта. В этих способах с помощью использования опорного кадра, освещенность и цвет которого скорректированы, в качестве кадра, который используют для выполнения предсказания, можно ограничить величину остатка предсказания, которую кодируют в минимум.

В Н.264 применяется взвешенное предсказание, при котором линейную функцию используют в качестве модели (см. непатентный документ 1), в то время как в непатентном документе 3 предложен способ, в котором коррекции выполняют с использованием таблицы цветов.

ДОКУМЕНТЫ ПРЕДШЕСТВУЮЩЕГО УРОВНЯ ТЕХНИКИ

Патентный документ 1

Выложенная заявка на японский патент (JP-A) № 2007-036800 “Способ кодирования видео, способ декодирования видео, программа кодирования видео, программа декодирования видео и носитель записи, доступный для чтения с помощью компьютера, на котором записаны эти программы”.

Непатентный документ 1

ITU-T Rec. H.264/ISO/IEC 11496-10 “Advanced video coding for generic audiovisual services”, Final Committee Draft, Document JVT-E022d7, September 2002 (pp.10-13, pp.62-73).

Непатентный документ 2

Hideaki Kimata and Masaki Kitahara, “Preliminary results on multiple view video coding (3DAV)”, document M10976 MPEG Redmond Meeting, July, 2004.

Непатентный документ 3

K. Yamamoto, M. Kitahara, H. Kimata, T. Yendo, T. Fujii, M. Tanimoto, S. Shimizu, K. Kamikura, and Y. Yashima “Multiview Video Coding Using View Interpolation and Color Correction”, IEEE Transactions on Circuits and Systems for Video Technology, Vol.17, No.11, pp.1436-1449, November, 2007.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Проблема, решаемая с помощью изобретения

Существуют следующие две проблемы, когда выполняют кодирование с использованием вышеупомянутых компенсации освещенности и коррекции цвета.

Первой проблемой является увеличение объема кода, что является следствием добавления параметров для компенсации освещенности и коррекции цвета и тому подобных. При обычном компенсированном предсказании рассогласования и предсказании с синтезом (интерполяцией) вида, поскольку становится необходимым кодировать параметры для компенсации освещенности и коррекции цвета и тому подобных, кодирование которых ранее не требовалось, имеется ухудшение эффективности кодирования.

Второй проблемой является отсутствие возможности иметь дело с локализованным рассогласованием. В настоящей заявке понятие 'несовпадение' относится к несовпадениям в освещенности и рассогласованиям цвета, которые существуют между кодированием целевого кадра и опорных кадров и изображениями с синтезом вида и тому подобными.

В случае замирания и мигания при кодировании обычного движущегося изображения, поскольку весь экран изменяется одинаковым образом, можно выполнить удовлетворительные компенсацию освещенности и коррекцию цвета с использованием одного параметра коррекции. Однако рассогласования, которые вызваны тем, что объект не является полностью диффузным отражателем, или тем, что глубина поля и фокус не полностью совпадают в каждой камере, являются рассогласованиями, которые зависят не от сцены, а от объекта, и эти рассогласования также являются локализованными. В результате при компенсации освещенности и коррекции цвета, которые основаны на одном параметре коррекции, невозможно существенно уменьшить остатки предсказания.

Чтобы противодействовать этой проблеме, может быть рассмотрен способ, в котором используют множество параметров коррекции, для того чтобы иметь дело с локализованными изменениями. Однако, если этот способ используют, тогда при добавлении объема кода, требуемого, чтобы кодировать множество параметров коррекции, также необходимо кодировать информацию, показывающую, какой параметр коррекции должен быть использован в каждой области изображения. В результате объем кода увеличивается еще больше, и не возможно решить первую проблему.

Настоящее изобретение было задумано в виду вышеописанных обстоятельств, и его задачей является предоставить новую технологию кодирования и декодирования многовидового изображения, которая выполняет очень эффективное кодирование, даже в многовидовых изображениях (т.е. многовидовых неподвижных изображениях и движущихся изображениях), в которых между камерами присутствует локализованное рассогласование освещенности и цвета, и которая также выполняет уменьшение объема кода, требуемого в случаях, когда используют это новое кодирование.

СРЕДСТВА ДЛЯ РЕШЕНИЯ ПРОБЛЕМЫ

Основная технологическая идея настоящего изобретения

Для того чтобы решить вышеописанную проблему, в настоящем изобретении разработаны следующие средства для случаев, в которых кадр, намеченный для кодирования/декодирования, сначала разделяют на области, а затем в каждой области выполняют кодирование/декодирование многовидового изображения.

Во-первых, изображение предсказания создают не только в области, намеченной для обработки, но также в области, которая является смежной области, намеченной для обработки, и которая уже закодирована/декодирована с использованием того же способа предсказания. Затем оценивают параметры коррекции для коррекции рассогласований в освещенности и цвете из изображения предсказания и декодированного изображения в смежной области. Затем с помощью коррекции изображения предсказания, созданного для области, намеченной для обработки, с использованием оцененных параметров коррекции, создают фактически используемое скорректированное изображение предсказания.

В случае традиционного способа, в котором параметры коррекции вычисляют с помощью сравнения кадра, намеченного для кодирования, с опорным кадром, поскольку кадр, намеченный для кодирования, не может быть получен на стороне декодирования, необходимо кодировать параметры коррекции.

В противоположность, в настоящем изобретении, поскольку параметры коррекции оценивают из изображения предсказания и декодированного изображения в смежной области, параметры коррекции вычисляют с помощью сравнения уже закодированного/декодированного кадра с опорным кадром (т.е. кадром, образующим основу для создания изображения предсказания). Поскольку каждый из этих кадров может быть получен на стороне декодирования, не нужно кодировать параметры коррекции. А именно, можно посредством настоящего изобретения решить проблему увеличения объема кода.

Кроме того, поскольку кодирование является процессом, в котором входные сигналы преобразуют как можно точнее, кадры, намеченные для кодирования, могут быть рассмотрены по существу такими же, как кадры, которые уже закодированы/декодированы. А именно, параметры коррекции, вычисленные посредством настоящего изобретения, могут сделать изображение предсказания близким к кадру, намеченному для кодирования, и остаток предсказания, который кодируют, может быть достаточно уменьшен.

Кроме того, в настоящем изобретении параметры коррекции оценивают с использованием информации смежных областей для каждой одной из областей, намеченных для обработки. С помощью выполнения этого становится возможным выполнить коррекции для локализованных рассогласований освещенности и цвета.

При вышеописанном кодировании/декодировании многовидового изображения можно вычислить надежность параметров коррекции с помощью коррекции изображения предсказания смежной области с использованием оцененных параметров коррекции, а затем сравнения результата этого с уже закодированным/декодированным изображением этой смежной области. Если надежность не достигает порогового значения (т.е. надежность является низкой), тогда коррекцию с использованием этих параметров коррекции не выполняют, и изображение предсказания, созданное для этой области, намеченной для обработки, может быть использовано, как оно есть, в качестве скорректированного изображения предсказания. Следует заметить, что значение, вычисленное с использованием функции, в соответствии с которой надежность становится меньшей величины, чем максимальное значение, дисперсия или тому подобное, разностей между скорректированным изображением предсказания и уже закодированным/декодированным изображением (такой как функция, которая возвращает обратные числа данных значений), может быть использовано для этой надежности.

Кроме того, когда оценивают параметры коррекции, также можно использовать способ, в котором разности между изображением предсказания и уже закодированным/декодированным изображением вычисляют для каждого пикселя в смежной области, а затем выполняют кластеризацию пикселей в смежной области на основании вычисленных разностей, таким образом, что параметры коррекции получают с использованием только пикселей, которые принадлежат к кластеру, имеющему наибольшее число пикселей.

Структура настоящего изобретения

Далее будет описана структура устройства кодирования многовидового изображения и устройства декодирования многовидового изображения настоящего изобретения.

Структура устройства кодирования многовидового изображения настоящего изобретения

Устройство кодирования многовидового изображения настоящего изобретения является устройством, которое разделяет входное изображение объекта, который фотографируют с помощью первой камеры, на множество целевых областей кодирования, и с использованием уже закодированного изображения того же объекта, который фотографируют с помощью второй камеры, которая расположена в другой позиции от первой камеры, выполняет кодирование с предсказанием для каждой из целевых областей кодирования, и которое включает в себя: (1) устройство установки области выборки, которое устанавливает область, которая является смежной целевой области кодирования и уже закодирована во входном изображении, в качестве области выборки, (2) устройство создания изображения предсказания, которое создает изображение предсказания из уже закодированного изображения объекта, сфотографированного с помощью второй камеры, для пикселей, принадлежащих целевой области кодирования и области выборки, (3) устройство оценки параметра коррекции, которое, на основании изображения предсказания для области выборки в декодированном изображении, которое уже декодировано для области выборки, оценивает параметры коррекции для коррекции рассогласований освещенности и цвета, (4) устройство коррекции изображения предсказания, которое, с использованием параметров коррекции, корректирует изображение предсказания для целевой области кодирования, таким образом, чтобы создать первое скорректированное изображение предсказания, (5) устройство кодирования изображения, которое, с использованием первого скорректированного изображения предсказания, кодирует сигналы изображения целевой области кодирования, таким образом, чтобы создать закодированные данные, и (6) устройство декодирования изображения, которое декодирует закодированные данные, таким образом, чтобы создать декодированное изображение для целевой области кодирования.

Также возможно, чтобы устройство кодирования многовидового изображения в соответствии с некоторым вариантом осуществления настоящего изобретения было дополнительно обеспечено: (7) устройством коррекции изображения выборки, которое, с использованием оцененных параметров коррекции, корректирует изображение предсказания для области выборки, таким образом, чтобы создать второе скорректированное изображение предсказания, и (8) устройством оценки параметра коррекции, которое, на основании второго скорректированного изображения предсказания и декодированного изображения, оценивает параметры коррекции. В этом случае также возможно, чтобы устройство коррекции изображения предсказания, сравнивало оцененное значение параметров коррекции с предварительно определенным пороговым значением, и, когда определяют надежность параметров коррекции как высокую, чтобы оно корректировало изображение предсказания для целевой области кодирования с использованием оцененных параметров коррекции, таким образом, чтобы создать первое скорректированное изображение предсказания, а когда определяют надежность параметров коррекции как низкую, чтобы оно устанавливало изображение предсказания для целевой области кодирования в качестве первого изображения предсказания.

Кроме того, также возможно, чтобы устройство кодирования многовидового изображения в соответствии с вариантом осуществления настоящего изобретения было дополнительно обеспечено: (9) устройством классификации пикселей выборки, которое формирует пиксели, принадлежащие области выборки, в кластеры с использованием дифференциальных значений между изображением предсказания и декодированным изображением, и (10) устройством модификации области выборки, которое устанавливает модифицированную область выборки с помощью повторной установки пикселей, которые принадлежат кластеру, имеющему наибольшее число элементов среди кластеров, полученных с помощью кластеризации, в качестве области выборки. В этом случае также возможно, чтобы устройство оценки параметра коррекции оценивало параметры коррекции с использованием только пикселей, которые принадлежат модифицированной области выборки.

Способ кодирования многовидового изображения настоящего изобретения, который осуществляют в результате каждого из вышеописанных устройств обработки, выполняющих свои соответственные операции, также может быть выполнен посредством компьютерной программы. Эту компьютерную программу поставляют как записанную на подходящем носителе записи, доступном для чтения с помощью компьютера, или поставляют с помощью сети. Когда настоящее изобретение должно быть применено, компьютерную программу устанавливают в компьютере, и настоящее изобретение выполняют, когда компьютерной программой управляют с помощью устройства управления, такого как CPU.

Структура устройства декодирования многовидового изображения настоящего изобретения

Устройство декодирования многовидового изображения настоящего изобретения является устройством, которое декодирует целевое изображение декодирования из закодированных данных, которые получают с помощью кодирования изображения объекта, который фотографируют с помощью первой камеры, с использованием изображения того же объекта, который фотографируют с помощью второй камеры, которая расположена в другой позиции от первой камеры, с помощью разделения целевого изображения декодирования на множество целевых областей декодирования и с помощью выполнения декодирования для каждой из целевых областей декодирования с использованием уже декодированного изображения объекта, который фотографируют с помощью второй камеры. Устройство декодирования многовидового изображения обеспечено: (1) устройством установки области выборки, которое устанавливает область, которая является смежной для целевой области декодирования и уже декодирована в целевом изображении декодирования, в качестве области выборки, (2) устройством создания изображения предсказания, которое создает изображение предсказания из уже закодированного изображения, сфотографированного с помощью второй камеры, для пикселей, принадлежащих целевой области декодирования и области выборки, (3) устройством оценки параметра коррекции, которое, на основании изображения предсказания для области выборки в декодированном изображении, которое уже декодировано для области выборки, оценивает параметры коррекции для коррекции рассогласований освещенности и цвета, (4) устройством коррекции изображения предсказания, которое, с использованием параметров коррекции, корректирует изображение предсказания для целевой области декодирования, таким образом, чтобы создать скорректированное изображение предсказания, и (5) устройством декодирования изображения, которое, с использованием первого скорректированного изображения предсказания, декодирует сигналы изображения целевой области декодирования из закодированных данных.

Также возможно, чтобы устройство декодирования многовидового изображения в соответствии с некоторым вариантом осуществления настоящего изобретения было дополнительно обеспечено: (6) устройством коррекции изображения выборки, которое, с использованием оцененных параметров коррекции, корректирует изображение предсказания для области выборки, таким образом, чтобы создать второе скорректированное изображение предсказания, и (7) устройством оценки параметра коррекции, которое, на основании второго скорректированного изображения предсказания и декодированного изображения, оценивает параметры коррекции. В этом случае также возможно, чтобы устройство коррекции изображения предсказания сравнивало значение оценки параметров коррекции с предварительно определенным пороговым значением, и, когда определяют надежность параметров коррекции как высокую, чтобы оно корректировало изображение предсказания для целевой области декодирования с использованием параметров коррекции, таким образом, чтобы создать первое скорректированное изображение предсказания, и, когда определяют надежность параметров коррекции как низкую, чтобы оно устанавливало изображение предсказания для целевой области кодирования в качестве первого изображения предсказания.

Кроме того, также возможно, чтобы устройство декодирования многовидового изображения в соответствии с вариантом осуществления настоящего изобретения было дополнительно обеспечено: (8) устройством классификации пикселей выборки, которое формирует пиксели, принадлежащие области выборки, в кластеры, с использованием дифференциальных значений между изображением предсказания и декодированным изображением, и (9) устройством модификации области выборки, которое устанавливает модифицированную область выборки с помощью повторной установки пикселей, которые принадлежат кластеру, имеющему наибольшее число элементов среди кластеров, полученных с помощью кластеризации, в качестве области выборки. В этом случае также возможно, чтобы устройство оценки параметра коррекции оценивало параметры коррекции с использованием только пикселей, которые принадлежат модифицированной области выборки.

Способ декодирования многовидового изображения настоящего изобретения, который осуществляют в результате каждого из вышеописанных устройств обработки, выполняющих свои соответственные операции, также может быть выполнен посредством компьютерной программы. Эту компьютерную программу поставляют как записанную на подходящем носителе записи, доступном для чтения с помощью компьютера, или поставляют с помощью сети. Когда настоящее изобретение должно быть применено, компьютерную программу устанавливают в компьютере, и настоящее изобретение выполняют, когда компьютерной программой управляют с помощью устройства управления, такого как CPU.

ЭФФЕКТ ИЗОБРЕТЕНИЯ

В соответствии с настоящим изобретением даже в случаях, в которых рассогласования освещенности и цвета между камерами имеют место локализованным образом, становится возможным уменьшить остатки предсказания, поскольку параметры коррекции для таких рассогласований определяют локализованным образом. Таким образом, можно достичь очень эффективного кодирования и декодирования многовидовых изображений и многовидовых движущихся изображений.

Кроме того, в соответствии с настоящим изобретением, поскольку параметры коррекции определяют способом, который не требует дополнительного кодирования/декодирования, можно существенно уменьшить объем кода, требуемого, когда выполняют это кодирование и декодирование многовидовых изображений и многовидовых движущихся изображений.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг.1 - блок-схема, изображающая устройство кодирования многовидового видео в соответствии с первым вариантом осуществления настоящего изобретения.

Фиг.2 - блок-схема последовательности этапов, изображающая обработку, выполняемую с помощью устройства кодирования многовидового видео в соответствии с первым вариантом осуществления настоящего изобретения.

Фиг.3 - блок-схема последовательности этапов, изображающая подробности обработки, выполняемой с помощью устройства кодирования многовидового видео в соответствии с первым вариантом осуществления настоящего изобретения.

Фиг.4 - блок-схема последовательности этапов, изображающая обработку, выполняемую с помощью устройства кодирования многовидового видео в соответствии с первым вариантом осуществления настоящего изобретения.

Фиг.5 - блок-схема, изображающая устройство декодирования многовидового видео в соответствии с первым вариантом осуществления настоящего изобретения.

Фиг.6 - блок-схема последовательности этапов, изображающая обработку, выполняемую с помощью устройства декодирования многовидового видео в соответствии с первым вариантом осуществления настоящего изобретения.

Фиг.7 - блок-схема последовательности этапов, изображающая подробности обработки, выполняемой с помощью устройства декодирования многовидового видео в соответствии с первым вариантом осуществления настоящего изобретения.

Фиг.8 - вид, изображающий режим предсказания компенсированного рассогласования.

ВАРИАНТЫ ОСУЩЕСТВЛЕНИЯ ДЛЯ ВЫПОЛНЕНИЯ ИЗОБРЕТЕНИЯ

Настоящее изобретение теперь будет описано подробно со ссылкой, сделанной на чертежи, иллюстрирующие варианты осуществления настоящего изобретения.

Следует заметить, что в следующем описании при присоединении информации о позиции (а именно, значений координат или индекса, который может быть связан со значениями координат), окруженной символом [], к видео (т.е. кадрам) изображен видеосигнал, квантованный с помощью пикселя в этой позиции.

Устройство кодирования многовидового видео в соответствии с примером первого варианта осуществления настоящего изобретения

Структура устройства, устройства 100 кодирования многовидового видео, в соответствии с примером первого варианта осуществления настоящего изобретения изображена на фиг.1.

Как изображено на фиг.1, устройство 100 кодирования многовидового видео примера первого варианта осуществления обеспечено устройством 101 ввода целевого изображения кодирования, памятью 102 целевого изображения кодирования, устройством 103 ввода опорного изображения камеры, памятью 104 опорного изображения камеры, устройством 105 создания изображения предсказания, устройством 106 оценки параметра коррекции, устройством 107 коррекции изображения предсказания, устройством 108 кодирования изображения, устройством 109 декодирования изображения и памятью 110 декодированного изображения.

Устройство 101 ввода целевого изображения кодирования принимает входные данные кадров (т.е. изображения) объекта, сфотографированного или захваченного с помощью первой камеры, в качестве цели кодирования. Память 102 целевого изображения кодирования сохраняет входные введенные целевые кадры кодирования. Устройство 103 ввода опорного изображения камеры принимает в качестве опорных кадров входные данные кадров (т.е. изображения) того же объекта, сфотографированного или захваченного с помощью второй камеры, которая помещена в других позициях от первой камеры. Память 104 опорного изображения камеры сохраняет введенные опорные кадры. Устройство 105 создания изображения предсказания создает изображения предсказания кадров, намеченных для кодирования с использованием опорных кадров. Устройство 106 оценки параметра коррекции оценивает параметры коррекции на основании изображений предсказания и декодированных изображений в периферийных областях вокруг целевой области кодирования. Устройство 107 коррекции изображения предсказания корректирует изображения предсказания целевых областей кодирования с использованием оцененных параметров коррекции. Устройство 108 кодирования изображения кодирует сигналы изображения целевых областей кодирования, в то же время используя скорректированные изображения предсказания в качестве сигналов предсказания. Устройство 109 декодирования изображения декодирует закодированные сигналы изображения. Память 110 декодированного изображения сохраняет декодированные изображения.

Фиг.2 изображает последовательность этапов обработки, выполняемой с помощью устройства 100 кодирования многовидового видео варианта осуществления настоящего изобретения, которое сконструировано вышеописанным способом.

Затем обработка, выполняемая с помощью устройства 100 кодирования многовидового видео настоящего варианта осуществления, будет описана подробно, в соответствии с этой последовательностью этапов обработки.

Во-первых, кадр Org, который намечен для кодирования, вводят с помощью устройства 101 ввода целевого изображения кодирования и сохраняют в памяти 102 целевого изображения кодирования. Опорный кадр Ref вводят с помощью устройства 103 ввода опорного изображения камеры и сохраняют в памяти 104 опорного изображения камеры [А1].

Введенный опорный кадр является кадром изображения, полученного с помощью декодирования уже закодированного изображения. Причиной для этого является то, что при использовании той же информации, что и информация, полученная в устройстве декодирования, генерация шума кодирования, такого как дрейф, может быть подавлена. Однако, если генерация такого шума кодирования является допустимой, тогда возможно, чтобы был введен оригинал предварительного кодирования. Следует заметить, что, если существуют множество опорных кадров, тогда на этом этапе вводят множество опорных кадров.

Затем устройство 100 кодирования разделяет целевой кадр кодирования на множество целевых областей кодирования, которые далее в настоящем описании также будут упомянуты как “блоки обработки кодирования”, и сигналы изображения целевого кадра кодирования кодируют с помощью устройства 108 кодирования изображения с созданием и коррекцией изображения предсказания для каждых целевых областей кодирования [А2-А9].

А именно, когда индекс блока обработки кодирования выражен как blk и когда полное число всех блоков обработки кодирования (т.е. целевая область кодирования) выражено как NumBlks, тогда, после того как blk инициализировано в 0 [А2], следующие этапы [А3-А7] повторяют с увеличением blk на 1 [А8], до тех пор пока blk не достигнет NumBlks [А9].

При обработке, которую повторяют для каждого блока обработки кодирования, устройство 100 кодирования сначала создает изображение предсказания Pred для каждого блока blk (т.е. целевой области кодирования) и для областей, периферийных ему, которые уже закодированы (т.е. областей выборки), с использованием того же способа создания и опорных кадров в устройстве 105 создания изображения предсказания [А3].

В настоящей заявке различные типы блока могут быть использованы для этих периферийных областей, такие как блоки обработки кодирования, которые являются смежными блоку blk, или смежными пикселям, или тому подобные. Несмотря на то что для периферийных областей может быть использовано множество определений, необходимо использовать то же определение, что и определение, используемое на стороне декодирования. В примере настоящего варианта осуществления группы пикселей, содержащихся в уже закодированных областях, которые являются периферийными блоку blk, выражены как N _blk, в то время как группа пикселей, содержащихся в блоке blk, выражены как C _blk.

Не имеется никаких конкретных ограничений на способ, как создавать изображения предсказания, пока в способе используют опорный кадр Ref. Однако изображение предсказания Pred должно быть создано как для блока blk, так и для областей, периферийных ему, с помощью одного и того же способа. Например, если используют компенсированное предсказание рассогласования, которое использует вектор рассогласования, тогда изображение предсказания Pred может быть создано, как изображено в следующей формуле (1), с использованием одного вектора рассогласования dv как для блока blk, так и его области выборки.

Кроме того, если используют предсказание с синтезом (интерполяцией) вида, тогда изображение предсказания Pred создают, как изображено в следующей формуле (2), для изображения синтеза (интерполяции) вида Synth, полученного с помощью синтеза (интерполяции) всего изображения в целевой камере кодирования с использованием опорных кадров Ref.

Затем определяют параметры коррекции с помощью устройства 106 оценки параметра коррекции с использованием изображений предсказания и декодированных изображений Dec в периферийных областях [А4].

Для этого способа коррекции и для этой оценки параметра коррекции может быть использован любой подходящий способ, однако необходимо использовать тот же способ, что и способ, используемый на стороне декодирования.

Некоторыми примерами возможных способов коррекции являются коррекция, основанная на смещении, коррекция, которая использует линейную функцию, или двумерная обработка линейного фильтра, имеющего ответвление длины k. Когда пиксель, намеченный для коррекции, принят как p, значение предварительной коррекции принято как In, и значение посткоррекции выражено как Out, тогда они могут быть выражены соответственно с помощью следующих формул (3-5).

Коррекция, основанная на смещении, и коррекция, которая использует линейную функцию, являются типичными примерами коррекции, которая основана на обработке линейного фильтра. Следует заметить, что необязательно, чтобы обработка коррекции была линейной обработкой, а также может быть использован нелинейный фильтр, при условии, что возможна оценка параметра коррекции. Примером способа нелинейной коррекции является гамма-коррекция. Гамма-коррекция может быть выражена с помощью следующей формулы (6).

В этих примерах модели коррекции, смещение, (α,β), ({Fij},o) и (γ,α,b) соответственно формируют параметры коррекции. А именно, число параметров коррекции изменяется в зависимости от модели коррекции.

В периферийных областях значением предварительной коррекции является изображение предсказания, и идеальное значение посткоррекции устанавливают как декодированное изображение. Таким образом, если параметры коррекции определяют таким образом, что разность между значениями, полученными с помощью коррекции значения предварительной коррекции и идеального значения посткоррекции, является минимальной, тогда может быть выполнено очень точное предсказание.

Например, при коррекции, основанной на значениях смещения, смещение может быть определено с использованием следующей формулы (7). Следует заметить, что ║║ изображает число пикселей в группе.

Кроме того, если коррекция основана на линейной функции, тогда параметры коррекции могут быть определены с использованием способа наименьших квадратов, в котором параметры коррекции могут быть получены с помощью минимизации суммы квадратичных ошибок. Параметры коррекции (α,β) в этом случае выражают с помощью следующей формулы (8).

Эти параметры коррекции могут быть определены для каждых компонентов освещенности и цветности или могут быть определены для каждого сигнала цвета RBG и тому подобного. Кроме того, можно подразделить каждый сигнал и выполнять разные коррекции относительно нескольких фиксированных диапазонов, таким образом, чтобы, напр