Способ кодирования многоракурсных изображений, способ декодирования многоракурсных изображений, устройство кодирования многоракурсных изображений, устройство декодирования многоракурсных изображений, компьютерно-читаемый носитель, содержащий программу кодирования многоракурсных изображений, и компьютерно-читаемый носитель, содержащий программу декодирования многоракурсных изображений

Способ кодирования многоракурсных изображений, способ декодирования многоракурсных изображений, устройство кодирования многоракурсных изображений, устройство декодирования многоракурсных изображений, компьютерно-читаемый носитель, содержащий программу кодирования многоракурсных изображений, и компьютерно-читаемый носитель, содержащий программу декодирования многоракурсных изображений

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к способу кодирования многоракурсных изображений и к устройству для кодирования изображений, сфотографированных множеством камер, которые фотографируют конкретный объект, а также к способу декодирования многоракурсных изображений и к устройству для декодирования закодированных данных, которые были закодированы с использованием этого способа кодирования многоракурсных изображений, а также к программе кодирования многоракурсных изображений, используемой для реализации этого способа кодирования многоракурсных изображений, и к программе декодирования многоракурсных изображений, используемой для реализации этого способа декодирования многоракурсных изображений.

Эта заявка испрашивает приоритет по заявке на патент Японии № 2009-38786, поданной 23 февраля 2009 г., содержание которой включено сюда путем ссылки.

УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

Термин "многоракурсные изображения" относится к множеству изображений, полученных путем фотографирования одного и того же объекта и фона с использованием множества камер, тогда как термин "многоракурсные движущиеся изображения" (то есть, "многоракурсные видеоизображения") относится к полученным таким способом движущимся изображениям.

В качестве технологий для общего использования при кодировании движущихся изображений и при кодировании многоракурсных движущихся изображений были предложены следующие технологии: компенсированное предсказание движения и компенсированное предсказание рассогласования.

Компенсированное предсказание движения представляет собой способ, который также используется в разработанных за последние годы международных стандартах для форматов кодирования движущихся изображений, типичным примером которых является стандарт H.264. В этом способе компенсируют движение объекта между целевым кадром кодирования и опорным кадром, который уже был закодирован, для получения разности между кадрами для сигнала изображения, и кодируют только этот разностный сигнал (см. непатентный документ 1).

В отличие от этого при компенсированном предсказании рассогласования кодирование может быть выполнено в виде разностей между кадрами между получаемыми сигналами изображения путем компенсации рассогласований различия в объекте с использованием в качестве опорного кадра того кадра, который сфотографирован иной камерой (см. непатентный документ 2).

Используемый здесь термин "рассогласование" ("disparity") относится к различиям в местоположениях на плоскостях изображения у камер, размещенных в различных местах, где спроецировано одно и то же место на объекте. При компенсированном предсказании рассогласования это представлено двумерными векторами, а затем закодировано. Как показано на чертеже Фиг. 9, поскольку рассогласования представляют собой информацию, создание которой зависит от местоположения камеры и от расстояния от камеры (то есть, глубины), то существует способ, известный как предсказание с синтезированием ракурса (предсказание с интерполяцией ракурса), в котором используют этот принцип.

При предсказании с синтезированием ракурса (предсказании с интерполяцией ракурса) существует способ, в котором глубину объекта оценивают с использованием информации о местоположении камеры и теории триангуляции для многоракурсного видео, полученного на стороне, выполняющей кодирование, или на стороне, выполняющей декодирование, и целевые кадры кодирования синтезируют (то есть, интерполируют) с использованием этой оцененной информации о глубине для создания предсказанного изображения (см. патентный документ 1 и непатентный документ 3). Следует отметить следующее: если глубину оценивают на стороне, выполняющей кодирование, то необходимо закодировать используемую глубину.

При предсказании, в котором используют изображения, сфотографированные с использованием этих отдельных камер, если существуют индивидуальные различия между откликами элементов формирования изображения в камере, или если в каждой камере выполнена регулировка усиления или гамма-коррекция, или если установочные параметры для глубины резкости или апертуры и т.п. являются различными в каждой камере, или если имеется зависящее от направления влияние освещения сцены и т.п., то эффективность кодирования ухудшается. Причина этого состоит в том, что предсказание выполняют при том условии, что освещение и цвет объекта являются одинаковыми в обоих кадрах: в целевом кадре кодирования и в опорном кадре.

В настоящее время в качестве способов для решения задач, связанных с изменениями освещения и цвета объекта, исследуют такие способы, как, например, компенсация освещения и цветокоррекция. В этих способах за счет использования опорного кадра, освещение и цвет которого были скорректированы, в качестве кадра, используемого для предсказания, можно ограничить величину кодируемой невязки предсказания до минимума.

В стандарте H.264 принято предсказание с весовыми коэффициентами, в котором в качестве корректирующей модели используют линейную функцию (см. непатентный документ 1), тогда как в непатентном документе 3 предложен способ, в котором коррекцию выполняют с использованием таблицы цветов.

[Документы предшествующего уровня техники]

[Патентный документ 1]

Выложенная заявка на патент Японии (JP-A) № 2007-036800, имеющая название “Video coding method, video decoding method, video coding program, video decoding program, and computer readable recording medium on which these programs are recorded”

[Непатентный Документ 1]

Рекомендации, разработанные сектором по стандартизации Международного союза электросвязи: ITU-T Rec. H.264/ISO/IEC 11496-10, "Advanced video coding for generic audiovisual services", Final Committee Draft, Document JVT-E022d7, September 2002, (pp.10-13, pp.62-73)

[Непатентный Документ 2]

Хидеаки Кимата (Hideaki Kimata) и Масаки Китахара (Masaki Kitahara), "Preliminary results on multiple view video coding (3DAV)", document M10976 MPEG Redmond Meeting, July, 2004.

[Непатентный Документ 3]

K.Yamamoto, M.Kitahara, H.Kimata, T.Yendo, T.Fujii, M.Tanimoto, S.Shimizu, K.Kamikura, и Y.Yashima, "Multiview Video Coding Using View Interpolation and Color Correction," IEEE Transactions on Circuits and System for Video Technology, Vol.17, No.11, pp.1436-1449, November, 2007.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ЗАДАЧА, РЕШАЕМАЯ ИЗОБРЕТЕНИЕМ

Когда выполняют кодирование с использованием вышеупомянутой компенсации освещения и цветокоррекции, то существуют две следующие задачи.

Первой задачей является предотвращение увеличения объема кода, что является следствием добавления параметров для компенсации освещения и цветокоррекции и т.п. Поскольку при обычном компенсированном предсказании рассогласования и предсказании с синтезированием (интерполяцией) ракурса возникает необходимость выполнять кодирование параметров для компенсации освещения и цветокоррекции и т.п., кодирование которых раньше не требовалось, то имеет место ухудшение производительности кодирования.

Второй задачей является повышение точности коррекции. Поскольку в случае обесцвечивания и применения вспышки при обычном кодировании движущихся изображений весь экран изменяется одинаково, то можно выполнить удовлетворительную компенсацию освещения и цветокоррекцию и т.п. с использованием одного параметра коррекции. Однако несовпадения (то есть, различия по освещению и цвету), вызванные тем, что объект не является полностью диффузным отражателем, или тем, что глубина резкости и фокус не является полностью совпадающими в каждой камере, не зависят от сцены, а зависят от самого объекта. Вследствие этого при коррекции, которая основана на одном параметре коррекции, имеют место случаи, когда в зависимости от объекта несовпадение увеличивается.

Для решения этой задачи может быть рассмотрен способ, в котором используют множество параметров коррекции для борьбы с несовпадением в каждом отдельном объекте. Однако если используют этот способ, то в дополнение к объему кода, необходимого для кодирования множества параметров коррекции, также необходимо выполнять кодирование информации, указывающей, какой именно параметр коррекции следует использовать в каждой области изображения. В результате объем кода еще больше увеличивается, и первая задача не может быть решена.

Настоящее изобретение было придумано с учетом описанного выше положения дел, и его задачей является создание новой технологии кодирования и декодирования многоракурсных изображений, которая обеспечивает очень эффективное кодирование даже для многоракурсных изображений (то есть, многоракурсных неподвижных изображений и движущихся изображений), при котором происходит генерация локализованного несовпадения освещения и цвета между камерами и которая также обеспечивает сокращение объема кода, необходимого каждый раз, когда используют это новое кодирование.

СРЕДСТВА РЕШЕНИЯ ЗАДАЧИ

[1] Основная техническая идея, на которой основано настоящее изобретение

Для решения описанных выше задач в настоящем изобретении были разработаны следующие средства для тех случаев, когда целевой кадр кодирования-декодирования сначала разделяют на области, а затем выполняют кодирование и декодирование многоракурсных изображений в каждой области.

Сначала определяют информацию о глубине для фотографируемого объекта в целевой области обработки. Затем в области, смежной с целевой областью обработки, где кодирование (декодирование) уже было закончено, из информации о глубине определяют группу элементов изображения, в которой был сфотографирован тот же самый объект, что и в целевой области обработки, и задают ее в качестве группы элементов изображения, взятых в качестве образцов. Затем создают изображение с синтезированием ракурса для элементов изображения, содержащихся в этой группе элементов изображения, взятых в качестве образцов, и также создают изображение с синтезированием ракурса для элементов изображения, содержащихся в целевой области обработки. Затем производят оценку параметров коррекции для коррекции несовпадения по освещению и цвету, исходя из изображения с синтезированием ракурса и из декодированного изображения в группе элементов изображения, взятых в качестве образцов. Затем путем коррекции изображения с синтезированием ракурса, созданного для целевой области обработки, с использованием оцененных параметров коррекции, создают предсказанное изображение, которое следует использовать для кодирования (декодирования) сигналов изображения в целевой области обработки.

В случае обычного способа, в котором параметры коррекции вычисляют путем сравнения целевого кадра кодирования, с опорным кадром, необходимо выполнять кодирование параметров коррекции, поскольку целевой кадр кодирования не может быть получен стороной, выполняющей декодирование.

В отличие от этого в настоящем изобретении параметры коррекции вычисляют путем сравнения сигналов изображения уже кодированных/декодированных областей целевого кадра кодирования/декодирования с информацией из изображения с синтезированием ракурса, созданного с использованием опорного кадра. Поскольку они могут быть получены стороной, выполняющей декодирование, то необходимость в кодировании параметров коррекции отсутствует. То есть, посредством настоящего изобретения можно решить задачу увеличивающегося объема кода.

Кроме того, поскольку кодирование представляет собой способ, в котором входные сигналы преобразовывают настолько правильно, насколько это возможно, то можно полагать, что сигналы изображения, которые уже были закодированы/декодированы, являются, по существу, теми же самыми, что и сигналы целевого изображения кодирования. То есть, параметры коррекции, вычисленные посредством настоящего изобретения, могут сделать синтезированное изображение чрезвычайно близким к целевому изображению кодирования, и невязка предсказания, которая должна быть закодирована, может быть значительно уменьшена.

Кроме того, в настоящем изобретении оценку параметров коррекции производят с использованием информации о смежных областях, где был сфотографирован тот же самый объект, что и объект, сфотографированный в целевой области обработки. Посредством этого можно скорректировать освещение и цвет, которые зависят от объекта. Следует отметить следующее: поскольку в этом определении объекта используют информацию о глубине, которая необходима при создании изображения с синтезированием ракурса, то отсутствует необходимость кодирования и передачи дополнительной информации.

При описанном выше кодировании/декодировании многоракурсных изображений путем сравнения степени рассогласования информации о глубине в целевой области обработки с заданным пороговым значением можно определить, было ли сфотографировано множество объектов в целевой области обработки или нет. Если множество объектов было сфотографировано, то для каждого объекта определяют информацию о глубине и группы элементов изображения, взятых в качестве образцов, и оценивают параметры коррекции. Следует отметить следующее: путем обработки объектов, в которых количество элементов изображения в целевой области обработки является меньшим, чем фиксированное количество элементов изображения вместе с другими объектами, можно предотвратить какое-либо увеличение объема вычислений.

Кроме того, в описанном выше кодировании/декодировании многоракурсных изображений модели коррекции, которых существует множество (то есть, количество параметров коррекции), изменяют на основании количества элементов изображения в группе элементов изображения, взятых в качестве образцов.

[2] Структура настоящего изобретения

Ниже будет приведено описание структуры устройства кодирования многоракурсных изображений и устройства декодирования многоракурсных изображений из настоящего изобретения.

[2-1] Структура устройства кодирования многоракурсных изображений из настоящего изобретения

Устройство кодирования многоракурсных изображений из настоящего изобретения представляет собой устройство, которое выполняет кодирование многоракурсных изображений (то есть, статических изображений и движущихся изображений, сфотографированных с множества точек съемки) путем разделения входного изображения объекта, который сфотографирован первой камерой, на множество целевых областей кодирования, и путем выполнения кодирования с предсказанием для каждой из целевых областей кодирования с использованием изображения с синтезированием ракурса, которое синтезировано исходя из информации о глубине для входного изображения и из уже закодированного изображения того же самого объекта, сфотографированного второй камерой, которая расположена в ином месте, чем первая камера, и которое включает в себя: (1) блок задания репрезентативной глубины, который задает информацию о репрезентативной глубине для объекта, сфотографированного в целевой области кодирования; (2) блок задания группы элементов изображения, взятых в качестве образцов, который на основании информации о глубине для уже закодированной области, смежной с целевой областью кодирования, и информации о репрезентативной глубине, определяет группу элементов изображения, где был сфотографирован тот же самый объект, что и в целевой области кодирования, и задает эту группу элементов изображения в качестве группы элементов изображения, взятых в качестве образцов; (3) блок оценки параметров коррекции, который на основании изображения с синтезированием ракурса для группы элементов изображения, взятых в качестве образцов, и декодированного изображения, которое было декодировано для группы элементов изображения, взятых в качестве образцов, оценивает параметры коррекции для коррекции несовпадений по освещению и цвету; (4) блок коррекции изображений с синтезированием ракурса, который, используя параметры коррекции, выполняет коррекцию изображения с синтезированием ракурса для целевой области кодирования для создания скорректированного изображения с синтезированием ракурса; (5) блок кодирования изображений, который, используя скорректированное изображение с синтезированием ракурса, кодирует сигнал изображения для целевого изображения кодирования для создания закодированных данных; и (6) блок декодирования изображений, который декодирует закодированные данные для создания декодированного изображения для целевой области кодирования.

Устройство кодирования многоракурсных изображений согласно одному из вариантов осуществления настоящего изобретения также может быть дополнительно снабжено (7) блоком определения объекта, который разделяет элементы изображения в целевой области кодирования на одну или на несколько групп с использованием информации о глубине для соответствующих элементов изображения в качестве опорной информации. В этом случае блок задания репрезентативной глубины также может задавать информацию о репрезентативной глубине для каждой группы, определенной блоком определения объекта, блок задания группы элементов изображения, взятых в качестве образцов, также может задавать группу элементов изображения, взятых в качестве образцов, для каждой группы, определенной блоком определения объекта, блок оценки параметров коррекции также может выполнять оценку параметров коррекции для каждой группы, определенной блоком определения объекта, и блок коррекции изображений с синтезированием ракурса также может выполнять коррекцию изображения с синтезированием ракурса для каждой группы, определенной блоком определения объекта.

Кроме того, устройство кодирования многоракурсных изображений согласно одному из вариантов осуществления настоящего изобретения также может быть дополнительно снабжено (8) блоком выбора модели коррекции, который выбирает модель коррекции для коррекции изображения с синтезированием ракурса для целевой области кодирования в соответствии с количеством элементов изображения в группе элементов изображения, взятых в качестве образцов. В этом случае блок оценки параметров коррекции также может выполнять оценку параметров коррекции для модели коррекции, выбранной блоком выбора модели коррекции, и блок коррекции изображений с синтезированием ракурса также может выполнять коррекцию изображения с синтезированием ракурса с использованием модели коррекции, выбранной блоком выбора модели коррекции.

Способ кодирования многоракурсных изображений из настоящего изобретения, который реализован в результате выполнения каждым из описанных выше устройств обработки соответствующих ему этапов, также может быть реализован посредством компьютерной программы. Эту компьютерную программу предоставляют записанной на подходящем считываемом посредством компьютера носителе записи или предоставляют через сеть. Когда необходимо применить настоящее изобретение, то компьютерную программу устанавливают на компьютере, и настоящее изобретение реализовано тогда, когда компьютерная программа функционирует в блоке управления, которым является, например, центральный процессор (ЦП).

[2-2] Структура устройства декодирования многоракурсных изображений из настоящего изобретения

Устройство декодирования многоракурсных изображений из настоящего изобретения представляет собой устройство, которое выполняет декодирование закодированных данных для многоракурсных изображений (то есть, статических изображений и движущихся изображений, сфотографированных с множества точек съемки) путем разделения целевого изображения декодирования объекта, который сфотографирован первой камерой, на множество целевых областей декодирования, и путем выполнения декодирования с предсказанием для каждой из целевых областей декодирования с использованием изображения с синтезированием ракурса, которое синтезировано исходя из информации о глубине для целевого изображения декодирования, и из уже декодированного изображения того же самого объекта, сфотографированного второй камерой, которая расположена в ином месте, чем первая камера, и которое включает в себя: (1) блок задания репрезентативной глубины, который задает информацию о репрезентативной глубине для объекта, сфотографированного в целевой области декодирования; (2) блок задания группы элементов изображения, взятых в качестве образцов, который на основании информации о глубине для уже декодированной области, смежной с целевой областью декодирования, и информации о репрезентативной глубине, определяет группу элементов изображения, где был сфотографирован тот же самый объект, что и в целевой области декодирования, и задает эту группу элементов изображения в качестве группы элементов изображения, взятых в качестве образцов; (3) блок оценки параметров коррекции, который на основании изображения с синтезированием ракурса для группы элементов изображения, взятых в качестве образцов, и декодированного изображения, которое было декодировано для группы элементов изображения, взятых в качестве образцов, оценивает параметры коррекции для коррекции несовпадений по освещению и цвету; (4) блок коррекции изображений с синтезированием ракурса, который, используя параметры коррекции, выполняет коррекцию изображения с синтезированием ракурса для целевой области декодирования, для создания скорректированного изображения с синтезированием ракурса; и (5) блок декодирования изображений, который, используя скорректированное изображение с синтезированием ракурса, декодирует сигнал изображения для целевого изображения декодирования.

Устройство декодирования многоракурсных изображений согласно одному из вариантов осуществления настоящего изобретения также может быть дополнительно снабжено (6) блоком определения объекта, который разделяет элементы изображения в целевой области декодирования на одну или на несколько групп с использованием информации о глубине для соответствующих элементов изображения в качестве опорной информации. В этом случае блока задания репрезентативной глубины также может задавать информацию о репрезентативной глубине для каждой группы, определенной блоком определения объекта, блок задания группы элементов изображения, взятых в качестве образцов, также может задавать группу элементов изображения, взятых в качестве образцов, для каждой группы, определенной блоком определения объекта, блок оценки параметров коррекции также может выполнять оценку параметров коррекции для каждой группы, определенной блоком определения объекта, и блок коррекции изображений с синтезированием ракурса также может выполнять коррекцию изображения с синтезированием ракурса для каждой группы, определенной блоком определения объекта.

Устройство декодирования многоракурсных изображений согласно одному из вариантов осуществления настоящего изобретения также может быть дополнительно снабжено (7) блоком выбора модели коррекции, который выбирает модель коррекции для коррекции изображения с синтезированием ракурса для целевой области декодирования, в соответствии с количеством элементов изображения в группе элементов изображения, взятых в качестве образцов. В этом случае блок оценки параметров коррекции выполняет оценку параметров коррекции для модели коррекции, выбранной блоком выбора модели коррекции, и блок коррекции изображений с синтезированием ракурса выполняет коррекцию изображения с синтезированием ракурса с использованием модели коррекции, выбранной блоком выбора модели коррекции.

Способ декодирования многоракурсных изображений из настоящего изобретения, который реализован в результате выполнения каждым из описанных выше устройств обработки соответствующих ему этапов, также может быть реализован посредством компьютерной программы. Эту компьютерную программу предоставляют записанной на подходящем считываемом посредством компьютера носителе записи или предоставляют через сеть. Когда необходимо применить настоящее изобретение, то компьютерную программу устанавливают на компьютере, и настоящее изобретение реализовано тогда, когда компьютерная программа функционирует в блоке управления, которым является, например, центральный процессор (ЦП).

Положительный эффект настоящего изобретения

Согласно настоящему изобретению невязка предсказания может быть уменьшена даже в тех случаях, когда имеет место локальное несовпадение по освещению и цвету между камерами, поскольку параметры коррекции определяют для каждого объекта по отдельности и локально. Соответственно, может быть достигнуто высокоэффективное кодирование и декодирование многоракурсных изображений и многоракурсных движущихся изображений.

Кроме того, согласно настоящему изобретению, поскольку параметры коррекции определяют таким образом, что отсутствует необходимость в дополнительном кодировании/декодировании, то может быть значительно уменьшен объем кода, необходимый при выполнении этого кодирования и декодирования многоракурсных изображений и многоракурсных движущихся изображений.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

На чертеже Фиг. 1 изображена блок-схема, на которой показано устройство кодирования многоракурсных видеоизображений согласно первому варианту осуществления настоящего изобретения.

На чертеже Фиг. 2 изображена схема последовательности этапов, на которой показана обработка, выполняемая устройством кодирования многоракурсных видеоизображений согласно первому варианту осуществления настоящего изобретения.

На чертеже Фиг. 3 изображена схема последовательности этапов, на которой показаны подробности обработки, выполняемой устройством кодирования многоракурсных видеоизображений согласно первому варианту осуществления настоящего изобретения.

На чертеже Фиг. 4 изображена схема последовательности этапов, на которой показана обработка, выполняемая устройством кодирования многоракурсных видеоизображений согласно первому варианту осуществления настоящего изобретения.

На чертеже Фиг. 5 изображена блок-схема, на которой показано устройство декодирования многоракурсных видеоизображений согласно второму варианту осуществления настоящего изобретения.

На чертеже Фиг. 6 изображена схема последовательности этапов, на которой показана обработка, выполняемая устройством декодирования многоракурсных видеоизображений согласно второму варианту осуществления настоящего изобретения.

На чертеже Фиг. 7 изображена схема последовательности этапов, на которой показаны подробности обработки, выполняемой устройством декодирования многоракурсных видеоизображений согласно второму варианту осуществления настоящего изобретения.

На чертеже Фиг. 8 изображена блок-схема, на которой показан блок создания параметра коррекции из первого и второго вариантов осуществления настоящего изобретения.

На чертеже Фиг. 9 показан режим компенсированного предсказания рассогласования.

ВАРИАНТЫ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Теперь будет приведено подробное описание настоящего изобретения со ссылкой на чертежи, на которых проиллюстрированы варианты осуществления настоящего изобретения.

Следует отметить, что в приведенном ниже описании сигналы изображения и информация о глубине (заданная для каждого элемента изображения) для объектов, сфотографированных в элементах изображения в этом местоположении, показаны с добавлением информации о местоположении (а именно, значений координат или индекса, который может быть поставлен в соответствие значениям координат), заключенной в квадратные скобки, обозначенные символом [], к видеоизображениям (то есть, к кадрам) и к информации о глубине.

[1] Устройство кодирования многоракурсных видеоизображений согласно первому варианту осуществления настоящего изобретения

Структура устройства 100 кодирования многоракурсных видеоизображений согласно первому варианту осуществления настоящего изобретения показана на чертеже Фиг. 1.

Как показано на чертеже Фиг. 1, в устройстве 100 кодирования многоракурсных видеоизображений из данного варианта осуществления изобретения блок 101 ввода целевых изображений кодирования принимает вводимые изображения (то есть, кадры) объекта или сцены, сфотографированных первой камерой, в качестве целевого объекта кодирования. Запоминающее устройство 102 для целевых изображений кодирования обеспечивает хранение целевых кадров кодирования, которые введены из блока 101 ввода целевых изображений кодирования. Сохраненные целевые кадры кодирования подают в блок 109 кодирования изображений.

Блок 103 ввода изображений с синтезированием ракурса принимает введенные изображения с синтезированием ракурса для целевых изображений кодирования. Изображения с синтезированием ракурса были сгенерированы с использованием уже закодированных изображений, на которых один и тот же объект или одна и та же сцена были сфотографированы вторыми камерами, расположенными в иных местах, чем первая камера. Запоминающее устройство 104 для изображений с синтезированием ракурса обеспечивает хранение изображений с синтезированием ракурса, введенных из блока 103 ввода изображений с синтезированием ракурса. Сохраненные изображения с синтезированием ракурса подают в блок 107 создания параметров коррекции и в блок 108 коррекции изображений с синтезированием ракурса.

Блок 105 ввода информации о глубине принимает введенную информацию о глубине для целевых кадров кодирования. Запоминающее устройство 106 для хранения информации о глубине обеспечивает хранение информации о глубине, введенной из блока 105 ввода информации о глубине. Сохраненную информацию о глубине подают в блок 107 создания параметров коррекции.

Блок 107 создания параметров коррекции производит оценку параметров коррекции с использованием изображений с синтезированием ракурса, информации о глубине и декодированных изображений, используемых в периферийных участках целевой области кодирования, и с использованием информации о глубине, используемой в целевой области кодирования. Блок 108 коррекции изображений с синтезированием ракурса выполняет коррекцию изображений с синтезированием ракурса целевой области кодирования с использованием оцененных параметров коррекции.

Блок 109 кодирования изображений кодирует сигналы изображения целевой области кодирования с использованием скорректированных изображений с синтезированием ракурса в качестве сигналов предсказания. Блок 110 декодирования изображений декодирует закодированные сигналы изображения. Запоминающее устройство 111 для декодированных изображений обеспечивает хранение изображений, декодированных блоком 109 кодирования изображений. Декодированные изображения, сохраненные в запоминающем устройстве 111 для декодированных изображений, подают в блок 107 создания параметров коррекции.

Как показано на чертеже Фиг. 8, блок 107 создания параметров коррекции имеет блок 107a определения объекта, в который подают информацию о глубине из запоминающего устройства 106 для хранения информации о глубине, блок 107b задания репрезентативной глубины и блок 107c задания группы элементов изображения, взятых в качестве образцов, которые соединены в этой последовательности с расположенной далее по ходу стороной блока 107a определения объекта. Блок 107d выбора модели коррекции и блок 107e оценки параметров коррекции соединены в этой последовательности с расположенной далее по ходу стороной блока задания 107c группы элементов изображения, взятых в качестве образцов. Декодированные изображения из запоминающего устройства 111 для декодированных изображений и изображения с синтезированием ракурса из запоминающего устройства 104 для изображений с синтезированием ракурса подают в блок 107e оценки параметров коррекции и производят оценку параметров коррекции с использованием поданных декодированных изображений, и изображения с синтезированием ракурса подают в блок 108 коррекции изображений с синтезированием ракурса.

На чертеже Фиг. 2 показана схема последовательности этапов обработки, выполняемых устройством 100 кодирования многоракурсных видеоизображений из данного варианта осуществления изобретения, которое имеет описанную выше структуру.

Теперь будет приведено подробное описание обработки, выполняемой устройством 100 кодирования многоракурсных видеоизображений из данного варианта осуществления изобретения в соответствии с этой последовательностью этапов обработки.

Сначала кадр Org, который намечен для кодирования, вводят посредством блока 101 ввода целевых изображений кодирования и сохраняют в запоминающем устройстве 102 для целевых изображений кодирования. Изображение с синтезированием ракурса Synth для целевого кадра Org кодирования вводят посредством блока 103 ввода изображений с синтезированием ракурса и сохраняют в запоминающем устройстве 104 для изображений с синтезированием ракурса. Информацию Depth о глубине для целевого кадра Org кодирования вводят посредством блока 105 ввода информации о глубине и сохраняют в запоминающем устройстве 106 для хранения информации о глубине [этап A1].

Вводимое изображение с синтезированием ракурса и вводимая информация о глубине являются теми же самыми, что и те, которые получены в устройстве декодирования. Причина этого состоит в том, что за счет использования той же самой информации, что и информация, полученная в устройстве декодирования, может быть подавлена генерации шумов кодирования, таких как, например, дрейф. Однако, если генерация таких шумов кодирования является допустимой, то на вход также может быть подана исходная информация о предварительном кодировании.

Следует отметить, что информация о глубине предоставлена извне устройства 100 кодирования многоракурсных видеоизображений, однако, как описано в непатентном документе 3, информация о глубине также может быть получена путем ее оценки из уже закодированных кадров с других камер. Соответственно, отсутствует необходимость передачи информации о глубине со стороны, производящей передачу, стороне, производящей прием. Изображение с синтезированием ракурса генерируют с использованием уже закодированных кадров с иных камер, чем первая камера, и информации о глубине.

Затем целевой кадр кодирования разделяют на множество целевых областей кодирования, и блок 109 кодирования изображений кодирует сигнал изображения для целевого кадра кодирования, с коррекцией изображения с синтезированием ракурса для каждой из этих областей [этапы A2-A15].

То есть, если индекс блока, обрабатываемого при кодировании, выражен как blk, и если общее количество всех блоков, обрабатываемых при кодировании, выражено как numBlks, то после того как было установлено исходное значение blk, равное 0 [этап A2], последующие этапы [A3-A13] повторяют с добавлением 1 к blk [этап A14] до тех пор, пока значение blk не достигнет numBlks [этап A15].

При обработке, которую повторяют для каждого блока, обрабатываемого при кодировании, устройство 100 кодирования сначала определяет группу N _blk элементов изображения из уже закодированных областей, которые являются периферийными для блока blk (то есть, целевую область кодирования) [этап A3].

Для этих периферийных областей могут использоваться единичные блоки различных типов, например, блоки, обрабатываемые при кодировании, которые являются смежными с блоком blk, или смежные элементы изображения и т.п. Несмотря на то что для периферийных областей может использоваться множество определений, необходимо использовать то же самое определение, что и определение, используемое на стороне, выполняющей декодирование.

Затем блок 107a определения объекта из блока 107 создания параметров коррекции группирует элементы изображения из блока blk с использованием информации о глубине, предоставленной для каждого элемента изображения, в качестве опорной информации [этап A4 определения объекта].

Индекс каждой полученной в результате этого группы выражен как obj, количество групп выражено как numObjs, а элементы изображения, принадлежащие к группе obj, выражены как C _obj.

Для этого этапа группирования может быть использован любой способ, однако необходимо, чтобы использовался тот же самый способ, который используют на стороне, выполняющей декодирование. Самым простым способом груп