Устройство и способ обработки изображений и программа

Устройство и способ обработки изображений и программа

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству и способу обработки изображений и программе, в частности к устройству и способу обработки изображений и программе, которые позволяют отображать стереоскопическое изображение, которое обеспечивает более естественное восприятие глубины.

Уровень техники

Из уровня техники известна технология, в которой панорамное изображение генерируется путем наложения и синтеза множества неподвижных изображений, полученных в результате съемки с помощью устройства формирования изображения при выполнении панорамной съемки с помощью устройства формирования изображения в заданном направлении (см., например, PTL 1). Поскольку панорамное изображение представляет собой изображение, получаемое в результате размещения и синтеза множества неподвижных изображений в соответствии с панорамным изображением, область, более широкая, чем область в пространстве, снимаемая при съемке одного неподвижного изображения, может отображаться как субъект.

Кроме того, в случае, когда снимают множество неподвижных изображений при выполнении панорамной съемки с помощью устройства формирования изображения для получения панорамного изображения, один и тот же субъект иногда попадает в несколько неподвижных изображений. В таком случае, поскольку один и тот же субъект, находящийся в разных неподвижных изображениях, снимают из положений, которые отличаются друг от друга, это означает, что формируется несоответствие или параллакс.

Когда это явление используется для генерирования двух панорамных изображений, имеющих несоответствие относительно друг друга, из множества неподвижных изображений, в результате одновременного отображения этих панорамных изображений с помощью схемы, в которой используется множество экрана с линзами, снимаемый субъект может отображаться стереоскопически. Следует отметить, что в дальнейшем описании, стереоскопическое изображение, отображаемое на основе двух панорамных изображений, также называется стереоскопическим панорамным изображением.

Список литературы

Патентная литература

PTL 1: Японский патент №3168443

Сущность изобретения

Техническая задача

В частности, при отображении стереоскопического панорамного изображения в блоке дисплея, если не возникает какое-либо несоответствие между двумя панорамными изображениями, отображаемыми одновременно, основной субъект в стереоскопическом панорамном изображении будет расположен на поверхности дисплея блока дисплея.

В это время, если абсолютно отсутствует какое-либо несоответствие для всего субъекта между двумя панорамными изображениями, субъект в стереоскопическом панорамном изображении не выглядит стереоскопически. Однако если существует несоответствие в части субъекта, соответствующая часть субъекта располагается в положении, отличающемся от поверхности дисплея, и, таким образом, отображается субъект, который обеспечивает стереоскопическое восприятие в целом. Таким образом, пока отдельные части субъекта в двух панорамных изображениях имеют соответствующее несоответствие относительно друг друга, субъект отображается стереоскопически.

В отличие от этого, если существует несоответствие между двумя панорамными изображениями, в зависимости от несоответствия, основной субъект стереоскопического панорамного изображения располагается на стороне перед или позади поверхности отображения, так как ее просматривает наблюдатель. В таком случае не может быть получено естественное стереоскопическое восприятие. Кроме того, в этом случае, хотя наблюдатель фокусирует свои глаза на поверхности дисплея в блоке дисплея, основной субъект в стереоскопическом панорамном изображении располагается в положении, отличающемся от поверхности дисплея, что вызывает усталость глаз и мозга наблюдателя.

Обычно между двумя панорамными изображениями отдельные части субъекта в панорамных изображениях имеют разное несоответствие. Следовательно, независимо от того, в каком положении располагается основной субъект в панорамных изображениях, субъект в стереоскопическом панорамном изображении должен выглядеть стереоскопически. Поэтому можно сказать, что два панорамных изображения, имеющих такое несоответствие, которое обеспечивает размещение основного субъекта в стереоскопическом панорамном изображении на поверхности дисплея, представляют собой пару панорамных изображений, имеющих наиболее соответствующее несоответствие.

Однако, при использовании описанной выше технологии, до настоящего времени было трудно получить два панорамных изображения, имеющих соответствующее несоответствие из множества снятых неподвижных изображений. Вследствие этого не было возможным отображать стереоскопическое изображение с естественным восприятием глубины (стереоскопическое восприятие).

Настоящее изобретение было выполнено с учетом описанных выше обстоятельств, и, соответственно, цель настоящего изобретения состоит в том, чтобы обеспечить возможность отображения стереоскопического изображения, которое предусматривает более естественное восприятие глубины.

Решение задачи

Устройство обработки изображений в соответствии с аспектом настоящего изобретения представляет собой устройство обработки изображений, которое генерирует первое синтетическое изображение и второе синтетическое изображение, используемые для отображения стереоскопического синтетического изображения и имеющие несоответствие относительно друг друга, на основе множества снятых изображений, полученных в результате съемки с использованием средства формирования изображений, при перемещении средства формирования изображения, и включает в себя первое средство генерирования синтетического изображения, предназначенное для генерирования первого синтетического изображения путем синтеза каждого из изображений в области первой полосы снятых изображений, второе средство генерирования синтетического изображения, предназначенное для генерирования второго синтетического изображения, путем синтеза каждого из изображений во второй области полосы снятых изображений, которая отличается от области первой полосы, и средство управления несоответствием, предназначенное для регулировки несоответствия первого синтетического изображения и второго синтетического изображения, путем сдвига, по меньшей мере, одно из первого синтетического изображения и второго синтетического изображения на основе заданной величины сдвига.

Средство управления несоответствием может быть выполнено с возможностью расчета значения корреляции, обозначающего степень корреляции между областью первого синтетического изображения и областью второго синтетического изображения, детектирования доминирующего несоответствия первого синтетического изображения и второго синтетического изображения, используя значения корреляции, и расчета величины сдвига, который компенсирует доминирующее несоответствие.

Средство управления несоответствием может быть выполнено с возможностью расчета разности между первым синтетическим изображением и вторым синтетическим изображением как значения корреляции путем смещения положения второго синтетического изображения относительно первого синтетического изображения.

Средство управления несоответствием может быть выполнено с возможностью расчета величины сдвига на основе расстояния между областью первой полосы и областью второй полосы в каждом из снятых изображений.

Способ обработки изображений или программа в соответствии с аспектом настоящего изобретения представляет собой способ обработки изображений или программу, которая генерирует первое синтетическое изображение и второе синтетическое изображение, используемые для отображения стереоскопического синтетического изображения и имеющие несоответствие в отношении друг друга, на основе множества снятых изображений, полученных в результате съемки с помощью средства формирования изображений, при перемещении средства формирования изображения, и включает в себя этапы генерирования первого синтетического изображения, путем синтеза каждого из изображений в области первой полосы снятых изображений, генерирования второго синтетического изображения путем синтеза каждого из изображений в области второй полосы снятых изображений, которая отличается от области первой полосы, и регулирования несоответствия первого синтетического изображения и второго синтетического изображения путем сдвига, по меньшей мере, одно из первого синтетического изображения и второго синтетического изображения на основе заданной величины сдвига.

В соответствии с аспектом настоящего изобретения, при обработке изображений, в ходе которой генерируют первое синтетическое изображение и второе синтетическое изображение, используемых для отображения стереоскопического синтетического изображения и имеющих несоответствие относительно друг друга, на основе множества снятых изображений, полученных в результате съемки с помощью средства формирования изображений, при перемещении средства формирования изображения, первое синтетическое изображение генерируют путем синтеза каждого из изображений в области первой полосы снятых изображений, второе синтетическое изображение генерируют путем синтеза каждого из изображений в области второй полосы снятых изображений, которая отличается от области первой полосы, и несоответствие первого синтетического изображения и второго синтетического изображения регулируют путем сдвига, по меньшей мере, одного из первого синтетического изображения и второго синтетического изображения на основе заданной величины сдвига.

Предпочтительные эффекты изобретения

В соответствии с аспектом настоящего изобретения, может быть отображено стереоскопическое изображение, которое обеспечивает более естественное восприятие глубины.

Краткое описание чертежей

Фиг.1 представляет собой схему для пояснения стереоскопического панорамного изображения.

Фиг.2 представляет собой схему примера конфигурации варианта осуществления устройства формирования изображения, в котором применено настоящее изобретение.

Фиг.3 представляет собой блок-схему последовательности операций для пояснения стереоскопического панорамного процесса отображения изображения.

Фиг.4 представляет собой схему для пояснения областей полосы.

Фиг.5 представляет собой схему для пояснения детектирования доминирующего несоответствия.

Фиг.6 представляет собой схему для пояснения детектирования доминирующего несоответствия.

Фиг.7 представляет собой схему для пояснения детектирования доминирующего несоответствия.

Фиг.8 представляет собой схему для пояснения детектирования доминирующего несоответствия.

Фиг.9 представляет собой схему для пояснения регулирования несоответствия.

Фиг.10 представляет собой схему для пояснения взаимосвязи между величиной смещения и несоответствием.

Фиг.11 представляет собой блок-схему последовательности операций для пояснения стереоскопического панорамного процесса отображения изображения.

Фиг.12 представляет собой схему примера конфигурации компьютера.

Подробное описание изобретения

Ниже, со ссылкой на чертежи, будут описаны варианты осуществления, в которых применяется настоящее изобретение.

Первый вариант осуществления

Пояснение стереоскопического панорамного изображения

Устройство формирования изображения, в котором применяется настоящее изобретение, сформировано, например, на основе камеры. Стереоскопическое панорамное изображение генерируют из множества снятых изображений, которые последовательно снимают с помощью устройства формирования изображения в состоянии, в котором устройство формирования изображения перемещается. Стереоскопическое панорамное изображение состоит из двух панорамных изображений, имеющих несоответствие.

Когда пользователь желает получить стереоскопическое панорамное изображение, сгенерированное с помощью устройства формирования изображения, пользователь выполняет операции с устройством формирования изображения для съемки снимаемых изображений, которые используются для генерирования стереоскопического панорамного изображения.

Например, как показано с левой стороны на фиг.1, когда виртуальную поверхность VS формирования изображений снимают в состоянии, в котором главная точка объектива устройства формирования изображения находится в положении fp1, получают снятое изображение IM. Например, субъекты, которые присутствуют в области SER и области SEL в реальном пространстве, соответственно, отображаются в области TRR и в области TRL в снятом изображении IM.

Затем, когда пользователь выполняет съемку с помощью устройства формирования изображения множества снятых изображений, перемещая устройство формирования изображения в разные стороны, как показано на фиг.1, полученные в результате снятые изображения имеют несоответствие. В частности, как показано в середине фиг.1, когда снятое изображение снимают в состоянии, в котором главная точка объектива находится в положении fp1 в момент времени T=t, и снятое изображение снимают в состоянии, в котором главная точка объектива находится в положении fp2 в момент времени T=t+Δt, один и тот же субъект ОВ1 отображается в этих снятых изображениях. В это время формируется несоответствие, поскольку субъект ОВ1 снимают из разных положений. Используя это, получают панорамные изображения, в которых отображается один и тот же субъект и которые имеют несоответствие относительно друг друга.

Таким образом, когда области, соответствующие области TRR и области TRL снятого изображения IM выделяют из каждого из снятых изображений, полученных в результате съемки с использованием устройства формирования изображения, при перемещении устройства формирования изображения и синтеза их вместе, как показано с правой стороны на фиг.1, получают панорамное изображение PR и панорамное изображение PL.

Здесь панорамное изображение PR представляет собой изображение, получаемое путем размещения и синтеза областей снимаемых изображений, соответствующих области TRR. Такое панорамное изображение PR представляет собой изображение, полученное путем съемки субъекта с положением fp3, как положением главной точки виртуального объектива. С другой стороны, панорамное изображение PL представляет собой изображение, получаемое путем размещения и синтеза областей снятых изображений, соответствующих области TRL. Такое панорамное изображение PL представляет собой изображение, полученное путем съемки субъекта в положении fp4, как положение виртуальной главной точки объектива. Кроме того, панорамное изображение PR и панорамное изображение PL представляют собой изображения, которые имеют несоответствие относительно друг друга и в которых отображается один и тот же субъект.

В соответствии с этим, с панорамным PR изображением как изображением для правого глаза и панорамным изображением PL как изображением для левого глаза, когда эти панорамные изображения отображают одновременно с помощью схемы, в которой используется экран с линзами, панорамное изображение, которое представляет собой стереоскопическое изображение (ниже также называется стереоскопическим панорамным изображением), представляют для глаз пользователя.

Таким образом, когда выделяют заданные области (ниже называются областями полосы) во множестве снятых изображений, и эти частичные изображения размещают и синтезируют вместе в одно изображение, получают одно панорамное изображение. Кроме того, когда области полосы смещают для генерирования другого панорамного изображения, может быть получена пара панорамных изображений, имеющих несоответствие относительно друг друга. Благодаря использованию этих панорамных изображений может отображаться стереоскопическое панорамное изображение.

Конфигурация устройства формирования изображения

На фиг.2 показана схема, представляющая пример конфигурации варианта осуществления устройства формирования изображения, в котором используется настоящее изобретение.

Устройство 11 формирования изображения включает в себя блок 21 формирования изображения, блок 22 расчета движения, блок 23 определения области полосы, блок 24 определения области синтеза, блок 25-1 генерирования панорамного изображения, блок 25-2 генерирования панорамного изображения, блок 26 управления несоответствием и блок 27 дисплея.

Блок 21 формирования изображения сформирован из оптической системы, такой как оптический объектив, устройство формирования изображения и т.п. Блок 21 формирования изображения снимает изображение субъекта, преобразуя свет от субъекта в электрический сигнал, и подает снятое изображение, полученное, как результат, в блок 22 расчета движения.

Например, когда пользователь передает инструкции на последовательную съемку снимаемых изображений, перемещая устройство 11 формирования изображения в заданном направлении, снимаемые изображения, последовательно снимаемые по времени, последовательно подают в блок 22 расчета движения. Следует отметить, что в дальнейшем среди снимаемых изображения, снимаемых последовательно, m-е снятое изображение называется снятым изображением кадра m.

Блок 22 расчета движения рассчитывает, на основе снятых изображений, подаваемых из блока 21 формирования изображения параметры компенсации движения, предназначенные для компенсации движения (перемещения) устройства 11 формирования изображения между кадрами снятых изображений, и подает эти снятые изображения и параметры компенсации движения в блок 23 определения области полосы.

Параметры компенсации движения представляют информацию, обозначающую относительную взаимосвязь положений между снятыми изображениями, в случае, когда множество снятых изображений расположены по-отдельности в реальном пространстве таким образом, что одни и те же субъекты, которые являются неподвижными, по существу, накладываются друг на друга.

Например, рассмотрим двумерную плоскость, определенную направлением x и направлением y, которые являются ортогональными друг другу (ниже называется плоскостью проекции), направление х представляет собой направление, соответствующее направлению, в котором пользователь перемещает устройство 11 формирования изображения при съемке снимаемых изображений. Кроме того, предположим, что кромки каждого снятого изображения расположены, по существу, параллельно направлению x и направлению y. В этом случае, в качестве параметра компенсации движения, блок 22 расчета движения рассчитывает информацию, обозначающую относительную взаимосвязь положений между двумя соседними снятыми изображениями, то есть между снятыми изображениями последовательных кадров, когда отдельные снятые изображения расположены в плоскости проекции.

Следует отметить, что в дальнейшем, среди направлений, параллельных направлению x, то же направление, что и направление движения устройства 11 формирования изображения, будет, в частности, также называться направлением +x, и направление, противоположное направлению +x, будет также называться направлением -х. Поэтому, когда снятые изображения отдельных кадров размещают на плоскости проекции, снятое изображение кадра m размешают на стороне направления +x относительно снятого изображения кадра (m-1).

Блок 23 определения области полосы определяет области полос, которые представляют собой области в снятых изображениях, которые должны быть выделены для формирования панорамных изображений, на основе снятых изображений и параметров компенсации движения, подаваемых из блока 22 расчета движения, и введенной величины смещения.

Здесь области полосы представляют собой область TRR и область TRL, показанные на фиг.1. Две разные области в каждом снятом изображении установлены, как области полосы. Например, две области полосы установлены в одном снятом изображении, так, что TRR представляет собой область полосы, расположенную на стороне в направлении -x в снятого изображения, и TRL представляет собой область полосы, расположенную на стороне в направлении +x.

В таком случае расстояния от области TRR полосы до области TRL полосы в снятом изображении вводят, как величину смещения в блок 23 определения области полосы. Эта величина смещения может быть установлена заранее, или может быть изменяемой пользователем.

После определения областей полосы в отдельных снятых изображениях блок 23 определения области полосы подает снятые изображения, параметры компенсации движения и информацию о положении области полосы, обозначающую положения областей полосы, в блок 24 определения области синтеза.

Блок 24 определения области синтеза определяет область синтеза на основе снятых изображений, параметров компенсации движения и информации о положении области полосы, подаваемых из блока 23 определения области полосы.

В устройстве 11 формирования изображения области полосы в отдельных снятых изображениях выделяют и синтезируют для генерирования одного панорамного изображения. Даже когда пользователь снимает снимаемые изображения, перемещая устройство 11 формирования изображения в направлении x, устройство 11 формирования изображения незначительно перемещается также в направлении y. Следовательно, когда снятые изображения размещают на плоскости проекции, возникают вариации в положениях снятых изображений относительно направления y.

В соответствии с этим, блок 24 определения области синтеза определяет наибольшую прямоугольную область, вписанную в область, составленную из областей полосы отдельных снятых изображений, когда снятые изображения размещают на плоскости проекции, как область синтеза, из которой выделяют изображения, используемые для генерирования каждого панорамного изображения. Поэтому, когда области, включенные в пределы области синтеза, выделяют из областей полосы отдельных снятых изображений и синтезируют, получают панорамное изображение, имеющее прямоугольную форму.

Блок 24 определения области синтеза подает заданную область синтеза, то есть информацию области синтеза, обозначающую конечные правильные положения отдельных областей полосы снятых изображений и параметры компенсации движения, в блок 25-1 генерирования панорамного изображения и в блок 25-2 генерирования панорамного изображения.

Блок 25-1 генерирования панорамного изображения и блок 25-2 генерирования панорамного изображения, соответственно, генерируют панорамное изображение PR и панорамное изображение PL путем использования информации об области синтеза снятых изображений и параметров компенсации движения, подаваемых из блока 24 определения области синтеза, и передает эти панорамные изображения в блок 26 управления несоответствием. Следует отметить, что в дальнейшем, в частности, когда не требуется различать блок 25-1 генерирования панорамного изображения и блок 25-2 генерирования панорамного изображения, блок 25-1 генерирования панорамного изображения и блок 25-2 генерирования панорамного изображения также будут называться блоком 25 генерирования панорамного изображения.

Блок 26 управления несоответствием выполняет операции с панорамными изображениями, подаваемыми из блока 25 генерирования панорамного изображения, для выполнения регулировки несоответствия панорамных изображений, и подает пару панорамных изображений, полученных в результате, в блок 27 дисплея, отображая, таким образом, стереоскопическое панорамное изображение.

Блок 27 дисплея сформирован, например, на основе жидкокристаллического дисплея (LCD) или экрана с линзами. Блок 27 дисплея отображает пару панорамных изображений, подаваемых из блока 26 управления несоответствием, одновременно с использованием схемы экрана с линзами, в результате чего осуществляется стереоскопическое отображение панорамных изображений.

Пояснение процесса стереоскопического отображения панорамного изображения

В частности, когда пользователь выполняет операции с использованием устройства 11 формирования изображения для передачи инструкции для генерирования стереоскопического панорамного изображения, устройство 11 формирования изображения начинает процесс отображения стереоскопического панорамного изображения, который представляет собой процесс для генерирования и отображения стереоскопического панорамного изображения. Ниже процесс отображения стереоскопического панорамного изображения с помощью устройства 11 формирования изображения будет описан со ссылкой на блок-схему последовательности операций, показанную на фиг.3.

На этапе S11 блок 21 формирования изображения снимает субъект в состоянии, в котором устройство 11 формирования изображения 11 перемещается. Например, пользователь последовательно выполняет съемку с помощью устройства 11 формирования изображения множества снятых изображений при повороте устройства 11 формирования изображения в заданном направлении.

По мере того как свет от субъекта падает в блок 21 формирования изображения, блок 21 формирования изображения выполняет фотоэлектрическое преобразование падающего света, с тем чтобы, таким образом, снять снимаемые изображения. Полученные снимаемые изображения последовательно подают из блока 21 формирования изображения в блок 22 расчета движения. Следует отметить, что каждое снятое изображение может представлять собой одно неподвижное изображение, которое было снято, или может представлять собой один кадр, представляющий изображение, которое составляет движущееся изображение, которое было снято.

На этапе S12 для каждого отдельного снятого изображения, подаваемого из блока 21 формирования изображения, блок 22 расчета движения рассчитывает параметр компенсации движения для снятого изображения, и подает эти снятые изображения и параметры компенсации движения в блок 23 определения области полосы.

Например, блок 22 расчета движения использует снятые изображения двух последовательных кадров для расчета глобального вектора движения для каждого снятого изображения путем сопоставления блоков как параметр компенсации движения.

Таким образом, блок 22 расчета движения разделяет снятое изображение целевого кадра на множество блоков, и для каждого из блоков выполняет сопоставление блока со снятым изображением кадра, непосредственно предшествующим цели, детектируя, таким образом, вектор движения для блока. Затем, среди векторов движения, определенных для каждого блока, определяют вектор движения с максимальной величиной магнитуды и направления как глобальный вектор движения для снятого изображения.

Глобальный вектор движения представляет собой глобальный вектор движения, обозначающий движение между кадрами всего субъекта в снятых изображениях. Поскольку многие из субъектов в снятых изображениях представляют собой неподвижные объекты, которые не движутся в реальном пространстве, можно сказать, что глобальный вектор движения представляет собой вектор, обозначающий движение между кадрами неподвижного объекта в снятых изображениях, то есть, движение устройства 11 формирования изображения, при съемке снятых изображений.

Следует отметить, что параметр компенсации движения, в качестве альтернативы, может быть определен путем использования расширенного аффинного преобразования и т.п. Например, в случае расчета параметра компенсации движения, используя расширенное аффинное преобразование, блок 22 расчета движения определяет вектор (V, W), обозначающий движение между кадрами снятых изображений, путем расчета Уравнения (1), представленного ниже, и устанавливает полученный вектор (V, W) как параметр компенсации движения.

Уравнение 1

( V W ) = ( a b c d e f g h i j k l ) ( x 2 x y y 2 x y 1 ) = ( a x 2 + b x y + c y 2 + d x + e y + f g x 2 + h x y + i y 2 + j x + k y + l )   … ( 1 )

Следует отметить, что в Уравнении (1), каждый от а до 1 обозначает аффинный параметр, и x и y, соответственно, обозначают компонент x и компонент у в центральном положении характерного блока в снятом изображении в системе координат xy.

Таким образом, блок 22 расчета движения разделяет снятое изображение целевого кадра на множество блоков и для каждого из блоков выполняет сопоставление блока со снятым изображением кадра, непосредственно предшествующего целевому, детектируя, таким образом, вектор движения для блока. Затем, используя детектор угла и т.п., блок 22 расчета движения определяет вероятности векторов движения отдельных блоков, выбирает блок с наиболее надежным вектором движения как характерный блок, и рассчитывает Уравнение (1), описанное выше.

Следует отметить, что аффинный параметр рассчитывают с помощью способа наименьших квадратов, используя центральные координаты каждого блока, и вектор движения каждого блока.

На этапе S13 блок 23 определения области полосы определяет области полосы отдельных снятых изображений на основе снятых изображений и параметров компенсации движения, подаваемых из блока 22 расчета движения, и величины смещения.

Например, как показано с левой стороны на фиг.4, блок 23 определения области полосы размещает снятое изображение 1М(1) кадра 1 и снятое изображение 1М(2) кадра 2 на плоскости проекции, на основе параметра компенсации движения. Следует отметить, что на фиг.4, на чертеже, в горизонтальном направлении обозначено направление x и, в частности, в направлении направо обозначено направление +x. Кроме того, на фиг.4 для простоты описания, показано только соотношение положений между снятыми изображениями в направлении х. В действительности, когда снятые изображения расположены на плоскости проекции, эти снятые изображения накладываются друг на друга.

Блок 23 определения области полосы определяет положение центра в направлении x области, где снятое изображение 1М(1) и снятое изображение 1М(2), расположенные на плоскости проекции, накладываются друг на друга (ниже называется опорным положением), и дополнительно устанавливает, как опорное положение R, положение, отделенное на специфичном расстоянии в направлении -x от опорного положения. Такое специфичное расстояние установлено, например, как расстояние, равное половине величины смещения.

В снятом изображении 1М(1), блок 23 определения области полосы устанавливает область, центр которой установлен в опорном положении R и имеет заданную ширину, которая установлена заранее в направлении x, как область CR (1) наложения. Кроме того, в снятом изображении 1М(2), блок 23 определения области полосы 23 устанавливает область с центром, в опорном положении R и имеющую заданную ширину, которая установлена заранее в направлении x, как область CR (2) наложения. Здесь область CR (1) наложения и область CR (2) наложения представляют собой области, которые наложены друг на друга на плоскости проекции (одна и та же область).

Затем, как показано с правой стороны на чертеже, блок 23 определения области полосы устанавливает, как область TRR (1) полосы снятого изображения кадра 1, область в снятом изображении 1М(1) от левой кромки снятого изображения 1М(1) до правой кромки области CR (1) наложения. Аналогично, блок 23 определения области полосы устанавливает, как область TRR (2) полосы снятого изображения кадра 2, область в снятом изображении 1М(2) от левой кромки области CR (2) наложения до правой кромки снятого изображения 1М(2).

Следует отметить, что, более конкретно, от кадра 2 и далее, при установке области TRR полосы целевого кадра, требуется рассматривать кадры, предшествующие кадру и следующие после него. Поэтому, например, область TRR (m) полосы кадра m (где m≥2) установлена, как область в снятом изображении от левой кромки области наложения с кадром (m-1) до правой кромки области наложения с кадром (m+1).

После установки области TRR полосы в каждом кадре, таким образом, блок 23 определения области полосы выполняет аналогичную обработку для установки области TRL полосы в каждом кадре. В это время положение, отделенное специфичным расстоянием в направлении +x, например расстоянием, равным половине величины смещения от опорного положения в снятом изображении, устанавливают, как опорное положение L, соответствующее опорному положению R. Затем, например, блок 23 определения области полосы устанавливает, как область TRL полосы снятого изображения кадра 1, область в снятом изображении 1М(1) от левой кромки снятого изображения 1М(1) до правой кромки области наложения, установленной относительно опорного положения L.

Таким образом, путем установки опорного положения R и опорного положения L, как положения, смещенного в направлении x от опорного положения, разделение между областью TRR полосы и областью TRL полосы становится равным величине смещения, в результате чего получают панорамные изображения, имеющие несоответствия относительно друг друга.

Возвращаясь к описанию блок-схемы последовательности операций, показанной на фиг.3, после определения областей полосы, блок 23 определения области полосы подает снятые изображения, параметры компенсации движения и информацию о положении области полосы, обозначающую положения областей полосы, в блок 24 определения области синтеза.

На этапе S14 блок 24 определения области синтеза определяет область синтеза на основе снятых изображений, параметров компенсации движения и информации о положении области полосы из блока 23 определения области полосы и передает информацию об области синтеза, обозначающую положение определенной области синтеза, снятые изображения и параметры компенсации движения в блок 25 генерирования панорамного изображения. В это время информацию области синтеза для генерирования панорамного PR изображения подают в блок 25-1 генерирования панорамного изображения и информацию области синтеза для генерирования панорамного изображения PL подают в блок 25-2 генерирования панорамного изображения.

На этапе S15 блок 25 генерирования панорамного изображения генерирует панорамные изображения, используя информацию об области синтеза, снятые изображения и параметры компенсации движения, из блока 24 определения области синтеза и подает эти панорамные изображения в блок 26 управления несоответствием.

Например, используя параметры компенсации движения, блок 25-1 генерирования панорамного изображения размещает снятые изображения на плоскости проекции таким образом, что одинаковые субъекты, в которых отсутствует движение, по существу, накладываются друг на друга. Затем блок 25-1 генерирования панорамного изображения выделяет изображение из конечной области TRR полосы отдельных снятых изображений, которая обозначена информацией об области синтеза, и синтезирует выделенные изображения для генерирования, таким образом, панорамного изображения PR.

Таким образом, когда выполняют обработку на этапе S15 с помощью блока 25-1 генерирования панорамного изображения и блока 25-2 генерирования панорамного изображения, получают два панорамных изображения, в которых отображают субъект, просматриваемый с разных точек обзора. В то время как один и тот же субъект отображают на этих панорамных изображениях, этот субъект имеет несоответствие. Следовательно, если два панорамных изображения отображают одновременно, субъект в панорамных изображениях выглядит стереоскопически для пользователя, который наблюдает