Устройство обработки изображения, способ обработки изображения

Устройство обработки изображения, способ обработки изображения

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству обработки изображения, способу обработки изображения и программе.

Уровень техники

В последние годы произошел существенный прогресс технологии, относящейся к распределению цифровых видеоданных (ниже называются видеоданными). В частности, разработки в этой технологии, относящиеся к распределению и записи видеоданных с изображением высокого качества, достигли значительного успеха. Среди них внимание уделялось технологии, относящейся к кодированию и декодированию видеоданных. Видеоданные, имеющие высокое пространственное разрешение и временное разрешение, имеют очень большой размер данных и, таким образом, такие видеоданные желательно распределять или записывать, используя эффективное сжатие после кодирования. Таким образом, требуется разработать технологию кодирования, обеспечивающую сжатие видеоданных с высоким качеством изображения с более высокой степенью сжатия, и технологию декодирования, обеспечивающую возможность воспроизведения видеоданных с высоким пространственным разрешением.

Например, в патентных документах 1 и 2 раскрыта основная технология генерирования видеоданных, имеющих высокое пространственное разрешение и временное разрешение путем комбинирования первых видеоданных (например, данных движущегося изображения и т.д.), которые имеют низкое пространственное разрешение, но высокое временное разрешение, и вторых видеоданных (например, последовательности данных неподвижных изображений и т.д.), которые имеют высокое пространственное разрешение, но низкое временное разрешение. В такой технологии вектор движения между кадрами прогнозируют из первых видеоданных, и высокочастотный компонент первых видеоданных компенсируют, используя вектор движения и вторые видеоданные. В такой технологии генерирует кадр в произвольной временной точке, которая не содержится во вторых видеоданных, используя вектор движения, детектируемый из первых видеоданных, и кадр вторых видеоданных в точке времени, близкой к такой произвольной точке времени. Выложенные заявки на японский патент №2004-312276 и №2004-312277 включают в себя описание, относящееся к устройствам записи и воспроизведения данных изображения, предназначенным для генерирования видеоданных, имеющих высокое пространственное разрешение и временное разрешение, используя описанную выше технологию.

[Патентный документ 1] выложенная заявка на японский патент №2004-312276

[Патентный документ 2] выложенная заявка на японский патент №2004-312277

Сущность изобретения

Однако, если временной интервал, в течение которого записано каждое множество данных неподвижного изображения, велик, вектор движения будет трудно точно прогнозировать, и, таким образом, будет трудно генерировать видеоданные с высоким качеством изображения. Другими словами, поскольку величина изменения движущегося объекта в данных изображения становится тем большей, чем в большей степени время записи видеоданных, которые требуется сгенерировать, отличается от времени записи записанных данных неподвижного изображения, компенсацию движения, с использованием компонента с высоким разрешением, содержащегося в записанном неподвижном изображении с высоким разрешением, становится трудно выполнить. Например, если разность h по времени с записанным временем данных неподвижного изображения и записанным временем требуемого формируемого изображения становится больше чем 0,1 секунды, компенсацию высокочастотного компонента, используя компенсацию движения, становится трудно выполнить. Если количество записей данных неподвижного изображения с высокой четкостью увеличивается, количество данных, которые требуется сохранять, очевидно, становится чрезмерно большим.

Учитывая описанное выше, желательно обеспечить новое и улучшенное устройство обработки изображения, способ обработки изображения и программу, позволяющие реализовать компенсацию движения с высокой точностью, при выполнении прогнозирования движения, используя последовательность данных изображения с низким разрешением и выполняя компенсацию движения, используя данные изображения с высоким разрешением для генерирования данных изображения с высоким разрешением, даже если время данных изображения, которые требуется генерировать, и время данных изображения с высоким разрешением значительно различаются.

Для решения описанной выше задачи, в соответствии с другим вариантом выполнения настоящего изобретения, предложено устройство обработки изображения, включающее в себя: модуль получения, предназначенный для получения данных движущегося изображения, содержащих множество последовательных кадров, и одни или множество данных изображения, соответствующих кадрам и имеющих более высокое пространственное разрешение, чем у кадров; модуль прогнозирования движения, предназначенный для детектирования вектора движения между кадрами, используя данные движущегося изображения; и модуль генерирования изображения, предназначенный для генерирования данных изображения, скомпенсированных по движению, соответствующих заранее определенному кадру, на основе данных изображения и вектора движения.

Модуль генерирования изображения генерирует данные изображения, скомпенсированные по движению, расположенные между заданным кадром и кадром, соответствующим данным изображения, и соответствующие этому кадру, и генерирует данные изображения со скомпенсированным движением, соответствующие заданному кадру, на основе данных изображения со скомпенсированным движением и вектора движения.

Модуль генерирования изображения может выполнять компенсацию движения в порядке от кадра, соответствующего времени, близкому к данным изображения, и последовательно генерировать данные изображения со скомпенсированным движением, которые соответствуют заданному кадру, на основе данных изображения со скомпенсированным движением и вектора движения.

Устройство обработки изображения может дополнительно включать в себя модуль сохранения, предназначенный для записи данных движущегося изображения и одних или множества данных изображения. В этом случае, модуль получения может быть выполнен с возможностью получения данных изображения и одних или множества данных изображения, записанных в модуле сохранения.

Первая последовательность данных изображения, имеющих низкое пространственное разрешение и высокое временное разрешение, может быть записана в модуле сохранения, как данные движущегося изображения, и вторая последовательность данных изображения, имеющих более высокое пространственное разрешение и более низкое временное разрешение, чем у первой последовательности данных изображения, может быть записана в модуле сохранения так, чтобы она соответствовала кадру, содержащемуся в первой последовательности данных изображения, как одни или множество данных изображения.

Модуль генерирования движущегося изображения может быть выполнен с возможностью генерирования с кадром, содержащимся в первой последовательности данных изображения и не содержащимся во второй последовательности данных изображения, в качестве заданного кадра, данных изображения, соответствующих заданному кадру, и улучшения временного разрешения второй последовательности данных изображения.

Последовательность данных изображения, полученная путем понижения частоты выборки сигнала снятого изображения, может быть записана в модуле сохранения, как данные движущегося изображения.

Модуль генерирования изображения может быть выполнен с возможностью изменения соотношения комбинирования заданного кадра, который представляет собой опорный источник вектора движения, и данных изображения, которые представляют собой опорное назначение вектора движения, в соответствии с величиной различия при компенсации движения, если величина различия больше, чем заданное значение.

Если величина различия между кадром, соответствующим данным изображения, и заданным кадром меньше, чем заданное значение, модуль генерирования изображения может быть выполнен с возможностью вывода данных изображения, как данных изображения, соответствующих заданному кадру, без выполнения компенсации движения.

Для решения описанной выше задачи, в соответствии с другим вариантом выполнения настоящего изобретения, предложен способ обработки изображения, включающий в себя следующие этапы: получают данные движущегося изображения, содержащие множество последовательных кадров, и одни или множество данных изображения, соответствующих кадрам и имеющих более высокое пространственное разрешение, чем у кадров; детектируют вектор движения между кадрами, используя данные движущегося изображения; и генерируют данные изображения со скомпенсированным движением, соответствующие заданному кадру, на основе данных изображения и вектора движения.

На этапе формирования изображения генерируют данные изображения, скомпенсированные по движению, расположенные между заданным кадром и кадром, соответствующим данным изображения, и соответствующие кадру, и генерируют данные изображения, со скомпенсированным движением, соответствующие заданному кадру, на основе данных изображения со скомпенсированным движением и вектора движения.

Для решения приведенной выше задачи, в соответствии с другим вариантом выполнения настоящего изобретения, предложена программа, которая обеспечивает реализацию компьютером функций устройства обработки изображения. Также может быть предусмотрен носитель записи, на котором записана такая программа.

Устройство обработки изображения генерирует изображение с высоким разрешением из времени, близкого к записанному времени уже записанных данных неподвижного изображения, сохраняет изображение с высоким разрешением, сгенерированное в прошлом, в запоминающем устройстве кадра, и генерирует новое изображение с высоким разрешением, снова со ссылкой на сохраненное изображение. Используя такую последовательно выполняемую обработку, можно генерировать неподвижное изображение с высокой четкостью, даже в момент времени, отдаленный от времени записи.

В соответствии с вариантами выполнения настоящего изобретения, описанными выше, при выполнении прогнозирования движения, используя последовательность данных изображения с низким разрешением, и выполняя компенсацию движения, используя данные изображения высоким разрешением для генерирования данных изображения с высоким разрешением, компенсация движения может быть выполнена с высокой точностью, даже если время генерируемых данных изображения и время данных изображения с высоким разрешением отличаются друг от друга.

Краткое описание чертежей

На фиг.1 показан пояснительный вид, описывающий способ генерирования формируемого изображения с высоким разрешением;

на фиг.2 показан пояснительный вид, представляющий конфигурацию устройства для устройства обработки изображения, в соответствии с одним вариантом выполнения настоящего варианта выполнения;

на фиг.3 показан пояснительный вид, описывающий операцию схемы генерирования изображения, в соответствии с настоящим вариантом выполнения;

на фиг.4 показан пояснительный вид, описывающий операцию схемы генерирования изображения, в соответствии с настоящим вариантом выполнения;

на фиг.5 показан пояснительный вид, описывающий операцию схемы генерирования, в соответствии с настоящим вариантом выполнения;

на фиг.6 показан пояснительный вид, представляющий способ генерирования изображения с высоким разрешением, в соответствии с настоящим вариантом выполнения; и

на фиг.7 показан пояснительный вид, представляющий пример конфигурации аппаратных средств устройства обработки информации, позволяющего реализовать функции устройства обработки изображения, в соответствии с настоящим вариантом выполнения.

Описание номеров ссылочных позиций

100 устройство обработки изображения

102 объектив формирования изображения

104 элемент формирования изображения

106 контроллер синхронизации генерирования изображения

108 схема дисплея

110 блок обработки сигналов камеры

112 A/D (А/Ц, аналогово-цифровой) преобразователь

114 схема обработки цифрового сигнала

120 блок записи и воспроизведения движущегося изображения

122, 132 модули сохранения

124 схема сжатия/разуплотнения движущегося изображения

126 схема преобразования плотности изображения

130 блок записи и воспроизведения неподвижного изображения

134 схема сжатия/разуплотнения неподвижного изображения

202 схема генерирования изображения

204 запоминающее устройство кадра

212 модуль прогнозирования движения

214 модуль компенсации движения

HRP (ИВР) Изображение с высоким разрешением

LRP (ИНР) Изображение с низким разрешением

MP (УИ) увеличенное изображение

CP, CP' (СИ) сформированное изображение

Подробное описание изобретения

Ниже будут подробно описаны предпочтительные варианты воплощения настоящего изобретения со ссылкой на приложенные чертежи. Следует отметить, что в данном описании и на приложенных чертежах конструктивные элементы, которые имеют, по существу, одинаковые функции и структуру, обозначены одинаковыми номерами ссылочных позиций, и повторное пояснение этих конструктивных элементов здесь не приведено.

(Способ генерирования изображения с высоким разрешением)

Вначале, перед описанием устройства обработки изображения и способа обработки изображения в соответствии с вариантом выполнения настоящего изобретения, идея использования последовательности данных изображения (ниже называются данными движущегося изображения), в соответствии с которой последовательно записывают изображение с низким пространственным разрешением, и отдельно записывают данные изображения с высоким пространственным разрешением (ниже называются данными неподвижного изображения или ИВР (Изображение с высоким разрешением)) в соответствии с соответствующим кадром (ниже называется ИНР (Изображение с низким разрешением)), содержащимся в данных движущегося изображения, для генерирования данных изображения с высоким пространственным разрешением (ниже называется СИ (сформированным изображением) или сформированным изображением с высоким разрешением), которые соответствуют произвольному кадру, содержащемуся в данных движущегося изображения, будет кратко описан со ссылкой на фиг.1. На фиг.1 показан пояснительный вид, представляющий один пример способа генерирования изображения с высоким разрешением.

На фиг.1 представлены изображения ИВР (t) с высоким разрешением изображения ИНР(t), ИНР(t+h) с низким разрешением, увеличенные изображения УИ(t), УИ(t+h) и сформированные изображения СИ(t+h). Буквы в круглых скобках представляют время съемки. Например, сформированные изображения СИ(t+h) представляют сформированное изображение, соответствующее изображению ИНР(t+h) с низким разрешением, снятому в момент времени t+h.

Сформированные изображения СИ представляют собой данные изображения, сформированные путем выполнения компенсации движения, используя вектор движения, детектированный с использованием изображения ИНР с низким разрешением и изображение ИВР с высоким разрешением. Как показано на фиг.1, вектор (MV, ВД) движения между временем t и временем t+h детектируют, используя увеличенное изображение УИ(t), сформированное путем увеличения изображения ИНР(t) с низким разрешением и увеличенное изображение УИ(t+h), сформированное путем увеличения изображения ИНР(t+h) с низким разрешением (S1). Затем опорный блок из изображения ИВР(t) с высоким разрешением, соответствующий опорному блоку (BLK, БЛК) изображения ИНР(t) с низким разрешением, выделяют на основе вектора ВД движения. Пиксели опорного блока и пиксели увеличенного изображения УИ(t+h) затем комбинируют с заданным соотношением для формирования сформированного изображения (СИ(t+h)) (S2).

В описанном выше примере прогнозирование движения и компенсацию движения выполняют, используя, по существу, разные изображения. В увеличенном изображении УИ, сформированном путем увеличения изображения ИНР с низким разрешением, увеличено пространственное разрешение до того же уровня, что и у изображения ИВР с высоким разрешением, но в нем отсутствует высокочастотный компонент по сравнению с изображением ИВР с высоким разрешением. Таким образом, могут возникнуть отклонения вектора движения, детектированного с использованием увеличенного изображения УИ и вектором движения, который, по существу, должен иметь изображение ИВР с высоким разрешением. В частности, если точность прогнозирования движения низкая, положение опорного блока в изображении ИВР с высоким разрешением сдвигается, и, таким образом, заметные шумы добавляются к высокочастотному компоненту сформированного изображения СИ, которое формируют, используя компенсацию движения.

Таким образом, требуется найти решение задачи подавления шумов, добавляемых в результате компенсации движения, при выполнении компенсации движения на основе множества данных изображения, имеющих отличающиеся друг от друга пространственные разрешения. Ошибка вектора движения становится большой, когда время t, при котором было снято изображение ИВР(t) с высоким разрешением, и время t+h, при котором требуется сформировать сформированное изображение СИ(t+h), далеки друг от друга. Таким образом, требуется обеспечить получение сформированного изображения СИ(t+h) с высокой четкостью, когда интервал времени h велик.

Как описано ниже, устройство обработки изображения в соответствии с одним вариантом выполнения настоящего изобретения вначале выполняет прогнозирование движения и компенсацию движения для изображения ИHP(t+h”) с низким разрешением, снятого в момент времени, близкий к времени t, когда было снято изображение ИBP(t) с высоким разрешением, для генерирования предварительно сформированного изображения СИ'(t+h”), и дополнительно выполняет прогнозирование движения и компенсацию движения на основе такого предварительно сформированного изображения СИ'(t+h). Сформированное изображение СИ(t+h) в требуемое время t+h может быть сгенерировано с высокой точностью путем последовательного повторения такого процесса. Это связано с тем, что интервал времени между кадрами, которые используются как опорные при выполнении одного прогнозирования движения, короткий, и точность прогнозирования движения улучшается. Конкретная конфигурация функций устройства обработки изображения будет описана ниже.

<Варианты выполнения>

Устройство 100 обработки изображения в соответствии с одним вариантом выполнения настоящего изобретения будет подробно описано ниже.

[Конфигурация устройства 100 обработки изображения]

Вначале, со ссылкой на фиг.2 будет описана конфигурация устройства для устройства 100 обработки изображения в соответствии с настоящим вариантом выполнения. На фиг.2 показан пояснительный вид, представляющий один пример конфигурации устройства для устройства 100 обработки изображения в соответствии с настоящим вариантом выполнения.

Как показано на фиг.2, устройство 100 обработки изображения, в основном, включает в себя объектив 102 формирования изображения, элемент 104 формирования изображения, блок 110 обработки сигналов камеры, блок 120 записи и воспроизведения движущегося изображения, блок 130 записи и воспроизведения неподвижного изображения, схему 202 генерирования изображения, запоминающее устройство 204 кадра, контроллер 106 синхронизации генерирования изображения и схему 108 дисплея.

Объектив 102 формирования изображения представляет собой оптический объектив, предназначенный для формирования изображения (ниже называется снятым изображением) субъекта, путем сбора света. Элемент 104 формирования изображения представляет собой фотоэлемент, предназначенный для преобразования света, собранного объективом 102 формирования изображения, в электрический сигнал. В качестве элемента 104 формирования изображения используют полупроводниковый элемент, такой как датчик изображения CCD (датчик изображения на основе прибора с зарядовой связью, ПЗС) и датчик изображения CMOS (датчик изображения на основе комплементарного металлооксидного полупроводника, КМОП).

Элемент 104 формирования изображения имеет большее количество пикселей, чем количество эффективных пикселей пространственного разрешения данных движущегося изображения. Схема 108 дисплея обеспечивает отображения устройством дисплея (не показано) данных изображения при записи или воспроизведении данных изображения или во время проверки данных изображения. Контроллер 106 синхронизации генерирования изображения представляет собой устройство для оператора, который вводит инструкцию - получить данные неподвижного изображения при воспроизведении данных движущегося изображения.

(Блок 110 обработки сигналов камеры)

Как показано на фиг.2, блок 110 обработки сигналов камеры включает в себя А/Ц преобразователь 112 и схему 114 обработки цифрового сигнала.

А/Ц преобразователь 112 представляет собой аналогово-цифровой преобразователь, предназначенный для преобразования входного аналогового сигнала в цифровой сигнал, и вывода его. А/Ц преобразователь 112 преобразует аналоговый сигнал снятого изображения, подаваемого из элемента 104 формирования изображения, в цифровой сигнал, и выводит его в схему 114 обработки цифрового сигнала. Схема 114 обработки цифрового сигнала выполняет такую обработку, как регулирование баланса белого и гамма-коррекцию цифрового сигнала (ниже называется данными изображения) для снятого изображения, подаваемого из А/Ц преобразователя 112.

(Блок 120 записи и воспроизведения движущегося изображения)

Как показано на фиг.2, блок 120 записи и воспроизведения движущегося изображения включает в себя схему 126 преобразования плотности изображения, схему 124 сжатия/разуплотнения движущегося изображения и модуль 122 сохранения.

Схема 126 преобразования плотности изображения выполняет обработку децимации (например, дифференциального кодирования между кадрами и т.д.) для последовательности данных изображения (данных движущегося изображения), подаваемых из схемы 114 обработки цифрового сигнала, путем записи данных движущегося изображения. Схема 126 преобразования плотности изображения выводит данные движущегося изображения после обработки децимации в схему 124 сжатия/разуплотнения движущегося изображения. Схема 124 сжатия/разуплотнения движущегося изображения выполняет обработку сжатия данных движущегося изображения после децимации, подаваемых из схемы 126 преобразования плотности изображения, и записывает сжатые данные движущегося изображения в модуль 122 сохранения.

При воспроизведении данных движущегося изображения схема 124 сжатия/разуплотнения движущегося изображения считывает данные движущегося изображения, записанные в модуле 122 записи, и выполняет для них обработку разуплотнения. Схема 124 сжатия/разуплотнения движущегося изображения выводит разуплотненные данные движущегося изображения в схему 126 преобразования плотности изображения. Схема 126 преобразования плотности изображения выполняет обработку интерполяции (например, восстановление дифференцированных данных) для данных движущегося изображения, выводимых из схемы 124 сжатия/разуплотнения движущегося изображения.

(Блок 130 записи и воспроизведения неподвижного изображения)

Как показано на фиг.2, блок 130 записи неподвижного и воспроизведения изображения включает в себя схему 134 сжатия/разуплотнения неподвижного изображения и модуль 132 сохранения. Модуль 132 сохранения может реализовать эту функцию, используя устройство сохранения, которое является общим с модулем 122 сохранения.

Во время записи данных неподвижного изображения схема 134 сжатия/разуплотнения неподвижного изображения выполняет обработку сжатия данных изображения, подаваемых из схемы 114 обработки цифрового сигнала, и записывает их в модуле 132 сохранения. При воспроизведении данных неподвижного изображения схема 134 сжатия/разуплотнения неподвижного изображения считывает данные изображения, записанные в модуле 122 сохранения, и выполняет для них обработку разуплотнения.

(Схема 202 генерирования изображения)

Хотя это не показано ясно на чертеже, схема 202 генерирования изображения включает в себя модуль 212 прогнозирования движения и модуль 214 компенсации движения. Модуль 214 компенсации движения обслуживает модуль генерирования изображения.

Модуль 212 прогнозирования движения детектирует вектор движения, выполняя прогнозирование движения между кадрами для данных движущегося изображения, передаваемых из блока 120 записи и воспроизведения движущегося изображения. Например, модуль 212 прогнозирования движения выбирает данные неподвижного изображения, записанные в ближайшее время к кадру, записанному в заданное время. Модуль 212 прогнозирования движения детектирует вектор движения между кадрами, выполняя прогнозирование движения между кадром, соответствующим данным неподвижного изображения, и кадром, записанным в заданный момент времени. В данном случае, модуль 212 прогнозирования движения увеличивает каждый кадр (ИНР), для использования его в качестве опорного, для преобразования в увеличенное изображение (УИ) и детектирует вектор движения между соответствующими увеличенными изображениями.

В качестве другого примера, модуль 212 прогнозирования движения может выделять множество данных неподвижного изображения, записанных в момент времени, близкий к кадру, записанному в заданный момент времени, и затем выбирать кадр, соответствующий данным неподвижного изображения, расположенный ближе всего к кадру, записанному в заданный момент времени. Модуль 212 прогнозирования движения может детектировать вектор движения между кадрами, выполняя прогнозирование движения между кадром, соответствующим выбранным данным неподвижного изображения, и кадром, записанным в заданное время. Модуль 212 прогнозирования движения может детектировать вектор движения между кадрами, без увеличения каждого кадра (ИНР), и увеличивать вектор движения так, чтобы адаптировать его к пространственному разрешению сформированного изображения (СИ).

Модуль 214 компенсации движения выполняет компенсацию движения на основе информации вектора движения, вводимого из модуля 212 прогнозирования движения, и данных неподвижного изображения, вводимых из блока 130 записи и воспроизведения неподвижного изображения. Например, модуль 214 компенсации движения определяет опорный блок данных неподвижного изображения, соответствующий опорному блоку кадра, записанному в заданное время, на основе вектора движения. Модуль 214 компенсации движения генерирует данные изображения (сформированное изображение СИ'), путем комбинирования указанного опорного блока данных неподвижного изображения и опорного блока кадра, записанного в заданное время с заданной частотой.

При генерировании сформированного изображения СИ(t+h) схема 202 генерирования изображения разрабатывает сформированное изображение СИ'(t+h”)(t<h”<h), сгенерированное в прошлом, в запоминающем устройстве 204 кадра. Таким образом, как показано на фиг.3, схема 202 генерирования изображения однажды генерирует промежуточное сформированное изображение СИ'(t+h”), используя увеличенное изображение УИ(t+h”), которое близко по времени к изображению ИBP (t) с высоким разрешением, вместо генерирования сформированного изображения СИ(t+h), непосредственно используя изображение ИBP (t) с высоким разрешением, и сохраняет такое сформированное изображение СИ'(t+h”) в запоминающем устройстве 204 кадра для использования. Схема 202 генерирования изображения выполняет прогнозирование движения между увеличенными изображениями УИ(t+h) и УИ(t+h”), и генерирует требуемое сформированное изображение СИ(t+h) на основе детектированного вектора движения и промежуточного сформированного изображения СИ'(t+h”). Сформированное изображение СИ(t+h) затем выводят в схему 108 дисплея.

При сохранении сформированного изображения СИ'(t+h”) в запоминающем устройстве кадра схема 202 генерирования изображения может изменять способ сохранения в соответствии с модулем обработки для использования. Например, может быть сохранено все изображение или может быть сохранена только область пикселей с движением, для экономного использования объема памяти.

Кроме того, при генерировании сформированного изображения СИ' или СИ, схема 202 генерирования изображения может отслеживать величину различия увеличенного изображения УИ, соответствующего сформированному изображению СИ' или СИ, и изображения, предназначенного для использования в качестве опорного. Если величина различия изображения ИВР с высоким разрешением и увеличенного изображения УИ будет мала, схема 202 генерирования изображения выводит изображение ИВР с высоким разрешением в том виде, как оно есть, как сформированное изображение СИ' или СИ. Аналогично, если величина различия сформированного изображения СИ' и увеличенного изображения УИ мала, схема 202 генерирования изображения может выводить сформированное изображение СИ' в том виде, как оно есть, как сформированное изображение СИ. Такие случаи представляют собой ситуации, которые возникают, когда снимают полностью неподвижный субъект.

В случае, когда расстояние между временем записи сформированного изображения СИ и изображения ИВР с высоким разрешением велико, схема 202 генерирования изображения в соответствии с настоящим вариантом выполнения последовательно генерирует промежуточное сформированное изображение СИ' из увеличенного изображения УИ, соответствующего времени, которое близко к времени записи изображения ИВР с высоким разрешением. Кроме того, схема 202 генерирования изображения выполняет компенсацию движения, используя промежуточное сформированное изображение СИ', и последовательно генерирует промежуточное сформированное изображение СИ' для получения, в конечном итоге, сформированного изображения СИ с высокой четкостью.

[Операция записи данных изображения]

Операция записи данных изображения устройством 100 обработки изображения в соответствии с настоящим вариантом выполнения будет кратко описана ниже.

Вначале оператор передает инструкцию - начать операцию записи в устройство 100 обработки изображения (S10). В ответ на такую инструкцию устройство 100 обработки изображения начинает последовательную запись кадров, составляющих данные движущегося изображения (S12). Устройство 100 обработки изображения получает снятое изображение через объектив 102 формирования изображения (S14). Устройство 100 обработки изображения выполняет фотоэлектрическое преобразование снятого изображения с помощью элемента 104 формирования изображения для генерирования аналогового сигнала (S16). Устройство 100 обработки изображения передает аналоговый сигнал в А/Ц преобразователь 112 для преобразования в цифровой сигнал (S18). Устройство 100 обработки изображения затем вводит цифровой сигнал в схему 114 обработки цифрового сигнала и выполняет такую обработку, как регулировка баланса белого и гамма-коррекция для данных изображения, соответствующих такому цифровому сигналу (S20). В соответствии с такими процессами, устройство 100 обработки изображения может накапливать данные изображения и формировать данные движущегося изображения.

Устройство 100 обработки изображения выполняет обработку децимации для данных движущегося изображения с помощью схемы 126 преобразования плотности изображения (S22). При выполнении этапа S22 получают количество эффективных пикселей в формате каждого видеосигнала, который соответствует способу NTSC (Национальный комитет по телевизионным стандартам), способу PAL (Построчное изменение фазы) или способу ISDB (Комплексная служба цифрового вещания). Устройство 100 обработки изображения затем обрабатывает со сжатием данные движущегося изображения после их обработки децимации с помощью схемы 124 сжатия/разуплотнения движущегося изображения (S24) и записывает в модуль сохранения 122 (S25). Устройство 100 обработки изображения также получает данные изображения (данные неподвижного изображения) поочередно, через заданный интервал времени и выполняет обработку сжатия с помощью схемы 134 сжатия/разуплотнения неподвижного изображения (S32), и записывает в модуле 132 сохранения (S34).

[Операция воспроизведения данных изображения]

Операция воспроизведения данных изображения с помощью устройства 100 обработки изображения в соответствии с настоящим вариантом выполнения будет кратко описана ниже.

Оператор передает инструкцию на начало операции воспроизведения в устройство 100 обработки изображения, используя контроллер 106 синхронизации генерирования изображения (S50). В ответ на такую инструкцию устройство 100 обработки изображения начинает генерировать данные изображения с высоким качеством изображения, имеющие более высокое пространственное разрешение, чем у данных движущегося изображения, и в момент времени записи, в который не были записаны данные неподвижного изображения (S52). Устройство 100 обработки изображения считывает данные движущегося изображения, полученные после обработки сжатия, записанные в модуле 122 сохранения (S54), и выполняет обработку разуплотнения с помощью схемы 124 сжатия/разуплотнения движущегося изображения (S56). Устройство 100 обработки изображения затем выполняет обработку интерполяции данных движущегося изображения, подвергнутых обработке разуплотнения с помощью схемы 126 преобразования плотности изображения (S58). В соответствии с этапом S58, каждый кадр данных движущегося изображения преобразуют в данные изображения, имеющие такое же количество пикселей, что и у данных неподвижного изображения. Данные движущегося изображения затем передают в блок 140 генерирования изображения (S60).

Устройство 100 обработки изображения затем считывает и разворачивает данные неподвижного изображения, записанные в модуле 132 сохранения, с помощью схемы 134 сжатия/разуплотнения неподвижного изображения (S72) и передает их в блок 140 генерирования изображения (S74).

(Операция обработки схемы 202 генерирования изображения)

Операция обработки схемы 202 генерирования изображения будет описана ниже со ссылкой на фиг.3. На фиг.3 показан пояснительный вид, описывающий операцию обработки схемы 202 генерирования изображения.

На фиг.3 показано изображение с ИВР (t) с высоким разрешением, множество изображений ИНР(t) ИНР(t+h”), ИНР(t+h) с низким разрешением, промежуточное сформированное изображение СИ'(t+h”) и требуемое сформированное изображение СИ(t+h), в соответствии со временем съемки. На фиг.3, в частности, последовательно описана операция обработки генерирования сформированного изображения СИ(t+h), соответствующего изображению ИНР(t+h) с низким разрешением для времени t+h.

Предполагается, что изображение ИВР с высоким разрешением имеет количество N горизонтальных пикселей, количество M вертикальных пикселей и частоту кадров 1/ΔT [кадров в секунду]. Изображение ИНР с низким разрешением, как предполагается, имеет количество n горизонтальных пикселей, количество m вертикальных пикселей и частоту кадров l/Δt [кадров в секунду]. Предполагается, что каждая переменная удовлетворяет условию N≥n, M≥m, ΔT≥t. Кроме того, предполагается, что переменная h удовлетворяет взаимозависимости 0≤h≥ΔT.

Способ генерирования сформированного изображения СИ(t+h) для времени t+h будет описан ниже со ссылкой на пример по фиг.3. Способ обработки устройства 100 обработки изображения в соответствии с настоящим вариантом выполнения не ограничивается этим. Сформированное изображение СИ(t+h) может быть сгенерировано также на основе изображения ИВР(t+ΔT) с высоким разрешением в другое время t+ΔT (не показано). В этом случае, устройство 100 обработки изображения может выполнять обработку выбора изображения ИВР с высоким разрешением, которое будет использоваться как опорное, в соответствии с магнитудой, скоростью и т.п. движения субъекта.

(S1)

Вначале устройство 100 обработки изображения выполняет прогнозирование движения, используя изображения ИНР(t) и ИНР (t+h”) с низким разрешением, с помощью мо