Устройство обработки изображения, способ обработки изображения и программа

Устройство обработки изображения, способ обработки изображения и программа

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству обработки изображения, способу обработки изображения и программе.

Уровень техники

В последние годы технология, относящаяся к распространению цифровых видеоданных (ниже называются видеоданными), была значительно усовершенствована. В частности, особенное развитие произошло в технологии, относящейся к распространению и записи видеоданных высокого качества. Среди них внимание уделяли технологии, относящейся к кодированию и декодированию видеоданных. Видеоданные, имеющие высокое пространственное разрешение и временное разрешение, имеют очень большой размер данных, и, таким образом, такие видеоданные предпочтительно распространять или записывать с использованием эффективного сжатия после кодирования. С этой целью требуется разработать технологию кодирования, обеспечивающую возможность сжатия с высокой степенью сжатия видеоданных с высоким качеством изображения, и технологию их декодирования для воспроизведения с высоким пространственным разрешением.

Например, в патентных документах 1 и 2 раскрыта основная технология для генерирования видеоданных, имеющих высокое пространственное разрешение и временное разрешение, путем комбинирования первых видеоданных (например, данных движущегося изображения и т.д.), которые имеют низкое пространственное разрешение, но высокое временное разрешение, и вторых видеоданных (например, последовательности данных неподвижных изображений и т.д.), которые имеют высокое пространственное разрешение, но низкое временное разрешение. Такая технология позволяет прогнозировать вектор движения между кадрами от первых видеоданных и компенсирует компонент высокой частоты первых видеоданных, используя вектор движения, и вторых видеоданных. Такая технология генерирует кадр в произвольной временной точке, не содержащийся во вторых видеоданных, используя вектор движения, детектируемый по первым видеоданным, и кадр вторых видеоданных в момент времени, расположенный близко к такому произвольному моменту времени. Патентные документы 1 и 2 включают в себя описание, относящееся к устройству записи и воспроизведения данных изображения, предназначенному для генерирования видеоданных, имеющих высокое пространственное разрешение и временное разрешение, используя описанную выше технологию.

Документ предшествующего уровня техники

[Патентный документ 1] Выложенная заявка №2004-312276 на японский патент

[Патентный документ 2] Выложенная заявка №2004-312277 на японский патент

Сущность изобретения

Однако поскольку упомянутое выше устройство записи и воспроизведения данных изображения выполняет прогнозирование движения и компенсацию движения, используя видеоданные, имеющие разное пространственное разрешение, к высокочастотному компоненту видеоданных, получаемых в результате компенсации движения, добавляются шумы, если прогнозирование движения будет выключено.

С учетом описанного выше желательно обеспечить новое и улучшенное устройство обработки изображения, способ обработки изображения и программу, позволяющие предотвращать добавление шумов к высокочастотному компоненту данных изображения при генерировании данных изображения с высоким пространственным разрешением путем прогнозирования движения на основе последовательности данных изображения с низким пространственным разрешением и компенсации движения, используя данные изображения с высоким пространственным разрешением.

В соответствии с вариантом выполнения настоящего изобретения предусмотрено устройство обработки изображения, которое включает в себя модуль формирования изображения, предназначенный для формирования изображения и генерирования сигнала изображения, модуль обработки, предназначенный для формирования на основе сигнала изображения первых видеоданных, содержащих множество кадров, и вторых видеоданных, имеющих более высокое разрешение, чем у кадров, блок кодирования, предназначенный для сжатия первых и вторых видеоданных, подаваемых из модуля обработки, и записи их в модуле сохранения, модуль прогнозирования движения, предназначенный для детектирования вектора движения между кадрами, содержащимися в первых видеоданных, при этом кадр первых видеоданных увеличивают до такого же разрешения, как и кадр вторых видеоданных, модуль расчета величины различия, предназначенный для расчета величины различия между кадром первых видеоданных, увеличенным до такого же разрешения, как и кадр вторых видеоданных, и кадром вторых видеоданных, и модуль генерирования изображения, предназначенный для генерирования, на основе кадра вторых видеоданных и вектора движения, детектированного модулем прогнозирования движения, данных изображения со скомпенсированным движением, имеющих такое же разрешение, как и у вторых видеоданных, если величина различия, рассчитанная модулем расчета величины различия, меньше, чем заданное значение, и генерирования кадра видеоданных, в которых кадр первых видеоданных увеличен до такого же разрешения, как и у кадра вторых видеоданных данных изображения, если величина различия, рассчитанная модулем расчета величины различия, больше, чем заданное значение.

Кроме того, в модуле сохранения может быть записана первая последовательность данных изображения, имеющих низкое пространственное разрешение и высокое временное разрешение, в качестве данных движущегося изображения, и вторая последовательность данных изображения, имеющих более высокое пространственное разрешение и более низкое временное разрешение, чем у первой последовательности данных изображения, так что они соответствуют кадру, содержащемуся в первой последовательности данных изображения, как одни или множество данных изображения.

Кроме того, модуль генерирования изображения может генерировать с кадром, содержащимся в первой последовательности данных изображения и не содержащимся во второй последовательности данных изображения, в качестве произвольного кадра, данные изображения, соответствующие произвольному кадру, и улучшает временное разрешение второй последовательности данных изображения.

Кроме того, в модуле сохранения может быть записана последовательность данных изображения, полученная путем уменьшения частоты выборки сигнала сформированного изображения, в качестве данных движущегося изображения.

Кроме того, модуль генерирования изображения может изменять соотношение комбинирования произвольного кадра, который представляет собой опорный источник вектора движения, и данных изображения, которые представляют собой опорное назначение вектора движения, в соответствии с величиной различия в компенсации движения, если величина различия больше, чем заданное значение.

В соответствии с другим вариантом выполнения настоящего изобретения предложен способ обработки изображения, включающий в себя этапы: формируют изображение и генерируют сигнал изображения, формируют на основе сигнала изображения первые видеоданные, содержащие множество кадров, и вторые видеоданные, имеющие более высокое разрешение, чем у этих кадров, кодируют видеоданные путем сжатия первых и вторых видеоданных и записывают их в модуле сохранения, детектируют вектор движения между кадрами, содержащимися в первых видеоданных, при этом кадр первых видеоданных увеличивают до такого же разрешения, как и кадр вторых видеоданных, рассчитывают величину различия между кадром первых видеоданных, увеличенным до такого же разрешения, как и кадр вторых видеоданных, и кадром вторых видеоданных и генерируют, на основе кадра вторых видеоданных и вектора движения, детектированного на этапе прогнозирования движения, данные изображения со скомпенсированным движением, имеющие такое же разрешение, как и у вторых видеоданных, если величина различия, рассчитанная на этапе расчета величины различия, меньше, чем заданное значение, и кадр видеоданных, в котором кадр первых видеоданных увеличивают до такого же разрешения, как и у кадра вторых видеоданных данных изображения, если величина различия, рассчитанная на этапе расчета величины различия, больше, чем заданное значение.

В соответствии с вариантом выполнения настоящего изобретения, описанным выше, когда генерируют данные изображения с высоким пространственным разрешением путем прогнозирования движения с последовательностью данных изображения с низким пространственным разрешением и компенсации движения, используя данные изображения с высоким пространственным разрешением, предотвращают добавление шумов к высокочастотному компоненту соответствующих данных изображения.

Краткое описание чертежей

На фиг.1 показан пояснительный вид, описывающий способ генерирования сформированного изображения с высоким разрешением.

На фиг.2 показан пояснительный вид, представляющий конфигурацию устройства для устройства обработки изображения в соответствии с одним вариантом выполнения настоящего изобретения.

На фиг.3 показан пояснительный вид, описывающий операцию блока генерирования изображения, в соответствии с настоящим вариантом выполнения.

На фиг.4 показан пояснительный вид, представляющий поток операций различных схем определения разностного изображения, в соответствии с настоящим вариантом выполнения.

На фиг.5 показан пояснительный вид, описывающий операцию блока генерирования изображения, в соответствии с настоящим вариантом выполнения.

На фиг.6 показан пояснительный вид, представляющий пример конфигурации аппаратных средств устройства обработки информации, обеспечивающего возможность реализации функций устройства обработки изображения, в соответствии с настоящим вариантом выполнения.

На фиг.7 показан пояснительный вид, описывающий способ генерирования изображения с высоким разрешением, в соответствии с настоящим вариантом выполнения.

На чертежах даны следующие обозначения:

100 устройство обработки изображения

102 объектив формирования изображения

104 элементы формирования изображения

106 контроллер момента времени генерирования изображения

108 схема дисплея

110 блок обработки сигнала камеры

112 A/D (А/Ц, аналогово/цифровой) преобразователь

114 схема обработки цифрового сигнала

120 блок воспроизведения

122 132 модуль сохранения

124 схема сжатия/расширения движущегося изображения

126 схема преобразования плотности изображения

130 блок записи и воспроизведения неподвижного изображения

134 схема сжатия/расширения неподвижного изображения

140 блок генерирования изображения

142 схема прогнозирования движения

144 схема компенсации движения

146 схема определения разностного изображения

HRP (ИВР) изображение с высоким разрешением

LRP (ИНР) изображение с низким разрешением

MP (УИ) увеличенное изображение

CP, CP' (СИ) сформированное изображение

Подробное описание изобретения

Ниже будут подробно описаны предпочтительные варианты воплощения настоящего изобретения со ссылкой на приложенные чертежи. Следует отметить, что в данном описании и на приложенных чертежах конструктивные элементы, которые имеют, по существу, одинаковые функции и структуру, обозначены одинаковыми номерами ссылочных позиций, и повторное пояснение этих конструктивных элементов исключено.

(Способ генерирования изображения с высоким разрешением)

Вначале, перед описанием устройства обработки изображения и способа обработки изображения в соответствии с вариантом выполнения настоящего изобретения, идея использования последовательности данных изображения (ниже называются данными движущегося изображения), в которых последовательные видеоизображения записаны с низким пространственным разрешением, и данных изображения с высоким пространственным разрешением (ниже называются данными неподвижного изображения или ИВР (изображение с высоким разрешением)), по отдельности записанных в соответствии с соответствующим кадром (ниже называются ИНР (изображение с низким разрешением)), содержащихся в данных движущегося изображения, для генерирования данных изображения с высоким пространственным разрешением (ниже называется СИ (сформированное изображение) или сформированным изображением с высоким разрешением), соответствующих произвольному кадру, содержащемуся в данных движущегося изображения, будет кратко описана со ссылкой на фиг.1. На фиг.1 показан пояснительный вид, представляющий один пример способа генерирования изображения с высоким разрешением.

На фиг.1 представлены изображение ИBP(t) с высоким разрешением, изображение ИНР(t) с низким разрешением, ИHP(t+h), увеличенное изображение УИ(t), УИ(t+h) и сформированное изображение СИ(t+h). Знаки, показанные в скобках, представляют момент времени фотографирования. Например, сформированное изображение СИ(t+h) представляет собой сформированное изображение, соответствующее изображению с низким разрешением ИНР(t+h), снятому в момент времени t+h.

Сформированное изображение СИ представляет собой данные изображения, сформированные в результате компенсации движения, используя вектор движения, детектируемый с использованием изображения ИНР с низким разрешением и изображения ИВР с высоким разрешением. Как показано на фиг.1, вектор (MV (ВД)) движения между моментом времени t и моментом времени t+h детектируют, используя увеличенное изображение УИ(t), сформированное путем увеличения изображения ИНР(t) с низким разрешением, и увеличенное изображение УИ(t+h), сформированное в результате увеличения изображения ИНР(t+h) с низким разрешением (S1). Затем, опорный блок изображения ИНР(t) с высоким разрешением, соответствующий опорному блоку (BLK (БЛК)) изображения ИНР(t) с низким разрешением, выделяют на основе вектора ВД движения. Пиксели опорного блока и пиксели увеличенного изображения УИ(t+h) затем комбинируют с заданным соотношением для формирования сформированного изображения (СИ(t+h) (S2).

В описанном выше примере выполняют прогнозирование движения и компенсацию движения, используя, по существу, разные изображения. В увеличенном изображении УИ, сформированном в результате увеличения изображения ИНР с низким разрешением, увеличивают пространственное разрешение до такого же уровня, как и у изображения ИВР с высоким разрешением, но в нем отсутствует высокочастотный компонент, по сравнению с изображения ИВР с высоким разрешением. Таким образом, могут возникнуть отклонения между вектором движения, детектируемым с использованием увеличенного изображения УИ, и вектора движения, который, по существу, должно иметь изображение ИВР с высоким разрешением. Если точность прогнозирования движения будет низкой, положение опорного блока в изображении ИВР с высоким разрешением сдвигается, и таким образом добавляются шумы к высокочастотному компоненту сформированного изображения СИ, формируемому в результате компенсации движения. При выполнении компенсации движения на основе множества данных изображения, имеющих отличающиеся друг от друга значения пространственного разрешения, требуется использовать технологию подавления шумов, добавляемых в результате компенсации движения.

Как описано ниже, устройство обработки изображения, в соответствии с одним вариантом выполнения настоящего изобретения, имеет функцию сравнения опорного блока изображения ИВР с высоким разрешением и опорного блока увеличенного изображения УИ, синтезированного путем компенсации движения на основе вектора движения, и адаптивного переключения обработки, относящейся к компенсации движения, в соответствии с результатом сравнения, при выполнении компенсации движения на основе множества данных изображения, имеющих отличающие друг от друга значения пространственного разрешения. Такая функция позволяет заранее предотвратить добавление шумов в результате компенсации движения.

<Один вариант выполнения настоящего изобретения>

Устройство 100 обработки изображения в соответствии с вариантом выполнения настоящего изобретения будет подробно описано ниже.

[Конфигурация устройства для устройства 100 обработки изображения]

Вначале со ссылкой на фиг.2 будет описана конфигурация устройства для устройства 100 обработки изображения, в соответствии с настоящим вариантом выполнения. На фиг.2 показан пояснительный вид, представляющий один пример конфигурации устройства для устройства 100 обработки изображения, в соответствии с настоящим вариантом выполнения.

Как показано на фиг.2, устройство 100 обработки изображения, в основном, включает в себя объектив 102 формирования изображения, элемент 104 формирования изображения, блок ПО обработки сигналов камеры, блок 120 записи и воспроизведения движущегося изображения, блок 130 записи воспроизведения неподвижного изображения, блок 140 генерирования изображения, контроллер 106 момента времени генерирования изображения и схему 108 дисплея.

Объектив 102 формирования изображения представляет собой оптический объектив, предназначенный для формирования изображения (ниже называется собранным изображением) субъекта путем сбора света. Элемент 104 формирования изображения представляет собой фотоэлектрический элемент, предназначенный для преобразования света, собранного объективом 102 формирования изображения, в электрический сигнал. Полупроводниковый элемент, такой как датчик изображения CCD (ПЗС, датчик изображения на основе прибора с зарядовой связью) и датчик изображения CMOS (КМОП, датчик изображения на основе комплементарного металлоксидного полупроводника) используют для элемента 104 формирования изображения. Элемент 104 формирования изображения имеет большее количество пикселей, чем количество эффективных пикселей пространственного разрешения данных движущегося изображения. Схема 108 дисплея обеспечивает отображение устройством дисплея (не показано) данных изображения во время записи или воспроизведения данных изображения, или когда выполняют проверку данных изображения. Контроллер 106 момента времени генерирования изображения представляет собой устройство для оператора, формирующее инструкцию для получения данных неподвижного изображения во время воспроизведения данных движущегося изображения.

(Блок 110 обработки сигналов камеры)

Как показано на фиг.2, блок ПО обработки сигналов камеры включает в себя А/Ц преобразователь 112 и схему 114 цифровой обработки сигналов.

А/Ц преобразователь 112 представляет собой аналогово-цифровой преобразователь, предназначенный для преобразования входного аналогового сигнала в цифровой сигнал и его вывода. А/Ц преобразователь 112 преобразует аналоговый сигнал снятого изображения, подаваемый из элемента 104 формирования изображения, в цифровой сигнал, и выводит его в схему 114 цифровой обработки сигнала. Схема 114 цифровой обработки сигнала выполняет обработку, такую как коррекция баланса белого, гамма-коррекция для цифрового сигнала (ниже называется данными изображения) снятого изображения, выводимого из А/Ц преобразователя 112.

(Блок 120 записи и воспроизведения движущегося изображения)

Как показано на фиг.2, блок 120 записи и воспроизведения движущегося изображения включает в себя модуль 122 сохранения, схему 124 сжатия/расширения движущегося изображения и схему 126 преобразования плотности изображения.

Схема 126 преобразования плотности изображения выполняет обработку прореживания (например, дифференциальное кодирование, внутри кадра и т.д.) для последовательности данных изображения (данные движущегося изображения), вводимых из схемы 114 цифровой обработки сигнала, во время записи данных движущегося изображения. Схема 126 преобразования плотности изображения вводит данные движущегося изображения после обработки прореживания в схему 124 сжатия/расширения движущегося изображения. Схема 124 сжатия/расширения движущегося изображения выполняет обработку сжатия для данных движущегося изображения после прореживания, выводимых из схемы 126 преобразования плотности изображения, и записывает сжатые данные движущегося изображения в модуле 122 сохранения.

При воспроизведении данных движущегося изображения схема 124 сжатия/расширения движущегося изображения считывает данные движущегося изображения, записанные в модуле 122 сохранения, и выполняет для них обработку расширения. Схема 124 сжатия/расширения движущегося изображения вводит расширенные данные движущегося изображения в схему 126 преобразования плотности изображения. Схема 126 преобразования плотности изображения выполняет обработку интерполяции (например, восстановления различных данных) для данных движущегося изображения, вводимых из схемы 124 сжатия/расширения движущегося изображения.

(Блок 130 записи и воспроизведения неподвижного изображения)

Как показано на фиг.2, блок 130 записи и воспроизведения неподвижного изображения включает в себя модуль 132 сохранения и схему 134 сжатия/расширения неподвижного изображения. Модуль 132 сохранения может реализовать свою функцию, используя устройство сохранения, которое является общим с модулем 122 сохранения.

Во время записи данных неподвижного изображения схема 134 сжатия/расширения неподвижного изображения выполняет обработку сжатия для данных изображения, вводимых из схемы 114 обработки цифрового сигнала, и записывает их в модуль 132 сохранения. При воспроизведении данных неподвижного изображения схема 134 сжатия/расширения неподвижного изображения считывает данные изображения, записанные в модуле 122 сохранения, и выполняет для них обработку расширения.

(Блок 140 генерирования изображения)

Как показано на фиг.2, блок 140 генерирования изображения, в основном, включает в себя схему 142 прогнозирования движения, схему 144 компенсации движения и схему 146 определения разностного изображения. Схема 142 прогнозирования движения используется как модуль прогнозирования движения. Схема 144 компенсации движения используется как модуль генерирования изображения.

Схема 142 прогнозирования движения детектирует вектор движения путем выполнения прогнозирования движения между кадрами для данных движущегося изображения, передаваемых из блока 120 записи и воспроизведения движущегося изображения. Например, схема 142 прогнозирования движения выбирает данные неподвижного изображения, записанные в момент времени, ближайший к кадру, записанному в определенный момент времени. Схема 142 прогнозирования движения детектирует вектор движения между кадрами путем выполнения прогнозирования движения между кадром, соответствующим данным неподвижного изображения, и кадром, записанным в определенный момент времени. В этом случае, схема 142 прогнозирования движения увеличивает каждый кадр (ИНР) до опорного значения, для преобразования в увеличенное изображение (УИ), и детектирует вектор движения между соответствующими увеличенными изображениями.

В качестве другого примера, схема 142 прогнозирования движения может выделять множество данных неподвижного изображения, записанного в момент времени, близкий к кадру, записанному в определенный момент времени, и затем может выбирать кадр, соответствующий данным неподвижного изображения, расположенный ближе всего к записанному кадру, в заданный момент времени. Схема 142 прогнозирования движения может детектировать вектор движения между кадрами путем выполнения прогнозирования движения между кадром, соответствующим выбранным данным неподвижного изображения, и кадром, записанным в заданный момент времени. Схема 142 прогнозирования движения может детектировать вектор движения между кадрами, без увеличения каждого кадра (ИНР), и может увеличивать вектор движения таким образом, чтобы адаптировать пространственное разрешение сформированного изображения (СИ).

Схема 144 компенсации движения выполняет компенсацию движения на основе информации вектора движения, вводимого из схемы 142 прогнозирования движения, и данных неподвижного изображения, введенных из блока 130 записи и воспроизведения неподвижного изображения. Например, схема 144 компенсации движения определяет опорный блок данных неподвижного изображения, соответствующий опорному блоку кадра, записанного в определенный момент времени, на основе вектора движения. Схема 144 компенсации движения генерирует данные изображения (сформированные изображения СИ') путем комбинирования определенного опорного блока данных неподвижного изображения и опорного блока кадра, записанного в определенный момент времени, с определенным соотношением. Схема 144 компенсации движения выводит сформированное изображение СИ' в схему 146 определения разностного изображения.

Схема 146 определения разностного изображения сравнивает сформированное изображение СИ', вводимое из схемы 144 компенсации движения, и увеличенное изображение УИ, записанное в соответствующий момент времени. Схема 146 определения разностного изображения генерирует разностное изображение, между увеличенным изображением УИ и сформированным изображения СИ', или рассчитывает значение разности, представляющее разность обоих изображений (УИ, СИ'). Схема 146 определения разностного изображения используется как модуль расчета величины различия.

Если различие обоих изображений (УИ, СИ') находится в пределах допустимого диапазона, схема 146 определения разностного изображения управляет схемой 144 компенсации движения для вывода сформированного изображения СИ', сформированного в результате компенсации движения. Если различие обоих изображений (УИ, СИ') превышает допустимый предел, схема 146 определения разностного изображения управляет схемой 144 компенсации движения для вывода увеличенного изображения УИ в том виде, как оно есть. В этом случае схема 146 определения разностного изображения переключает способ управления схемой 144 компенсации движения в соответствии с взаимозависимостью магнитуд, между разностным значением и заданным установленным значением.

Конфигурация устройства для устройства 100 обработки изображения в соответствии с настоящим вариантом выполнения была описана выше. Устройство 100 обработки изображения позволяет заранее предотвратить генерирование шумов, вызванных точностью прогнозирования вектора движения, посредством применения описанной выше конфигурации устройства.

[Операция записи данных изображения]

Операция записи данных изображения с помощью устройства 100 обработки изображения в соответствии с настоящим вариантом выполнения будет кратко описана ниже.

Вначале оператор передает инструкцию на начало операции записи устройства 100 обработки изображения (S10). В ответ на такую инструкцию устройство 100 обработки изображения начинает постоянную запись кадров, составляющих данные движущегося изображения (S12). Устройство 100 обработки изображения получает снятое изображение с помощью объектива 102 формирования изображения (S14). Устройство 100 обработки изображения выполняет фотоэлектрическое преобразование снятого изображения с помощью элемента 104 формирования изображения для генерирования аналогового сигнала (S16). Устройство 100 обработки изображения вводит аналоговый сигнал в А/Ц преобразователь 112 для преобразования в цифровой сигнал (S18). Устройство 100 обработки изображения затем вводит цифровой сигнал в схему 114 обработки цифрового сигнала, и выполняет такую обработку, как регулирование баланса белого и гамма-коррекция данных изображения, соответствующих такому цифровому сигналу (S20). Устройство 100 обработки изображения накапливает данные изображения, формируя, таким образом, данные движущегося изображения.

Устройство 100 обработки изображения выполняет обработку прореживания по данным движущегося изображения, с помощью схемы 126 преобразования плотности изображения (S22). При выполнении этапа S22 получают количество эффективных пикселей в каждом формате видеосигнала, таком как способ NTSC (Национальный комитет по телевизионным стандартам), способ PAL (построчное изменение фазы) или способ ISDB (Комплексная служба цифрового вещания). Устройство 100 обработки изображения затем выполняет обработку сжатия данных движущегося изображения, полученных после обработки прореживания, с помощью схемы 124 сжатия/расширения движущегося изображения (S24) и записывает полученные данные в модуле 122 сохранения (S25). Устройство 100 обработки изображения также получает данные изображения (данные неподвижного изображения) поочередно, в определенные интервалы времени и выполняет обработку сжатия с помощью схемы 134 сжатия/расширения неподвижного изображения (S32), и записывает в модуль 132 сохранения (S34).

[Операция воспроизведения данных изображения]

Операция воспроизведения данных изображения с помощью устройства 100 обработки изображения, в соответствии с настоящим вариантом выполнения будет вкратце описана ниже.

Оператор вводит инструкцию на начало операции воспроизведения в устройство 100 обработки изображения, используя контроллер 106 момента времени генерирования изображения (S50). В ответ на эту инструкцию устройство 100 обработки изображения начинает генерировать данные изображения с высоким качеством изображения, имеющие более высокое пространственное разрешение, чем данные изображения, и в момент времени записи, в который данные неподвижного изображения не были записаны (S52). Устройство 100 обработки изображения считывает данные движущегося изображения, полученные после обработки сжатия, записанные в модуле 122 сохранения (S54), и выполняет обработку расширения с помощью схемы 124 сжатия/расширения движущегося изображения (S56). В устройстве 100 обработки изображения затем выполняют обработку интерполяции данных движущегося изображения, после обработки расширения, с помощью схемы 126 преобразования плотности изображения (S58). В соответствии с этапом S58 каждый кадр данных движущегося изображения преобразуют в данные изображения, имеющие такое же количество пикселей, как и у данных неподвижного изображения. Данные движущегося изображения затем передают в блок 140 генерирования изображения (S60).

Устройство 100 обработки изображения затем считывает и выполняет расширение данных неподвижного изображения в модуле 132 сохранения с помощью схемы 134 сжатия/расширения неподвижного изображения (S72) и передает в блок 140 генерирования изображения (S74).

(Операция блока 140 генерирования изображения)

Операция обработки блока 140 генерирования изображения будет описана ниже со ссылкой на фиг.3. На фиг.3 показан примерный вид, описывающий операцию обработки в блоке 140 генерирования изображения.

На фиг.3 показано изображение с высоким разрешением ИВР(t), множество изображений с низким разрешением ИНР(t), ИНР(t+h) и сформированное изображение CH(t+h) так, что они соответствуют времени фотографирования. На фиг.3, в частности, показана операция обработки, предназначенная для генерирования сформированного изображения СИ(t+h), соответствующего изображению с низким разрешением ИНР(t+h), записанному в момент времени t+h.

Предполагается, что изображение с высоким разрешением ИВР имеет количество горизонтальных пикселей N, количество вертикальных пикселей М и частоту кадров 1/ΔТ [fps (кадров в секунду)]. Изображение ИНР с низким разрешением, как предполагается, имеет количество горизонтальных пикселей n, количество вертикальных пикселей m и частоту кадров 1/Δt [кадров в секунду]. Предполагается, что каждая переменная удовлетворяет взаимозависимости N≥n, M≥m, ΔT≥t. Кроме того, предполагается, что переменная h удовлетворяет взаимосвязи 0≤h≤ΔТ.

Способ генерирования сформированного изображения СИ(t+h) с высоким разрешением в момент времени t+h, используя изображение ИВР(t) с высоким разрешением для момента времени t и изображение ИНР(t+h) с низким разрешением в момент времени t+h, будет описан со ссылкой на пример, показанный на фиг.3. Способ обработки устройства 100 обработки изображения, в соответствии с настоящим вариантом выполнения, не ограничивается этим. Например, устройство 100 обработки изображения может генерировать сформированное изображение СИ(t+h) при одновременном обращении к изображению с высоким разрешением ИВР(t+ΔT) для другого момента времени t+ΔT (не показан). В этом случае, устройство 100 обработки изображения может выполнять обработку выбора изображения ИВР с высоким разрешением как опорное, в соответствии с амплитудой, скоростью и т.п. движения субъекта.

(S1)

Вначале устройство 100 обработки изображения выполняет прогнозирование движения, используя изображение ИНР(t) и ИHP(t+h) с низким разрешением, с помощью схемы 142 прогнозирования движения. В этом случае схема 142 прогнозирования движения увеличивает изображение ИНР(t) и ИНР(t+h) с низким разрешением для генерирования увеличенных изображений УИ(t) и УИ(t+h). Схема 142 прогнозирования движения выполняет сравнение увеличенных изображений УИ(t) и УИ(t+h) для детектирования вектора ВД движения между УИ(t) и УИ(t+h). Применимый способ прогнозирования движения включает в себя способ сопоставления блоков, способ корреляции фазы, способ оптического потока или тому подобное.

(S2)

Устройство 100 обработки изображения затем выполняет компенсацию движения, используя вектор ВД движения и изображение ИВР(t) с высоким разрешением, с помощью схемы 144 компенсации движения. Схема 144 компенсации движения использует вектор ВД движения для определения опорного блока изображения ИВР(t) с высоким разрешением, соответствующего опорному блоку увеличенного изображения УИ(t+h). Схема 144 компенсации движения объединения комбинирует такой блок и опорный блок увеличенного изображения УИ(t+h) в определенном соотношении и условно генерирует сформированное изображение СИ'(t+h).

Если выполняют прогнозирование движения и компенсацию движения, между одними и теми же изображениями, уровень возникающих шумов в сформированном изображении СИ(t+h) из-за точности прогнозирования движения будет достаточно малым, если сформированное изображение СИ'(t+h) выводят как сформированное изображение СИ(t+h). Однако поскольку устройство 100 обработки изображения в соответствии с настоящим вариантом выполнения выполняет прогнозирование движения, используя изображение ИНР с низким разрешением, возможно возникновение шумов в информации высокочастотного компонента, содержащегося в изображения ИВР с высоким разрешением, при выполнении компенсации движения, когда используют изображение ИВР с высоким разрешением. То есть существует вероятность того, что корреляция между опорным блоком изображения ИВР с высоким разрешением, используемым при компенсации движения, и опорным блоком увеличенного изображения УИ, соответствующим ему, может быть меньше в зависимости от точности прогнозирования движения.

Например, даже если изображение ИВР с высоким разрешением и изображение ИНР с низким разрешением будут записаны одновременно, изображение ИНР с низким разрешением не содержит высокочастотный компонент, содержащийся в изображении ИВР с высоким разрешением. Таким образом, трудно точно прогнозировать вектор движения, получаемый в результате сравнения изображения с высоким разрешением, даже если прогнозирование движения выполняют с использованием изображения ИНР с низким разрешением, увеличенным до такого же пространственного разрешения, как и изображение ИВР с высоким разрешением. Кроме того, трудно точно прогнозировать вектор движения, даже если вектор движения, детектируемый, путем сравнения изображения ИНР с низким разрешением без расширения будет увеличено, поскольку информация, эквивалентная высокочастотному компоненту, не содержится в изображении ИНР с низким разрешением.

Устройство 100 обработки изображения в соответствии с настоящим вариантом выполнения, таким образом, включает в себя схему 146 определения разностного изображения, предназначенную для выполнения такого управления, что, когда корреляция опорного блока изображения ИВР с высоким разрешением, используемого при компенсации движения, и увеличенного изображения УИ, соответствующего ему, низка, изображение, подвергаемое компенсации движения, не используется для его кадра.

Схема 146 определения разностного изображения рассчитывает величину разности путем сравнения условно сгенерированного сформированного изображения СИ'(t+h)