Устройство обработки изображения, устройство захвата изображения, и способ обработки изображения

Устройство обработки изображения, устройство захвата изображения, и способ обработки изображения

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Настоящее изобретение относится к устройству обработки изображения, устройству захвата изображения и способу обработки изображения и, более конкретно, к методике коррекции изображения, используя обработку восстановления изображения.

ОПИСАНИЕ ТЕХНИКИ

[0002] Качество изображения для изображения, полученного посредством захвата объекта устройством захвата изображения, ухудшается особенно из-за аберраций оптической системы формирования изображения. Например, размытость изображения указывает ухудшение в качестве изображения из-за сферической аберрации, аберрации кома, искривления поля, астигматизма, и т.п. оптической системы формирования изображения. Игнорируя влияние дифракции как характеристики волны света, лучи света, приходящие из одной точки объекта, сходятся в одну точку (фокус) одного и того же размера на плоскости отображения оптической системой отображения без аберраций. Фокус, однако, фактически рассеивается из-за аберраций оптической системы формирования изображения в дополнение к влиянию дифракции.

[0003] Функция рассеяния точки (PSF) оптической системы формирования изображения представляет распределение интенсивности вокруг фокуса, то есть размытость изображения, из-за дифракции и аберраций оптической системы формирования изображения, которое, поэтому, называется компонентом размытия. Компонент размытия указывает не размытие из-за несфокусированного состояния, а размытие, вызванное дифракцией света и аберрациями оптической системы формирования изображения даже в состоянии в фокусе.

[0004] Цветовая окантовка в цветовом изображении из-за осевой хроматической аберрации, цветовая сферическая аберрация и цветовая аберрация кома оптической системы формирования изображения могут быть вызваны изменением в степени размытия в зависимости от длины волны света. Изменение цвета в боковом направлении из-за хроматической разности (степени) увеличения оптической системы может указывать неточное совмещение или смещение фаз из-за изменения в увеличении при формировании изображения в зависимости от длины волны света.

[0005] Оптическая передаточная функция (OTF), полученная посредством выполнения преобразования Фурье для функции рассеяния точки (PSF), служит в качестве информации частотного компонента аберраций и представляется комплексным числом. Абсолютное значение оптической передаточной функции (OTF), которое является компонентом амплитуды, будет называться MTF (передаточная функция модуляции), и компонент фазы будет называться PTF (передаточная функция фазы). MTF и PTF являются частотными характеристиками амплитудного и фазового компонентов ухудшения изображения из-за аберраций. Компонент PTF фазы представлен как угол фазы:

PTF = tan^-1(Im(OTF)/Re(OTF))... (1),

где Re(OTF) и Im(OTF) представляют реальную часть и мнимую часть оптической передаточной функции соответственно.

[0006] Как описано выше, так как оптическая передаточная функция оптической системы формирования изображения ухудшает и компонент амплитуды и компонент фазы изображения, соответствующие точки изображения объекта размываются асимметрично относительно фокуса аналогично случаю, в котором имеет место аберрация кома.

[0007] Хроматическая разность (степени) увеличения указывает явление, в котором позиция отображения смещается из-за изменения в увеличении отображения в зависимости от длины волны света. Датчик изображения обычно снабжается мозаичным фильтром цветов RGB, и каждый пиксель конфигурируется, чтобы получить один из R, G и В компонентов цвета. В дополнение к неточному совмещению позиции формирования изображения между длинами волн R G и В, неточное совмещение позиции формирования изображения для каждой длины волны, то есть рассеяние изображения из-за смещения фазы, имеет место в пределах каждого полученного цветового компонента. Хотя хроматическая разность увеличения точно не указывает изменение цвета из-за простого параллельного смещения, изменение цвета и хроматическая разность увеличения используются как синонимы в этом описании, если иначе не определено.

[0008] Известен способ, называемый способом восстановления изображения, или способом реставрации изображения, для коррекции ухудшения в компоненте амплитуды (MTF) и компоненте фазы (PTF), используя информацию оптической передаточной функции оптической системы формирования изображения. Обработка для коррекции ухудшения в изображении, используя информацию оптической передаточной функции оптической системы формирования изображения, поэтому в дальнейшем будет называться обработкой восстановления изображения.

[0009] Краткий обзор обработки восстановления изображения описан ниже. Пусть g (x, y) - есть ухудшенное изображение, f (x, y) - есть первоначальное изображение, и h (x, y) - есть функцией рассеяния точки, полученная посредством выполнения обратного преобразования Фурье для оптической передаточной функции оптической системы формирования изображения. Тогда,

g(x, y)= h(x, y) * f(x, y)... (2)

где оператор "*" представляет свертку и (x, y) представляет координаты на изображении.

[0010] Преобразование Фурье выполняют для уравнения (2), чтобы получить формат отображения на двумерной частотной плоскости, приводя к формату произведения для каждой частоты, как представлено посредством:

G(u, v) = H(u, v) • F(u, v)... (3),

где H представляет оптическую передаточную функцию, полученную посредством выполнения преобразования Фурье для функции рассеяния точки, и (u, v) представляет координаты на двумерной частотной плоскости, то есть частоту.

[0011] Чтобы получить первоначальное изображение из захваченного ухудшенного изображения, необходимо только разделить обе стороны уравнения (3) на H, как представлено:

G(u, v)/Н(u, v) = F(u, v)... (4)

[0012] Первоначальное изображение f (x, y) получают как восстановленное изображение, выполняя обратное преобразование Фурье для F (u, v), чтобы возвратиться к действительной плоскости.

[0013] Пусть R есть 1/H в вышеупомянутом уравнении, подвергавшееся обратному преобразованию Фурье. Тогда возможно получить первоначальное изображение, выполняя сверточную обработку для изображения на действительной плоскости, как указано ниже:

g(x, y) * R(x, y) = f(x, y)... (5)

[0014] R(x, y) будет называться фильтром восстановления изображения. Фильтр восстановления изображения, который должен быть применен к двумерному изображению, является в общем случае двумерным фильтром, имеющим отвод (ячейку), соответствующий каждому пикселю изображения. Кроме того, когда количество отводов (ячеек) фильтра восстановления изображения увеличивается, обычно улучшается точность восстановления. Фактическое количество отводов устанавливается согласно требуемому качеству изображения, способности обработки изображения, характеристикам аберрации и т.п. Так как фильтр восстановления изображения основан на оптической передаточной функции, которая отражает характеристики аберрации оптической системы формирования изображения, ухудшение в компоненте частоты и компоненте фазы может быть скорректировано с высокой точностью. Такой фильтр восстановления изображения существенно отличается от двумерного фильтра, подобного фильтру выделения контуров (фильтру верхних частот), имеющему три отвода в каждом из горизонтального и вертикального направлений.

[0015] Например, японский патент № 3532368 раскрывает способ устранения размытия изображения в части, отличной от диапазона фокусировки, изображения, захваченного флюоресцентным эндоскопом для того, чтобы наблюдать внутреннюю часть живого тела, используя функцию рассеяния точки согласно длине волны флюоресценции, подлежащей использованию.

[0016] Следует заметить, что, так как фактическое изображение включает в себя шумовой компонент, использование фильтра восстановления изображения, созданного посредством получения полного обращения оптической передаточной функции, усиливает шумовой компонент, таким образом не позволяя получить высококачественное восстановленное изображение. Фильтр восстановления изображения, созданный посредством получения полного обращения оптической передаточной функции, восстанавливает ухудшение в амплитуде посредством оптической системы отображения, корректируя (увеличивая) MTF оптической системы формирования изображения так, что MTF становится равной 1 для всех частот. Если компонент амплитуды изображения был суммирован с амплитудой шума, спектр мощности шума увеличивается с увеличением MTF, таким образом нежелательно усиливая шум согласно степени восстановления (коэффициенту восстановления) MTF.

[0017] Существует известный способ подавления шума в восстановленном изображении, используя фильтр восстановления изображения для подавления отношения восстановления на высокочастотной стороне изображения согласно отношению уровня между сигналом изображения и шумовым сигналом, подобный фильтру Винера (Wiener). Ухудшение компонента цветовой окантовки изображения может быть скорректировано, например, исправлением компонента размытости так, чтобы величина размытости для соответствующих цветовых компонентов изображения было однородной. Следует заметить, что так как оптическая передаточная функция изменяется в зависимости от захваченного состояния, такого как позиция масштабирования или диаметр апертурной диафрагмы оптической системы формирования изображения, возможно реализовать высокоточную обработку восстановления изображения, используя фильтр восстановления изображения, соответствующий захваченному состоянию.

[0018] Существует хорошо известная методика улучшения качества изображения посредством выполнения обработки восстановления изображения, используя функцию рассеяния точки оптической системы формирования изображения для захваченного изображения, чтобы корректировать различные аберрации.

[0019] В фактической операции захвата, однако, захваченное состояние введенного изображения, может неоптимально совпадать с состоянием фильтра восстановления изображения, который должен быть применен.

[0020] Примером является захваченное изображение стереоскопического объекта. Так как устройство захвата изображения захватывает изображение посредством фокусировки на одной плоскости в пространстве объекта посредством функции автофокуса или ручной фокусировки, объект, помещенный в фокальную плоскость, захватывается относительно резко. Другой объект (включая часть того же объекта, которая находится в позиции, отличающейся от фокальной плоскости) захватывается с величиной размытости, соответствующей расстоянию от фокальной плоскости.

[0021] Если информация о расстоянии до объекта включает в себя только расстояние от фокальной плоскости, оптимальный фильтр восстановления изображения для этого расстояния объекта и угла вида выбирается или генерируется, чтобы быть использованным. Следовательно, так как оптимальный фильтр восстановления изображения применяется к объекту в фокусе, возможно получить желательный результат восстановления для такого объекта. Так как, однако, фильтр восстановления изображения является не оптимальным для объекта не в фокусе, эффект восстановления получается до некоторой степени, но размытость не может быть устранена для такого объекта.

[0022] С другой стороны, размытость объекта в фотографии используется как способ получения стереоскопического эффекта для объекта или представления интересующего объекта. Например, существует фотографический метод, в котором телеобъектив, имеющий небольшую глубину резкости, используется для фокусировки на главном объекте и фон преднамеренно размывается. С учетом наличия такого фотографического метода вышеописанная обработка восстановления изображения, в которой объект в фокусе сделан более четким и расфокусированный объект остается размытым, может быть подходящей.

[0023] Если, однако, обработка восстановления изображения выполняется, используя фильтр восстановления изображения, который является оптимальным для объекта на фокусном расстоянии и не оптимален для объекта на нефокусном расстоянии, может произойти окрашивание в объекте на нефокусном расстоянии. Окрашивание здесь указывает, что цвет (ложный цвет), который объект не имеет, появляется в краевой части объекта (объект не в фокусе) на нефокусном расстоянии изображения после обработки восстановления изображения, так как соотношение между степенями размытости соответствующих цветовых компонентов изображения перед обработкой восстановления изображения отличаются от такового после обработки восстановления изображения.

[0024] Такое окрашивание может также произойти в операции, отличной от операции захвата стереоскопического объекта. Окрашивание по существу имеет место, когда состояние аберраций в захвате изображения отличается от состояния аберраций, которые скорректированы фильтром восстановления изображения, который должен быть применен, независимо от того, находится ли объект в фокусе. Это может быть вызвано, например, производственной вариацией оптической системы формирования изображения и вариацией в спектре источника света при захвате изображения.

[0025] В качестве способа уменьшения такого окрашивания существует способ коррекции цвета изображения после процесса восстановления изображения на основании цветовой информации изображения перед обработкой восстановления изображения. То есть этот способ предназначен для уменьшения окрашивания из-за обработки восстановления изображения посредством определения изменения в цвете из-за обработки восстановления изображения в каждом пикселе изображения.

[0026] Если датчик изображения имеет матричный цветовой фильтр Байера (Bayer), изображение, полученное этим датчиком изображения, является RAW-изображением, в котором каждый пиксель имеет один из R, G и В компонентов цвета. Два процесса восстановления изображения для такого RAW-изображения рассматриваются. Первый способ применяет процесс интерполяции цвета к RAW-изображению так, чтобы каждый пиксель имел все R, G и В компоненты цвета, и затем применяет фильтр восстановления изображения к каждой из плоскостей R, G и В. Второй способ применяет фильтр восстановления изображения к RAW-изображению, в котором каждый пиксель имеет один цветовой компонент без применения процесса интерполяции цвета.

[0027] В способе применения фильтра восстановления изображения к каждой цветовой плоскости количество пикселей, к которым должна быть применена обработка восстановления изображения и количество отводов фильтра восстановления изображения, являются большими по сравнению со способом применения фильтра восстановления изображения к RAW-изображению, таким образом значительно увеличивая нагрузку обработки восстановления изображения. Если поэтому требуется низкая нагрузка обработки, используется способ применения обработки восстановления изображения к RAW-изображению. Даже когда обработка восстановления изображения применяется к RAW-изображению, может произойти окрашивание в выходном изображении, полученном посредством применения так называемой обработки улучшения, включающей процесс интерполяции цвета в RAW-изображении, если состояние аберраций при захвате изображения отличается от такового аберраций, которые скорректированы фильтром восстановления изображения, который должен быть применен. Окрашивание, которое имеет место в обработке восстановления изображения, которая выполняется для RAW-изображения, чтобы улучшить качество изображения выходного изображения, приводит к ухудшению в качестве изображения, которое не может быть проигнорировано, и должно быть достаточно подавлено.

[0028] Так как, однако, каждый пиксель RAW-изображения имеет только один цветовой компонент, как описано выше, нет никакой цветовой информации, необходимой для измерения изменения в цвете до и после обработки восстановления изображения. Поэтому невозможно применить неизмененный вышеописанный способ коррекции цвета изображения после обработки восстановления изображения на основании цветовой информации изображения перед обработкой восстановления изображения.

[0029] Способ, раскрытый в японском патенте № 3532368, пытается служить дополнением мелкой глубине поля резкости оптической системы формирования изображения посредством выполнения обработки восстановления изображения для нефокусного диапазона захваченного изображения. При обработке восстановления изображения, описанной в японском патенте № 3532368, даже при том, что возможно улучшить резкость несфокусированного диапазона фокусировки, окрашивание, которое имеет место в обработке восстановления изображения, примененной к RAW-изображению, не может быть достаточно подавлено.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0030] Настоящее изобретение было сделано с учетом вышеупомянутых проблем обычной методики и обеспечивает устройство обработки изображения, устройство захвата изображения и способ обработки изображения, которые позволяют подавить окрашивание, которое имеет место в обработке восстановления изображения для RAW-изображения.

[0031] Согласно аспекту настоящего изобретения предоставлено устройство обработки изображения для коррекции ухудшения в качестве изображения из-за аберраций оптической системы формирования изображения устройства захвата изображения в RAW-изображении, которое было захвачено устройством захвата изображения, и в котором каждый пиксель имеет один цветовой компонент, причем упомянутое устройство обработки изображения содержит: первое средство пиксельной интерполяции для выполнения обработки пиксельной интерполяции для заранее определенного опорного цветового компонента RAW-изображения; первое средство получения для получения, для каждого цветового компонента, отличного от опорного цветового компонента RAW-изображения, первого цветового контраста, используя пиксельное значение этого цветового компонента и пиксельное значение опорного цветового компонента после обработки пиксельной интерполяции; средство обработки восстановления изображения для применения фильтра восстановления изображения на основании функции, представляющей аберрации оптической системы формирования изображения, к каждому цветовому компоненту RAW-изображения; второе средство пиксельной интерполяции для выполнения обработки пиксельной интерполяции для опорного цветового компонента RAW-изображения, к которому был применен фильтр восстановления изображения; второе средство получения для получения, для каждого цветового компонента, отличного от опорного цветового компонента RAW-изображения, к которому был применен фильтр восстановления изображения, второго цветового контраста, используя пиксельное значение этого цветового компонента и пиксельное значение опорного цветового компонента, после обработки пиксельной интерполяции вторым средством пиксельной интерполяции; и средство коррекции пиксельного значения для коррекции пиксельного значения RAW-изображения, к которому фильтр восстановления изображения был применен, согласно разности между первым цветовым контрастом и вторым цветовым контрастом.

[0032] Согласно другому аспекту настоящего изобретения предоставлено устройство захвата изображения, содержащее: оптическую систему формирования изображения для формирования изображения оптического изображения объекта; датчик изображения для захвата оптического изображения; и устройство обработки изображения для коррекции ухудшения в качестве изображения из-за аберраций оптической системы формирования изображения устройства захвата изображения в RAW-изображении, которое было захвачено устройством захвата изображения, и в котором каждый пиксель имеет один цветовой компонент, причем устройство обработки изображения содержит: первое средство пиксельной интерполяции для выполнения обработки пиксельной интерполяции для заранее определенного опорного цветового компонента RAW-изображения; первое средство получения для получения для каждого цветового компонента, отличного от опорного цветового компонента RAW-изображения, первого цветового контраста, используя пиксельное значение этого цветового компонента и пиксельное значение опорного цветового компонента после обработки пиксельной интерполяции; средство обработки восстановления изображения для применения фильтра восстановления изображения на основании функции, представляющей аберрации оптической системы формирования изображения, к каждому цветовому компоненту RAW-изображения; второе средство пиксельной интерполяции для выполнения обработки пиксельной интерполяции для опорного цветового компонента RAW-изображения, к которому был применен фильтр восстановления изображения; второе средство получения для получения, для каждого цветового компонента, отличного от опорного цветового компонента RAW-изображения, к которому был применен фильтр восстановления изображения, второго цветового контраста, используя пиксельное значение этого цветового компонента и пиксельное значение опорного цветового компонента, после обработки пиксельной интерполяции вторым средством пиксельной интерполяции; и средство коррекции пиксельного значения для коррекции пиксельного значения RAW-изображения, к которому фильтр восстановления изображения был применен, согласно разности между первым цветовым контрастом и вторым цветовым контрастом.

[0033] Согласно дополнительному аспекту настоящего изобретения предоставлен способ обработки изображения для коррекции ухудшения в качестве изображения из-за аберраций оптической системы формирования изображения устройства захвата изображения в RAW-изображении, которое было захвачено устройством захвата изображения и в котором каждый пиксель имеет один цветовой компонент, при этом способ содержит: первый этап пиксельной интерполяции для выполнения обработки пиксельной интерполяции для заранее определенного опорного цветового компонента RAW-изображения; первый этап получения для получения, для каждого цветового компонента, отличного от опорного цветового компонента RAW-изображения, первого цветового контраста, используя пиксельное значение этого цветового компонента и соответствующее пиксельное значение опорного цветового компонента, после обработки пиксельной интерполяции; этап обработки восстановления изображения для применения фильтра восстановления изображения на основании функции, представляющей аберрации оптической системы формирования изображения, к каждому цветовому компоненту RAW-изображения; второй этап пиксельной интерполяции для выполнения обработки пиксельной интерполяции для опорного цветового компонента RAW-изображения, к которому был применен фильтр восстановления изображения; второй этап получения для получения для каждого цветового компонента, отличного от опорного цветового компонента RAW-изображения, к которому был применен фильтр восстановления изображения, второго цветового контраста, используя пиксельное значение этого цветового компонента и соответствующее пиксельное значение опорного цветового компонента, после обработки пиксельной интерполяции во втором этапе пиксельной интерполяции; и этап коррекции пиксельного значения для коррекции пиксельного значения RAW-изображения, к которому был применен фильтр восстановления изображения, согласно разности между первым цветовым контрастом и вторым цветовым контрастом.

[0034] Дополнительные признаки настоящего изобретения станут очевидными из нижеследующего описания вариантов осуществления со ссылками на приложенные чертежи.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0035] Фиг.1 является блок-схемой, показывающей пример компоновки устройства захвата изображения в качестве примера устройства обработки изображения согласно варианту осуществления настоящего изобретения;

[0036] Фиг.2 является блок-схемой, показывающей функциональную компоновку блока обработки восстановления изображения согласно первому варианту осуществления настоящего изобретения;

[0037] Фиг.3 является последовательностью операций, иллюстрирующей обработку восстановления изображения согласно первому варианту осуществления настоящего изобретения;

[0038] Фиг.4A-4E являются видами для пояснения RAW-изображения, полученного датчиком изображения, имеющим матричный фильтр Байера основного цвета;

[0039] Фиг.5A-5К являются видами для пояснения обработки пиксельной интерполяции обработки восстановления изображения согласно первому варианту осуществления настоящего изобретения;

[0040] Фиг.6A и 6B являются видами для пояснения фильтра восстановления изображения согласно первому варианту осуществления настоящего изобретения;

[0041] Фиг.7A и 7B являются видами, схематично показывающими фильтр восстановления изображения, который должен быть применен к RAW-изображению, в котором каждый пиксель имеет только один цветовой компонент;

[0042] Фиг.8 является видом, показывающим точечный источник света согласно варианту осуществления настоящего изобретения;

[0043] Фиг.9A и 9B являются видами для пояснения операции и результат обработки восстановления изображения согласно первому варианту осуществления настоящего изобретения;

[0044] Фиг.10A-10D являются графиками, каждый показывающим пример MTF оптической системы формирования изображения устройства захвата изображения согласно варианту осуществления настоящего изобретения и пространственные частотные характеристики MTF после применения фильтра восстановления изображения;

[0045] Фиг.10E является графиком, показывающим скорости увеличения/уменьшения (коэффициент восстановления) для MTF устройства захвата изображения согласно варианту осуществления настоящего изобретения, которые получены посредством применения фильтра восстановления изображения;

[0046] Фиг.11 является блок-схемой, показывающей другую функциональную компоновку блока обработки восстановления изображения согласно первому варианту осуществления настоящего изобретения;

[0047] Фиг.12A-12D являются графиками для пояснения характеристики в реальном пространстве и частотном пространстве обработки восстановления изображения согласно варианту осуществления настоящего изобретения;

[0048] Фиг.13A и 13B являются графиками для пояснения генерирования фильтра восстановления изображения с учетом хроматической разности увеличения;

[0049] Фиг.14A и 14B являются видами для пояснения способа генерирования данных коррекции хроматической разности увеличения согласно варианту осуществления настоящего изобретения;

[0050] Фиг.15 является блок-схемой, показывающей функциональную компоновку блока обработки восстановления изображения согласно второму варианту осуществления настоящего изобретения;

[0051] Фиг.16 является последовательностью операций, иллюстрирующей обработку восстановления изображения согласно второму варианту осуществления настоящего изобретения;

[0052] Фиг.17A к 17E являются видами для пояснения обработки восстановления изображения согласно второму варианту осуществления настоящего изобретения;

[0053] Фиг.18A и 18B являются видами для пояснения обработки восстановления изображения согласно второму варианту осуществления настоящего изобретения; и

[0054] Фиг.19A и 19B являются видами для пояснения операции и результата обработки восстановления изображения согласно второму варианту осуществления настоящего изобретения.

ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0055] Варианты осуществления настоящего изобретения описаны ниже более подробно в соответствии с прилагаемыми чертежами.

(Компоновка устройства захвата изображения)

[0056] Фиг.1 является блок-схемой, показывающей компоновку устройства захвата изображения в качестве примера устройства обработки изображения согласно варианту осуществления настоящего изобретения. В этом варианте осуществления описан случай, в котором устройство захвата изображения включает в себя оптическую систему отображения и датчик изображения, к которому применяется настоящее изобретение. Однако компоненты для генерирования захваченного изображения, такие как оптическая система отображения и датчик изображения, не являются существенными в настоящем изобретении.

[0057] Оптическая система 101 формирования изображения формирует оптическое изображение объекта (не показан) на датчике 102 изображения. Датчик 102 изображения преобразует изображение в электрический сигнал, который преобразуется в цифровой сигнал A/D (аналого-цифровым (АЦП)) преобразователем 103 и вводится в блок 104 обработки изображения. Блок 104 обработки изображения включает в себя блок 111 обработки восстановления изображения и другой блок 112 обработки изображения для выполнения обработки изображения, отличной от обработки восстановления изображения. Блок 111 обработки восстановления изображения получает захваченную информацию состояния устройства захвата изображения от блока 107 обнаружения состояния. Блок 107 обнаружения состояния может получить захваченную информацию состояния устройства захвата изображения непосредственно от системного контроллера 110 или может получить захваченную информацию состояния, ассоциированную с оптической системой 101 формирования изображения, от блока 106 управления оптической системой формирования изображения.

[0058] Затем блок 111 обработки восстановления изображения выбирает фильтр восстановления изображения, соответствующий захваченному состоянию, из, например, блока 108 хранения и выполняет обработку коррекции хроматической разности увеличения и обработку применения фильтра восстановления изображения для изображения, введенного в блок 104 обработки изображения. Блок 111 обработки восстановления изображения описан подробно ниже по тексту. Блок 108 хранения может хранить информацию, необходимую для генерирования фильтра восстановления изображения (например, информацию о функции рассеяния точки или оптической передаточной функции), вместо фильтра восстановления изображения. В этом случае блок 111 обработки восстановления изображения выбирает информацию о функции рассеяния точки или оптической передаточной функции, соответствующую захваченному состоянию, из блока 108 хранения, чтобы генерировать фильтр восстановления изображения, соответствующий захваченному состоянию, и использует сгенерированный фильтр восстановления изображения, чтобы выполнить обработку восстановления изображения. Другой блок 112 обработки изображения выполняет заранее определенную обработку изображения, такую как гамма-коррекция и настройка цветового баланса, для изображения после обработки восстановления изображения, таким образом генерируя файл изображения, такой как файл JPEG.

[0059] Системный контроллер 110 сохраняет выходное изображение, обработанное блоком 104 обработки изображения, в носителе 109 записи изображения в заранее определенном формате. Блок 105 отображения может отобразить изображение, полученное посредством выполнения заранее определенной обработки для отображения для этого изображения после обработки восстановления изображения или изображения, которое не подверглось обработке восстановления изображения или подверглось простой обработке восстановления.

[0060] Системный контроллер 110 выполняет ряд операций управления, и блок 106 управления оптической системой формирования изображения механически управляет оптической системой 101 формирования изображения (апертурной диафрагмой 101a, фокусирующей линзой 101b, оптическим масштабированием и т.п.) в ответ на команду от системного контроллера 110. Системный контроллер 110 является, например, программируемым контроллером, таким как CPU или MPU, и реализует полную работу устройства захвата изображения посредством выполнения программы, сохраненной в блоке 108 хранения. Должно быть отмечено, что, хотя блок 104 обработки изображения может быть реализован аппаратным обеспечением, по меньшей мере часть блока 104 обработки изображения может быть также реализована системным контроллером 110 программным образом.

[0061] Диаметр 101a апертурной диафрагмы управляется как параметр F-число захваченного состояния. Позиция фокусирующей линзы 101b управляется механизмом автофокуса (AF) или механизмом ручного фокуса (не показан), чтобы настроить ее фокус согласно расстоянию до объекта. Оптическая система 101 формирования изображения может включать в себя оптический элемент, такой как низкочастотный фильтр или инфракрасный режекторный светофильтр. Должно быть отмечено, что, когда используется элемент, такой как низкочастотный фильтр, который влияет на характеристики оптической передаточной функции, изменение оптической передаточной функции из-за оптического элемента рассматривается при создании фильтра восстановления изображения. Инфракрасный режекторный светофильтр также влияет на функцию рассеяния точки каждого из каналов R, G и B как интеграл функции рассеяния точки длины волны спектроскопии. Это особенно справедливо для функции рассеяния точки канала R. Таким образом, изменение в функции рассеяния точки из-за инфракрасного режекторного фильтра предпочтительно учитывается при создании фильтра восстановления изображения.

[0062] Хотя оптическая система 101 формирования изображения показана как часть устройства захвата изображения на Фиг.1, она может иметь взаимозаменяемую компоновку, подобную камере с взаимозаменяемыми объективами.

(Блок 111 обработки восстановления изображения)

[0063] Фиг.2 является блок-схемой, показывающей функциональную компоновку блока 111 обработки восстановления изображения. Фиг.3 является последовательностью операций для пояснения обработки восстановления изображения в блоке 111 обработки восстановления изображения.

[0064] RAW-изображение, в котором каждый пиксель имеет один цветовой компонент, как показано на Фиг.4A, вводится в блок 111 обработки восстановления изображения. Как показано на Фиг.4B-4D, каждый цветовой компонент имеет значение только в некоторых пикселях. Обработка в блоке 111 обработки восстановления изображения выполняется для каждого цветового компонента (цветовой плоскости), показанного на Фиг.4B, 4C или 4D. Хотя Фиг.4B-4D показывают случай, в котором RAW-изображение вводится посредством каждого цветового компонента, RAW-изображение может быть введено, будучи разделенным на соответствующие цветовые плоскости, или может быть обработано посредством считывания только необходимых цветовых компонентов из памяти, хранящей RAW-изображение.

[0065] На этапе S201 на Фиг.3 первый блок 1001 пиксельной интерполяции применяет обработку пиксельной интерполяции к компонентам G (Фиг.4B), чтобы получить значение компонента G для пикселей без значения компонента G. С помощью этой обработки пиксельной интерполяции обеспечивается, что каждый пиксель имеет значение компонента G, как показано на Фиг.4E.

[0066] На этапе S202 блок (R) 1002 вычисления цветового контраста перед восстановлением получает информацию цветового контраста перед обработкой восстановления изображения на основании компонентов G (Фиг.4E) после обработки пиксельной интерполяции, и компоненты R (Фиг.4C), которые не подверглись пиксельной интерполяции. Точно так же, блок (B) 1003 вычисления цветового контраста перед восстановлением получает информацию цветового контраста перед обработкой восстановления изображения на основании компонентов G (Фиг.4E) после обработки пиксельной интерполяции, и компоненты В (Фиг.4D), которые не подверглись пиксельной интерполяции.

[0067] В этом варианте осуществления цветовой контраст определяется как разность относительно значения сигнала опорного цветового компонента (G в этом случае). Цветовые разности C1r и C1b компонентов R и В, отличных от опорного цветового компонента относительно компонента G, соответственно вычисляются посредством:

C1r(x, y) = R1(x, y) - G1(x, y)... (6)

C1b(x, у) = B1(x, y) - G1(x, y)... (7)

где (x, y) представляет значение координат на изображении.

[0068] Следует заметить, что, так как компоненты R и В не подверглись пиксельной интерполяции, как описано выше, пиксель, для которого хроматическая разность вычисляется на этапе S202, является только пикселем, который имеет значение компонента R или В, отличное от опорного цветового компонента. То есть блок (R) 1002 вычисления цветового контраста перед восстановлением вычисля