Устройство обработки изображения, устройство захвата изображения и способ обработки изображения

Устройство обработки изображения, устройство захвата изображения и способ обработки изображения

Иллюстрации

Показать все

Реферат

Область, к которой относится изобретение

Предшествующий уровень техники

[0001] Настоящее изобретение относится к устройству обработки изображения, устройству захвата изображения и способу обработки изображения, и, более конкретно, к способу коррекции изображения, используя обработку восстановления изображения.

Описание связанной области техники

[0002] Качество изображения изображения, полученного посредством захвата объекта устройством захвата изображения, ухудшается особенно из-за аберраций системы формирования оптического изображения. Например, размытость изображения указывает ухудшение качества изображения из-за сферической аберрации, комы, кривизны поля, астигматизма и т.п. системы формирования оптического изображения. Не учитывая влияние дифракции как характеристики световой волны, лучи света, исходящие из одной точки объекта, сводятся в одной точке (фокус) одного и того же размера в плоскости изображения посредством системы формирования оптического изображения без аберраций. Однако фокус фактически рассеивается из-за аберраций системы формирования оптического изображения в дополнение к влиянию дифракции.

[0003] Функция рассеяния точки (PSF) системы формирования оптического изображения представляет распределение интенсивности вокруг фокуса, то есть размытость изображения из-за дифракции и аберраций системы формирования оптического изображения, которая, поэтому, называется компонентом размытости. Компонент размытости указывает не размытость из-за состояния «не в фокусе», а размытость, вызванную дифракцией света и аберрациями системы формирования оптического изображения даже в состоянии «в фокусе».

[0004] Цветная окантовка в цветном изображении из-за осевой хроматической аберрации, цветовой сферической аберрации и цветовой комы системы формирования оптического изображения может быть вызвана изменением степени размытости в зависимости от длины волны света. Изменение цвета в поперечном направлении из-за хроматической разности увеличения оптической системы может указать неточное совмещение или смещение фазы из-за изменения увеличения изображения в зависимости от длины волны света.

[0005] Оптическая передаточная функция (OTF), полученная посредством выполнения преобразования Фурье для функции рассеяния точки (PSF), служит информацией частотного компонента аберраций и представлена комплексным числом. Абсолютное значение оптической передаточной функции (OSF), то есть компонент амплитуды, будет называться MTF (передаточной функцией модуляции), и компонент фазы будет называться PTF (передаточной функцией фазы). MTF и PTF являются частотными характеристиками компонента амплитуды и компонента фазы ухудшения изображения из-за аберраций, соответственно. Компонент фазы PTF представлен как угол фазы: PTF = tan^-1 (Im (OTF) / Ре (OTF))... (1),

где Ре (OTF) и Im (OTF) представляют реальную часть и мнимую часть оптической передаточной функции, соответственно.

[0006] Как описано выше, так как оптическая передаточная функция системы формирования оптического изображения ухудшает как компонент амплитуды, так и компонент фазы изображения, соответствующие точки изображения объекта размываются асимметрично относительно фокуса, аналогично случаю, в котором имеет место кома.

[0007] Хроматическая разность увеличения указывает явление, в котором позиция изображения смещается из-за изменения увеличения изображения в зависимости от длины волны света. Датчик изображения в целом обеспечен цветным мозаичным фильтром RGB, и каждый пиксель сконфигурирован для получения одного из компонентов цвета R, G и B. В дополнение к неточности совмещения позиции изображения между длинами волны R, G и B, неточность совмещения позиции изображения для каждой длины волны, то есть рассеяние изображения из-за смещения фазы, имеет место в пределах каждого полученного компонента цвета. Хотя хроматическая разность увеличения точно не указывает изменение цвета из-за простого параллельного смещения, изменение цвета и хроматическая разность увеличения используются как синонимы в этом описании, если не определено иначе.

[0008] Известен способ, называемый способом восстановления изображения или способом реконструкции изображения, для коррекции ухудшения компонента амплитуды (MTF) и компонента фазы (PTF), используя информацию оптической передаточной функции (OTF) системы формирования оптического изображения. Обработка коррекции ухудшения изображения, используя информацию оптической передаточной функции системы формирования оптического изображения, поэтому, в дальнейшем будет называться обработкой восстановления изображения.

[0009] Ниже описан краткий обзор обработки восстановления изображения. Пусть g (x, y) будет ухудшенным изображением, f (x, y) будет исходным изображением, и h (x, y) будет функцией рассеяния точки, полученной посредством выполнения обратного преобразования Фурье для оптической передаточной функции системы формирования оптического изображения. Тогда

g (x, y)=h (x, y) * f (x, y)... (2),

где операция "*" представляет свертку, и (x, y) представляет координаты на изображении.

Преобразование Фурье выполняется для уравнения (2), чтобы получить формат изображения в двумерной плоскости частоты, приводя к формату произведения для каждой частоты, как указано:

G (u, v)=H (u, v) · F (u, v)... (3),

где H представляет оптическую передаточную функцию, полученную посредством выполнения преобразования Фурье для функции рассеяния точки, и (u, v) представляет координаты в двумерной плоскости частоты, то есть частоту.

[0011] Чтобы получить исходное изображение из захваченного искаженного изображения, необходимо только разделить обе стороны уравнения (3) на H, как представлено:

G (u, v)/H (u, v)=F (u, v)... (4)

Исходное изображение f (x, y) получено как восстановленное изображение посредством выполнения обратного преобразования Фурье для F (u, v), чтобы вернуться в реальную плоскость.

[0012] Пусть R будет 1/H в вышеуказанном уравнении, подвергнутом обратному преобразованию Фурье. Тогда возможно получить исходное изображение посредством выполнения обработки свертки для изображения в реальной плоскости, как указано:

g (x, y) * R (x, y)=f (x, y)... (5)

R (x, y) будет называться фильтром восстановления изображения. Фильтр восстановления изображения, который должен быть применен к двумерному изображению, в целом является двумерным фильтром, имеющим отвод (ячейку), соответствующий каждому пикселю изображения. Кроме того, когда количество отводов (ячеек) фильтра восстановления изображения увеличивается, в целом повышается точность восстановления. Фактическое количество отводов определяется согласно необходимому качеству изображения, способности обработки изображения, характеристикам аберрации и т.п. Так как фильтр восстановления изображения основан на оптической передаточной функции, которая отражает характеристики аберрации системы формирования оптического изображения, ухудшение компонента частоты и компонента фазы может быть скорректировано с высокой точностью. Такой фильтр восстановления изображения существенно отличается от двумерного фильтра, подобного фильтру выделения контуров (высокочастотный фильтр), имеющему три отвода в каждом из горизонтальном и вертикальном направлений.

[0013] Например, японский патент №3532368 раскрывает способ устранения размытости изображения в части, отличной от диапазона в фокусе, изображения, захваченного флюоресцентным эндоскопом, для наблюдения внутренней части живого организма, используя функцию рассеяния точки, согласно длине волны флюоресценции, которая должна быть использована.

[0014] Должно быть отмечено, что так как фактическое изображение включает в себя компонент шума, использование фильтра восстановления изображения, созданного посредством получения полного обращения оптической передаточной функции, усиливает компонент шума, таким образом препятствуя получению высококачественного восстановленного изображения. Фильтр восстановления изображения, созданный посредством получения полного обращения оптической передаточной функции, восстанавливает ухудшение амплитуды оптической системой изображения посредством коррекции (увеличения) MTF системы формирования оптического изображения таким образом, чтобы MTF стала 1 для всех частот. Если компонент амплитуды изображения был суммирован с амплитудой шума, увеличивается спектр мощности шума, так как увеличивается MTF, таким образом, нежелательно усиливая шум, согласно степени восстановления (коэффициенту восстановления) MTF.

[0015] Это явление может быть представлено:

G (u, v)=H (u, v) · F (u, v)+N (u, v)... (6)

G (u, v)/H (u, v)=F (u, v)+N (u, v)/H (u, v)... (7),

где N представляет компонент шума.

[0016] Существует известный способ уменьшения шума в восстановленном изображении, используя фильтр восстановления изображения для уменьшения отношения восстановления на высокочастотной стороне изображения, согласно отношению уровня между сигналом изображения и сигналом шума, такой как фильтр Винера (который описан подробно ниже).

[0017] Существует известный способ улучшения качества изображения посредством выполнения обработки восстановления изображения, используя функцию рассеяния точки системы формирования оптического изображения для захваченного изображения, чтобы скорректировать различные аберрации.

[0018] Однако в фактической операции захвата захваченное состояние введенного изображения может не оптимально совпадать с состоянием фильтра восстановления изображения, который должен быть применен.

[0019] Примером является захваченное изображение стереоскопического объекта. Так как устройство захвата изображения захватывает изображение посредством фокусировки в одной плоскости в пространстве объекта посредством функции автофокусировки или ручной фокусировки, объект, помещенный в фокальную плоскость, захватывается относительно резко. Другой объект (включающий в себя часть того же объекта, который находится в позиции, отличающейся от фокальной плоскости) захватывается со степенью резкости, соответствующей расстоянию от фокальной плоскости.

[0020] Если информация о расстоянии объекта включает в себя только расстояние от фокальной плоскости, оптимальный фильтр восстановления изображения, который должен быть использован, выбирается или генерируется для расстояния объекта и угла обзора. Следовательно, так как оптимальный фильтр восстановления изображения применяется к объекту в фокусе, возможно получить желаемый результат восстановления для такого объекта. Однако, так как фильтр восстановления изображения является не оптимальным для объекта не в фокусе, эффект восстановления получается до некоторой степени, но размытость не может быть устранена для такого объекта.

[0021] С другой стороны, размытость объекта в фотографии используется как способ произведения стереоскопического воздействия для объекта или представления интересующего объекта. Например, существует фотографический способ, в котором используется телеобъектив, имеющий небольшую глубину поля резкости, для фокусирования на основном объекте, и фон преднамеренно размывается. С учетом наличия такого фотографического способа вышеописанная обработка восстановления изображения, в которой объект в фокусе делается более четким, и объект не в фокусе остается размытым, может быть подходящей.

[0022] Однако, если выполняется обработка восстановления изображения, используя фильтр восстановления изображения, который является оптимальным для объекта на расстоянии в фокусе и не оптимальным для объекта на расстоянии не в фокусе, может иметь место окрашивание в объекте на расстоянии не в фокусе. В настоящем описании окрашивание указывает, что цвет (ложный цвет), который не имеет объект, появляется в части края объекта (объекта не в фокусе) на нефокусном расстоянии до изображения после обработки восстановления изображения, так как соотношение между степенями размытости соответствующих компонентов цвета изображения до обработки восстановления изображения отличается от размытости после обработки восстановления изображения.

[0023] Такое окрашивание может также иметь место в операции, отличной от операции захвата стереоскопического объекта. Окрашивание по существу имеет место, когда состояние аберраций при захвате изображения отличается от состояния аберраций, которые скорректированы фильтром восстановления изображения, который должен быть применен, независимо от того, находится ли объект в фокусе.

[0024] В качестве способа уменьшения такого окрашивания обеспечивается способ корректирования цвета изображения после обработки восстановления изображения на основании информации цвета изображения до обработки восстановления изображения. Таким образом, способ предназначается для уменьшения окрашивания из-за обработки восстановления изображения посредством определения изменения цвета из-за обработки восстановления изображения в каждом пикселе изображения. Уже есть окрашивание в захваченном изображении до обработки восстановления изображения из-за различных аберраций системы формирования оптического изображения, таких как цветная окантовка, вызванная осевой хроматической аберрацией, цветовой сферической аберрацией или цветовой комой, и изменение цвета, вызванное хроматической разностью увеличения. Если есть такое окрашивание в изображении до обработки восстановления изображения, способ на основании информации цвета изображения до обработки восстановления изображения не сможет достаточно уменьшить окрашивание в изображении после обработки восстановления изображения в некоторых случаях.

[0025] Окрашивание, которое имеет место в обработке восстановления изображения, чтобы улучшить качество изображения, является ухудшением качества изображения, которое не может быть игнорировано, и должно быть достаточно уменьшено.

[0026] Способ, раскрытый в японском патенте №3532368, пытается служить дополнением небольшой глубины поля резкости системы формирования оптического изображения посредством выполнения обработки восстановления изображения для нефокусного диапазона захваченного изображения. При обработке восстановления изображения, описанной в японском патенте №3532368, даже при том, что возможно повысить точность нефокусного диапазона, если есть окрашивание захваченного изображения до обработки восстановления изображения, окрашивание, которое имеет место в изображении после обработки восстановления изображения, не может быть достаточно уменьшено.

Сущность изобретения

[0027] Настоящее изобретение было сделано с учетом вышеупомянутых проблем обычного способа и обеспечивает устройство обработки изображения, устройство захвата изображения и способ обработки изображения, которые позволяют уменьшить окрашивание изображения после обработки восстановления изображения.

[0028] Согласно аспекту настоящего изобретения обеспечено устройство обработки изображения для коррекции ухудшения качества изображения из-за аберраций системы формирования оптического изображения устройства захвата изображения в изображении, захваченном устройством захвата изображения, содержащее: первое средство коррекции хроматической разности увеличения для выполнения коррекции хроматической разности увеличения системы формирования оптического изображения для изображения; первое средство получения для получения первого значения, относящегося к окрашиванию изображения, в котором была скорректирована хроматическая разность увеличения; средство обработки восстановления изображения для применения к изображению, в котором была скорректирована хроматическая разность увеличения, фильтра восстановления изображения на основании функции, представляющей аберрации системы формирования оптического изображения; второе средство получения для получения второго значения, относящегося к окрашиванию изображения, к которому был применен фильтр восстановления изображения; и средство коррекции пиксельного значения для коррекции пиксельного значения изображения, к которому был применен фильтр восстановления изображения, согласно разности между первым и вторым значениями, полученными упомянутым первым средством получения и упомянутым вторым средством получения.

[0029] Согласно другому аспекту настоящего изобретения, обеспечено устройство захвата изображения, содержащее: систему формирования оптического изображения для формирования оптического изображения объекта; датчик изображения для захвата оптического изображения и устройство обработки изображения, согласно настоящему изобретению.

[0030] Согласно дополнительному аспекту настоящего изобретения, обеспечен способ обработки изображения коррекции ухудшения качества изображения из-за аберраций системы формирования оптического изображения устройства захвата изображения в изображении, захваченном устройством захвата изображения, содержащий: этап выполнения коррекции хроматической разности увеличения системы формирования оптического изображения для изображения; первый этап получения для получения первого значения, относящегося к окрашиванию изображения, в котором была скорректирована хроматическая разность увеличения; этап применения к изображению, в котором была скорректирована хроматическая разность увеличения, фильтра восстановления изображения на основании функции, представляющей аберрации системы формирования оптического изображения; второй этап получения получения второго значения, относящегося к окрашиванию изображения, к которому был применен фильтр восстановления изображения; и этап коррекции пиксельного значения изображения, к которому был применен фильтр восстановления изображения, согласно разности между первым и вторым значениями, полученными на первом этапе получения и втором этапе получения.

[0031] Дополнительные признаки настоящего изобретения станут очевидны из следующего описания вариантов осуществления с ссылками на приложенные чертежи.

Краткое описание чертежей

[0032] Фиг. 1 является блок-схемой, показывающей пример компоновки устройства захвата изображения, в качестве примера устройства обработки изображения, согласно варианту осуществления настоящего изобретения;

[0033] Фиг. 2A и 2B являются видами для пояснения фильтра восстановления изображения согласно варианту осуществления настоящего изобретения;

[0034] Фиг. 3A-3D являются графиками для пояснения характеристик в реальном пространстве и пространстве частоты обработки восстановления изображения, согласно варианту осуществления настоящего изобретения;

[0035] Фиг. 4A и 4B являются графиками для пояснения генерирования фильтра восстановления изображения с учетом хроматической разности увеличения;

[0036] Фиг. 5 является последовательностью операций, иллюстрирующей хроматическую разность обработки обнаружения/коррекции увеличения согласно варианту осуществления настоящего изобретения;

[0037] Фиг. 6A и 6B являются видами для пояснения способа генерирования данных коррекции хроматической разности увеличения согласно варианту осуществления настоящего изобретения;

[0038] Фиг. 7 является последовательностью операций, иллюстрирующей обработку восстановления изображения согласно первому варианту осуществления настоящего изобретения;

[0039] Фиг. 8 является видом, показывающим точечный источник света, согласно варианту осуществления настоящего изобретения;

[0040] Фиг. 9A-9C являются видами для пояснения работы и результата обработки восстановления изображения согласно первому варианту осуществления настоящего изобретения;

[0041] Фиг. 10A-10C являются видами для пояснения работы и результата обработки восстановления изображения согласно первому варианту осуществления настоящего изобретения;

[0042] Фиг. 11A-11D являются графиками, показывающими пример функций MTF системы формирования оптического изображения устройства захвата изображения согласно варианту осуществления настоящего изобретения, и пространственных частотных характеристик функций MTF после применения фильтра восстановления изображения;

[0043] Фиг. 11Е является графиком, показывающим степени увеличения/уменьшения (коэффициенты восстановления) функций MTF устройства захвата изображения, согласно варианту осуществления настоящего изобретения, которые получены посредством применения фильтра восстановления изображения;

[0044] Фиг. 12 является последовательностью операций, иллюстрирующей обработку восстановления изображения согласно второму варианту осуществления настоящего изобретения;

[0045] Фиг. 13A-13D являются видами для пояснения работы и результата обработки восстановления изображения согласно второму варианту осуществления настоящего изобретения; и

[0046] Фиг. 14A-14D являются видами для пояснения работы и результата обработки восстановления изображения, согласно второму варианту осуществления настоящего изобретения.

Описание вариантов осуществления

[0047] Варианты осуществления настоящего изобретения описаны ниже подробно в соответствии с сопровождающими чертежами.

[0048] Сначала будет описан краткий обзор обработки восстановления изображения, согласно варианту осуществления настоящего изобретения, и обработки обнаружения/коррекции хроматической разности увеличения.

[0049] (Обработка восстановления изображения)

Аналогично вышеописанной обычной обработке восстановления изображения в основном используется фильтр восстановления изображения. Следующее уравнение (8) указывает характеристики фильтра Винера в качестве примера, используемого в качестве фильтра восстановления изображения.

М (u, v)= 1 H ( u , v ) | H ( u , v ) | 2 | H ( u , v ) | 2 + S N R 2

где М (u, v) представляет частотную характеристику фильтра Винера, |H (u, v)| представляет абсолютное значение (MTF) оптической передаточной функции, и SNR представляет отношение уровня между сигналом изображения и сигналом шума. Как очевидно из вышеупомянутого уравнения, в этом способе для каждой частоты уменьшается коэффициент усиления восстановления (степень восстановления), когда уменьшается MTF, и коэффициент усиления восстановления возрастает, когда увеличивается MTF. Так как, в целом, MTF системы формирования оптического изображения является большой на низкочастотной стороне и является малой на высокочастотной стороне, коэффициент усиления восстановления на высокочастотной стороне изображения по существу уменьшается.

[0050] Как описано выше, когда фильтр восстановления изображения применяется к двумерному изображению, он формируется как двумерный фильтр, имеющий отводы, соответствующие пикселям, и количество отводов может быть определено на основании характеристик аберрации системы формирования оптического изображения и необходимой точности восстановления. Фиг. 2A схематично показывает в качестве примера фильтр восстановления изображения, сформированный как двумерный фильтр, имеющий 11 Ч 11 отводов, то есть 11 отводов в каждом из горизонтального и вертикального направлений. Хотя значение (значение коэффициента) каждого отвода не показано на Фиг. 2A, Фиг. 2B показывает пример распределения коэффициентов отвода одной горизонтальной линии фильтра восстановления изображения. Распределение значений (значений коэффициента) отводов фильтра восстановления изображения служит, чтобы возвратить функцию рассеяния точки, которая пространственно рассеивается из-за аберраций системы формирования оптического изображения, к идеально исходной точке (когда не учитывается влияние дифракции).

[0051] Значение коэффициента отвода фильтра восстановления изображения используется для обработки свертки (операции интеграла свертки, операции произведение-сумма), выполняемой для каждого пикселя на этапе обработки восстановления изображения. При обработке свертки пиксель, который должен быть обработан, делается совпадающим с центральным отводом фильтра восстановления изображения, чтобы применить обработку восстановления изображения к значению сигнала пикселя, который должен быть обработан. В каждой позиции отвода фильтра восстановления изображения получают произведение соответствующего значения сигнала пикселя и значения коэффициента отвода, и значение сигнала пикселя, которое должно быть обработано, заменяется суммой произведений.

[0052] Характеристики в реальном пространстве и частотном пространстве обработки восстановления изображения описаны со ссылками на Фиг. 3A-3D. Фиг. 3A показывает функцию рассеяния точки до обработки восстановления изображения, и Фиг. 3B показывает функцию рассеяния точки после обработки восстановления. Ссылаясь на Фиг. 3C, ссылочная позиция 401 обозначает MTF до обработки восстановления изображения; и 402 обозначает MTF после обработки восстановления изображения. Ссылаясь на Фиг. 3D, ссылочная позиция 403 обозначает PTF до обработки восстановления изображения; и 404 обозначает PTF после обработки восстановления изображения. Как очевидно из Фиг. 3A, функция рассеяния точки до обработки восстановления изображения асимметрично рассеивается, что вынуждает соответствующую PTF иметь значение, отличное от нуля (обозначенное ссылочной позицией 403 на Фиг. 3D). Так как обработка восстановления изображения усиливает MTF, как указано посредством MFP 402 на Фиг. 3C, и корректирует PTF к нулю, как указано посредством PTF 404 на Фиг. 3D, функция рассеяния точки после обработки восстановления изображения является симметричной и острой, как показано на Фиг. 3B.

[0053] Возможно получить фильтр восстановления изображения посредством выполнения обратного преобразования Фурье для функции, которая была сконструирована на основании обратной функции (1/Н) оптической передаточной функции системы формирования оптического изображения. Хотя вышеописанный фильтр Винера может быть использован как фильтр восстановления изображения, может быть использован другой фильтр. Если используется фильтр Винера, возможно создать фильтр восстановления изображения в реальном пространстве, который должен быть использован для обработки свертки, посредством выполнения обратного преобразования Фурье для обратной функции оптической функции передачи.

[0054] Ниже описано генерирование фильтра восстановления изображения с учетом хроматической разности увеличения. Кривая 502 на Фиг. 4A представляет два компонента цвета, которые были изображены в качестве функции рассеяния точки с той же формой, как функция кривой 501 в позиции, полученной посредством выполнения параллельного перемещения в отношении позиции изображения кривой 501. Фиг. 4B показывает функции PTF в этот момент. Прямые линии 601 и 602 на Фиг. 4B соответствуют кривым 501 и 502 на Фиг. 4A. Прямая линия 602 представляет, что фаза имеет наклон. Фильтр восстановления изображения может скорректировать линейную PTF, как показано на Фиг. 4B, и нелинейную PTF как PTF 403 Фиг. 3D, как представлено прямой линией 601 на Фиг. 4B, так как исходная оптическая передаточная функция включает в себя такие функции PTF.

[0055] Возможно генерировать фильтр восстановления изображения, который не корректирует компонент параллельного перемещения хроматической разности увеличения, посредством генерирования фильтра восстановления изображения на основании оптической передаточной функции, для которой линейный компонент был ранее удален из PTF. С другой стороны, если компонент хроматической разности увеличения удален в реальном пространстве, возможно генерировать оптическую передаточную функцию, для которой был удален компонент хроматической разности увеличения, посредством генерирования функции рассеяния точки, для которой кривая 502 Фиг. 4A была параллельно перемещена к позиции кривой 501, чтобы уменьшить разность, и посредством выполнения преобразования Фурье для генерируемой функции рассеяния точки. Так как, фактически, форма функции рассеяния точки кривой 501 отличается от формы функции рассеяния точки кривой 502, может быть использован способ для того, чтобы вынуждать центры тяжести кривых совпадать друг с другом, или способ уменьшения среднеквадратического значения разности между кривыми 501 и 502, чтобы выровнять кривые. Посредством генерирования фильтра восстановления изображения на основании оптической передаточной функции возможно сгенерировать фильтр восстановления изображения, который не корректирует компонент параллельного перемещения хроматической разности увеличения.

[0056] Посредством применения фильтра восстановления изображения, который не корректирует компонент хроматической разности увеличения, становится возможно обработать хроматическую разность увеличения независимо от обработки восстановления изображения. Таким образом, становится возможно выполнить обработку посредством отделения коррекции и делая более резкими асимметричные аберрации для каждого компонента цвета от коррекции изменения цвета в качестве компонента параллельного перемещения хроматической разности увеличения.

[0057] Должно быть отмечено, что так как оптическая передаточная функция изменяется в зависимости от высоты изображения (позиции изображения) системы формирования оптического изображения даже в одном и том же захваченном состоянии (одной и той же позиции масштабирования и одном и том же диаметре апертурной диафрагмы), фильтр восстановления изображения по желанию изменяется и используется согласно высоте изображения.

[0058] Был описан краткий обзор обработки восстановления изображения.

[0059] (Обнаружение и коррекция хроматической разности увеличения)

Возможно вычислить величину коррекции хроматической разности увеличения на основании значений структуры системы формирования оптического изображения, например, линейного компонента PTF и формы функции рассеяния точки, как описано выше.

[0060] Появление хроматической разности увеличения на изображении может изменяться из-за производственного изменения системы формирования оптического изображения и изменения спектра источника света при захвате изображения. В качестве способа, рассматривающего такое изменение, существует способ обнаружения хроматической разности увеличения из изображения. Способ обнаружения хроматической разности увеличения из изображения и ее коррекции описан со ссылками на Фиг. 5. Как описано ниже, в устройстве захвата изображения (Фиг. 1) согласно варианту осуществления блок 111 обработки восстановления изображения блока 104 обработки изображения может выполнять следующую обработку, которая будет объяснена в настоящем описании в качестве общей процедуры.

[0061] На этапе S201 захваченное изображение получают в качестве введенного изображения.

[0062] На этапе S202 обнаруживается из изображения краевая часть, где имеется существенное изменение цвета из-за хроматической разности увеличения. Чтобы обнаружить край, используется плоскость Y (яркость). Выполняя обнаружение посредством ограничения краями, где значение пикселя значительно изменяется в радиальном направлении от оптического центра, становится возможно получить величину изменения цвета с высокой точностью. Так как изменение цвета из-за хроматической разности увеличения появляется как окантовка в плоскости Y, край, имеющий ширину некоторой величины, где значение пикселя монотонно увеличивается или уменьшается для множества последовательных пикселей, может считаться целью обнаружения края.

[0063] На этапе S203 величину изменения цвета получают на каждом краю, обнаруженном на этапе S202. Попытка упростить обработку предпринимается посредством применения, согласно позиционному соотношению между оптическим центром и каждым краем, одного из: вертикального направления, бокового направления, наклонно восходящего направления и наклонно нисходящего направления в качестве направления изменения цвета, которое должно быть обработано. Корреляция между компонентами цвета используется, чтобы получить величину изменения цвета на каждом краю. Возможно получить величину изменения цвета, например, посредством определения суммы абсолютных значений разности между компонентами цвета. При перемещении плоскости R (или плоскость B) в направлении изменения цвета относительно плоскости G, местоположение, где сумма абсолютных значений разности между компонентами цвета является наименьшей, ищется в пикселях вокруг обнаруженного края. На основании позиции до перемещения и обнаруженного местоположения, где сумма абсолютных значений разности является наименьшей, возможно получить величину изменения цвета в плоскости R (или плоскости B) относительно плоскости G.

[0064] Величина изменения цвета имеет отрицательное значение, когда плоскость R (или плоскость B) была смещена в направлении к оптическому центру относительно плоскости G, и имеет положительное значение, когда плоскость R (или плоскость B) была смещена в направлении от оптического центра относительно плоскости G.

[0065] На этапе S204 данные коррекции создают посредством получения соотношения между высотой изображения и изменением цвета на основании высоты изображения каждого края, обнаруженного на этапе S202, и величины изменения цвета на каждом краю, которая было получена на этапе S203.

[0066] Высота изображения указывает расстояние от пикселя, соответствующего оптическому центру (который в дальнейшем должен просто называться оптическим центром).

[0067] Процедура создания данных коррекции описана подробно ниже.

[0068] (1) Пусть L будет высотой изображения края, обнаруженного на этапе S202, и D будет величиной изменения цвета, полученной на этапе S203. Затем получено соотношение изменения цвета М относительно высоты изображения:

M=D/L... (9)

[0069] (2) Изображение делится на множество областей (обозначенных ссылочными символами h1-h8 в этом случае), согласно высоте изображения, как показано на Фиг. 6A, и выбирается область, которой принадлежит край.

[0070] (3) Операции (1) и (2) выполняются для каждого края, обнаруженного в изображении, отношения М изменения цвета накапливаются для каждой области, разделенной согласно высоте изображения, и среднее число отношений М изменения цвета для каждой области получено как отношение изменения цвета для каждой области.

[0071] (4) Уравнение F (1) аппроксимации полиномами высокого порядка, представляющее соотношение между высотой l изображения и отношением М изменения цвета вычисляется на основании высоты изображения и отношения изменения цвета, как показано на Фиг. 6B, и используется в качестве данных коррекции. Фиг. 6B показывает случай, в котором данные коррекции вычисляются полиномиальным уравнением третьего порядка, представленным:

M=F (l)=al³+bl²+cl.. (10)

где a, b и c, соответственно, представляют коэффициенты.

[0072] Должно быть отмечено, что обнаружение края и получение величины изменения цвета могут быть выполнены для всех краев в пределах изображения. Также возможно повысить эффективность обработки, в то же время поддерживая надежность посредством, например, завершения операции обнаружения края и получения величины изменения цвета, когда отношения изменения цвета, количество которых равно или больше, чем заданный порог, накапливаются в каждой области, разделенной согласно высоте изображения.

[0073] Посредством использования только области, где был найден соответствующий край, множества областей, разделенных согласно высоте изображения для вычисления уравнения аппроксимации полиномами высокого порядка, становится возможно создать данные коррекции, даже если есть область, где не найден никакой соответствующий край.

[0074] На этапе S205 корректируется изменение цвета, используя данные коррекции, созданные на этапе S204. Коррекция выполняется посредством смещения позиции пикселя целевого компонента цвета. Более конкретно, например, следующий спо