Устройство обработки изображений и способ обработки изображений

Устройство обработки изображений и способ обработки изображений

Иллюстрации

Показать все

Реферат

Уровень техники

Область техники, к которой относится изобретение

[0001] Настоящая группа изобретений относится к устройству и способу обработки изображений, более конкретно к устройству и способу обработки изображений, которые корректируют деградированное изображение посредством использования обработки восстановления изображения.

Уровень техники

[0002] Поскольку оцифровка информации обеспечивает возможность обработки изображений в качестве значений сигналов, были предложены различные способы коррекционной обработки для считываемых изображений. Когда объект считывается и визуализируется посредством цифровой камеры, полученное изображение испытывает определенную степень ухудшения качества. Ухудшение качества изображения вызывается, в частности, аберрациями оптической системы формирования изображений, использованной для формирования изображения объекта.

[0003] Причины наличия компонентов размытости в изображении включают в себя сферическую аберрацию, аберрационную кому, поле кривизны и астигматизм оптической системы. Каждый из компонентов размытости изображения, обусловленных этими аберрациями, указывает, что световой луч, появляющийся из одной точки объекта, формирует изображение с рассеянием (расширением), которое должно сходиться в одну точку на плоскости формирования изображений при отсутствии какой-либо аберрации или влияния дифракции. Это состояние называется PSF (функцией рассеяния точки) с оптической точки зрения, но в данном документе называется компонентом размытости с точки зрения изображения. Размытость в изображении может указывать расфокусированное изображение, но в данном документе используется, чтобы указывать изображение, размытое вследствие влияний вышеуказанных аберраций оптической системы, даже если оно находится в фокусе. Помимо этого, цветная окантовка (или бахрома) на цветных изображениях, обусловленная хроматической аберрацией на оси, сферической аберрацией цвета и аберрационной комой цвета в оптических системах может рассматриваться в качестве различных способов размытия на разных длинах волн.

[0004] OTF (оптическая передаточная функция), полученная посредством преобразования Фурье для PSF, является информацией о частотном компоненте аберрации, которая выражается комплексным числом. Абсолютное значение OTF, т.е. амплитудный компонент, называется далее MTF (передаточной функцией модуляции), а фазовый компонент называется далее PTF (фазовой передаточной функцией). Таким образом, MTF и PTF являются частотными характеристиками, соответственно, амплитудного компонента и фазового компонента ухудшения качества изображения из-за аберраций. В этом случае, фазовый компонент представляется как фазовый угол:

PTF=tan^-1(Im(OTF)/Re(OTF)) (1)

где Re(OTF) и Im(OTF), соответственно, представляют вещественную часть и мнимую часть OTF.

[0005] Как описано выше, OTF оптической системы формирования изображений приводит к деградации амплитудного компонента и фазового компонента изображения. По этой причине, деградированное изображение асимметрично размывается в каждой точке визуализируемого объекта, по аналогии с аберрационной комой.

[0006] Помимо этого, возникает хроматическая аберрация увеличения, когда формирующие изображение позиции сдвигаются вследствие разностей в увеличении при формировании изображения на разных длинах волн света, при этом устройство формирования изображений детектирует такие сдвиги в качестве цветовых R-, G- и B-компонент в соответствии с их спектральными характеристиками. Рассеяние изображения возникает вследствие сдвигов формирующих изображение позиций на различных длинах волн в каждом цветовом компоненте, т.е. сдвигов фаз, а также сдвигов формирующих изображение позиций между R-, G- и B-компонентами. Говоря точнее, хроматическая аберрация увеличения не представляет собой просто цветную окантовку из-за горизонтальных сдвигов. Тем не менее, цветная окантовка будет использоваться в данном документе в качестве синонима хроматической аберрации увеличения.

[0007] В качестве способа коррекции ухудшений по амплитуде (MTF) и фазе (PTF), известен способ их коррекции посредством использования информации OTF оптической системы формирования изображений. Этот способ называется "восстановлением изображений" и "реконструкцией изображения". Обработка коррекции деградации в изображении посредством использования информации OTF оптической системы формирования изображений называется далее обработкой восстановления изображения.

[0008] Ниже приводится структура обработки восстановления изображения. Пусть g(x, y) является деградированным изображением, f(x, y) является исходным изображением, а h(x, y) является PSF, полученной посредством обратного преобразования Фурье оптической передаточной функции, тогда справедливо уравнение (2), приведенное ниже:

g(x, y)=h(x, y)*f(x, y) (2),

где * представляет свертку, а (x, y) представляет координаты на изображении.

[0009] Когда это уравнение преобразуется в форму отображения на частотной плоскости посредством преобразования Фурье, оно принимает форму произведения для каждой частоты, как представлено в уравнении (3):

G(u, v)=H(u, v).(u, v) (3),

где H является функцией, полученной посредством преобразования Фурье для PSF, и, следовательно, представляет OTF, а (u, v) представляет координаты на двумерной частотной плоскости, т.е. частоту.

[0010] Иными словами, чтобы получить исходное изображение из считываемого деградированного изображения, обе стороны уравнения (3) могут быть разделены на H, как представлено в уравнении (4), приведенном ниже.

G(u, v)/H(u, v)=F(u, v) (4)

Возвращая F(u, v) в вещественную плоскость посредством обратного преобразования Фурье можно получить исходное изображение f(x, y) в качестве восстановленного изображения.

[0011] При задании R как значения, полученного посредством обратного преобразования Фурье уравнения (4), также можно получать исходное изображение посредством выполнения обработки свертки для изображения на вещественной поверхности, как представлено в уравнении (5):

g(x, y)*R(x, y)=f(x, y) (5),

где R(x, y) называется фильтром восстановления изображения. Фактическое изображение, тем не менее, включает в себя компоненты шума. По этой причине, использование фильтра восстановления изображения, сформированного посредством взятия идеальной обратной функции из OTF вышеуказанным способом, будет усиливать компоненты шума вместе с деградированным изображением. В общем, таким образом, надлежащее изображение не может быть получено. В этом отношении, например, известен способ подавления коэффициента восстановления на высокочастотной стороне изображения в соответствии с соотношением интенсивности между сигналом изображения и шумовым сигналом, такой как способ с использованием фильтра Винера. В качестве способа коррекции ухудшения в компоненте цветной окантовки изображения, например, ухудшение корректируется посредством коррекции вышеуказанных компонентов размытости таким образом, чтобы величина размытости делалась равномерной для соответствующих цветовых компонентов изображения.

[0012] В этом случае, поскольку OTF варьируется в соответствии с условиями считывания изображений, такими как позиция изменения масштаба изображения и диаметр апертуры, необходимо соответствующим образом изменять фильтр восстановления изображения, используемый для обработки восстановления изображения.

[0013] Например, выложенная патентная заявка Японии № 2006-238032 раскрывает обработку восстановления изображения, которая выполняется при задании мелкого рассеяния в PSF после восстановления изображения. Патент Японии № 03532368 раскрывает технологию исключения размытия изображения в эндоскопе для наблюдения внутренней части живого организма посредством использования PSF, соответствующей длине волны люминесценции, которая должна быть использована в отношении диапазона за рамками диапазона сфокусированного изображения для средства считывания изображений. Поскольку люминесценция является слабой, требуется объектная оптическая система с небольшим диафрагменным числом. Это приводит к снижению глубины фокуса. Следовательно, эта технология спроектирована, чтобы получать сфокусированное изображение посредством выполнения обработки восстановления изображения в отношении диапазона, в котором оптическая система не сфокусирована.

[0014] Как описано выше, выполнение обработки восстановления изображения для считываемого входного изображения может повышать качество изображения посредством коррекции аберраций.

[0015] Способы для обработки восстановления изображения включают в себя способ применения обработки восстановления изображения к необработанному (RAW) изображению, имеющему сигнал, соответствующий одному цветовому компоненту, а именно, одному из R-, G- и B- цветовых компонентов; и способ применения обработки восстановления изображения к каждой цветовой плоскости после выполнения интерполяции так, чтобы каждый пиксель имел сигнал, соответствующий всем цветовым компонентам, а именно, цветовым R-, G- и B-компонентам.

[0016] Способ применения обработки восстановления изображения к каждой цветовой плоскости превышает способ применения обработки восстановления изображения к RAW изображению с точки зрения числа пикселей, к которым применяется обработка восстановления изображения, и числа отводов фильтра восстановления. Это приводит к значительному увеличению вычислительной нагрузки по обработке восстановления изображения.

[0017] В общем, цветовые компоненты соответствующих пикселей, составляющих RAW изображение, зачастую располагаются согласно компоновке Байера (схеме расположения Байера), к примеру, показанной на фиг. 2. В этом случае, число пикселей G-компонента превышает число R- или B-компонентов. По этой причине, частотные характеристики в компоновке пикселей G-компонента в RAW изображении отличаются от частотных характеристик в компоновке пикселей R- и B-компонентов. Как описано выше, поскольку обработка восстановления изображения эквивалентна коррекции частотных характеристик, полоса частот G-компонента отличается от полосы частот R-компонента или B-компонента. В этом случае, G-компонент может восстанавливаться в полосе более высоких частот, чем полоса частот R-компонента или B-компонента. Если только G-компонент, из числа R-, G- и B-компонентов, восстанавливается выше полосы высоких частот, обработка восстановления изображения иногда формирует ложный не существующий в исходном изображении цвет в области, которая включает в себя высокочастотный компонент в изображении. Это обусловлено тем, что соотношение между частотными характеристиками R-, G- и B-компонентов в полосе высоких частот изображения до и после обработки восстановления изображения изменяется. Как описано выше, выполнение обработки восстановления изображения для компонентов сигнала в различных полосах частот формирует ложные цвета. Ложный цвет в этом случае формируется из-за изменения в самих пиксельных данных, которые считываются датчиком изображений, в отличие от ложного цвета, сформированного из-за пиксельной интерполяции для изображения в компоновке Байера. Следовательно, использование алгоритма пиксельной интерполяции, спроектированного для подавления формирования ложных цветов, не позволяет подавлять ложные цвета, сформированные вследствие обработки восстановления изображения.

Раскрытие изобретения

[0018] Настоящее изобретение создано с учетом вышеуказанного случая и уменьшает ложные цвета, сформированные посредством обработки восстановления изображения в RAW изображении, а также уменьшает нагрузку по обработке восстановления изображения.

[0019] Согласно настоящему изобретению, обеспечивается устройство обработки изображений для выполнения обработки восстановления данных изображения, чтобы скорректировать ухудшение качества изображения вследствие аберрации в оптической системе формирования изображений, причем данные изображения получены считыванием изображения объекта, прошедшего через оптическую систему формирования изображений, с использованием датчика изображений, имеющего множество пикселей, при этом каждый пиксель датчика изображений покрывается одним из множества цветных фильтров, причем устройство обработки изображений содержит средство разделения для разделения данных изображения множества цветов цветных фильтров на данные изображения соответствующих цветов цветных фильтров; множество средств обработки изображений, каждое из которых предназначено для выполнения обработки восстановления посредством обработки с помощью фильтра данных изображения одного из соответствующих цветов, разделенных средством разделения; и средство обработки интерполяции для выполнения обработки интерполяции цветов каждого пикселя для данных изображения, подвергнутых обработке восстановления, причем средство разделения дополнительно выполнено с возможностью разделять данные изображения одного цвета, чья пространственно-частотная характеристика выше пространственно-частотной характеристики другого цвета из-за компоновки множества цветных фильтров множества цветов, на множество данных изображения упомянутого одного цвета, таким образом, чтобы множество данных изображения упомянутого одного цвета имело такую же пространственно-частотную характеристику, как данные изображения другого цвета, а средство обработки интерполяции дополнительно выполнено с возможностью осуществлять обработку интерполяции цветов посредством использования данных изображения множества цветов, как если бы это были данные изображения одного цвета.

[0020] Далее, согласно настоящему изобретению, обеспечивается устройство обработки изображений для выполнения обработки восстановления данных изображения, чтобы скорректировать ухудшение качества изображения вследствие аберрации в оптической системе формирования изображений, причем данные изображения получены считыванием изображения объекта, прошедшего через оптическую систему формирования изображений, с использованием датчика изображений, имеющего множество пикселей, при этом каждый пиксель датчика изображений покрывается одним из множества цветных фильтров, причем устройство обработки изображений содержит множество средств обработки изображений, расположенных последовательно, каждое из которых предназначено для выполнения обработки восстановления посредством обработки с помощью фильтра для части данных изображения множества цветов; и средство обработки интерполяции для выполнения обработки интерполяции цветов каждого пикселя для данных изображения, подвергнутых обработке восстановления, при этом каждое из множества средств обработки изображений выполнено с возможностью осуществлять обработку восстановления для соответствующих данных изображения каждого цвета, которые не были подвернуты обработке восстановления, и отдельно обращается с данными изображения одного цвета, чья пространственно-частотная характеристика выше пространственно-частотной характеристики другого цвета из-за компоновки цветных фильтров множества цветов, как с данными изображения множества цветов, таким образом, чтобы часть данных изображения, с которой нужно обращаться отдельно, как с данными изображения множества цветов, и которая обрабатываться множеством средств обработки изображений, имела такую же частотную характеристику, как данные изображения другого цвета, и средство обработки интерполяции дополнительно выполнено с возможностью осуществлять обработку интерполяции цветов посредством использования данных изображения множества цветов, как если бы это были данные изображения одного цвета.

[0021] Кроме того, согласно настоящему изобретению, обеспечивается способ обработки изображений для выполнения обработки восстановления данных изображения, чтобы скорректировать ухудшение качества изображения вследствие аберрации в оптической системе формирования изображений, причем данные изображения получены считыванием изображения объекта, прошедшего через оптическую систему формирования изображений, с использованием датчика изображений, имеющего множество пикселей, при этом каждый пиксель датчика изображений покрывается одним из множества цветных фильтров множества цветов, причем способ содержит этап разделения для разделения данных изображения множества цветов множества цветных фильтров на множество данных изображения соответствующих цветов; этап обработки изображений для выполнения обработки восстановления посредством обработки с помощью фильтра для каждых из данных изображения соответствующих цветов, разделенных на этапе разделения; и этап обработки интерполяции для выполнения обработки интерполяции цветов каждого пикселя для данных изображения, подвергнутых обработке восстановления; при этом на этапе разделения данные изображения одного цвета, чья пространственно-частотная характеристика выше пространственно-частотной характеристики другого цвета из-за компоновки цветных фильтров множества цветов, разделяют на множество данных изображения упомянутого одного цвета, таким образом, чтобы множество данных изображения упомянутого одного цвета имело такую же пространственно-частотную характеристику, как данные изображения другого цвета, и на этапе обработки интерполяции обработка интерполяции цветов выполняется посредством использования данных изображения множества цветов, как если бы это были данные изображения одного цвета.

[0022] Дополнительно, согласно настоящему изобретению, обеспечивается способ обработки изображений для выполнения обработки восстановления данных изображения, чтобы скорректировать ухудшение качества изображения вследствие аберрации в оптической системе формирования изображений в отношении данных изображения, полученных считыванием изображения объекта, прошедшего через оптическую систему формирования изображений, с использованием датчика изображений, имеющего множество пикселей, при этом каждый пиксель датчика изображений покрывается одним из множества цветных фильтров множества цветов, причем способ содержит этап обработки изображений для последовательного выполнения обработки восстановления посредством обработки с помощью фильтра для каждой части данных изображения соответствующего множества цветов с использованием множества соответствующих средств обработки изображений, расположенных последовательно; и этап обработки интерполяции для выполнения обработки интерполяции цветов каждого пикселя для данных изображения, подвергнутых обработке восстановления, при этом на этапе обработки изображений, каждое из множества средств обработки изображений выполняет обработку восстановления в отношении данных изображения каждого цвета, которые не были подвернуты обработке восстановления, и отдельно обращается с данными изображения одного цвета, чья пространственно-частотная характеристика выше пространственно-частотной характеристики другого цвета из-за компоновки цветных фильтров множества цветов, как с данными изображения множества цветов, таким образом, чтобы часть данных изображения, с которой обращаются отдельно как с множеством цветов и которая обрабатывается множеством средств обработки изображений, имела такую же частотную характеристику, как данные изображения другого цвета, и на этапе обработки интерполяции обработка интерполяции цветов выполняется посредством использования данных изображения множества цветов, как если бы это были данные изображения одного цвета.

[0023] Дополнительные признаки настоящего изобретения станут понятны из последующего описания вариантов осуществления изобретения (со ссылкой на прилагаемых чертежи).

Краткое описание чертежей

[0024] Прилагаемые чертежи, которые содержатся и составляют часть описания изобретения, иллюстрируют варианты осуществления изобретения и вместе с описанием служат для того, чтобы пояснять принципы изобретения.

[0025] Фиг. 1 является блок-схемой, показывающей компоновку устройства обработки изображений согласно варианту осуществления настоящего изобретения;

[0026] Фиг. 2 является видом, показывающим пример компоновки цветовых компонентов;

[0027] Фиг. 3 является блок-схемой, показывающей компоновку модуля обработки изображений согласно первому варианту осуществления;

[0028] Фиг. 4A-4E являются видами, показывающими цветовые компоненты и компоненты восстановления изображения согласно первому варианту осуществления;

[0029] Фиг. 5A и 5B являются видами, показывающими заданные для цветовых компонентов частотные характеристики согласно первому варианту осуществления;

[0030] Фиг. 6 является блок-схемой последовательности операций способа для обработки восстановления изображения согласно первому варианту осуществления;

[0031] Фиг. 7A и 7B являются схематичными видами для пояснения фильтра восстановления изображения;

[0032] Фиг. 8A и 8B являются схематичными видами для пояснения фильтра восстановления изображения согласно первому варианту осуществления;

[0033] Фиг. 9A и 9B являются графиками, показывающими пример усиления восстановления для фильтра восстановления изображения и пример MTF изображения согласно первому варианту осуществления;

[0034] Фиг. 10A-10K являются видами, показывающими пример обработки интерполяции цветов согласно первому варианту осуществления;

[0035] Фиг. 11A и 11B являются видами, показывающими пример компоновки пикселей другого датчика изображений согласно первому варианту осуществления;

[0036] Фиг. 12 является видом, показывающим другие цветовые компоненты и компоненты восстановления изображения согласно первому варианту осуществления;

[0037] Фиг. 13 является блок-схемой, показывающей компоновку модуля обработки изображений согласно второму варианту осуществления; и

[0038] Фиг. 14 является блок-схемой последовательности операций способа, показывающей обработку восстановления изображения согласно второму варианту осуществления.

Осуществление изобретения

[0039] Варианты осуществления настоящего изобретения подробно описываются далее со ссылками на прилагаемые чертежи.

[0040] Первый вариант осуществления

Фиг. 1 показывает пример базовой компоновки устройства считывания изображений согласно варианту осуществления настоящего изобретения. Изображение объекта (не показано) падает на датчик 102 изображений, пройдя через оптическую систему 101 формирования изображений, которая включает в себя диафрагму 101a и фокусирующую линзу 101b. Датчик 102 изображений покрывается, например, цветными фильтрами, размещенными согласно так называемой компоновке Байера, показанной на фиг. 2. Каждый пиксель, составляющий датчик 102 изображений, выводит сигнал цветового компонента, соответствующего цвету фильтра, из числа красного (R), зеленого (G) и синего (B) цветных фильтров, которым покрыт данный пиксель. Датчик 102 изображений преобразует свет формирующий изображение в электрический сигнал. Аналого-цифровой преобразователь 103 преобразует этот сигнал в цифровой сигнал и вводит его в модуль 104 обработки изображений. Модуль 104 обработки изображений состоит из модуля 111 обработки восстановления изображения и другого модуля 112 обработки изображений, который выполняет предварительно определенную обработку. Модуль 112 обработки изображений выполняет, в числе прочего, обработку интерполяции цветов. Каждый пиксель выходного изображения из модуля 111 обработки восстановления изображения включает в себя только сигнал цветового компонента, соответствующего одному из цветов фильтра. По этой причине, модуль 112 обработки изображений выполняет обработку интерполяции цветов для восстановленного изображения, чтобы присвоить соответствующим пикселям сигналы цветовых компонентов, соответствующих всем цветам фильтра.

[0041] Прежде всего, модуль 104 обработки изображений получает информацию об условиях считывания изображений в устройстве считывания изображений из модуля 107 обнаружения условий. Модуль 107 обнаружения условий может получать информацию об условиях считывания изображений непосредственно из системного контроллера 110 и может получать информацию об условиях считывания изображений, например, касательно оптической системы формирования изображений, из модуля 106 управления оптической системой формирования изображений. Модуль 111 обработки восстановления изображения затем выбирает фильтр восстановления изображения, соответствующий условиям считывания изображений, из модуля 108 хранения, и выполняет обработку восстановления изображения для изображения, вводимого в модуль 104 обработки изображений. Данные, содержащиеся в модуле 108 хранения, могут быть информацией, относящейся к OTF, требуемой для формирования фильтра восстановления изображения, а не фильтрами восстановления изображения. В этом случае модуль 111 обработки восстановления изображения выбирает информацию касательно OTF, соответствующей условиям считывания изображений, из модуля 108 хранения и формирует фильтр восстановления изображения, соответствующий условиям считывания изображений. Модуль 111 обработки восстановления изображения затем выполняет обработку восстановления изображения для изображения, вводимого в модуль 104 обработки изображений.

[0042] Носитель 109 записи изображений содержит выходное изображение, обработанное модулем 104 обработки изображений, в предварительно определенном формате. Модуль 105 отображения может отображать изображение, полученное посредством выполнения предварительно определенной для отображения обработки в отношении изображения, подвергнутого обработке восстановления изображения, или может отображать изображение, которое не было подвергнуто обработке восстановления изображения, или которое было подвергнуто простой обработке восстановления.

[0043] Системный контроллер 110 выполняет последовательность операций управления. Модуль 106 управления оптической системой формирования изображений механически приводит в действие оптическую систему формирования изображений в соответствии с инструкцией из системного контроллера 110.

[0044] Системный контроллер 110 управляет диаметром апертуры диафрагмы 101a, в качестве настройки условия считывания изображений для диафрагменного числа. Механизм AF (автофокусировки) или механизм ручной фокусировки управляет позицией фокусирующей линзы 101b таким образом, чтобы выполнять регулирование фокуса в соответствии с расстоянием до объекта. Эта оптическая система 101 формирования изображений может включать в себя оптический элемент, такой как фильтр нижних частот или инфракрасный отсекающий фильтр. При использовании такого элемента, как фильтр нижних частот, который оказывает влияние на характеристики OTF, во время формирования фильтра восстановления изображения необходимо учитывать изменение в OTF, вызываемые оптическим элементом. Инфракрасный отсекающий фильтр также оказывает влияние на PSF в RGB-каналах, которые являются целочисленными значениями PSF спектральных длин волн, в частности, на PSF в R-канале. Следовательно, изменение в PSF вследствие инфракрасного отсекающего фильтра учитывается во время формирования фильтра восстановления изображения.

[0045] Дополнительно, оптическая система 101 формирования изображений выполняется в виде части устройства считывания изображений, но может быть сменной, как в однолинзовой зеркальной камере.

[0046] Фиг. 3 показывает компоновку модуля 104 обработки изображений согласно первому варианту осуществления. Как описано выше, входное изображение в модуль 111 обработки восстановления изображения представляет собой RAW данные, в которых каждый пиксель имеет один из цветовых компонентов, а именно, цветовых R-, G- и B-компонентов согласно компоновке Байера, к примеру, показанной на фиг. 2.

[0047] В первом варианте осуществления, модуль 1101 разделения сигналов в модуле 111 обработки восстановления изображения разделяет G-компонент на G1 и G2, чтобы получать четыре компонента восстановления изображения: R, G1, G2 и B. Четыре компонента восстановления изображения затем вводятся в модули 1110-1113 применения фильтров восстановления, чтобы применить к компонентам фильтры восстановления изображения.

[0048] Фиг. 4A-4E показывают пример каждого цветового компонента в RAW данных и каждого компонента восстановления изображения. Фиг. 4A-4E показывают три цветовых компонента в RAW данных. Фиг. 4A показывает G-компонент. Фиг. 4B показывает R-компонент. Фиг. 4C показывает B-компонент. Каждый пиксель, представленный белым квадратом на фиг. 4A-4E, указывает соответствующий цветовой компонент. В первом варианте осуществления, G-компонент, показанный на фиг. 4A, разделяется на G1- и G2-компоненты, показанные на фиг. 4D и 4E, и к ним применяется обработка восстановления изображения. Допустим, что сигнал G-компонента, выводимый из пикселя, смежного в горизонтальном направлении с пикселем, который выводит сигнал R-компонента, является сигналом G1-компонента, а сигнал G-компонента, выводимый из пикселя, смежного с пикселем, который выводит сигнал B-компонента, является сигналом G2-компонента. На фиг. 4A-4E, фиг. 4B показывает компонент R восстановления изображения, фиг. 4C показывает компонент B восстановления изображения, фиг. 4D показывает компонент G1 восстановления изображения, а фиг. 4E показывают компонент G2 восстановления изображения.

[0049] Фиг. 5A и 5B являются видами, показывающими пространственно-частотные характеристики заданных для цветовых компонентов компоновок пикселей в датчике изображений. Соответствующие компоненты, показанные на фиг. 4A-4E, соответственно представляются посредством m_G(x, y), m_R(x, y), m_B(x, y), m_G1(x, y), и m_G2(x, y), полагая, что 1 представляет каждый пиксель (представленный белым квадратом), который может считывать свет, а 0 представляет каждый пиксель (представленный черным квадратом), который не может считывать свет. Пространственно-частотные характеристики, показанные на фиг. 5A и 5B, соответствуют данным, полученным посредством преобразования Фурье m_G(x, y), m_R(x, y), m_B(x, y), m_G1(x, y) и m_G2(x, y).

[0050] Фиг. 5A показывает G-компонент, т.е. пространственно-частотные характеристики на фиг. 4A, который является гребенчатой функцией, в котором 1 (единицы) присутствуют только в позициях "•". Фиг. 5B показывает пространственно-частотные характеристики R- и B-компонентов, показанных на фиг. 4B и 4C. Фиг. 5B отличается от фиг. 5A, показывающей пространственно-частотные характеристики G-компонента. Помимо этого, пространственно-частотные характеристики, полученные, когда G-компонент разделяется на компоненты G1 и G2 восстановления изображения, являются идентичными пространственно-частотным характеристикам, показанным на фиг. 5B, показывающей пространственно-частотные характеристики R- и B-компонентов.

[0051] Когда обработка восстановления изображения выполняется непосредственно для трех цветовых компонентов R, G и B, поскольку пространственно-частотные характеристики G-компонента отличаются от пространственно-частотных характеристик R- и B-компонентов, как показано на фиг. 5A и 5B, ложные цвета, которые не существуют в исходном изображении, могут быть сформированы в области, включающей в себя высокочастотные компоненты изображения, как это описано выше. В отличие от этого, разделение G-компонента на компоненты G1 и G2 восстановления изображения приводит к тому, что компоновки пикселей четырех компонентов R, G1, G2 и B восстановления изображения демонстрируют одинаковые пространственно-частотные характеристики. Это обеспечивает возможность выполнения обработки восстановления изображения для общей полосы частот и, следовательно, позволяет подавлять формирование ложных цветов из-за обработки восстановления изображения.

[0052] При непосредственном выполнении обработки восстановления изображения для трех цветовых компонентов R, G и B, можно сделать полосу частот G-компонента, который должен корректироваться, совпадающей с полосой частот R- и B-компонентов, в зависимости от способа формирования фильтра восстановления изображения, который должен применяться к G-компоненту. Тем не менее, полоса частот, которая должна быть восстановлена в этой обработке, является эквивалентной полосе частот в обработке разделения G-компонента на компоненты G1 и G2 восстановления изображения. Обработка разделения G-компонента на компоненты G1 и G2 восстановления изображения является более предпочтительной с точки зрения вычислительных нагрузок во время свертки фильтров восстановления изображения, как описано ниже.

[0053] Ниже подробно описывается процедура для обработки восстановления изображения в модуле 111 обработки восстановления изображения в первом варианте осуществления со ссылкой на блок-схему последовательности операций способа на фиг. 6.

[0054] На этапе S11 модуль 111 обработки восстановления изображения получает информацию о фактических условиях считывания изображений из модуля 107 обнаружения условий, как это описано выше. Условия считывания изображений включают в себя, например, позицию изменения масштаба изображения, диаметр апертуры и расстояние до объекта. На этапе S12 модуль 1101 разделения сигналов разделяет RAW данные, состоящие из R-, G- и B-компонентов, на четыре компонента R, G1, G2 и B восстановления изображения. Более конкретно, может быть подготовлено четыре экземпляра данных изображения, для R, G1, G2 и B, соответственно, каждый из которых имеет 0 (нули), установленные в части, попадающей в каждый пиксель, соответствующий цветовому компоненту, отличному от целевых компонентов восстановления изображения. Альтернативно, может быть подготовлено четыре экземпляра данных изображения, для R, G1, G2 и B, соответственно, каждый из которых имеет размер в 1/4, полученный посредством прореживания части, представленной в качестве пикселя, соответствующего цветовому компоненту, отличному от целевых компонентов восстановления изображения.

[0055] На этапе S13 модуль 111 обработки восстановления изображения выбирает фильтры восстановления изображения, подходящие для обнаруженных условий считывания изображения и четырех компонентов R, G1, G2 и B восстановления изображения, из модуля 108 хранения. В это время, можно скорректировать выбранные фильтры восстановления изображения, если это необходимо. Это представляет собой операцию дискретной подготовки данных об условиях считывания изображений, чтобы сократить число данных для фильтра восстановления изображения, заранее подготовленных в модуле 108 хранения, а также коррекции фильтров восстановления изображения во время фактического выполнения обработки восстановления изображения. Помимо этого, если модуль 108 хранения содержит информацию касательно OTF, необходимую для формирования фильтров восстановления изображения, а не фильтры восстановления изображения, фильтры восстановления изображения формируются из выбранной информации касательно OTF в соответствии с условиями считывания изображений.

[0056] Ниже описывается фильтр восстановления изображения.

[0057] Фиг. 7A и 7B являются схематичными видами, показывающими пример фильтра восстановления изображения, который должен применяться к каждой цветовой плоскости изображения, когда каждый пиксель содержит соответствующие цветовые компоненты R, G и B. Можно определить число отводов фильтра восстановления изображения в соответствии с величиной аберрации оптической системы формирования изображений. В этом случае используется двумерный фильтр с 11×11 отводов. Обработка свертки выполняется для изображения в процессе восстановления изображения, причем каждый отвод фильтра соответствует одному пикселу изображения. Как показано на фиг. 7A, использование двумерного фильтра, полученного разделением фильтра восстановления изображения на 100 или более фильтров, позволяет выполнять восстановление для аберраций, широко рассеивающихся от позиций формирования изображений, таких как сферическая аберрация, аберрационная кома, хроматическая аберрация на оси, внеосевой цветовой блик и т.п., в оптической системе формирования изображений.

[0058] Фиг. 7A не показывает значения в соответствующих отводах. Фиг. 7B показывает одну секцию этого фильтра. Этот фильтр восстановления изображения может быть сформирован посредством способа, описанного в