Элемент формирования цветных изображений

Элемент формирования цветных изображений

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к элементу формирования цветных изображений и, в частности, к элементу формирования цветных изображений, который может подавлять формирование цветного муара.

Предшествующий уровень техники

В устройстве формирования цветных изображений, включающем в себя элемент формирования цветных изображений в форме одной пластины, выходное изображение из элемента формирования цветных изображений является необработанным изображением (мозаичным изображением). Следовательно, многоканальное изображение получается посредством процесса интерполяции пиксела отсутствующего цвета из окружающего пиксела (обработка по демозаике). В этом случае существует проблема в характеристиках воспроизведения высокочастотного сигнала изображения.

Матрица Байера на базе основных цветов в качестве цветовой матрицы, наиболее широко используемой в элементе формирования цветных изображений в форме одной пластины, включает в себя зеленые (G) пикселы, размещенные в проверочном шаблоне, и красные (R) и синие (B), размещенные последовательно по линиям. Следовательно, существует проблема низкочастотного окрашивания (цветного муара), обусловленного свертыванием высокочастотных сигналов, превышающих полосы частот воспроизведения цветов, вызываемого посредством отклонения фаз цветов.

Шаблон с черно-белыми вертикальными полосами (высокочастотное изображение), как показано на фиг. 14(A), вводит элемент формирования изображений в матрицу Байера, показанную на фиг. 14(B), и шаблон сортируется в цветовые матрицы Байера, чтобы сравнивать цвета. Как показано на фиг. 14(C)-14(E), R формирует светлое и плоское цветное изображение, B формирует темное и плоское цветное изображение, и G формирует светлое и темное мозаичное цветное изображение. Хотя отсутствует разность плотности (разность уровней) между RGB относительно исходного черно-белого изображения, изображение окрашивается в зависимости от цветовой матрицы и входной частоты.

Аналогично, черно-белое наклонное высокочастотное изображение, как показано на фиг. 15(A), вводит элемент формирования изображений в матрицу Байера, показанную на фиг. 15(B), и изображение сортируется в цветовые матрицы Байера, чтобы сравнивать цвета. Как показано на фиг. 15(C)-15(E), R и B формируют светлые и плоские цветные изображения, в то время как G формирует темное и плоское цветное изображение. При условии, что значение черного цвета составляет 0, а значение белого цвета составляет 255, черно-белое наклонное высокочастотное изображение становится зеленым, поскольку только G составляет 255. Таким образом, наклонное высокочастотное изображение не может быть корректно воспроизведено в матрице Байера.

В устройстве формирования цветных изображений с использованием элемента формирования цветных изображений в форме одной пластины оптический фильтр нижних частот, сформированный посредством анизотропного вещества, к примеру, кристалла, в общем, размещается на передней стороне элемента формирования цветных изображений, чтобы предотвращать оптическое уменьшение высокочастотной волны. Тем не менее, хотя окрашивание, обусловленное посредством свертывания высокочастотного сигнала, может быть уменьшено в способе, имеется проблема в том, что разрешение уменьшается соответствующим образом.

Чтобы разрешать проблему, предлагается элемент формирования цветных изображений, в котором матрица цветных светофильтров элемента формирования цветных изображений является трехцветной случайной матрицей, удовлетворяющей ограничениям в матрице, в которой произвольный целевой пиксел является смежным с тремя цветами, включающими в себя цвет целевого пиксела на четырех сторонах целевого пиксела (PTL 1).

Также предлагается датчик изображений матрицы цветных светофильтров, при этом датчик изображений включает в себя множество фильтров с различной спектральной чувствительностью, и первый и второй фильтры из множества фильтров попеременно размещаются в первом предварительно определенном периоде в одном из диагональных направлений пиксельной сетки датчика изображений и попеременно размещаются во втором предварительно определенном периоде в другом диагональном направлении (PTL 2).

Между тем, PTL 3 описывает технологию использования окружающих пикселов целевого пиксела мозаичного изображения в матрице Байера, чтобы вычислять корреляции в горизонтальном, вертикальном и наклонном (NE, NW) направлениях (четырех направлениях), и весовые коэффициенты применяются согласно отношениям вычисленных корреляций, чтобы интерполировать пикселы.

Также предлагается элемент формирования цветных изображений, в котором R и B из трех основных цветов RGB размещаются каждые три пиксела в горизонтальном и вертикальном направлениях, и G размещается между R и B (PTL 4).

Матрица цветных светофильтров элемента формирования цветных изображений включает в себя базовый матричный шаблон, соответствующий 4x4 пикселов, и базовый матричный шаблон повторяемо размещается в горизонтальном и вертикальном направлениях. Числа RGB-пикселов в базовом матричном шаблоне составляют два пиксела, двенадцать пикселов и два пиксела, соответственно. Следовательно, отношение чисел RGB-пикселов составляет 1:6:1, и размещается значительно больше G-пикселов, чем R- и B-пикселов.

Список библиографических ссылок

Патентные документы

PTL 1. Выложенная заявка на патент (Япония) номер 2000-308080

PTL 2. Выложенная заявка на патент (Япония) номер 2005-136766

PTL 3. Выложенная заявка на патент (Япония) номер 2010-104019

PTL 4. Выложенная заявка на патент (Япония) номер 8-23543

Сущность изобретения

Техническая задача

Трехцветная произвольная матрица, описанная в PTL 1, является эффективной для низкочастотного цветного муара, но не является эффективной для ложного цвета высокочастотной секции.

В матрице цветных светофильтров датчика изображений, описанной в PTL 2, R-, G- и B-фильтры периодически размещаются в линиях в горизонтальном и вертикальном направлениях матрицы цветных светофильтров. При обработке по демозаике мозаичного изображения, выводимого из датчика изображений, включающего в себя матрицу цветных светофильтров, в изобретении, описанном в PTL 2, локальная область в предварительно определенном формате изображения извлекается вокруг целевого пиксела, вычисляется статистика, связанная с формой распределения цветов цвета целевого пиксела в локальной области и формой распределения цветов другого цвета, которые должны быть оценены, и формы распределения цветов линейно регрессируют на основе интенсивности цветов в позиции целевого пиксела и на основе статистики форм распределения цветов, чтобы тем самым вычислять значение оценки другого цвета в позиции целевого пиксела. Вычисление статистики (значений ковариации), связанной с формами распределения цветов, и процесс вычисления регрессии являются необходимыми в изобретении, описанном в PTL 2, и имеется проблема в том, что обработка изображений усложняется.

Между тем, способ пиксельной интерполяции, описанный в PTL 3, применяется к мозаичному изображению в матрице Байера. Тем не менее, G-пикселы не являются последовательными в горизонтальном и вертикальном направлениях в матрице Байера, и корреляции в горизонтальном и вертикальном направлениях не могут быть вычислены с минимальными пиксельными интервалами. Например, корреляции ложно определяются, когда вводится высокочастотная волна с вертикальными полосами или горизонтальными полосами одного пиксельного периода, и имеется проблема в том, что пикселы не могут быть точно интерполированы.

В элементе формирования цветных изображений, описанном в PTL 3, доля числа G-пикселов превышает доли чисел R- и B-пикселов, и существуют секции, в которых два или более G-пикселов идут в горизонтальном, вертикальном и наклонном направлениях. Может быть определено направление с незначительным изменением в яркости (направление с высокой корреляцией), и может быть увеличено разрешение. Тем не менее, существуют линии только с G-пикселами в горизонтальном или вертикальном направлении, и элемент формирования цветных изображений не является эффективным для ложного цвета высокочастотной секции в горизонтальном или вертикальном направлении.

Настоящее изобретение осуществлено в связи с вышеизложенным, и цель настоящего изобретения состоит в том, чтобы предоставлять элемент формирования цветных изображений, который может подавлять формирование ложного цвета высокочастотной секции посредством простой обработки изображений.

Решение задачи

Для достижения целей изобретение согласно аспекту настоящего изобретения предоставляет элемент формирования цветных изображений в форме одной пластины, включающий в себя цветные светофильтры в предварительно определенной матрице цветных светофильтров, размещенные на множестве пикселов, сформированных посредством элементов фотоэлектрического преобразования, размещенных в горизонтальном и вертикальном направлениях, при этом матрица цветных светофильтров включает в себя предварительно определенный базовый матричный шаблон, включающий в себя первые фильтры, соответствующие первому цвету, который в наибольшей степени способствует получению сигналов яркости, и вторые фильтры, соответствующие двум или более вторых цветов, отличных от первого цвета, причем базовый матричный шаблон повторяемо размещается в горизонтальном и вертикальном направлениях, один или более первых фильтров и один или более вторых фильтров размещаются в каждой линии в горизонтальном и вертикальном направлениях матрицы цветных светофильтров в базовом матричном шаблоне, и первые фильтры выполнены с возможностью дополнительно включать в себя секции, в которых два или более первых фильтров являются смежными друг с другом в горизонтальном, вертикальном и наклонном (NE, NW) направлениях в базовом матричном шаблоне.

Согласно элементу формирования цветных изображений аспекта настоящего изобретения, первые фильтры, соответствующие первому цвету, который в наибольшей степени способствует получению сигналов яркости, выполнены с возможностью включать в себя секции, в которых два или более первых фильтров являются смежными друг с другом в горизонтальном, вертикальном и наклонном (NE, NW) направлениях в базовом матричном шаблоне. Следовательно, то, какое из четырех направлений является направлением корреляции яркости, может быть определено с минимальными пиксельными интервалами на основе пиксельных значений для пикселов первого цвета, смежных друг с другом в каждом направлении. Как результат, при вычислении пиксельных значений других цветов в пиксельных позициях целевых пикселов обработки по демозаике, извлеченной из мозаичного изображения, выводимого из элемента формирования цветных изображений, пиксельные значения для пикселов других цветов в направлении корреляции могут быть использованы согласно направлению корреляции яркости, определенной на основе пиксельных значений в минимальных пиксельных интервалах. Таким образом, пиксельные значения для пикселов других цветов могут быть точно оценены, и может подавляться формирование ложного цвета в высокочастотной секции. Способ, описанный в PTL 3, или различные другие способы могут применяться для способа обработки оценки пиксельных значений других цветов на основе результата определения направления корреляции.

Один или более первых фильтров и один или более вторых фильтров размещаются в каждой линии в горизонтальном и вертикальном направлениях базового матричного шаблона. Следовательно, может подавляться формирование цветного муара (ложного цвета), и может быть увеличено разрешение. В матрице цветных светофильтров предварительно определенный базовый матричный шаблон повторяется в горизонтальном и вертикальном направлениях. Следовательно, обработка по демозаике (интерполяции) на последующей стадии может быть выполнена согласно повторяющемуся шаблону.

Предпочтительно, в элементе формирования цветных изображений согласно другому аспекту настоящего изобретения, матрица цветных светофильтров включает в себя два или более первых фильтров, последовательно размещенных в горизонтальном и вертикальном направлениях рядом с фильтром одного из цветов вторых фильтров. То, какое из четырех направлений является направлением корреляции яркости, может быть определено с минимальными пиксельными интервалами на основе пиксельных значений для пикселов, соответствующих двум или более последовательным первым фильтрам.

В элементе формирования цветных изображений согласно другому аспекту настоящего изобретения матрица цветных светофильтров включает в себя квадратную матрицу, соответствующую 2Ч2 пикселов, сформированных посредством первых фильтров. То, какое из четырех направлений является направлением корреляции яркости, может быть определено с минимальными пиксельными интервалами на основе пиксельных значений между четырьмя пикселами квадратной матрицы, соответствующей 2Ч2 пикселов.

Предпочтительно, в элементе формирования цветных изображений согласно другому аспекту настоящего изобретения, матрица цветных светофильтров в предварительно определенном базовом матричном шаблоне является точечно-симметричной относительно центра базового матричного шаблона. Как результат, может быть уменьшен размер схемы для схемы обработки на последующей стадии.

Предпочтительно, в элементе формирования цветных изображений согласно другому аспекту настоящего изобретения, предварительно определенный базовый матричный шаблон является квадратным матричным шаблоном, соответствующим N×N (N: целое число, равное 4 или больше и 8 или меньше) пикселов. Когда N меньше 4, условия матрицы цветных светофильтров согласно настоящему изобретению не удовлетворяются. Когда N превышает 8, обработка сигналов, такая как демозаика, становится сложной, тогда как конкретные преимущества не могут достигаться посредством увеличения размера базового матричного шаблона.

Предпочтительно, в элементе формирования цветных изображений согласно другому аспекту настоящего изобретения, предварительно определенный базовый матричный шаблон является квадратным матричным шаблоном, соответствующим 6Ч6 пикселов.

Как описано выше, предпочтительно, чтобы предварительно определенный базовый матричный шаблон был квадратным матричным шаблоном, соответствующим N×N пикселов, и чтобы N были целым числом, равным 4 или больше и 8 или меньше. Для N четное число является более преимущественным при обработке по демозаике, чем нечетное число. Когда N равняется 4, базовый матричный шаблон не включает в себя секцию, в которой первые фильтры идут для двух или более пикселов в каждой линии в горизонтальном, вертикальном и наклонном (NE, NW) направлениях, что является невыгодным при определении направления с незначительным изменением в яркости. Когда N равняется 8, обработка сигналов является более трудоемкой по сравнению с обработкой, когда N равняется 6. Следовательно, наиболее предпочтительно, чтобы N составляло 6 в базовом матричном шаблоне, т.е. квадратном матричном шаблоне, соответствующем 6x6 пикселов.

Предпочтительно, в матрице цветных светофильтров элемента формирования цветных изображений согласно другому аспекту настоящего изобретения, первые фильтры вертикально и горизонтально размещаются рядом с фильтром в центре группы 3Ч3 пикселов, и группа 3Ч3 пикселов повторяемо размещается в горизонтальном и вертикальном направлениях. Первые фильтры вертикально и горизонтально размещаются рядом с фильтром в центре группы 3Ч3 пикселов. Следовательно, если группа 3Ч3 пикселов повторяемо размещается в горизонтальном и вертикальном направлениях, первые фильтры являются смежными друг с другом (в двух пикселах) в горизонтальном и вертикальном направлениях рядом с фильтром в центре группы 3Ч3 пикселов в матрице цветных светофильтров. Пиксельные значения для пикселов (всего восемь пикселов), соответствующих первым фильтрам, могут быть использованы для того, чтобы определять направление корреляции из четырех направлений.

Предпочтительно, в матрице цветных светофильтров элемента формирования цветных изображений согласно другому аспекту настоящего изобретения, первые фильтры размещаются в центре и в четырех углах группы 3Ч3 пикселов, и группа 3Ч3 пикселов повторяемо размещается в горизонтальном и вертикальном направлениях. Первые фильтры размещаются в четырех углах группы 3Ч3 пикселов. Следовательно, если группа 3Ч3 пикселов повторяемо размещается в горизонтальном и вертикальном направлениях, матрица цветных светофильтров включает в себя квадратные матрицы, соответствующие 2Ч2 пикселов, включающим в себя первые фильтры. Пиксельные значения 2Ч2 пикселов могут быть использованы для того, чтобы определять направление с высокой корреляцией из горизонтального, вертикального и наклонного (NE, NW) направлений.

В элементе формирования цветных изображений согласно другому аспекту настоящего изобретения первый цвет является зеленым (G), а вторые цвета являются красным (R) и синим (B).

В элементе формирования цветных изображений согласно другому аспекту настоящего изобретения цветные светофильтры включают в себя R-фильтры, G-фильтры и B-фильтры, соответствующие красным (R), зеленым (G) и синим (B) цветам, и матрица цветных светофильтров включает в себя: первую матрицу, соответствующую 3Ч3 пикселов, причем первая матрица включает в себя R-фильтр, размещенный в центре, B-фильтры, размещенные в четырех углах, и G-фильтры, вертикально и горизонтально размещенные рядом с R-фильтром в центре; и вторую матрицу, соответствующую 3Ч3 пикселов, причем вторая матрица включает в себя B-фильтр, размещенный в центре, R-фильтры, размещенные в четырех углах, и G-фильтры, вертикально и горизонтально размещенные рядом с B-фильтром в центре, при этом первая и вторая матрицы попеременно размещаются в горизонтальном и вертикальном направлениях.

Согласно матрице цветных светофильтров в этой конфигурации, когда 5Ч5 пикселов (локальная область мозаичного изображения) извлекаются вокруг первой или второй матрицы, существуют G-пикселы, смежные друг с другом в горизонтальном и вертикальном направлениях рядом с пикселом (R-пикселом или B-пикселом) в центре 5Ч5 пикселов. Пиксельные значения G-пикселов (всего восемь пикселов) могут быть использованы для того, чтобы определять направление корреляции из четырех направлений.

В элементе формирования цветных изображений согласно другому аспекту настоящего изобретения цветные светофильтры включают в себя R-фильтры, G-фильтры и B-фильтры, соответствующие красным (R), зеленым (G) и синим (B) цветам, и матрица светофильтров включает в себя: первую матрицу, соответствующую 3Ч3 пикселов, причем первая матрица включает в себя G-фильтры, размещенные в центре и в четырех углах, B-фильтры, вертикально размещенные рядом с G-фильтром в центре, и R-фильтры, горизонтально размещенные рядом с G-фильтром в центре; и вторую матрицу, соответствующую 3Ч3 пикселов, причем вторая матрица включает в себя G-фильтры, размещенные в центре и в четырех углах, R-фильтры, вертикально размещенные рядом с G-фильтром в центре, и B-фильтры, горизонтально размещенные рядом с G-фильтром в центре, при этом первая и вторая матрицы попеременно размещаются в горизонтальном и вертикальном направлениях.

Согласно матрице цветных светофильтров в этой конфигурации, существуют G-пикселы из 2Ч2 пикселов в четырех углах 5Ч5 пикселов, когда 5Ч5 пикселов (локальная область мозаичного изображения) извлекаются вокруг первой или второй матрицы. Пиксельные значения G-пикселов из 2Ч2 пикселов могут быть использованы для того, чтобы определять направление корреляции из четырех направлений.

Преимущества изобретения

Согласно настоящему изобретению, включен предварительно определенный базовый матричный шаблон, включающий в себя первые фильтры, соответствующие первому цвету, который в наибольшей степени способствует получению сигналов яркости, и вторые фильтры, соответствующие двум или более вторым цветам, отличным от первого цвета. Базовый матричный шаблон повторяемо размещается в горизонтальном и вертикальном направлениях так, что он формирует матрицу цветных светофильтров, и первые фильтры выполнены с возможностью включать в себя секции, в которых два или более первых фильтров являются смежными друг с другом в горизонтальном, вертикальном и наклонном (NE, NW) направлениях в базовом матричном шаблоне. Следовательно, то, какое из четырех направлений является направлением корреляции яркости, может быть определено с минимальными пиксельными интервалами на основе пиксельных значений для пикселов первого цвета, смежных друг с другом в каждом направлении. Один или более первых фильтров и один или более вторых фильтров размещаются в каждой линии в горизонтальном и вертикальном направлениях в базовом матричном шаблоне. Следовательно, может подавляться формирование цветного муара (ложного цвета), и может быть увеличено разрешение. В матрице цветных светофильтров предварительно определенный базовый матричный шаблон повторяется в горизонтальном и вертикальном направлениях. Следовательно, обработка по демозаике (интерполяции) на последующей стадии может быть выполнена согласно повторяющемуся шаблону.

Краткое описание чертежей

Фиг. 1 является схемой, показывающей первый вариант осуществления элемента формирования цветных изображений в форме одной пластины согласно настоящему изобретению.

Фиг. 2 является схемой, показывающей базовый матричный шаблон, включенный в матрицу цветных светофильтров элемента формирования цветных изображений согласно первому варианту осуществления.

Фиг. 3A является схемой, показывающей матрицу цветных светофильтров, в которой базовый матричный шаблон 6Ч6 пикселов, включенный в матрицу цветных светофильтров элемента формирования цветных изображений по первому варианту осуществления, разделяется на A-матрицы и B-матрицы из 3Ч3 пикселов, и A-матрицы и B-матрицы повторяемо размещаются в горизонтальном и вертикальном направлениях.

Фиг. 3B является схемой, показывающей характерную компоновку G-пикселов в матрице цветных светофильтров, показанной на фиг. 3A.

Фиг. 4 является схемой, используемой для того, чтобы описывать способ пиксельной интерполяции при обработке по демозаике, когда определяется то, что направление корреляции имеет вертикальное направление.

Фиг. 5 является схемой, используемой для того, чтобы описывать способ пиксельной интерполяции при обработке по демозаике, когда определяется то, что направление корреляции имеет направление сверху слева.

Фиг. 6 является схемой, показывающей второй вариант осуществления элемента формирования цветных изображений в форме одной пластины согласно настоящему изобретению.

Фиг. 7 является схемой, показывающей базовый матричный шаблон, включенный в матрицу цветных светофильтров элемента формирования цветных изображений по второму варианту осуществления.

Фиг. 8 является схемой, показывающей матрицу цветных светофильтров, в которой базовый матричный шаблон 6x6 пикселов, включенный в матрицу цветных светофильтров элемента формирования цветных изображений по второму варианту осуществления, разделяется на A-матрицы и B-матрицы из 3Ч3 пикселов, и A-матрицы и B-матрицы повторяемо размещаются в горизонтальном и вертикальном направлениях.

Фиг. 9 является схемой, показывающей характерную компоновку G-пикселов в матрице цветных светофильтров элемента формирования цветных изображений по второму варианту осуществления.

Фиг. 10 является схемой, показывающей третий вариант осуществления элемента формирования цветных изображений в форме одной пластины согласно настоящему изобретению.

Фиг. 11 является схемой, показывающей четвертый вариант осуществления элемента формирования цветных изображений в форме одной пластины согласно настоящему изобретению.

Фиг. 12 является схемой, показывающей пятый вариант осуществления элемента формирования цветных изображений в форме одной пластины согласно настоящему изобретению.

Фиг. 13 является схемой, показывающей шестой вариант осуществления элемента формирования цветных изображений в форме одной пластины согласно настоящему изобретению.

Фиг. 14 является схемой, используемой для того, чтобы пояснять проблему традиционного элемента формирования цветных изображений с цветными светофильтрами в матрице Байера.

Фиг. 15 является другой схемой, используемой для того, чтобы пояснять проблему традиционного элемента формирования цветных изображений с цветными светофильтрами в матрице Байера.

Подробное описание вариантов осуществления

В дальнейшем в этом документе подробно описываются предпочтительные варианты осуществления элемента формирования цветных изображений согласно настоящему изобретению со ссылкой на прилагаемые чертежи.

Первый вариант осуществления элемента формирования цветных изображений

Фиг. 1 является схемой, показывающей первый вариант осуществления элемента формирования цветных изображений в форме одной пластины согласно настоящему изобретению. Фиг. 1 подробно показывает матрицу цветных светофильтров из цветных светофильтров, размещенных на элементе формирования цветных изображений.

Элемент формирования цветных изображений включает в себя: множество пикселов (не показаны), сформированных посредством элементов фотоэлектрического преобразования, размещенных в горизонтальном и вертикальном направлениях (двумерная матрица); и цветные светофильтры в матрице цветных светофильтров, показанной на фиг. 1, размещенные на светоприемных поверхностях пикселов. Один из цветных светофильтров трех основных цветов- красного (R), зеленого (G) и синего (B )- размещается на каждом пикселе.

Элемент формирования цветных изображений не ограничивается элементом формирования цветных изображений на основе CCD (прибора с зарядовой связью) и может быть другим типом элемента формирования изображений, к примеру, элементом формирования изображений на основе CMOS (комплементарной структуры металл-оксид-полупроводник).

Признаки матрицы цветных светофильтров

Матрица цветных светофильтров элемента формирования цветных изображений по первому варианту осуществления имеет следующие признаки (1), (2), (3) и (4).

Признак (1)

Матрица цветных светофильтров, показанная на фиг. 1, включает в себя базовый матричный шаблон P (шаблон, указываемый посредством толстой рамки), сформированный посредством квадратного матричного шаблона, соответствующего 6x6 пикселов, и базовый матричный шаблон P повторяемо размещается в горизонтальном и вертикальном направлениях. Следовательно, матрица цветных светофильтров включает в себя фильтры, каждого из R-, G- и B-цветов (R-фильтры, G-фильтры и B-фильтры), размещенные в предварительно определенном цикле.

Таким образом, R-фильтры, G-фильтры и B-фильтры размещаются в предварительно определенном цикле. Следовательно, обработка по демозаике (интерполяции) и т.п. R-, G- и B-сигналов, считываемых из элемента формирования цветных изображений, может быть обработана согласно повторяющемуся шаблону.

Когда процесс прореживания выполняется на основе базового матричного шаблона P, чтобы уменьшать изображение, матрица цветных светофильтров уменьшенного изображения после процесса прореживания может быть идентичной матрице цветных светофильтров перед процессом прореживания. Следовательно, может быть использована общая схема обработки.

Признак (2)

Базовый матричный шаблон P, который формирует матрицу цветных светофильтров, показанную на фиг. 1, включает в себя один или более G-фильтров, соответствующих цвету, который в набольшей степени способствует получению сигналов яркости (цвету G в варианте осуществления), и один или более R- и B-фильтров, соответствующих цветам, отличным от цвета G (R и B в варианте осуществления), размещенных в каждой линии в горизонтальном и вертикальном направлениях базового матричного шаблона.

R-, G- и B-фильтры размещаются в каждой линии в горизонтальном и вертикальном направлениях базового матричного шаблона P. Следовательно, может подавляться формирование цветного муара (ложного цвета). Как результат, можно не размещать оптический фильтр нижних частот для управления формированием ложного цвета в оптическом пути от плоскости падения к плоскости формирования изображений оптической системы. Даже если применяется оптический фильтр нижних частот, может применяться фильтр с меньшим эффектом обрезания высокочастотных компонентов для недопущения формирования ложного цвета, и могут предотвращаться потери разрешения.

Признак (3)

G-фильтры, соответствующие пикселам яркости, выполнены с возможностью включать в себя секции, в которых два или более G-фильтров являются смежными друг с другом в горизонтальном, вертикальном и наклонном (NE, NW) направлениях матрицы P цветных светофильтров.

Фиг. 2 показывает состояние, в котором базовый матричный шаблон P, показанный на фиг. 1, разделяется на четыре набора по 3Ч3 пикселов.

Как показано на фиг. 2, базовый матричный шаблон P может восприниматься как шаблон, включающий в себя A-матрицы из 3Ч3 пикселов, окруженные посредством рамки из сплошных линий, и B-матрицы из 3Ч3 пикселов, окруженные посредством рамки из пунктирных линий, попеременно размещенные в горизонтальном и вертикальном направлениях.

A-матрица включает в себя R-фильтр, размещенный в центре, B-фильтры, размещенные в четырех углах, и G-фильтры, вертикально и горизонтально размещенные рядом с R-фильтром в центре. Между тем, B-матрица включает в себя B-фильтр, размещенный в центре, R-фильтры, размещенные в четырех углах, и G-фильтры, вертикально и горизонтально размещенные рядом с B-фильтром в центре. Хотя взаимное расположение между R- и B-фильтрами является противоположным в A- и B-матрицах, остальная часть компоновки является идентичной.

Как показано на фиг. 3A, матрица цветных светофильтров элемента формирования цветных изображений по первому варианту осуществления может восприниматься как матрица, включающая в себя A- и B-матрицы, попеременно размещенные в горизонтальном и вертикальном направлениях.

G-фильтры в качестве пикселов яркости вертикально и горизонтально размещаются рядом с фильтром в центре в 3Ч3 пикселов A или B-матрицы, и 3Ч3 пикселов попеременно размещаются в горизонтальном и вертикальном направлениях. Формируются секции, в которых два или более G-фильтров являются смежными друг с другом в горизонтальном, вертикальном и наклонном (NE, NW) направлениях, и G-фильтры размещаются в перекрестной форме, как показано на фиг. 3B. Матрицы удовлетворяют признакам (1) и (3), и признак (2) удовлетворяется для G-фильтров.

Как показано на фиг. 3A, если локальная область в 5Ч5 пикселов (область, указываемая посредством толстой рамки) извлекается вокруг A-матрицы из мозаичного изображения, выводимого из элемента формирования цветных изображений по первому варианту осуществления, восемь G-пикселов в локальной области размещаются в перекрестной форме, как показано на фиг. 3B. G-пикселы слева направо задаются как G1, G2, G3 и G4, а G-пикселы сверху вниз задаются как G5, G6, G7 и G8. Пикселы G1 и G2, а также пикселы G2 и G3 являются смежными друг с другом в горизонтальном направлении. Пикселы G5 и G6, а также пикселы G7 и G8 являются смежными друг с другом в вертикальном направлении. Пикселы G6 и G3, а также пикселы G2 и G7 являются смежными друг с другом в наклонном направлении сверху слева. Пикселы G6 и G2, а также пикселы G3 и G7 являются смежными друг с другом в наклонном направлении сверху справа.

Следовательно, вычисление абсолютных значений разности пиксельных значений смежных пикселов может определять, с минимальным пиксельным интервалом, направление с минимальным изменением в яркости (направление корреляции с высокой корреляцией) из горизонтального, вертикального и наклонного (NE, NW) направлений.

Более конкретно, сумма абсолютных значений разности в горизонтальном направлении составляет |G1-G2|+|G3-G4|. Сумма абсолютных значений разности в горизонтальном направлении составляет |G5-G6|+|G7-G8|. Сумма абсолютных значений разности в наклонном направлении сверху справа составляет |G6-G2|+|G3-G7|. Сумма абсолютных значений разности в наклонном направлении сверху слева составляет |G6-G3|+|G2-G7|.

Можно определять, что существует корреляция (направление корреляции) в направлении с минимальным абсолютным значением разности из четырех абсолютных значений корреляции. Определенное направление корреляции может быть использовано при обработке по демозаике (интерполяции) и т.п.

В варианте осуществления, хотя направление с минимальным изменением в яркости (направление корреляции с высокой корреляцией) определяется на основе значений разностей пиксельных значений смежных G-пикселов, компоновка не ограничивается этим. Направление с минимальным изменением в яркости может быть определено на основе отношений пиксельных значений смежных G-пикселов. Когда изменение в яркости определяется на основе отношений пиксельных значений смежных G-пикселов, направление с отношением приблизительно 1 является направлением с незначительным изменением в яркости.

Способ интерполяции с использованием направления корреляции

Описывается способ интерполяции с использованием направления корреляции, определенного так, как описано выше.

Как показано на фиг. 4, если определено, что направление корреляции имеет вертикальное направление, пиксельные значения окрестных пикселов одного цвета в направлении корреляции используются для того, чтобы интерполировать и вычислять пиксельные значения других цветов в пиксельных позициях 3Ч3 пикселов (A-матрица) в толстой рамке, показанной на фиг. 4.

Чтобы интерполировать пиксельные значения G, пиксельное значение G23 используется для пиксельных значений G22' и G24' G в пиксельных позициях B22 и B24, и пиксельное значение G43 используется для пиксельных значений G42' и G44' G в пиксельных позициях B42 и B44. Между тем, среднее значение пиксельных значений G32 и G34 используется для пиксельного значения G33' G в пиксельной позиции R33.

Чтобы интерполировать пиксельные значения R и B, пиксельное значение R21 используется для пиксельного значения R22' R в пиксельной позиции B22. Среднее значение пиксельных значений R21 и R25 и среднее значение пиксельных значений B22 и B24 используются для пиксельных значений R23' и B23' R и B в пиксельной позиции G23, соответственно. Пиксельные значения R21 и R25 используются для пиксельных значений R22' и R24' R в пиксельных позициях B22 и B24, соответственно.

Пиксельные значения R33 и B30 используются для пиксельных значений R32' и B32' R и B в пиксельной позиции G32, соответственно. Среднее значение пиксельных значений B30 и B36 используется для пиксельного значения B33' B в пиксельной позиции R33. Пиксельные значения R33 и B36 используются для пиксельных значений R34' и B34' R и B в пиксельных позициях G34, соответственно.

Пиксельное значение R41 используется для пиксельного значения R42' R в пиксельной позиции B42. Среднее значение пиксельных значений R41 и R45 и среднее значение пиксельных значений B42 и B44 используются для пиксельных значений R43' и B43' R и B в пиксельной позиции G43, соответственно. Пиксельное значение R45 используется для пиксельного значения R44' R в пиксельной позиции B44.

В B-матрице R и B переключаются, чтобы выполнять аналогичный процесс, чтобы интерполировать пиксельные значения RGB.

Процесс повторяется для каждых 3Ч3 пикселов, чтобы интерполировать пиксельные значения RGB.

Между тем, как показано на фиг. 5, если определено, что существует направление корреляции в наклонном направлении сверху слева и существуют окрестные пикселы цветов, которые должны быть интерполированы в направлении корреляции, пиксельные значения для пикселов используются для того, чтобы интерполировать и вычислять пиксельные значения других цветов в пиксельных позициях 3Ч3 пикселов (A-матрицы) в толстой рамке, показанной на фиг. 5. Если отсутствуют пикселы цветов, которые должны быть интерполированы в направлении корреляции, взаимосвязь между различиями или отношениями (цветовыми различиями или цветовыми отношениями) пиксельных значений RGB окрестных интер