Устройство формирования цветного изображения

Устройство формирования цветного изображения

Реферат

Область техники

Настоящее изобретение относится к устройству формирования цветного изображения и, в частности, к устройству формирования цветного изображения, которое может подавлять генерацию цветовых комбинационных искажений (цветного муара).

Уровень техники

В устройстве формирования цветного изображения, включающем в себя одноплатный элемент формирования цветного изображения, изображение, получаемое на выходе из элемента формирования цветного изображения, является RAW-изображением (мозаичным изображением). Таким образом, многоканальное изображение получается в процессе интерполяции пикселя пропущенного цвета из окружающего пикселя (обработки демозаицирования). В этом случае, существует проблема в репродукции характеристик высокочастотного сигнала формирования изображения.

Матрица Байера основных цветов в качестве цветовой матрицы наиболее широко используемая в одноплатном элементе формирования цветного изображения включает в себя пиксели зеленого цвета (G), размещенные в шахматном порядке и пиксели красного (R) и синего (B) цветов, размещенные линия за линией. Таким образом, существует проблема низкочастотного окрашивания (цветовых комбинационных искажений), обусловленного складыванием высокочастотных сигналов, превышающих полосы репродукции цветов, и обусловленного отклонением фаз цветов.

Например, черно-белое наклонное высокочастотное изображение, показанное на фиг. 14(A), поступает на элемент формирования изображения в матрице Байера, показанной на фиг. 14(B), и изображение сортируется по цветовым матрицам Байера для сравнения цветов. Согласно фиг. 14(C)-14(E), R и B формируют светлые и плоские цветные изображения, а G формируют темное и плоское цветное изображение. Предполагая, что значение черного равно 0, и значение белого равно 255, черно-белое наклонное высокочастотное изображение превращается в зеленое, поскольку только G равен 255. Таким образом, наклонное высокочастотное изображение не может верно воспроизводиться в матрице Байера.

В устройстве формирования цветного изображения, использующем одноплатный элемент формирования цветного изображения, оптический фильтр низких частот, образованный анизотропным веществом, например, кристаллом, в общем случае размещается на передней стороне элемента формирования цветного изображения во избежание оптического ослабления высокочастотной волны. Однако, хотя окрашивание, обусловленное складыванием высокочастотного сигнала, можно уменьшать согласно способу, существует проблема соответственного снижения разрешения.

Для решения проблемы предложен элемент формирования цветного изображения, в котором матрица цветовых фильтров элемента формирования цветного изображения является трехцветной случайной матрицей, удовлетворяющей ограничениям, налагаемым на матрицу, в которой произвольный целевой пиксель соседствует с тремя цветами, включающими в себя цвет целевого пикселя на четырех сторонах целевого пикселя (PTL 1).

Также предложен датчик изображения в виде матрицы цветовых фильтров, причем датчик изображения включает в себя множество фильтров, которые отличаются спектральной чувствительностью, и первые и вторые фильтры из множества фильтров попеременно размещены с первым заранее определенным периодом в одном из диагональных направлений пиксельной сетки датчика изображения и попеременно размещены со вторым заранее определенным периодом в другом диагональном направлении (PTL 2).

Между тем, PTL 3 описывает метод использования окружающих пикселей целевого пикселя мозаичного изображения в матрице Байера для вычисления корреляций в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях (в четырех направлениях), и весовые коэффициенты применяются согласно отношениям вычисленных корреляций для интерполяции пикселей.

Также предложено устройство формирования изображения, включающее в себя элемент формирования цветного изображения, в котором R и B из трех основных цветов RGB размещены через каждые три пикселя в горизонтальном и вертикальном направлениях, и G размещен между R и B (PTL 4). В элементе формирования цветного изображения, описанном в PTL 4, пиксели G, которые вносят наибольший вклад в получение сигналов яркости, размещены гораздо больше, чем пиксели RB, исходя из того, что разрешение сигналов цветового контраста может быть ниже разрешения сигналов яркости. Это может повышать разрешение в горизонтальном и вертикальном направлениях.

Библиография

Патентные источники

{PTL 1}

выложенная японская патентная заявка № 2000-308080

{PTL 2}

выложенная японская патентная заявка № 2005-136766

{PTL 3}

выложенная японская патентная заявка № 2010-104019

{PTL 4}

выложенная японская патентная заявка № 8-23543

Сущность изобретения

Техническая задача

Трехцветная случайная матрица, описанная в PTL 1, эффективна для низкочастотных цветовых комбинационных искажений, но не эффективна для ложного цвета высокочастотной секции.

В матрице цветовых фильтров датчика изображения, описанной в PTL 2, фильтры R, G и B периодически размещены в линиях в горизонтальном и вертикальном направлениях матрицы цветовых фильтров. При обработке демозаицирования мозаичного изображения на выходе датчика изображения, включающего в себя матрицу цветовых фильтров в изобретении, описанном в PTL 2, вокруг целевого пикселя выделяется локальная область с заранее определенным размером изображения, вычисляются статистика, связанная с формой распределения цвета для цвета целевого пикселя в локальной области и форма распределения цвета другого цвета, подлежащая оценке, и формы распределения цвета подвергаются линейной регрессии на основании насыщенности цветов в позиции целевого пикселя и статистики форм распределения цвета, чтобы, таким образом, вычислять оценочное значение другого цвета в позиции целевого пикселя. Вычисление статистики (значений ковариации), связанной с формами распределения цвета и процесс вычисления регрессии необходимы в изобретении, описанном в PTL 2, и существует проблема в том, что обработка изображения усложняется.

Между тем, способ интерполяции пикселей, описанный в PTL 3, применяется к мозаичному изображению в матрице Байера. Однако, пиксели G не являются последовательными в горизонтальном и вертикальном направлениях в матрице Байера, и корреляции в горизонтальном и вертикальном направлениях не могут вычисляться с минимальными пиксельными интервалами. Например, корреляции определяются неверно, когда вводится вертикально-полосковая или горизонтально полосковая высокочастотная волна, и существует проблема в том, что пиксели невозможно правильно интерполировать.

Отношение пикселей G относительно пикселей RB в элементе формирования цветного изображения, описанном в PTL 4, выше, чем отношение в матрице Байера, и разрешение в горизонтальном и вертикальном направлениях можно увеличить. Однако сигналы RGB на выходе элемента формирования цветного изображения однородно синхронизируются интерполяционными фильтрами в устройстве формирования изображения, описанном в PTL 4, и существует проблема в том, что легко генерируется ложный цвет.

Настоящее изобретение сделано ввиду вышеописанных обстоятельств, и задачей настоящего изобретения является обеспечение устройства формирования цветного изображения, которое может подавлять генерацию ложного цвета высокочастотной секции путем простой обработки изображения.

Решение задачи

Для решения задачи, изобретение согласно аспекту настоящего изобретения включает в себя: одноплатный элемент формирования цветного изображения, включающий в себя: множество пикселей, включающих в себя элементы фотоэлектрического преобразования, размещенные в горизонтальном и вертикальном направлениях; и цветовые фильтры в виде заранее определенной матрицы цветовых фильтров, размещенной на множестве пикселей, причем матрица цветовых фильтров включает в себя первые фильтры, соответствующие первому цвету, которые вносят наибольший вклад в получение сигналов яркости, и вторые фильтры, соответствующие двум или более вторым цветам, отличным от первого цвета, причем первые и вторые фильтры размещены периодически, и первые фильтры включают в себя две или более секций, соседствующих друг с другом в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях; блок получения изображения, который получает мозаичное изображение, соответствующее матрице цветовых фильтров, из элемента формирования цветного изображения; блок определения направления, который получает, для целевого пикселя обработки демозаицирования, выделенного из мозаичного изображения, пиксельные значения пикселей, соответствующих первым фильтрам вблизи целевого пикселя и соседствующих друг с другом в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях, и который определяет, какое из горизонтального, вертикального и наклонного (С-В, С-З) направлений является направлением корреляции яркости, на основании пиксельных значений соседних пикселей; блок обработки демозаицирования, который вычисляет пиксельное значение другого цвета в пиксельной позиции целевого пикселя обработки демозаицирования, выделенного из мозаичного изображения, и который использует одно или более пиксельных значений одного или более пикселей другого цвета в направлении корреляции, определенном блоком определения направления для вычисления пиксельного значения; и блок управления, который повторяющимся образом оперирует блоком определения направления и блоком обработки демозаицирования, одновременно сдвигая целевой пиксель обработки демозаицирования, выделенный из мозаичного изображения, на единицу целевого пикселя обработки демозаицирования.

Матрица цветовых фильтров элемента формирования цветного изображения включает в себя секции, где два или более первых фильтра, которые вносят наибольший вклад в получение сигналов яркости, соседствуют друг с другом в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях (в четырех направлениях). Таким образом, какое из четырех направлений является направление корреляции яркости, можно определить с минимальными пиксельными интервалами на основании пиксельных значений пикселей, соседствующих друг с другом в направлениях. При вычислении пиксельного значения другого цвета в пиксельной позиции целевого пикселя обработки демозаицирования, выделенного из мозаичного изображения, пиксельное значение пикселя другого цвета в определенном направлении корреляции можно использовать для точной оценки пиксельного значения пикселя другого цвета, и генерацию ложного цвета на высокочастотной секции можно подавлять.

В устройстве формирования цветного изображения согласно другому аспекту настоящего изобретения, заранее определенная матрица цветовых фильтров элемента формирования цветного изображения включает в себя базовый шаблон матрицы, включающий в себя первые и вторые фильтры, причем базовый шаблон матрицы повторяющимся образом размещен в горизонтальном и вертикальном направлениях, и один или более из первых фильтров и один или более из вторых фильтров размещены в каждой линии в горизонтальном и вертикальном направлениях базового шаблона матрицы. Один или более из первых фильтров и один или более из вторых фильтров размещены в каждой линии в горизонтальном и вертикальном направлениях базового шаблона матрицы. Таким образом, генерацию цветовых комбинационных искажений (ложного цвета) в горизонтальном и вертикальном направлениях можно подавлять для повышения разрешения. Базовый шаблон матрицы повторяется в горизонтальном и вертикальном направлениях в матрице цветовых фильтров. Таким образом, обработку демозаицирования (интерполяции) на более поздней стадии можно выполнять согласно повторяющемуся шаблону.

Предпочтительно, в матрице цветовых фильтров устройства формирования цветного изображения согласно другому аспекту настоящего изобретения, первые фильтры размещены в центре и четырех углах группы 3×3 пикселей, и группа 3×3 пикселей повторяющимся образом размещена в горизонтальном и вертикальном направлениях. Первые фильтры размещены в четырех углах группы 3×3 пикселей. Таким образом, если группа 3×3 пикселей повторяющимся образом размещена в горизонтальном и вертикальном направлениях, матрица цветовых фильтров включает в себя квадратные матрицы, соответствующие 2×2 пикселям, включающим в себя первые фильтры. Пиксельные значения 2×2 пикселей можно использовать для определения направления с высокой корреляцией из горизонтального, вертикального и наклонных (С-В, С-З) направлений.

Предпочтительно, в матрице цветовых фильтров устройства формирования цветного изображения согласно другому аспекту настоящего изобретения, первые фильтры размещены вертикально и горизонтально по обе стороны фильтра в центре группы 3×3 пикселей, и группа 3×3 пикселей повторяющимся образом размещена в горизонтальном и вертикальном направлениях. Первые фильтры размещены вертикально и горизонтально по обе стороны фильтра в центре группы 3×3 пикселей. Таким образом, если группа 3×3 пикселей повторяющимся образом размещена в горизонтальном и вертикальном направлениях, первые фильтры соседствуют друг с другом (в двух пикселях) в горизонтальном и вертикальном направлениях по обе стороны фильтра в центре группы 3×3 пикселей в матрице цветовых фильтров. Пиксельные значения пикселей (всего восемь пикселей), соответствующих первым фильтрам, можно использовать для определения направления корреляции четырех направлений.

В устройстве формирования цветного изображения согласно другому аспекту настоящего изобретения, блок определения направления вычисляет абсолютные значения разности пиксельных значений соседних пикселей в каждом из горизонтального, вертикального и наклонного (С-В, С-З) направлений и определяет направление с минимальным абсолютным значением разности из абсолютных значений разности в направлениях в качестве направления корреляции.

В устройстве формирования цветного изображения согласно другому аспекту настоящего изобретения, блок определения направления вычисляет отношения пиксельных значений соседних пикселей в каждом из горизонтального, вертикального и наклонного (С-В, С-З) направлений и определяет направление с отношением, наиболее близким к 1 из отношений в направлениях в качестве направления корреляции.

Множество абсолютных значений разности или отношений можно вычислять для каждого из направлений, и сумма или среднее значение множества абсолютных значений разности или среднее значение отношений можно вычислять для каждого из направлений. В этом случае, направление корреляции можно определить более точно.

В устройстве формирования цветного изображения согласно другому аспекту настоящего изобретения, блок обработки демозаицирования задает пиксельное значение пикселя другого цвета в направлении корреляции, определенном блоком определения направления, в качестве пиксельного значения другого цвета в пиксельной позиции целевого пикселя или задает значение, полученное путем интерполяции пиксельных значений множества пикселей другого цвета в направлении корреляции, определенном блоком определения направления, в качестве пиксельного значения другого цвета в пиксельной позиции целевого пикселя.

В устройстве формирования цветного изображения согласно другому аспекту настоящего изобретения, в отсутствие пикселя другого цвета в направлении корреляции, определенном блоком определения направления, блок обработки демозаицирования интерполирует пиксельное значение целевого пикселя на основании цветового контраста или цветового отношения в пиксельных позициях пикселей другого цвета вблизи целевого пикселя для вычисления пиксельного значения другого цвета. Цветовой контраст и цветовое отношение в пиксельных позициях пикселей другого цвета выражают разность (цветовой контраст) и отношение (цветовое отношение) между пиксельным значением пикселя в пиксельной позиции и пиксельным значением другого цвета, уже оцененным путем определения направления в направлении корреляции.

В устройстве формирования цветного изображения согласно другому аспекту настоящего изобретения, цветовые фильтры включают в себя фильтры R, фильтры G и фильтры B, соответствующие красному (R), зеленому (G) и синему (B) цветам, причем, когда целевым пикселем обработки демозаицирования является пиксель G, пиксельное значение равно G, и не существует пикселей R и B в направлении корреляции, определенном блоком определения направления, если пиксельные значения пикселей R и B вблизи пикселя G равны R и B, и пиксельные значения G в пиксельных позициях пикселей равны G_R и G_B, блок обработки демозаицирования вычисляет пиксельные значения R_G и B_G пикселей R и B в позиции целевого пикселя согласно следующим формулам

R_G=G+(R-G_R) и B_G=G+(B-G_B), причем

когда целевым пикселем обработки демозаицирования является пиксель R, пиксельное значение равно R, и не существует пикселей G и B в направлении корреляции, определенном блоком определения направления, если пиксельные значения пикселей G и B вблизи пикселя R равны G и B, и пиксельные значения R в пиксельных позициях пикселей равны R_G и R_B, блок обработки демозаицирования вычисляет пиксельные значения G_R и B_R пикселей G и B в позиции целевого пикселя согласно следующим формулам

G_R=R+(G-R_G) и B_R=R+(B-R_B), причем

когда целевым пикселем обработки демозаицирования является пиксель B, пиксельное значение равно B, и не существует пикселей G и R в направлении корреляции, определенном блоком определения направления, если пиксельные значения пикселей G и R вблизи пикселя B равны G и R, и пиксельные значения B в пиксельных позициях пикселей равны B_G и B_R, блок обработки демозаицирования вычисляет пиксельные значения G_B и R_B пикселей G и R в позиции целевого пикселя согласно следующим формулам

G_B=B+(G-B_G) и R_B=B+(R-B_R).

В устройстве формирования цветного изображения согласно другому аспекту настоящего изобретения, цветовые фильтры включают в себя фильтры R, фильтры G и фильтры B, соответствующие красному (R), зеленому (G) и синему (B) цветам, причем, когда целевым пикселем обработки демозаицирования является пиксель G, пиксельное значение равно G, и не существует пикселей R и B в направлении корреляции, определенном блоком определения направления, если пиксельные значения пикселей R и B вблизи пикселя G равны R и B, и пиксельные значения G в пиксельных позициях пикселей равны G_R и G_B, блок обработки демозаицирования вычисляет пиксельные значения R_G и B_G пикселей R и B в позиции целевого пикселя согласно следующим формулам

R_G=G×(R/G_R) и B_G=G×(B/G_B), причем

когда целевым пикселем обработки демозаицирования является пиксель R, пиксельное значение равно R, и не существует пикселей G и B в направлении корреляции, определенном блоком определения направления, если пиксельные значения пикселей G и B вблизи пикселя R равны G и B, и пиксельные значения R в пиксельных позициях пикселей равны R_G и R_B, блок обработки демозаицирования вычисляет пиксельные значения G_R и B_R пикселей G и B в позиции целевого пикселя согласно следующим формулам

G_R=R×(G/R_G) и B_R=R×(B/R_B), причем

когда целевым пикселем обработки демозаицирования является пиксель B, пиксельное значение равно B, и не существует пикселей G и R в направлении корреляции, определенном блоком определения направления, если пиксельные значения пикселей G и R вблизи пикселя B равны G и R, и пиксельные значения B в пиксельных позициях пикселей равны B_G и B_R, блок обработки демозаицирования вычисляет пиксельные значения G_B и R_B пикселей G и R в позиции целевого пикселя согласно следующим формулам

G_B=B×(G/B_G) и R_B=B×(R/B_R).

В устройстве формирования цветного изображения согласно другому аспекту настоящего изобретения, блок определения направления определяет отсутствие направления корреляции, когда значения разности пиксельных значений пикселей, соседствующих друг с другом в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях равны, и если блок определения направления определяет отсутствие направления корреляции, блок обработки демозаицирования использует одно или более пиксельных значений одного или более пикселей другого цвета вблизи пиксельной позиции целевого пикселя обработки демозаицирования для вычисления пиксельного значения другого цвета в пиксельной позиции.

В устройстве формирования цветного изображения согласно другому аспекту настоящего изобретения, цветовые фильтры включают в себя фильтры R, фильтры G и фильтры B, соответствующие красному (R), зеленому (G) и синему (B) цветам, и матрица фильтров включает в себя: первую матрицу, соответствующую 3×3 пикселям, причем первая матрица включает в себя фильтры G, размещенные в центре и четырех углах, фильтры B, вертикально размещенные по обе стороны фильтра G в центре, и фильтры R, горизонтально размещенные по обе стороны фильтра G в центре; и вторую матрицу, соответствующую 3×3 пикселям, причем вторая матрица включает в себя фильтры G, размещенные в центре и четырех углах, фильтры R, вертикально размещенные по обе стороны фильтра G в центре, и фильтры B, горизонтально размещенные по обе стороны фильтра G в центре, причем первые и вторые матрицы попеременно размещены в горизонтальном и вертикальном направлениях.

Согласно матрице цветовых фильтров с конфигурацией, при выделении 5×5 пикселей (локальной области мозаичного изображения) вокруг первой или второй матрицы, существует 2×2 пикселей G в четырех углах 5×5 пикселей. Пиксельные значения 2×2 пикселей G можно использовать для определения направления корреляции четырех направлений.

В устройстве формирования цветного изображения согласно другому аспекту настоящего изобретения, цветовые фильтры включают в себя фильтры R, фильтры G и фильтры B, соответствующие красному (R), зеленому (G) и синему (B) цветам, и матрица фильтров включает в себя: первую матрицу, соответствующую 3×3 пикселям, причем первая матрица включает в себя фильтр R, размещенный в центре, фильтры B, размещенные в четырех углах, и фильтры G, вертикально и горизонтально размещенные по обе стороны фильтра R в центре; и вторую матрицу, соответствующую 3×3 пикселям, причем вторая матрица включает в себя фильтр B, размещенный в центре, фильтры R, размещенные в четырех углах, и фильтры G, вертикально и горизонтально размещенные по обе стороны фильтра B в центре, причем первые и вторые матрицы попеременно размещены в горизонтальном и вертикальном направлениях.

Согласно матрице цветовых фильтров с конфигурацией, при выделении 5×5 пикселей (локальной области мозаичного изображения) вокруг первой или второй матрицы, существуют пиксели G, соседствующие друг с другом в горизонтальном и вертикальном направлениях по обе стороны пикселя (пиксель R или пиксель B) в центре 5×5 пикселей. Пиксельные значения пикселей G (всего восемь пикселей) можно использовать для определения направления корреляции четырех направлений.

Положительные результаты изобретения

Согласно настоящему изобретению, используется элемент формирования цветного изображения, включающий в себя цветовые фильтры, включающие в себя секции, где два или более первых фильтра, которые вносят наибольший вклад в получение сигналов яркости, соседствуют друг с другом в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях (в четырех направлениях). Элемент формирования цветного изображения включает в себя первые фильтры и вторые фильтры, соответствующие двум или более вторым цветам, отличным от первого цвета, которые периодически размещены в линиях в горизонтальном и вертикальном направлениях. Направление корреляции яркости определяется на основании значений разности пиксельных значений пикселей, соседствующих друг с другом в направлениях. Таким образом, пиксельные значения с минимальными пиксельными интервалами можно использовать для определения направления корреляции. При вычислении пиксельного значения другого цвета в пиксельной позиции целевого пикселя обработки демозаицирования, выделенного из мозаичного изображения, пиксельное значение пикселя другого цвета в определенном направлении корреляции используется для вычисления пиксельного значения другого цвета в пиксельной позиции целевого пикселя. Таким образом, можно точно оценивать пиксельное значение пикселя другого цвета, и можно подавлять генерацию ложного цвета на высокочастотной секции.

Краткое описание чертежей

Фиг. 1 - блок-схема, демонстрирующая варианты осуществления устройства формирования цветного изображения согласно настоящему изобретению.

Фиг. 2 - схема, демонстрирующая матрицу цветовых фильтров из цветовых фильтров, размещенных на элементе формирования цветного изображения первого варианта осуществления.

Фиг. 3 - схема, демонстрирующая базовый шаблон матрицы, включенный в матрицу цветовых фильтров элемента формирования цветного изображения первого варианта осуществления.

Фиг. 4 - схема, демонстрирующая состояние, в котором базовый шаблон матрицы из 6×6 пикселей, включенных в матрицу цветовых фильтров элемента формирования цветного изображения первого варианта осуществления, делится на матрицы A и матрицы B 3×3 пикселя.

Фиг. 5 - схема, демонстрирующая состояние, в котором базовый шаблон матрицы из 6×6 пикселей, включенных в матрицу цветовых фильтров элемента формирования цветного изображения первого варианта осуществления, делится на матрицы A и матрицы B 3×3 пикселя, и матрицы A и матрицы B размещены.

Фиг. 6 - схема, используемая для пояснения способа определения направления корреляции яркости и способа интерполяции пикселей при обработке демозаицирования.

Фиг. 7A - схема, демонстрирующая наклонное высокочастотное изображение, падающее на элемент формирования цветного изображения.

Фиг. 7B - схема, используемая для пояснения способа определения направления корреляции, когда наклонное высокочастотное изображение падает на элемент формирования цветного изображения.

Фиг. 8 - схема, демонстрирующая второй вариант осуществления элемента формирования цветного изображения, применяемый к настоящему изобретению.

Фиг. 9 - схема, демонстрирующая третий вариант осуществления элемента формирования цветного изображения, применяемый к настоящему изобретению.

Фиг. 10 - схема, демонстрирующая четвертый вариант осуществления элемента формирования цветного изображения, применяемый к настоящему изобретению.

Фиг. 11 - схема, демонстрирующая пятый вариант осуществления элемента формирования цветного изображения, применяемый к настоящему изобретению.

Фиг. 12 - схема, демонстрирующая шестой вариант осуществления элемента формирования цветного изображения, применяемый к настоящему изобретению.

Фиг. 13 - схема, демонстрирующая седьмой вариант осуществления элемента формирования цветного изображения, применяемый к настоящему изобретению.

Фиг. 14 - схема, используемая для пояснения проблемы традиционного элемента формирования цветного изображения, включающего в себя цветовые фильтры в матрице Байера.

Описание вариантов осуществления

Далее, предпочтительные варианты осуществления устройства формирования цветного изображения согласно настоящему изобретению будут подробно описаны со ссылкой на прилагаемые чертежи.

Общая конфигурация устройства формирования цветного изображения

На фиг. 1 показана блок-схема, демонстрирующая варианты осуществления устройства формирования цветного изображения согласно настоящему изобретению.

Оптическая система формирования изображения 10 формирует изображение предмета, и оптическое изображение, указывающее изображение предмета, формируется на светоприемной поверхности элемента 12 формирования цветного изображения (элемента формирования цветного изображения первого варианта осуществления).

Элемент 12 формирования цветного изображения является одноплатным элементом формирования цветного изображения, включающим в себя: множество пикселей (не показано), включающих в себя элементы фотоэлектрического преобразования, размещенные в горизонтальном и вертикальном направлениях (двухмерную матрицу); и цветовые фильтры в заранее определенной матрице цветовых фильтров, размещенных на светоприемных поверхностях пикселей. Матрица цветовых фильтров элемента 12 формирования цветного изображения отличается тем, что включает в себя: фильтры всех цветов из красного (R), зеленого (G) и синего (B), периодически размещенные в линиях в горизонтальном и вертикальном направлениях; и секции, где два или более фильтров G, соответствующих пикселям G, которые вносят наибольший вклад в получение сигналов яркости, соседствуют друг с другом в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях. Детали, касающиеся элемента 12 формирования цветного изображения, будут описаны ниже.

Элементы фотоэлектрического преобразования преобразуют изображение предмета, сформированное на элементе 12 формирования цветного изображения, в заряды сигнала, соответствующие количеству падающего света. Заряды сигнала, накопленные на элементах фотоэлектрического преобразования, последовательно считываются с элемента 12 формирования цветного изображения в виде сигналов напряжения (сигналов формирования изображения), соответствующих зарядам сигнала, на основании импульсов возбуждения, выдаваемых блоком 18 возбуждения согласно инструкции блока 20 управления. Сигналы формирования изображения, считываемые с элемента 12 формирования цветного изображения, являются сигналами R, G и B, указывающими мозаичное изображение R, G и B, соответствующее матрице цветовых фильтров элемента 12 формирования цветного изображения. Элемент 12 формирования цветного изображения не ограничивается элементом формирования цветного изображения типа ПЗС (прибором с зарядовой связью) и может относиться к другому типу элемента формирования изображения, например, являться элементом формирования изображения на основе КМОП (комплементарных транзисторов типа металл-окисел-полупроводник).

Сигналы формирования изображения, считываемые с элемента 12 формирования цветного изображения, поступают на блок 14 обработки изображения. Блок 14 обработки изображения включает в себя: схему коррелированной двухступенчатой выборки (CDS), которая устраняет шум сброса, присутствующий в сигналах формирования изображения; схему АРУ (автоматической регулировки усиления), которая усиливает сигналы формирования изображения и регулирует размер на определенном уровне; и А/Ц преобразователь. Блок 14 обработки изображения применяет процесс коррелированной двухступенчатой выборки к входным сигналам формирования изображения и усиливает сигналы формирования изображения, после чего выводит RAW-данные, которые формируется путем преобразования сигналов формирования изображения в цифровые сигналы формирования изображения, на блок 16 обработки изображения.

Блок 16 обработки изображения включает в себя схема коррекции баланса белого, схему гамма-коррекции, схему обработки демозаицирования согласно настоящему изобретению (схему обработки, которая вычисляет (преобразует в синхронную систему) всю цветовую информацию пикселей RGB из мозаичного изображения RGB, связанного с матрицей цветовых фильтров одноплатного элемента 12 формирования цветного изображения), схему генерации сигнала яркости/цветового контраста, схему коррекции контуров, схему цветовой коррекции и пр. Согласно инструкции от блока 20 управления, блок 16 обработки изображения применяет необходимую обработку сигнала к RAW-данным мозаичного изображения, поступающим из блока 14 обработки изображения, для генерации данных изображения (данных YUV), включающих в себя данные яркости (данные Y) и данные цветового контраста (данные Cr, Cb).

Для неподвижных изображений, схема обработки сжатия/растяжения применяет процесс сжатия, который согласуется со стандартом JPEG (joint photographic experts group), в данные изображения, генерируемые блоком 16 обработки изображения. Для движущихся изображений, схема обработки сжатия/растяжения применяет процесс сжатия, который согласуется со стандартом MPEG2 (moving picture experts group), в данные изображения. Данные изображения записываются на носитель записи (карту памяти) и выводятся на устройство отображения (не показано), например, жидкокристаллический монитор, и отображаются на нем.

Детали обработки схемой обработки демозаицирования согласно настоящему изобретению на блоке 16 обработки изображения будут описаны ниже.

Признаки матрицы цветовых фильтров

Матрица цветовых фильтров элемента 12 формирования цветного изображения имеет следующие признаки (1), (2) и (3).

Признак (1)

На фиг. 2 показана схема, демонстрирующая матрицу цветовых фильтров из цветовых фильтров, размещенных на элементе 12 формирования цветного изображения. Согласно фиг. 2, матрица цветовых фильтров элемента 12 формирования цветного изображения включает в себя базовый шаблон P матрицы (шаблон, указанный толстой рамкой) сформированный шаблоном квадратной матрицы, соответствующей 6×6 пикселям, и базовый шаблон P матрицы повторяющимся образом размещен в горизонтальном и вертикальном направлениях. Таким образом, матрица цветовых фильтров включает в себя фильтры цветов R, G и B (фильтры R, фильтры G и фильтры B), размещенные с заранее определенным периодом.

Таким образом, фильтры R, фильтры G и фильтры B размещены с заранее определенным периодом. Таким образом, обработка демозаицирования и пр. сигналов R, G и B, считываемых из элемента 12 формирования цветного изображения, может осуществляться согласно повторяющемуся шаблону.

Признак (2)

В матрице цветовых фильтров, показанной на фиг. 2, фильтры всех цветов R, G и B размещены в линиях в горизонтальном и вертикальном направлениях базового шаблона P матрицы. Таким образом, как описано ниже, когда направление корреляции определяется как горизонтальное направление или вертикальное направление при обработке демозаицирования, пиксельное значение пикселя другого цвета в горизонтальном направлении или вертикальном направлении можно использовать для интерполяции. Таким образом, можно подавлять генерацию цветовых комбинационных искажений (ложный цвет). Поскольку можно управлять генерацией ложного цвета, можно не размещать оптический фильтр низких частот на оптическом пути от плоскости падения до плоскости формирования изображения оптической системы. Даже в случае применения оптического фильтра низких частот, можно применять фильтр с меньшим эффектом срезания высокочастотных составляющих для предотвращения генерации ложного цвета, и можно предотвращать потерю разрешения.

На Фиг. 3 показано состояние, в котором базовый шаблон P матрицы, показанный на фиг. 2, делится на четыре набора 3×3 пикселя.

Согласно фиг. 3, базовый шаблон P матрицы можно рассматривать как шаблон, включающий в себя матрицы A 3×3 пикселя, окруженные рамкой сплошных линий, и матрицы B 3×3 пикселя, окруженные рамкой пунктирных линий, попеременно размещенные в горизонтальном и вертикальном направлениях, как показано на фиг. 4.

Каждая из матриц A и B включает в себя фильтры G в качестве пикселей яркости, размещенных в четырех углах и в центре, и фильтры G размещены на обеих диагоналях. В матрице A фильтры R размещены в горизонтальном направлении, и фильтры B размещены в вертикальном направлении, по обе стороны фильтра G в центре. Между тем, в матрице B, фильтры B размещены в горизонтальном направлении, и фильтры R размещены в вертикальном направлении, по обе стороны фильтра G в центре. Таким образом, хотя позиционное соотношение между фильтрами R и B противоположно в матрицах A и B, в остальном, компоновка одинакова.

Признак (3)

Базовый шаблон P матрицы для матрицы цветовых фильтров, показанной на фиг. 2, включает в себя секции, где два или более фильтров G соседствуют друг с другом в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях. Матрица цвето