Устройство формирования изображений и способ управления устройством формирования изображений

Устройство формирования изображений и способ управления устройством формирования изображений

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ

[0001] Настоящее изобретение относится к устройству формирования изображений, к способу управления и к управляющей программе для устройства формирования изображений, и, в частности, к устройству формирования изображений, оснащенному устройством съемки цветных изображений, к способу управления и к управляющей программе для этого устройства формирования изображений.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

[0002] Первоначальная система с цветной матрицей Байера (Bayer) (см., например, патентные документы 1-3), которая представляет собой цветную матрицу, широко используемую в устройствах съемки цветных изображений, имеет красные (R) и синие (B) пиксели, размещенные в последовательных строках шахматной структуры из зеленых (G) пикселей, к которым человеческий глаз является наиболее чувствительным и которые вносят наибольший вклад в получение сигнала яркости.

ДОКУМЕНТЫ ИЗ ПРЕДШЕСТВУЮЩЕГО УРОВНЯ ТЕХНИКИ

[0003]

Патентный документ 1 - выложенная заявка на патент Японии (JP-A) №2002-135793

Патентный документ 2 - патент Японии №3960965

Патентный документ 3 - JP-A №2004-266369

Патентный документ 3 - JP-A №2004-266369

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ЗАДАЧА, РЕШАЕМАЯ ИЗОБРЕТЕНИЕМ

[0004] Однако, иногда во время захвата изображений с использованием устройства съемки цветных изображений происходит смешение цветов вследствие влияния просачивания света от соседних пикселей. В таких случаях коэффициент смешения цветов вследствие влияния просачивания света от соседних пикселей обычно измеряют заранее, и затем пиксельные данные для каждого из пикселей корректируют на основании этого коэффициента смешения цветов.

[0005] В устройстве съемки цветных изображений, в котором используют обычную матрицу Байера, например, для генерации данных изображения для видео, в тех случаях, когда считывают 1 строку с пиксельными данными из каждых 3 строк пикселей в вертикальном направлении (прореживание 1/3 в вертикальном направлении), и считывают 1 пиксель с данными изображения для каждых 3 пикселей в горизонтальном направлении (прореживание 1/3 в горизонтальном направлении), оба изображения: изображение, считанное путем прореживания, и исходное изображение являются одной и той же матрицей Байера. Следовательно, цвет пикселя, смежного с пикселем-объектом для коррекции смешения цветов, является одним и тем же как перед прореживанием, так и после прореживания, и, следовательно, коррекция смешения цветов может быть выполнена без модифицирования путем использования значений пикселей смежных пикселей в изображении после прореживания.

[0006] Однако, в тех случаях, когда используют цветовой фильтр с базовой матричной структурой, являющейся наименьшим повторяющимся единичным элементом, превышающим единичный элемент матрицы Байера, например, базовую матричную структуру из 6×6 пикселей, в тех случаях, когда выполняют прореживание 1/2 или прореживание 1/3 в обоих направлениях: в вертикальном направлении и в горизонтальном направлении, иногда изображение после прореживания имеет иную матрицу, чем базовая матричная структура изображения перед прореживанием. В таких случаях цвет пикселя, смежного с пикселем-объектом для коррекции смешения цветов, имеет иной цвет, чем пиксель, являющийся смежным до прореживания, что приводит к проблеме, заключающейся в ухудшении точности коррекции смешения цветов, если коррекция смешения цветов выполняют без модифицирования с использованием значений пикселей тех пикселей, которые являются смежными в изображении после прореживания.

[0007] Настоящее изобретение направлено на решение вышеупомянутой проблемы, и его задачей является создание устройства формирования изображений, способа управления и управляющей программы для устройства формирования изображений, которые способны выполнять коррекцию смешения цветов с превосходной точностью.

СРЕДСТВА РЕШЕНИЯ ЗАДАЧИ

[0008] Для решения вышеупомянутой задачи устройство формирования изображений из настоящего изобретения включает в себя: устройство съемки изображений, включающее в себя множественные элементы фотоэлектрического преобразования, упорядоченные в предопределенном первом направлении и во втором направлении, пересекающемся с первым направлением; цветовой фильтр, предусмотренный над множественными пикселями, образованными множественными элементами фотоэлектрического преобразования, причем этот цветовой фильтр имеет расположенную с повторением базовую матричную структуру, которая включает в себя первый фильтр, соответствующий первому цвету, который вносит наибольший вклад в получение сигнала яркости, и вторые фильтры, соответствующие, соответственно, 2 или более вторым цветам, являющимся иными, чем первый цвет, которые расположены в виде предопределенной структуры; средство приведения в действие, которое приводит в действие устройство съемки изображений так, для матрицы пикселей для считывания с устройства съемки изображений, что пиксельные данные пикселей, расположенных в заданном цикле в, по меньшей мере, одном направлении из первого направления и второго направления, считываются, чтобы получить вторую матрицу, которая отличается от первой матрицы, выражающей матрицу всех пикселей, считанных с устройства съемки изображений; и средство коррекции смешения цветов, которое выполняет коррекцию смешения цветов для каждых из пиксельных данных пикселей, расположенных в заданном цикле, при этом, средство коррекции смешения цветов корректирует пиксельные данные пикселя-объекта для коррекции смешения цветов на основании пиксельных данных пикселя, который имеет тот же самый цвет, что и смежный пиксель, непосредственно примыкающий к пикселю-объекту в первой матрице, и который является пикселем, который имеет кратчайшее расстояние от смежного пикселя в первой матрице.

[0009] Согласно изобретению, коррекция пиксельных данных пикселя-объекта для коррекции смешения цветов на основании пиксельных данных пикселя, имеющего тот же самый цвет, что и смежный пиксель, непосредственно примыкающий к пикселю-объекту в первой матрице, и который является пикселем, который имеет кратчайшее расстояние от смежного пикселя в первой матрице, позволяет добиться превосходной точности коррекции смешения цветов.

[0010] Следует отметить, что конфигурация может быть выполнена так, что: имеется один или более первых фильтров, расположенных в каждой строке в цветовом фильтре в первом направлении, во втором направлении и в третьих направлениях, которые пересекаются с первым направлением и со вторым направлением; и вторые фильтры, которые соответственно соответствуют каждому цвету из вторых цветов, расположенные так, что имеется 1 или более каждого из них в каждой строке в базовой матричной структуре в первом направлении и во втором направлении.

[0011] Согласно изобретению, первый фильтр, который соответствует первому цвету, вносящему наибольший вклад в получение сигнала яркости, размещен в каждой строке в цветовом фильтре в направлении с первого направления по третье направление, обеспечивая тем самым возможность повышения точности воспроизведения синхронной обработки в областях высокой частоты. Кроме того, вторые фильтры, которые соответственно соответствуют каждому цвету из 2 или более вторых цветов иных, чем первый цвет, размещены так, что имеется 1 или более каждого из них в каждой строке в базовой матричной структуре в первом направлении и во втором направлении, что обеспечивает возможность ослабления генерации цветного муара (ложного цвета) и позволяет добиться формирования изображений с более высоким разрешением.

[0012] Кроме того, конфигурация может быть выполнена так, что цветовым фильтром является цветовой фильтр с расположенной с повторением базовой матричной структурой, причем эта базовая матричная структура имеет первый фильтр, который соответствует первому цвету, вносящему наибольший вклад в получение сигнала яркости, и вторые фильтры, которые соответственно соответствуют 2 или более вторым цветам, являющимся иными, чем первый цвет, которые расположены в виде предопределенной структуры из (N×M) пикселей (где N, М - целые числа, равные 3 или более) в первом направлении и во втором направлении.

[0013] Конфигурация может быть выполнена так, что цветовой фильтр включает в себя квадратную матрицу, соответствующую 2×2 пикселям, сконфигурированную из первого фильтра.

[0014] Согласно изобретению то, какое направление, из каждого из этих четырех направлений, является направлением корреляции яркости, может быть определено путем определения минимального расстояния между пикселями на основании значений разности значений пикселей между каждым из пикселей из 4 пикселей квадратной матрице, соответствующей 2×2 пикселям.

[0015] Конфигурация может быть выполнена так, что первым цветом является зеленый (G), а вторыми цветами являются красный (R) и синий (B).

[0016] Конфигурация может быть выполнена так, что: цветовой фильтр включает в себя R-фильтр, G-фильтр и B-фильтр, которые соответствуют красному цвету (R), зеленому цвету (G) и синему цвету (B); и цветовой фильтр сконфигурирован первой матрицей и второй матрицей, упорядоченными с чередованием в первом направлении и во втором направлении, при этом, первая матрица соответствует 3×3 пикселям с G-фильтром, расположенным в центре и в 4 углах, B-фильтром, расположенным сверху и снизу от центрального G-фильтра, и R-фильтром, расположенным слева и справа от центрального G-фильтра, а вторая матрица соответствует 3×3 пикселям с G-фильтром, расположенным в центре и в 4 углах, R- фильтром, расположенным сверху и снизу от центрального G-фильтра, и B-фильтром, расположенным слева и справа от центрального G-фильтра.

[0017] Согласно изобретению, если извлечены 5×5 пикселей (локальная область мозаичного изображения) с центром в первой матрице или во второй матрице, то 2×2 пикселей из G-пикселей присутствуют в 4 углах 5×5 пикселей. Значения G-пикселей из этих 2×2 пикселей могут использоваться для определения направления корреляции из 4 направлений.

[0018] Кроме того конфигурация может быть выполнена так, что: цветовой фильтр включает в себя R-фильтр, G-фильтр и B-фильтр, соответствующие следующим цветам: красному (R), зеленому (G) и синему (B); и цветовой фильтр сконфигурирован первой матрицей и второй матрицей, упорядоченными с чередованием в первом направлении и во втором направлении, при этом, первая матрица соответствует 3×3 пикселям с R-фильтром, расположенным в центре, B-фильтром, расположенным в 4 углах, и G-фильтром, расположенным сверху, снизу, слева и справа от центрального R-фильтра, а вторая матрица соответствует 3×3 пикселям с B-фильтром, расположенным в центре, R-фильтром, расположенным в 4 углах, и G-фильтром, расположенным сверху, снизу, слева и справа от центрального B-фильтра.

[0019] Согласно изобретению, если извлечены 5×5 пикселей (локальная область мозаичного изображения) с центром в первой матрице или во второй матрице, то имеется G-пиксель, непосредственно примыкающий в горизонтальном направлении и в вертикальном направлении к центральному пикселю (R-пикселю или B-пикселю) из 5×5 пикселей. Значения пикселей из этих G-пикселей (в общей сложности 8 пикселей) могут использоваться для определения направления корреляции из 4 направлений.

[0020] Следует отметить, что в тех случаях, когда имеются множественные пиксели на кратчайшем расстоянии, средство коррекции смешения цветов может корректировать пиксельные данные пикселя-объекта, на основании пиксельных данных любого пикселя из множественных пикселей.

[0021] Кроме того конфигурация может быть выполнена так, что средство коррекции смешения цветов корректирует пиксельные данные пикселя-объекта на основании среднего значения пиксельных данных множественных пикселей в тех случаях, когда присутствуют множественные пиксели на кратчайшем расстоянии.

[0022] Предпочтительно цикл является циклом из 3 или менее пикселей.

[0023] Конфигурация может быть выполнена так, что дополнительно включает в себя средство переключения, которое переключает цикл.

[0024] Способ управления для устройства формирования изображений из настоящего изобретения представляет собой способ управления для устройства формирования изображений, включающего в себя устройство съемки изображений, которое включает в себя множественные элементы фотоэлектрического преобразования, упорядоченные в предопределенном первом направлении и во втором направлении, пересекающемся с первым направлением, а над множественными пикселями, сконфигурированными посредством множества элементов фотоэлектрического преобразования, предусмотрен цветовой фильтр, причем этот цветовой фильтр имеет расположенную с повторением базовую матричную структуру, которая включает в себя первый фильтр, соответствующий первому цвету, который вносит наибольший вклад в получение сигнала яркости, и вторые фильтры, соответственно соответствующие 2 или более вторым цветам, являющимся иными, чем первый цвет, которые расположены в виде предопределенной структуры. Способ управления включает в себя следующее: приводят в действие устройство съемки изображений так, для матрицы пикселей для считывания с устройства съемки изображений, что пиксельные данные пикселей, расположенных в заданном цикле в, по меньшей мере, одном направлении из первого направления и второго направления, считываются, чтобы получить вторую матрицу, считаную из устройства съемки изображения, которая отличается от первой матрицы, выражающей матрицу всех пикселей устройства съемки изображений; и выполняют обработку по коррекции смешения цветов, при которой выполняют коррекцию смешения цветов для каждых из пиксельных данных пикселей, расположенных в заданном цикле, при этом, пиксельные данные пикселя-объекта для коррекции смешения цветов корректируют на основании пиксельных данных из пикселя, который имеет тот же самый цвет, что и смежный пиксель, непосредственно примыкающий к пикселю-объекту в первой матрице, и который является пикселем, который имеет кратчайшее расстояние от смежного пикселя в первой матрице.

[0025] Управляющая программа из настоящего изобретения представляет собой управляющую программу, которая вызывает выполнение обработки в компьютере, управляющем устройством формирования изображений, которое включает в себя устройство съемки изображений, включающее в себя множественные элементы фотоэлектрического преобразования, упорядоченные в предопределенном первом направлении и во втором направлении, пересекающемся с первым направлением, а над множественными пикселями, сконфигурированными посредством множества элементов фотоэлектрического преобразования, предусмотрен цветовой фильтр, причем этот цветовой фильтр имеет расположенную с повторением базовую матричную структуру, которая включает в себя первый фильтр, соответствующий первому цвету, вносящему наибольший вклад в получение сигнала яркости, и вторые фильтры, соответственно соответствующие 2 или более вторым цветам, которые являются иными, чем первый цвет, расположенные в виде предопределенной структуры. Обработка включает в себя: этап приведения в действие устройства съемки изображений так, для матрицы пикселей для считывания с устройства съемки изображений, что пиксельные данные пикселей, расположенных в заданном цикле в, по меньшей мере, одном направлении из первого направления и второго направления, считываются, чтобы получить вторую матрицу, которая отличается от первой матрицы, выражающей матрицу всех пикселей устройства съемки изображений; и этап обработки по коррекции смешения цветов, на котором выполняют коррекцию смешения цветов для каждых из пиксельных данных пикселей, расположенных в заданном цикле, при этом, пиксельные данные пикселя-объекта для коррекции смешения цветов корректируют на основании пиксельных данных из пикселя, который имеет тот же самый цвет, что и смежный пиксель, непосредственно примыкающий к пикселю-объекту в первой матрице, и которым является пиксель, находящийся на кратчайшем расстоянии от смежного пикселя в первой матрице.

[0026] Управляющая программа из настоящего изобретения вызывает выполнение обработки в компьютере, причем эта обработка представляет собой обработку по коррекции смешения цветов для коррекции смешения цветов матрицы пикселей, считанных с устройства съемки изображений, включающего в себя множественные элементы фотоэлектрического преобразования, упорядоченные в предопределенном первом направлении и во втором направлении, пересекающемся с первым направлением, а над множественными пикселями, сконфигурированными посредством множества элементов фотоэлектрического преобразования, предусмотрен цветовой фильтр, причем этот цветовой фильтр имеет расположенную с повторением базовую матричную структуру, которая включает в себя первый фильтр, соответствующий первому цвету, вносящему наибольший вклад в получение сигнала яркости, и вторые фильтры, соответственно соответствующие 2 или более вторым цветам, которые являются иными, чем первый цвет, расположенные в виде предопределенной структуры, а при обработке по коррекции смешения цветов выполняют коррекцию смешения цветов для соответствующих пиксельных данных из считанных пикселей, при этом, пиксельные данные предназначены для пикселей, расположенных в заданном цикле по меньшей мере в одном направлении из первого направления и второго направления, для получения второй матрицы, отличающейся от первой матрицы, которая выражает матрицу всех пикселей устройства съемки изображений, и включает в себя этап коррекции пиксельных данных пикселя-объекта для коррекции смешения цветов на основании пиксельных данных из пикселя, который имеет тот же самый цвет, что и смежный пиксель, непосредственно примыкающий к пикселю-объекту в первой матрице, и который является пикселем, который имеет кратчайшее расстояние от смежного пикселя в первой матрице.

ПОЛЕЗНЫЕ ЭФФЕКТЫ ИЗОБРЕТЕНИЯ

[0027] Согласно настоящему изобретению, продемонстрирован полезный эффект, состоящий в обеспечении возможности выполнения коррекции смешения цветов с превосходной точностью.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0028] На Фиг. 1 изображена принципиальная блок-схема устройства формирования изображений согласно первому варианту осуществления изобретения, который приведен в качестве примера.

На Фиг. 2 изображена схема конфигурации цветового фильтра согласно первому варианту осуществления изобретения, который приведен в качестве примера.

На Фиг. 3 изображена схема, на которой проиллюстрирована базовая матричная структура, содержащаяся в цветовом фильтре согласно первому варианту осуществления изобретения, который приведен в качестве примера.

На Фиг. 4 изображена схема, иллюстрирующая цветовой фильтр, в котором базовые матричные структуры 6×6 пикселей, содержащиеся в цветовом фильтре согласно первому варианту осуществления изобретения, который приведен в качестве примера, разделены на матрицы A и матрицы B из 3×3 пикселей, которые расположены с повторением вдоль направления по горизонтали и направления по вертикали.

На Фиг. 5 изображена схема, иллюстрирующая характерное размещение G-пикселей в цветовом фильтре согласно первому варианту осуществления изобретения, который приведен в качестве примера.

На Фиг. 6 изображена блок-схема последовательности операций обработки, выполняемой в контроллере.

На Фиг. 7 изображена схема для объяснения того случая, когда считывание с прореживанием 1/2 выполняют в направлении по вертикали и в направлении по горизонтали.

На Фиг. 8 изображена схема для объяснения обработки по коррекции смешения цветов.

На Фиг. 9 изображена схема для объяснения обработки по коррекции смешения цветов.

На Фиг. 10 изображена схема для объяснения обработки по коррекции смешения цветов.

На Фиг. 11 изображена схема для объяснения обработки по коррекции смешения цветов.

На Фиг. 12 изображена схема для объяснения обработки по коррекции смешения цветов.

На Фиг. 13 изображена схема для объяснения обработки по коррекции смешения цветов.

На Фиг. 14 изображена схема для объяснения обработки по коррекции смешения цветов.

На Фиг. 15 изображена схема для объяснения обработки по коррекции смешения цветов.

На Фиг. 16 изображена схема для объяснения обработки по коррекции смешения цветов.

На Фиг. 17 изображена схема для объяснения обработки по коррекции смешения цветов.

На Фиг. 18 изображена схема конфигурации цветового фильтра согласно второму варианту осуществления изобретения, который приведен в качестве примера.

На Фиг. 19 изображена схема, иллюстрирующая базовую матричную структуру, содержащуюся в цветовом фильтре согласно второму варианту осуществления изобретения, который приведен в качестве примера.

На Фиг. 20A изображена схема, иллюстрирующая цветовой фильтр, в котором базовые матричные структуры 6×6 пикселей, содержащиеся в цветовом фильтре согласно второму варианту осуществления изобретения, который приведен в качестве примера, разделены на матрицы A и матрицы B из 3×3 пикселей, которые расположены с повторением вдоль направления по горизонтали и направления по вертикали.

На Фиг. 20B изображена схема, на которой проиллюстрировано характерное размещение G-пикселей в цветовом фильтре согласно второму варианту осуществления изобретения, который приведен в качестве примера.

На Фиг. 21 изображена схема для пояснения изображения после прореживания согласно второму варианту осуществления изобретения, который приведен в качестве примера.

На Фиг. 22 изображена схема видоизмененного примера цветового фильтра.

На Фиг. 23 изображена схема видоизмененного примера цветового фильтра.

На Фиг. 24 изображена схема видоизмененного примера цветового фильтра.

На Фиг. 25 изображена схема видоизмененного примера цветового фильтра.

На Фиг. 26 изображена схема видоизмененного примера цветового фильтра.

На Фиг. 27 изображена схема видоизмененного примера цветового фильтра.

На Фиг. 28 изображена схема видоизмененного примера цветового фильтра.

На Фиг. 29 изображена схема видоизмененного примера цветового фильтра.

ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

[0029] Ниже дано объяснение относительно приведенных в качестве примера вариантов осуществления настоящего изобретения со ссылкой на чертежи.

[0030] Первый вариант осуществления изобретения, приведенный в качестве примера

[0031] На Фиг. 1 изображена принципиальная блок-схема, на которой проиллюстрировано устройство 10 формирования изображений согласно данному варианту осуществления изобретения, который приведен в качестве примера. Устройство 10 формирования изображений сконфигурировано так, что включает в себя оптическую систему 12, устройство 14 съемки изображений, узел 16 обработки захвата изображений, узел 20 обработки изображений, узел 22 приведения в действие и контроллер 24.

[0032] Оптическая система 12 сконфигурирована так, что включает в себя, например, набор линз, сконфигурированный из множества оптических линз, механизм регулирования апертуры, механизм-трансфокатор и механизм автоматической фокусировки.

[0033] Устройство 14 съемки изображений представляет собой то, что именуют однокристальным устройством съемки изображений, сконфигурированным посредством устройства съемки изображений, такого как, например, например прибор с зарядовой связью (ПЗС) или комплементарная структура металл-оксид-полупроводник (КМОП), которое содержит множественные элементы фотоэлектрического преобразования, упорядоченные в направлении по горизонтали и в направлении по вертикали, с цветовым фильтром, расположенным над устройством съемки изображений.

[0034] На Фиг. 2 проиллюстрирован участок цветового фильтра согласно данному варианту осуществления изобретения, который приведен в качестве примера. Поверх каждого из пикселей помещен один из 3 фильтров основных цветов: красный (R), зеленый (G) и синий (B).

[0035] Признаки матрицы цветовых фильтров

[0036] Цветовой фильтр из первого варианта осуществления изобретения, который приведен в качестве примера, включает в себя следующие признаки (1)-(6).

[0037] Признак (1)

[0038] Матрица цветового фильтра имеет расположенную с повторением базовую матричную структуру из предопределенной структуры из (N×M) пикселей (где N, М - целые числа, равные 3 или более) в направлении по вертикали и в направлении по горизонтали, состоящую из 3 фильтров основных цветов красного (R), зеленого (G) и синего (B), при этом, зеленый (G) фильтр, и по меньшей мере один цветовой фильтр из красного (R) или синего (B) расположен в каждом из направлений: в направлении по вертикали и в направлении по горизонтали.

[0039] Цветовой фильтр согласно данному варианту осуществления изобретения, проиллюстрированному на Фиг. 2, который приведен в качестве примера, включает в себя базовую матричную структуру P (структуру, обозначенную жирной рамкой), сформированную из квадратных матричных структур, соответствующих, например, 6×6 пикселям (N=М=6), с базовой матричной структурой P, расположенной так, что она повторяется как в направлении по горизонтали (первое направление), так и в направлении по вертикали (второе направление). А именно, цветовой фильтр упорядочен так, что соответствующие фильтры каждого цвета R, G, B (R-фильтры, G-фильтры, B-фильтры) имеют конкретную периодичность.

[0040] Таким образом, упорядочение R-фильтров, G-фильтров и B-фильтров с конкретной периодичностью обеспечивают возможность выполнения обработки в повторяющейся структуре во время, например, обработки с синхронизацией (также именуемой обработкой по устранению мозаичности, причем то же самое применимо ниже) R, G, B сигналов, считанных с устройства съемки цветных изображений.

[0041] Признак (2)

[0042] Матрица цветового фильтра, проиллюстрированная на Фиг. 2, имеет G-фильтр, который соответствует цвету, вносящему наибольший вклад в получение сигнала яркости (цвет G в данном варианте осуществления изобретения, приведенном в качестве примера), который расположен в каждой строке в матрице цветового фильтра в направлении по вертикали, которое является первым направлением, в направлении по горизонтали, которое является вторым направлением, и в третьих направлениях в плоскости цветового фильтра, которые пересекаются с первым направлением и со вторым направлением, а именно, в диагональных направлениях (NE, NW) (третьи направления). Следует отметить, что NE означает диагональное направление вправо вверх, а NW означает диагональное направление вправо вниз. Например, для квадратной матрицы пикселей, направление по диагонали вправо вверх и направление по диагонали вправо вниз являются направлениями под 45° относительно направления по горизонтали. Однако, в прямоугольной матрице пикселей эти направления являются парой диагоналей прямоугольника, и их угол изменяется в соответствии с длинами длинных сторон и коротких сторон.

[0043] Размещение G-фильтров, соответствующих яркости пикселей системы, в каждой из строк в направлении по вертикали, в направлении по горизонтали и в направлениях по диагонали (NE, NW) матрицы цветового фильтра обеспечивает повышение точности воспроизведения обработки с синхронизацией в областях высокой частоты вне зависимости от направленности высокой частоты.

[0044] Признак (3)

[0045] В матрице цветового фильтра, проиллюстрированной на Фиг. 2, 1 или более каждого из фильтров: R-фильтра и B-фильтра, соответствующих 2 или более цветам помимо вышеупомянутого цвета G (цвета R, B в данном варианте осуществления изобретения, который приведен в качестве примера), расположены в каждой строке в базовой матричной структуре P в направлении по вертикали и в направлении по горизонтали матрицы цветового фильтра.

[0046] Расположение R-фильтра и B-фильтра в каждой строке в направлении по вертикали и в направлении по горизонтали матрицы цветового фильтра обеспечивает ослабление генерации цветного муара (ложного цвета).

[0047] Таким образом, это обеспечивает возможность исключить размещение оптического фильтра нижних частот для подавления генерации ложного цвета на оптическом пути оптической системы, от поверхности падения до плоскости изображения, или, даже в случаях, когда применен оптический фильтр нижних частот, можно использовать фильтр, имеющий слабое действие, для обрезания высокочастотных составляющих для предотвращения генерации ложного цвета, что позволяет избежать ухудшения разрешающей способности.

[0048] Признак 4

[0049] На Фиг. 3 проиллюстрировано состояние, в котором базовая матричная структура P, проиллюстрированная на Фиг. 2, была разделена на 4 набора 3×3 пикселя.

[0050] Базовая матричная структура P, проиллюстрированная на Фиг. 3, может восприниматься как матрица A 3×3 пикселя, окруженная рамкой в виде сплошной линии, и как матрица B 3×3 пикселя, окруженная рамкой в виде пунктирной линии, которые упорядочены так, что расположены с чередованием вдоль направлений по горизонтали и по вертикали.

[0051] В обеих матрицах: в матрице A и в матрице B G-фильтры, которые являются пикселями системы яркости, размещены в 4 углах и в центре, в силу чего они размещены на обеих диагональных линиях. В матрице A R-фильтры размещены с обеих сторон центрального G-фильтра в направлении по горизонтали, а B-фильтры размещены с обеих сторон центрального G-фильтра в направлении по вертикали. Однако, в матрице B B-фильтры размещены с обеих сторон центрального G-фильтра в направлении по горизонтали, а R-фильтры размещены с обеих сторон центрального G-фильтра в направлении по вертикали. То есть, матрица A и матрица B имеют обратные взаимные расположения R-фильтров и B-фильтров, но имеют сходное расположение в противном случае.

[0052] Вследствие расположения матрицы A и матрицы B с чередованием в направлении по вертикали и в направлении по горизонтали, как проиллюстрировано на Фиг. 4, 4 угловых G-фильтра в матрице A и в матрице B образуют квадратную матрицу G-фильтров, соответствующую 2×2 пикселям.

[0053] То есть, матрица цветового фильтра (базовая матричная структура P), проиллюстрированная на Фиг. 2, включает в себя квадратные матрицы, соответствующие 2×2 пикселям, сконфигурированные G-фильтрами.

[0054] Когда, как проиллюстрировано на Фиг. 5, локальная область 5×5 пикселей с центром в матрице A, извлечена из мозаичного выходного изображения из устройства 14 съемки изображений, 2×2 пикселя из G-пикселей в 4 углах в локальной области расположены так, как проиллюстрировано на Фиг. 5.

[0055] Как проиллюстрировано на Фиг. 5, беря значения пикселей 2×2 пикселей из G-пикселей как G1, G2, G3, G4 последовательно с верхнего левого до нижнего правого, абсолютное значение разности значений пикселей в направления по вертикали для этих G-пикселей равно (|G1-G3|+|G2-G4|)/2, абсолютное значение разности в направлении по горизонтали равно (|G1-G2|+|G3-G4|)/2, абсолютное значение разности в направлении по диагонали вверх вправо равно |G2-G3|, а абсолютное значение разности в направлении по диагонали вверх влево равно |G1-G4|.

[0056] Затем может быть определена корреляция (направление корреляции) как направление с наименьшим абсолютным значением разности из этих четырех абсолютных значений корреляции.

[0057] Как проиллюстрировано на Фиг. 4 или Фиг. 5, когда из мозаичного изображения извлечена локальная область 5×5 пикселей так, что матрица A 3×3 пикселя расположена в ее центре, то имеется 2×2 пикселя из G-пикселей, расположенных в ее 4 углах. Следовательно, когда 3×3 пикселями матрицы A внутри вышеупомянутой локальной области являются пиксели, подвергаемые обработке с синхронизацией, суммы (или средние значения) абсолютных значений корреляции 4 углов получают по отдельности для каждого направления, и направление, имеющее наименьшее значение из сумм (или средних значений) абсолютных значений корреляции для каждого направления определяют как направление корреляции яркости для пикселей, подвергаемых обработке с синхронизацией. Определенное направление корреляции может использоваться при выполнении обработки с синхронизацией и т.п.

[0058] Признак 5

[0059] Кроме того, базовая матричная структура P, конфигурирующая матрицу цветового фильтра, проиллюстрированную на Фиг. 2, имеет точечную симметрию относительно центра базовой матричной структуры (центра 4 G-фильтров). Кроме того, как проиллюстрировано на Фиг. 3, каждая матрица A и матрица B внутри базовой матричной структуры также соответственно имеет точечную симметрию относительно центральных G-фильтров, а также имеет симметрию вверх-вниз и влево-вправо (осевую симметрию).

[0060] Эта симметрия позволяет уменьшить степень интеграции схемы в схеме обработки на более позднем этапе, и упростить ее.

[0061] Узел 16 обработки захвата изображений выполняет предопределенную обработку сигналов захвата изображений на выходе устройства 14 съемки изображений, например, обработку усиления, корреляционную обработку двойных выборок или обработку аналого-цифрового преобразования, а затем выводит их как данные изображения в узел 20 обработки изображений.

[0062] Узел 20 обработки изображений подвергает данные изображения, выведенные из узла 16 обработки захвата изображений, тому, что именуют обработкой с синхронизацией. А именно, для всех пикселей, выполняют интерполяцию данных изображения для цветов иных, чем соответственно соответствующий цвету из пиксельных данных периферийных пикселей, для генерации R, G, B данных изображения для всех пикселей. Затем для сгенерированных R, G, B данных изображения выполняют то, что именуют обработкой с YC-преобразованием (преобразованием яркость-цветность), для генерации яркостных данных Y и цветоразностных данных Cr, Cb. Затем выполняют обработку по изменению размера для изменения размера этих сигналов до размера, соответствующего режиму захвата изображения.

[0063] Кроме того, как подробно описано ниже, узел 20 обработки изображений выполняет обработку по коррекции смешения цветов для каждого пикселя, на основании пиксельных данных смежных пикселей. Например, в тех случаях, когда выполняют считывание с прореживанием, в тех случаях, когда матрица цветов изображения после прореживания отличается от матрицы цветов изображения перед прореживанием, выполняют коррекцию пиксельных данных для пикселя-объекта для коррекции смешения цветов на основании пиксельных данных пикселя, который имеет тот же самый цвет, что и смежный пиксель, непосредственно примыкающий к пикселю-объекту, для коррекции смешения цветов в матрице до прореживания (первой матрице), и который находится на кратчайшем расстоянии от смежного пикселя в матрице до прореживания. Таким образом, это обеспечивает возможность выполнения коррекции смешения цветов с превосходной точностью даже в тех случаях, когда матрица цветов изображения после прореживания отличается от матрицы цветов изображения до прореживания.

[0064] Узел 22 приведения в действие выполняет приведение в действие, например, считывание сигналов захвата изображения из устройства 14 съемки изображений согласно команде из контроллера 24.

[0065] Контроллер 24 осуществляет централизованное управление, например, узлом 22 приведения в действие и узлом 20 обработки изображений в соответствии с такими факторами, как режим захвата изображения. Подробное описание приведено ниже, однако, в кратком изложении, контроллер 24 дает узлу 22 приведения в действие команду считывания сигналов захвата изображения способом считывания в соответствии с режимом захвата изображения, и дает узлу 20 обработки изображений команду выполнить обработку изображений в соответствии с режимом захвата изображения.

[0066] Поскольку в зависимости от режима захвата изображения имеется необходимость прореживания и считывания сигналов захвата изображения с устройства 14 съемки изображений, то контроллер 24 дает узлу 22 приведения в действие команду прореживания способом прореживания согласно заданному командой режиму захвата изображения и считывания сигналов захвата изображения. То есть, можно переключить способ прореживания посредством контроллера 24, дающего узлу 22 приведения в действие команду считать пиксельные данные для каждого из пикселей в конкретном цикле пикселей в направлении по вертикали, и конкретном цикле пикселей в направлении по горизонтали.