Устройство обработки изображений, способ и программа

Устройство обработки изображений, способ и программа

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству обработки изображений и способу обработки изображений и программе, и, в частности, настоящее изобретение относится к устройству обработки изображений и к способу обработки изображений и программе, которые позволяют классифицировать композицию входного изображения.

Уровень техники

В последние годы была разработана технология, позволяющая различать структуру композиции изображения, снимаемого устройством формирования изображения, таким как цифровая камера и т.п.

Например, была разработана технология, которая распознает субъект внимания, распознает состояние субъекта внимания и выбирает структуру композиции, включающую в себя субъект внимания среди множества записанных структур композиции на основе распознанного состояния субъекта внимания. Например, пример такой технологии раскрыт в Публикации №2008-81246 находящейся на экспертизе заявки на японский патент.

Кроме того, было предложено устройство обработки изображений, которое детектирует характерную структуру путем анализа входного изображения, рассчитывает, как значение оценки, степень ассоциации между множеством предварительно подготовленных композиций и детектируемой характерной структурой и определяет композицию входного изображения на основе значения оценки. Например, пример такого устройства обработки изображений раскрыт в публикации №2009-159023 находящейся на экспертизе заявки на японский патент.

Кроме того, была предложена камера, которая выделяет кромку, соответствующую верхнему краю основного субъекта снятого изображения, или кромку, продолжающуюся между двумя соответствующими сторонами снятого изображения, сравнивает положение или степень наклона выделенной кромки с предварительно определенной соответствующей протяженностью, и определяет, является ли композиция правильной или неправильной. Например, пример такого устройства обработки изображений раскрыт в японском патенте №4029174.

Сущность изобретения

Однако в способе в соответствии с публикацией №2008-81246 находящейся на экспертизе заявки на японский патент требовалось выполнение дорогостоящих операций для распознавания субъекта или распознавания состояния субъекта внимания.

Кроме того, в способе в соответствии с публикацией №2009-159023 находящейся на экспертизе заявки на японский патент, поскольку оценочное значение между множеством предварительно подготовленных композиций и характерной структурой, детектируемой на основе анализа входного изображения, рассчитывают относительно каждого из пикселей, также требовалось выполнять дорогостоящую операцию.

Кроме того, в способе по японскому патенту №4029174, поскольку критерий решения, для определения, является ли композиция правильной или неправильной, основан только на кромке, соответствующей верхнему краю основного предмета в снятом изображении, или кромке, продолжающейся между двумя соответствующими сторонами снятого изображения, тип композиции, который может быть определен, был ограничен.

Настоящее изобретение направлено на решение описанных выше задач. Кроме того, желательно классифицировать композицию входного изображения на подробные структуры композиции, используя операции, выполняемые с более низкими затратами.

В соответствии с этим, раскрыто устройство для обработки входного изображения. Устройство может включать в себя модуль расчета степени симметрии, который может быть выполнен с возможностью приема входного изображения и расчета степени симметрии входного изображения. Устройство также может включать в себя модуль детектирования линии разделения, который может быть выполнен с возможностью приема входного изображения и детектирования линии разделения, которая разделяет две стороны входного изображения. Кроме того, устройство может включать в себя модуль классификации, который может быть выполнен с возможностью классификации входного изображения на основе степени симметрии и линии разделения. Модуль классификации также может быть выполнен с возможностью генерировать сигнал классификации для обеспечения, по меньшей мере, одного из отображения или сохранения классификации.

Здесь также раскрыт способ обработки входного изображения. Процессор может выполнять программу для обеспечения выполнения устройством способа. Программа может быть сохранена в энергонезависимом, считываемом компьютером носителе информации. Способ может включать в себя прием входного изображения. Кроме того, способ может включать в себя расчет степени симметрии входного изображения. Способ также может включать в себя детектирование линии разделения, которая разделяет две стороны входного изображения. Кроме того, способ может включать в себя классификацию входного изображения на основе степени симметрии и линии разделения. Способ также может включать в себя генерирование сигнала классификации для обеспечения, по меньшей мере, одного из отображения или сохранения классификации.

Краткое описание чертежей

На фиг.1 показана блок-схема, иллюстрирующая пример функциональной конфигурации устройства обработки изображений в соответствии с вариантом осуществления раскрытой теперь технологии;

на фиг.2 показана блок-схема, иллюстрирующая пример функциональной конфигурации модуля расчета степени симметрии (то есть программного модуля, модуля аппаратных средств или комбинации программного модуля и модуля аппаратных средств);

на фиг.3 показана блок-схема, иллюстрирующая пример функциональной конфигурации модуля расчета степени симметрии кромки;

на фиг.4 показана блок-схема, иллюстрирующая пример функциональной конфигурации модуля расчета степени симметрии цвета;

на фиг.5 показана блок-схема, иллюстрирующая пример функциональной конфигурации модуля детектирования линии разделения;

на фиг.6 показана блок-схема, иллюстрирующая пример функциональной конфигурации горизонтального модуля детектирования линии разделения;

на фиг.7 показана блок-схема, иллюстрирующая пример функциональной конфигурации модуля детектирования вертикальной линии разделения;

на фиг.8 показана блок-схема, иллюстрирующая пример функциональной конфигурации наклонного модуля детектирования линии разделения;

на фиг.9 показана блок-схема последовательности операций, поясняющая обработку классификации композиции;

на фиг.10 показана схема, поясняющая структуру композиции, обычно рекомендуемую для фотоснимка и т.п.;

на фиг.11 показана блок-схема последовательности операций, поясняющая обработку вычисления степени симметрии;

на фиг.12 показана блок-схема последовательности операций, поясняющая обработку вычисления степени симметрии кромки;

на фиг.13 показана схема, поясняющая входное изображение и изображение кромки;

на фиг.14 показана схема, поясняющая пример вычисления степени симметрии кромки слева направо;

на фиг.15 показана схема, поясняющая пример вычисления степени симметрии кромки сверху вниз;

на фиг.16 показана схема, поясняющая входное изображение и изображение кромки;

на фиг.17 показана блок-схема последовательности операций, поясняющая обработку вычисления степени симметрии цвета;

на фиг.18 показана схема, поясняющая весовой коэффициент на основе различий цвета;

на фиг.19 показана схема, поясняющая преобразование суммы различий цвета;

на фиг.20 показана блок-схема последовательности операций, поясняющая обработку детектирования линии разделения;

на фиг.21 показана схема, поясняющая входное изображение и изображение кромки;

на фиг.22 показана блок-схема последовательности операций, поясняющая горизонтальную обработку детектирования линии разделения;

на фиг.23 показана схема, поясняющая значение интегрирования в горизонтальном направлении информации кромки;

на фиг.24 показана схема, поясняющая пример результата детектирования горизонтальной линии разделения;

на фиг.25 показана блок-схема последовательности операций, поясняющая вертикальную обработку детектирования линии разделения;

на фиг.26 показана схема, поясняющая значение интегрирования в вертикальном направлении информации кромки;

на фиг.27 показана блок-схема последовательности операций, поясняющая обработку детектирования наклонной линии разделения;

на фиг.28 показана схема, поясняющая входное изображение и изображение кромки, преобразование в двоичную форму изображения кромки и поворот изображения кромки;

на фиг.29 показана схема, поясняющая пример нормализации значения интегрирования информации кромки каждой линии в направлении под наклоном;

на фиг.30 показана схема, поясняющая пример нормализации значения интегрирования информации кромки каждой линии в направлении под наклоном;

на фиг.31 показана схема, поясняющая значение интегрирования в направлении под наклоном информации кромки;

на фиг.32 показана схема, поясняющая пример результата детектирования наклонной линии разделения;

на фиг.33 показана схема, поясняющая другой пример нормализации значения интегрирования информации кромки каждой линии в направлении под наклоном;

на. фиг.34 показана схема, поясняющая другой пример нормализации значения интегрирования информации кромки каждой линии в направлении под наклоном;

на фиг.35 показана схема, поясняющая другой пример нормализации значения интегрирования информации кромки каждой линии в направлении под наклоном;

на фиг.36 показана схема, поясняющая пример структуры композиции, в которой классифицирована композиция входного изображения;

на фиг.37 показана схема, поясняющая пример структуры композиции, классифицированной на основе горизонтальной линии разделения;

на фиг.38 показана схема, поясняющая пример структуры композиции, классифицированной на основе вертикальной линии разделения;

на фиг.39А и 39В представлены схемы, поясняющие примеры структуры композиции, классифицированной на основе наклонной линии разделения;

на фиг.40 показана схема, поясняющая пример структуры композиции, классифицированной на основе наклонной линии разделения;

на фиг.41 показана схема, иллюстрирующая взаимосвязь между степенью симметрии и линией разделения;

на фиг.42 показана блок-схема последовательности операций, поясняющая другую операцию обработки классификации композиции;

на фиг.43 показана блок-схема, иллюстрирующая пример функциональной конфигурации устройства формирования изображения;

на фиг.44 показана схема, поясняющая пример отображения рекомендации композиции;

на фиг.45 показана схема, поясняющая пример отображения рекомендации композиции; и

на фиг.46 показана блок-схема, иллюстрирующая пример конфигурации компьютерного оборудования.

Подробное описание изобретения

Ниже, со ссылкой на чертежи, будут описаны варианты осуществления раскрываемой в настоящее время технологии.

[Пример конфигурации устройства обработки изображений]

На фиг.1 иллюстрируется пример функциональной конфигурации устройства обработки изображений в соответствии с вариантом осуществления раскрываемой в настоящее время технологии.

Например, устройство 11 обработки изображений на фиг.1 рассчитывает степень симметрии, обозначающую симметрию линии входного изображения, вводимого из устройства формирования изображения, такого как цифровая камера и т.п., или другого устройства обработки изображений, и детектирует линию разделения, разделяющую входное изображение на заданные области. Кроме того, устройство 11 обработки изображений классифицирует композицию входного изображения на заданные структуры композиции (то есть классификации) на основе, по меньшей мере, одной из степени симметрии и линии разделения.

Устройство 11 обработки изображений включает в себя модуль 31 расчета степени симметрии, модуль 32 детектирования линии разделения и модуль 33 классификации композиции.

Входное изображение, вводимое в устройство 11 обработки изображений, подают в модуль 31 расчета степени симметрии и модуль 32 детектирования линии разделения.

Модуль 31 расчета степени симметрии рассчитывает степень симметрии, обозначающую линию симметрии информации пикселя (значение пикселя) каждого из пикселей во входном изображении, относительно друг друга в направлении слева направо и в направлении сверху вниз входного изображения, и подает степень симметрии в модуль 33 классификации композиции.

[Пример функциональной конфигурации модуля расчета степени симметрии]

На фиг.2 иллюстрируется пример функциональной конфигурации модуля 31 расчета степени симметрии.

Модуль 31 расчета степени симметрии включает в себя модуль 41 расчета степени симметрии кромки, модуль 42 расчета степени симметрии цвета и модуль 43 определения степени симметрии.

Модуль 41 расчета степени симметрии кромки рассчитывает степень симметрии (ниже называется степенью симметрии кромки) для информации кромки, которая представляет собой тип информации о пикселе каждого из пикселей во входном изображении, и подает степень симметрии в модуль 43 определения степени симметрии.

[Пример функциональной конфигурации модуля расчета степени симметрии кромки]

На фиг.3 иллюстрируется пример функциональной конфигурации модуля 41 расчета степени симметрии кромки.

Модуль 41 расчета степени симметрии кромки включает в себя модуль 51 генерирования изображения кромки, модуль 52 расчета степени симметрии слева направо (то есть модуль расчета первой степени симметрии кромки) и модуль 53 расчета степени симметрии сверху вниз (то есть второй модуль расчета степени симметрии кромки).

Модуль 51 генерирования изображения кромки генерирует изображение кромки, включающие в себя информацию кромки каждого из пикселей во входном изображении (то есть изображение кромки, которое обозначает кромки входного изображения), на основе каждого из пикселей и передает изображение кромки в модуль 52 расчета степеней симметрии слева направо и в модуль 53 расчета степени симметрии сверху вниз.

Модуль 52 расчета степени симметрии слева направо рассчитывает степень симметрии кромки слева направо, то есть степень симметрии информации кромки относительно центральной линии в направлении слева направо в изображении кромки (то есть первая воображаемая линия на изображении кромки, которая параллельна стороне изображения кромки), подаваемой из модуля 51 генерирования изображения кромки, и выводит степень степени симметрии кромки слева направо.

Модуль 53 расчета степени симметрии сверху вниз рассчитывает степень симметрии кромки сверху вниз, которая представляет собой степень симметрии информации кромки относительно центральной линии в направлении сверху вниз в изображении кромки (то есть вторая воображаемая линия в изображении кромки, которая перпендикулярна первой воображаемой линии), передаваемом из модуля 51 генерирования изображения кромки, и выводит полученную степень симметрии кромки сверху вниз.

Таким образом, модуль 41 расчета степени симметрии кромки подает, как степень симметрии кромки, степень симметрии кромки слева направо и степень симметрии кромки сверху вниз в модуль 43 определения степени симметрии.

Возвращаясь к описанию фиг.2, модуль 42 расчета степени симметрии цвета рассчитывает степень симметрии (ниже называется степенью симметрии цвета) информации цветов, которая представляет собой тип информации пикселя каждого из пикселей во входном изображении, и подает степень симметрии в модуль 43 определения степени симметрии.

[Пример функциональной конфигурации модуля расчета степени симметрии цвета]

На фиг.4 иллюстрируется пример функциональной конфигурации модуля 42 расчета степени симметрии цвета.

Модуль 42 расчета степени симметрии цвета включает в себя модуль 61 преобразования цветового пространства, модуль 62 расчета степени симметрии слева направо (то есть модуль расчета первой степени симметрии цвета) и модуль 63 расчета степени симметрии сверху вниз (то есть второй модуль расчета степени симметрии цвета).

Модуль 61 преобразования цветового пространства преобразует в другое цветовое пространство цветовое пространство, в котором представлена информация пикселя (информация цвета) каждого из пикселей во входном изображении, и подает в модуль 62 расчета степени симметрии слева направо и в модуль 63 расчета степени симметрии сверху вниз входное изображение, включающее в себя информацию о цвете, представленную в преобразованном цветовом пространстве.

Модуль 62 расчета степени симметрии слева направо рассчитывает степень симметрии цвета слева направо, которая представляет собой степень симметрии информации цвета относительно центральной линии в направлении слева направо во входном изображении (то есть первая воображаемая линия во входном изображении, которая параллельна стороне входного изображения), подаваемом из модуля 61 преобразования цветового пространства, и выводит степень симметрии цвета слева направо.

Модуль 63 расчета степени симметрии сверху вниз рассчитывает степень симметрии цвета сверху вниз, которая представляет собой степень симметрии информации цвета относительно центральной линии в направлении сверху вниз во входном изображении (то есть вторая воображаемая линия во входном изображении, которая перпендикулярна первой воображаемой линии), подаваемой из модуля 61 преобразования цветового пространства, и выводит степень симметрии цвета сверху вниз.

Таким образом, модуль 42 расчета степени симметрии цвета подает, как степень симметрии цвета, степень симметрии цвета слева направо и степень симметрии цвета сверху вниз в модуль 43 определения степени симметрии.

Возвращаясь к описанию фиг.2, на основе степени симметрии кромки, подаваемой из модуля 41 расчета степени симметрии кромки и степени симметрии цвета, подаваемой из модуля 42 расчета степени симметрии цвета, модуль 43 определения степени симметрии определяет степень симметрии слева направо, обозначающую линию симметрии относительно направления слева направо во входном изображении, и степень симметрии сверху вниз, обозначающую линию симметрии относительно направления сверху вниз во входном изображении. В частности, модуль 43 определения степени симметрии определяет, как степень симметрии слева направо, одну из степени симметрии кромки слева направо, подаваемую, как степень симметрии кромки, из модуля 41 расчета степени симметрии кромки, и степени симметрии цвета слева направо, подаваемую, как степень симметрии цвета, из модуля 42 расчета степени симметрии цвета, определенное значение, удовлетворяющее заданному условию. Кроме того, модуль 43 определения степени симметрии определяет, как степень симметрии сверху вниз, одну из степени симметрии кромки сверху вниз, подаваемую, как степень симметрии кромки из модуля 41 расчета степени симметрии кромки, и степени симметрии цвета сверху вниз, подаваемую, как степень симметрии цвета, из модуля 42 расчета степени симметрии цвета, определенную так, чтобы она удовлетворяла заданному условию.

Таким образом, модуль 31 расчета степени симметрии подает, как степень симметрии, степень симметрии слева направо и степень симметрии сверху вниз, в модуль 33 классификации композиции.

Возвращаясь к описанию на фиг.1, модуль 32 детектирования линии разделения детектирует линию разделения для разделения входного изображения, по вариации распределения информации пикселя во входном изображении, и подает информацию линии разделения, обозначающую детектированную линию разделения, в модуль 33 классификации композиции.

[Пример функциональной конфигурации модуля детектирования линии разделения]

На фиг.5 показан пример функциональной конфигурации модуля 32 детектирования линии разделения.

Модуль 32 детектирования линии разделения включает в себя модуль 71 генерирования изображения кромки, модуль 72 детектирования горизонтальной линии разделения (то есть модуль детектирования первой линии разделения), модуль 73 детектирования вертикальной линии разделения (то есть модуль детектирования второй линии разделения) и модули 74 и 75 детектирования наклонной линии разделения (то есть модули детектирования третьей и четвертой линии разделения).

Таким же образом, как и модуль 51 генерирования изображения кромки на фиг.3, модуль 71 генерирования изображения кромки генерирует изображение кромки, включающее в себя информацию кромки каждого из пикселей во входном изображении, на основе каждого из пикселей, и подает изображение кромки в модуль 72 детектирования горизонтальной линии разделения в модуль 75 детектирования линии разделения под наклоном.

Модуль 72 детектирования горизонтальный линии разделения интегрирует информацию кромки в горизонтальном направлении в изображении кромки, подаваемом из модуля 71 генерирования изображения кромки, и детектирует линию горизонтального разделения (то есть первую линию разделения), разделяющую входное изображение в горизонтальном направлении (а именно наверх и вниз), по распределению значения его интегрирования. Модуль 72 детектирования горизонтальной линии разделения выводит информацию линии горизонтального разделения, обозначающую детектированную горизонтальную линию разделения.

Модуль 73 детектирования вертикальной линии разделения интегрирует информацию кромки в вертикальном направлении в изображении кромки, подаваемом из модуля 71 генерирования изображения кромки, и детектирует линию вертикального разделения (то есть вторую линию разделения, которая расположена под углом относительно первой линии разделения), которая разделяет входное изображение в вертикальном направлении (а именно на правую и левую части), по распределению его интегрированного значения. Модуль 73 детектирования вертикальной линии разделения выводит информацию вертикальной линии разделения, обозначающую детектированную вертикальную линию разделения.

Модуль 74 детектирования наклонной линии разделения интегрирует информацию кромки в наклонном направлении вверх и вправо в изображении кромки, подаваемом из модуля 71 генерирования изображения кромки, и детектирует наклонную линию разделения, направленную вверх и вправо (то есть третью линию разделения, которая расположена под углом относительно первой и второй линий разделения), которая разделяет входное изображение в наклонном направлении вверх и вправо, по распределению ее интегрированного значения. Модуль 74 детектирования наклонной линии разделения выводит первую информацию наклонной линии разделения, обозначающую детектированную наклонную линию разделения в направлении вверх и вправо.

Модуль 75 детектирования наклонной линии разделения интегрирует информацию кромки в наклонном направлении вверх и влево в изображении кромки, подаваемом из модуля 71 генерирования изображения кромки, и детектирует наклонную линию разделения в направлении верх и влево (то есть четвертую линию разделения, которая расположена под углом относительно первой, второй и третьей линий разделения), которые разделяют входное изображение в наклонном направлении вверх и влево, из распределения его интегрального значения. Модуль 75 детектирования наклонной линии разделения выводит информацию наклонной линии разделения, обозначающую детектированную наклонную линию разделения в направлении вверх и влево.

Таким образом, в качестве информации линии разделения модуль 32 детектирования линии разделения подает информацию линии горизонтального разделения, информацию линии вертикального разделения, первую информацию наклонной линии разделения и вторую информацию наклонной линии разделения в модуль 33 классификации композиции.

Здесь со ссылкой на фиг.6-8 представлены примеры функциональной конфигурации от модуля 72 детектирования горизонтальной линии разделения до модуля 75 детектирования наклонной линии разделения.

[Пример функциональной конфигурации модуля детектирования горизонтальной линии разделения]

На фиг.6 иллюстрируется пример функциональной конфигурации модуля 72 детектирования горизонтальной линии разделения.

Модуль 72 детектирования горизонтальной линии разделения включает в себя модуль 111 интегрирования в горизонтальном направлении, фильтр 112 низкой частоты (LPF), модуль 113 детектирования значения пика и модуль 114 обработки порогового значения.

Модуль 111 интегрирования в горизонтальном направлении интегрирует информацию пикселя (информацию кромки) пикселя относительно каждой из линий, включающих в себя пиксели (ниже просто называется линией) в горизонтальном направлении, в изображении кромки, подаваемом из модуля 71 генерирования изображения кромки, и подает результат ее интегрирования в LPF 112. Результат интегрирования, получаемый здесь, представляет собой значение интегрирования информации кромки в горизонтальном направлении, относительно положения пикселя в вертикальном направлении в изображении кромки (входное изображение).

В результате выполнения процесса обработки фильтрации для результата интегрирования из модуля 111 интегрирования в горизонтальном направлении, а именно значения интегрирования информации кромки в горизонтальном направлении относительно положения пикселя в вертикальном направлении в изображении кромки, LPF 112 удаляет шумы из результата интегрирования и подает результат интегрирования в модуль 113 детектирования значения пика.

Модуль 113 детектирования значения пика детектирует значение пика для значения интегрирования из результата интегрирования, из которого были удалены шумы с помощью LPF 112, и подает в модуль 114 обработки порогового значения детектированное значение пика и положение пикселя в вертикальном направлении линии, продолжающейся в горизонтальном направлении, на которой было получено значение интегрирования, представляющее собой значение пика.

Модуль 114 обработки порогового значения сравнивает значение пика из модуля 113 детектирования значения пика с заданным пороговым значением. Кроме того, когда значение пика больше, чем заданное пороговое значение, модуль 114 обработки порогового значения определяет, как горизонтальную линию разделения, линию в горизонтальном направлении, от которой получают значение интегрирования, которое должно быть значением пика, и выводит как информацию горизонтальной линии разделения положение пикселя в вертикальном направлении линии в изображении кромки.

[Пример функциональной конфигурации модуля детектирования линии вертикального разделения]

На фиг.7 иллюстрируется пример функциональной конфигурации модуля 73 детектирования линии вертикального разделения.

Модуль 73 детектирования линии вертикального разделения включает в себя модуль 121 интегрирования в вертикальном направлении, LPF 122, модуль 123 детектирования значения пика и модуль 124 обработки порогового значения.

Модуль 121 интегрирования в вертикальном направлении интегрирует информацию кромки относительно каждой из линий в вертикальном направлении в изображении кромки, подаваемом из модуля 71 генерирования изображения кромки, и передает результат его интегрирования в LPF 122. Полученный здесь результат интегрирования представляет собой значение интегрирования информации кромки в вертикальном направлении относительно положения пикселя в горизонтальном направлении в изображении кромки (входное изображение).

В результате выполнения обработки фильтрации результата интегрирования из модуля 121 интегрирования в вертикальном направлении, а именно значения интегрирования информации кромки в вертикальном направлении относительно положения пикселя в горизонтальном направлении в изображении кромки, LPF 122 удаляет шумы из результата интегрирования и подает результат интегрирования в модуль 123 детектирования значения пика.

Модуль 123 детектирования значения пика детектирует значение пика для значения интегрирования из результата интегрирования, из которого были удалены шумы с помощью LPF 122, и подает в модуль 124 обработки порогового значения детектированное значение пика и положение пикселя в горизонтальном направлении линии, в вертикальном направлении, от которой получают значение интегрирования как значение пика.

Модуль 124 обработки порогового значения сравнивает пиковое значение из модуля 123 детектирования значения пика с заданным пороговым значением. Кроме того, когда значение пика больше, чем заданное пороговое значение, модуль 124 обработки порогового значения определяет, как вертикальную линию разделения, линию в вертикальном направлении, от которой получают значение интегрирования, которое должно представлять собой значение пика, и выводит, как информацию вертикальной линии разделения, положение пикселя в горизонтальном направлении на линии на кромке изображении.

[Пример функциональной конфигурации модуля детектирования наклонной линии разделения]

На фиг.8 иллюстрируется пример функциональной конфигурации модуля 74 детектирования наклонной линии разделения.

Модуль 74 детектирования наклонной линии разделения включает в себя модуль 131 интегрирования наклонного направления, LPF 132, модуль 133 детектирования пикового значения и модуль 134 обработки порогового значения.

Модуль 131 интегрирования наклонного направления интегрирует информацию кромки относительно каждой из линий в наклонном направлении вверх и вправо в изображении кромки, подаваемом из модуля 71 генерирования изображения кромки, и подает его результат интегрирования в LPF 132. Результат интегрирования, полученный здесь, представляет собой значение интегрирования информации кромки в наклонном направлении вверх и вправо относительно положения пикселя в наклонном направлении вверх и влево в изображении кромки (входное изображение).

В результате выполнения обработки фильтрации для результата интегрирования из модуля 131 интегрирования наклонного направления, а именно значения интегрирования информации кромки в наклонном направлении вверх и вправо относительно положения пикселя в наклонном направлении вверх и влево на изображении кромки, LPF 132 удаляет шумы из результата интегрирования и подает результат интегрирования в модуль 133 детектирования значения пика.

Модуль 133 детектирования значения пика детектирует значение пика для значения интегрирования из результата интегрирования, из которого шумы были удалены с помощью LPF 132, и подает в модуль 134 обработки порогового значения детектированное значение пика и положение пикселя в наклонном направлении вверх и влево линии наклонного направления вверх и вправо, от которой получают значение интегрирования, которое должно представлять собой значение пика.

Модуль 134 обработки порогового значения сравнивает значение пика из модуля 133 детектирования значения пика с заданным пороговым значением. Кроме того, когда значение пика больше чем заданное пороговое значение, модуль 114 обработки порогового значения определяет, как наклонную линию разделения вверх и вправо, линию в наклонном направлении вверх и вправо, от которой было получено значение интегрирования, которое должно представлять собой значение пика, и выводит, как информацию первой линии разделения, положение пикселя в наклонном направлении вверх и влево линии на кромке изображения.

Кроме того, пример функциональной конфигурации модуля 75 детектирования наклонной линии разделения, в основном, является тем же, что и модуль 74 детектирования наклонной линии разделения по фиг.8 за исключением того, что в отдельных модулях модуля 74 детектирования наклонной линии разделения обработка для наклонного направления вверх и вправо информации кромки заменяется обработкой для наклонного направления вверх и влево информации кромки. Поэтому ее описание будет исключено.

Кроме того, возвращаясь к описанию на фиг.1, модуль 33 классификации композиции классифицирует композицию во входном изображении на одну из заранее определенных структур композиции, на основе степени симметрии из модуля 31 расчета степени симметрии и информации линии разделения из модуля 32 детектирования линии разделения и выводит структуру композиции вместе со степенью симметрии и информацией линии разделения в устройство обработки информации, устройство сохранения и т.п., которые не показаны.

[Обработка классификации композиции, выполняемая в устройстве обработки изображения]

Далее, со ссылкой на блок-схему последовательности операций, показанную на фиг.9, будет описана обработка классификации композиции, выполняемая в устройстве 11 обработки изображения на фиг.1.

Композицию входного изображения, подаваемого в устройство 11 обработки изображения, классифицируют на одну из заранее определенных структур композиции на основе обработки классификации композиции, представленной в блок-схеме последовательности операций на фиг.9.

Здесь структура композиции, обычно рекомендованная при фотосъемке и т.п., будет описана со ссылкой на фиг.10.

Структура С композиции, иллюстрируемая на фиг.10, включает в себя две репрезентативные структуры композиции, такие как композиция, основанная на правиле трех, и диагональная композиция.

Композиция, основанная на правиле трех, представляет собой композицию, включающую в себя горизонтальные линии H1 и Н2 разделения и вертикальные линии V1 и V2 разделения, называемые линиями деления на 3. Кроме того, установлена граница субъекта или ландшафта, по меньшей мере, на одной линии из горизонтальных линий H1 и Н2 разделения и вертикальных линий V1 и V2 разделения, или субъект расположен в одной из четырех точек пересечения (точек пересечения линии деления на 3) между линиями H1 и Н2 горизонтального разделения и линиями V1 и V2 вертикального разделения, обеспечивая, таким образом, возможность получения хорошо сбалансированного изображения.

Кроме того, диагональная композиция представляет собой композицию, включающую в себя диагональные линии D1 и D2, и границу субъекта или ландшафта устанавливают, по меньшей мере, на одной линии из диагональных линий D1 и D2, обеспечивая, таким образом, возможность получения хорошо сбалансированного изображения.

При обработке классификации композиции, описанной ниже, определяют, насколько симметричной является композиция входного изображения относительно направления слева направо или направления вверх и вниз или на какую из описанных выше композиций на основе правила трех или диагональной композиции похожа композиция входного изображения.

На этапе S11 в блок-схеме последовательности операций на фиг.9 модуль 31 расчета степени симметрии выполняет обработку расчета степени симметрии и рассчитывает степень симметрии информации пикселя каждого из пикселей во входном изображении относительно каждого из направления слева направо и направления сверху вниз входного изображения.

[Обработка расчета степени симметрии, выполняемая в модуле расчета степени симметрии]

Здесь обработка расчета степени симметрии, выполняемая на этапе S11 в блок-схеме последовательности операций на фиг.9, будет описана со ссылкой на блок-схему последовательности операций на фиг.11.

На этапе S31 модуль 41 расчета степени симметрии кромки в модуле 31 расчета степени симметрии выполняет обработку расчета степени симметрии кромки и рассчитывает степень симметрии кромки входного изображения.

[Обработка расчета степени симметрии кромки, выполняемая в модуле расчета степени симметрии кромки]

Здесь обработка расчета степени симметрии кромки, выполняемая на этапе S31 в блок-схеме последовательности операций на фиг.11, будет описана со ссылкой на блок-схему последовательности операций на фиг.12.

На этапе S41 модуль 51 генерирования изображения кромки в модуле 41 расчета степени симметрии кромки получает изображение яркости из входного изображения и генерирует изображение кромки, которое включает в себя значение кромки (информацию кромки), полученную путем применения фильтра выделения кромки, такого как фильтр Собеля, фильтр Габора и т.п., в изображении яркости.

Кроме того, модуль 51 генерирования изображения кромки может получать изображения каналов