Устройство и способ обработки изображений, устройство ввода изображений и программа

Устройство и способ обработки изображений, устройство ввода изображений и программа

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству и способу обработки изображений, устройству ввода изображений и программе, в частности к устройству и способу обработки изображений, устройству ввода изображений и программе, которые позволяют получать "обрезанием" изображение с оптимальной композицией даже для объекта, отличного от человека.

Уровень техники, предшествующий изобретению

При съемке объекта посредством устройства ввода изображений, такого как цифровая фотокамера, съемка производится таким образом, чтобы достигнуть подходящей композиции. Поскольку надлежащий выбор композиции при съемке требует навыка, то изображение, получаемое при съемке, может не всегда иметь желательную композицию. Для такого случая существует технология, которая выполняет подгонку на изображении для достижения желательной композиции.

Например, было предложено выполнить подгонку, не приводящую к потере (на изображении) человеческого тела или важного заднего плана (см., например, Патентный документ 1).

Патентный документ 1: публикация японской нерассмотренной патентной заявки, имеющей номер 2008-42800

Сущность изобретения

Техническая задача

Однако технология, соответствующая Патентному документу 1, основывается на допущении, что в состав объекта изображения входит человек, и существует опасение того, что оптимальная подгонка может быть невозможна для изображений, включающих в себя объект, отличный от человека.

Настоящее изобретение было сделано ввиду вышеизложенных обстоятельств, и позволяет получать "обрезанием" изображение с оптимальной композицией даже для объекта, отличного от человека.

Техническое решение

Устройство обработки изображений в соответствии с первым аспектом настоящего изобретения включает в себя задающее средство для задания образца композиции, соответствующего входному изображению, на основе количества выделяющихся областей, на которые направлено внимание на входном изображении, и сцены входного изображения и определяющее средство для того, чтобы определять на основе образца композиции, заданного задающим средством, область "обрезания" на входном изображении, которая является оптимальной для изображения, получаемого "обрезанием" по этому образцу композиции из входного изображения.

Устройство обработки изображений может дополнительно включать в себя "обрезающее" средство для получения "обрезанием" области "обрезания", определенной определяющим средством, из входного изображения.

Определяющее средство может определять на основе образца композиции, заданного задающим средством, множество кандидатов на область "обрезания" на входном изображении, которая является оптимальной для изображения, получаемого "обрезанием" по этому образцу композиции из входного изображения, устройство обработки изображений может дополнительно включать в себя средство отображения для отображения на входном изображении множества кандидатов на область "обрезания", и средство выбора для выбора одного из множества кандидатов на область "обрезания", отображаемых средством отображения, и "обрезающее" средство может получать "обрезанием" из входного изображения область "обрезания", выбранную средствами выбора.

Устройство обработки изображений может дополнительно включать в себя извлекающее средство для извлечения каждой из выделяющихся областей, на которые направлено внимание на входном изображении, и различающее средство для различения сцены входного изображения.

Определяющее средство может определять область "обрезания" таким образом, чтобы положение центра самой малой прямоугольной области, включающей в себя все выделяющиеся области, на которые направлено внимание на входном изображении, приближалось к центру области "обрезания" на входном изображении.

Определяющее средство может определять область "обрезания" таким образом, чтобы область "обрезания" стала большей, и чтобы общая область между самой малой прямоугольной областью, включающей в себя все выделяющиеся области, на которые направлено внимание на входном изображении, и областью "обрезания" стало большей.

Определяющее средство может определять область "обрезания" таким образом, чтобы область "обрезания" не лежала вне входного изображения.

Устройство обработки изображений может дополнительно включать в себя оценивающее средство для оценки того, является ли входное изображение панорамным изображением, посредством сравнения форматного соотношения входного изображения с некоторым заранее заданным пороговым значением, и, если оценивающим средством оценивается, что входное изображение является панорамным изображением, то определяющее средство может на основе образца композиции, заданного задающим средством, определить множество кандидатов на область "обрезания" на входном изображении, которая является оптимальной для изображения, получаемого "обрезанием" по этому образцу композиции из входного изображения.

Устройство обработки изображений может дополнительно включать в себя средство суммирования для того, чтобы суммировать информацию, указывающую область "обрезания", определенную определяющим средством, с входным изображением как EXIF-информацию.

Объект, на который направлено внимание на входном изображении, может входить в состав каждой из выделяющихся областей, устройство обработки изображений может дополнительно включать в себя выявляющее средство для выявления ориентации объекта, и определяющее средство может определять область "обрезания" на входном изображении, которая является оптимальной для изображения, получаемого "обрезанием" по образцу композиции из входного изображения, на основе образца композиции, заданного задающим средством, и ориентации объекта, выявленной выявляющим средством.

Объект, на который направлено внимание на входном изображении, может входить в состав каждой из выделяющихся областей, устройство обработки изображений может дополнительно включать в себя средство определения направления движения для определения направления движения объекта, и определяющее средство может определять область "обрезания" на входном изображении, которая является оптимальной для изображения, получаемого "обрезанием" по образцу композиции из входного изображения, на основе образца композиции, заданного задающим средством, и направления движения объекта, определенного средством определения направления движения.

Устройство обработки изображений может дополнительно включать в себя средство вычисления общего движения для определения общего движения входного изображения и средство вычисления локального движения для определения движение каждой из выделяющихся областей, и средство определения направления движения может определять направление движения объекта на основе ориентации общего движения входного изображения, определенной средством вычисления общего движения, и ориентации движения каждой из выделяющихся областей, определенной средством вычисления локального движения.

Способ обработки изображений в соответствии с первым аспектом настоящего изобретения включает в себя этап задания, на котором задают образец композиции, соответствующий входному изображению, на основе количества выделяющихся областей, на которые направлено внимание на входном изображении, и сцены входного изображения, и этапа определения, на котором определяют на основе образца композиции, заданного на этапе задания, область "обрезания" на входном изображении, которая является оптимальной для изображения, получаемого "обрезанием" по этому образцу композиции из входного изображения.

Программа в соответствии с первым аспектом настоящего изобретения заставляет компьютер исполнять обработку данных, включающую в себя этап задания, на котором задают образец композиции, соответствующий входному изображению, на основе количества выделяющихся областей, на которые направлено внимание на входном изображении, и сцены входного изображения, и этап определения, на котором определяют на основе образца композиции, заданного на этапе задания, область "обрезания" на входном изображении, которая является оптимальной для изображения, получаемого "обрезанием" по этому образцу композиции из входного изображения.

Устройство ввода изображений согласно второму аспекту настоящего изобретения включает в себя: средство ввода изображения для ввода изображения объекта, средство получения информации для получения информации о сцене вводимого изображения, введенного средством ввода изображения, задающее средство для задания образца композиции, соответствующего введенному изображению, на основе количества выделяющихся областей, включающих в себя объекты, на которые направлено внимание на введенном изображении, и сцены, информация о которой получена средством получения информации, и определяющее средство для того, чтобы определять на основе образца композиции, заданного задающим средством, область "обрезания" на введенном изображении, которая является оптимальной для изображения, получаемого "обрезанием" по этому образцу композиции из введенного изображения.

В первом аспекте настоящего изобретения задают образец композиции, соответствующий входному изображению, на основе количества выделяющихся областей, на которые направлено внимание на входном изображении, и сцены входного изображения, и определяют на основе заданного образца композиции область "обрезания" на входном изображении, которая является оптимальной для изображения, получаемого "обрезанием" по этому образцу композиции из входного изображения.

Во втором аспекте настоящего изобретения вводят изображение объекта, получают информацию о сцене вводимого изображения, которое было введено, задают образец композиции, соответствующий введенному изображению, на основе количества выделяющихся областей, включающих в себя объекты, на которые направлено внимание на введенном изображении, и сцены, информация о которой получена, и определяют на основе заданного образца композиции область "обрезания" на введенном изображении, которая является оптимальной для изображения, получаемого "обрезанием" по этому образцу композиции из введенного изображения.

Полезные результаты

В соответствии с первым и вторым аспектами настоящего изобретения имеется возможность получать "обрезанием" изображение с оптимальной композицией даже для объекта, отличного от человека.

Краткое описание чертежей

Фиг.1 представляет собой структурную схему, показывающую пример функциональной конфигурации варианта реализации устройства обработки изображений, в котором применено настоящее изобретение.

Фиг.2 представляет собой структурную схему, показывающую пример функциональной конфигурации секции извлечения выделяющейся области.

Фиг.3 представляет собой блок-схему алгоритма, иллюстрирующую процесс "обрезания" изображения в устройстве обработки изображений, показанном на Фиг.1.

Фиг.4 представляет собой схему, показывающую пример выделяющейся области.

Фиг.5 представляет собой схему, иллюстрирующую образцы композиции, которые задаются на основе количеств выделяющихся областей и сцен.

Фиг.6 представляет собой схему, иллюстрирующую пример образцов композиции, задаваемых секцией задания образца композиции.

Фиг.7 представляет собой блок-схему алгоритма, иллюстрирующую процесс определения области "обрезания".

Фиг.8 представляет собой схему, иллюстрирующую коэффициенты энергетической функции Е_с.

Фиг.9 представляет собой схему, иллюстрирующую выделяющиеся области в трехчастной композиции.

Фиг.10 представляет собой схему, иллюстрирующую девятичастную композицию.

Фиг.11 представляет собой схему, иллюстрирующую создание энергетической функции E_s.

Фиг.12 представляет собой схему, иллюстрирующую создание энергетической функции Е_р.

Фиг.13 представляет собой схему, показывающую пример оптимальной области "обрезания".

Фиг.14 представляет собой схему, показывающую пример изображения оптимальной области "обрезания".

Фиг.15 представляет собой структурную схему, показывающую другой пример конфигурации устройства обработки изображений.

Фиг.16 представляет собой блок-схему алгоритма, иллюстрирующую процесс "обрезания" изображения в устройстве обработки изображений, показанном на Фиг.15.

Фиг.17 представляет собой схему, иллюстрирующую пример образца композиции в соответствии с предметами.

Фиг.18 представляет собой схему, показывающую еще один другой пример конфигурации устройства обработки изображений.

Фиг.19 представляет собой блок-схему алгоритма, иллюстрирующую процесс "обрезания" изображения в устройстве обработки изображений, показанном на Фиг.18.

Фиг.20 представляет собой блок-схему, иллюстрирующую процесс определения кандидатов на область "обрезания".

Фиг.21 представляет собой схему, показывающую пример отображения кандидатов на область "обрезания".

Фиг.22 представляет собой схему, показывающую пример отображения экранного изображения для утверждения.

Фиг.23 представляет собой структурную схему, показывающую другой пример конфигурации устройства обработки изображений.

Фиг.24 представляет собой блок-схему алгоритма, иллюстрирующую процесс "обрезания" изображения в устройстве обработки изображений, показанном на Фиг.23.

Фиг.25 представляет собой схему, иллюстрирующую коэффициенты целевой функции Е.

Фиг.26 представляет собой схему, иллюстрирующую "обрезание" изображений кандидатов на область "обрезания" в панорамном изображении.

Фиг.27 представляет собой структурную схему, показывающую еще один другой пример конфигурации устройства обработки изображений.

Фиг.28 представляет собой структурную схему, показывающую еще один другой пример конфигурации устройства обработки изображений.

Фиг.29 представляет собой блок-схему алгоритма, иллюстрирующую процесс "обрезания" изображения в устройстве обработки изображений, показанном на Фиг.28.

Фиг.30 представляет собой структурную схему, показывающую еще один другой пример конфигурации устройства обработки изображений.

Фиг.31 представляет собой блок-схему алгоритма, иллюстрирующую процесс "обрезания" изображения в устройстве обработки изображений, показанном на Фиг.30.

Фиг.32 представляет собой структурную схему, показывающую пример функциональной конфигурации варианта реализации устройства ввода изображений, в котором применено настоящее изобретение.

Фиг.33 представляет собой блок-схему алгоритма, иллюстрирующую процесс "обрезания" изображения в устройстве ввода изображений, показанном на Фиг.32.

Фиг.34 представляет собой структурную схему, показывающую еще один другой пример конфигурации устройства ввода изображений.

Фиг.35 представляет собой блок-схему алгоритма, иллюстрирующую процесс "обрезания" изображения в устройстве ввода изображений, показанном на Фиг.34.

Фиг.36 представляет собой блок-схему алгоритма, иллюстрирующую процесс выявления ориентации.

Фиг.37 представляет собой блок-схему алгоритма, иллюстрирующую процесс "обрезания" изображения в устройстве обработки изображений, показанном на Фиг.34.

Фиг.38 представляет собой схему, иллюстрирующую информацию об ориентации.

Фиг.39 представляет собой схему, иллюстрирующую трехчастную композицию.

Фиг.40 представляет собой схему, иллюстрирующую информацию об ориентации.

Фиг.41 представляет собой структурную схему, показывающую еще один другой пример конфигурации устройства обработки изображений.

Фиг.42 представляет собой блок-схему алгоритма, иллюстрирующую процесс "обрезания" изображения в устройстве обработки изображений, показанном на Фиг.41.

Фиг.43 представляет собой блок-схему алгоритма, иллюстрирующую процесс определения направления движения.

Фиг.44 представляет собой блок-схему алгоритма, иллюстрирующую процесс "обрезания" изображения в устройстве обработки изображений, показанном на Фиг.41.

Фиг.45 представляет собой схему, иллюстрирующую информацию о направлении движения.

Фиг.46 представляет собой структурную схему, показывающую пример конфигурации аппаратного обеспечения компьютера.

Подробное описание изобретения

Ниже со ссылкой на чертежи будут описаны варианты реализации настоящего изобретения. Следует отметить, что описание будет дано в следующем порядке.

1. Первый вариант реализации изобретения

2. Второй вариант реализации изобретения

3. Третий вариант реализации изобретения

4. Четвертый вариант реализации изобретения

5. Пятый вариант реализации изобретения

6. Шестой вариант реализации изобретения

7. Седьмой вариант реализации изобретения

8. Восьмой вариант реализации изобретения

9. Девятый вариант реализации изобретения

10. Десятый вариант реализации изобретения

<Первый вариант реализации изобретения>

[Пример конфигурации устройства обработки изображений]

На Фиг.1 показан пример функциональной конфигурации варианта реализации устройства обработки изображений, в котором применено настоящее изобретение.

Устройство обработки изображений, показанное на Фиг.1, задает образец композиции, соответствующий выделяющейся области и сцене входного изображения, вводимого из устройства ввода изображений, такого как цифровая фотокамера, и выводит изображение, "обрезанное" в соответствии с оптимальной областью "обрезания", в качестве выходного изображения, на основе образца композиции.

Устройство (11) обработки изображений включает в себя секцию (31) извлечения выделяющейся (привлекающей к себе внимание) области, секцию (32) различения сцены, секцию (33) задания образца композиции, секцию (34) анализа композиции и секцию (35) "обрезания" изображения.

Входное изображение, введенное в устройство (11) обработки изображений, предоставляется секции (31) извлечения выделяющейся области, секции (32) различения сцены и секции (35) "обрезания" изображения.

Секция (31) извлечения выделяющейся области извлекает выделяющуюся область, на которую направлено внимание на входном изображении, и предоставляет информацию о выделяющейся области, указывающую на эту выделяющуюся область, секции (33) задания образца композиции. Выделяющаяся область представляет собой прямоугольную область, включающую в себя (окружающую) объект (предмет) на входном изображении. Выделяющиеся области устанавливаются и извлекаются для ряда объектов на входном изображении. Кроме того, информация о выделяющейся области представляет собой, например, информацию о положениях вершин прямоугольной области или тому подобном.

На Фиг.2 показан пример функциональной конфигурации секции (31) извлечения выделяющейся области.

Секция (31) извлечения выделяющейся области включает в себя секцию (51) вычисления выделяющей (отличающей эту область) характеристики, секцию (52) определения выделяющейся прямоугольной области и секцию (53) определения прямоугольной области с лицом.

Секция (51) вычисления выделяющей характеристики находит количество признака в отношении каждого пикселя входного изображения, и вычисляет выделяющую характеристику в каждом пикселе, исходя из количества признака. При этом количество признака представляет собой величину компонента контура изображения, разность в цветовом оттенке соседних пикселей, распределение цвета в заранее задаваемой области изображения, разность между средним цветом всего изображения и цветовым оттенком каждого пикселя или тому подобное. Кроме того, секция (51) вычисления выделяющей характеристики генерирует карту выделяющей характеристики, соответствующую отдельному входному изображению, исходя из выделяющей характеристики (количества признака) в каждом пикселе, и предоставляет карту выделяющей характеристики в секцию (52) определения выделяющейся прямоугольной области. Карта выделяющей характеристики, сгенерированная секцией (51) вычисления выделяющей характеристики, представляет собой, если можно так выразиться, информацию, указывающую области, включающие в себя объекты, на которые направлено внимание на отдельном входном изображении.

Кроме того, секция (51) вычисления выделяющей характеристики вычисляет, исходя из количества признака, найденного в отношении каждого пикселя отдельного входного изображения, показатель присутствия лица (вероятность присутствия лица), генерируя карту присутствия лица, соответствующую отдельному входному изображению, и предоставляет эту карту присутствия лица в секцию (53) определения прямоугольной области с лицом. Карта присутствия лица, сгенерированная секцией (51) вычисления выделяющей характеристики, представляет собой, если можно так выразиться, информацию, указывающую области, включающие в себя лица, на которые направлено внимание на отдельном входном изображении.

Секция (52) определения выделяющейся прямоугольной области определяет выделяющуюся прямоугольную область на основе карты выделяющей характеристики, поступающей из секции (51) вычисления выделяющей характеристики, и предоставляет информацию о выделяющейся прямоугольной области, указывающую выделяющуюся прямоугольную область, секции (33) задания образца композиции. Если описать это более конкретно, то на карте выделяющей характеристики секция (52) определения выделяющейся прямоугольной области задает пиксели (позиции), у которых значения выделяющей характеристики выше, чем некоторое заранее заданное пороговое значения, в качестве центра прямоугольника, а расположенные по соседству с ними пиксели (позиции), у которых значения выделяющей характеристики ниже, чем другое пороговое значения, в качестве конечных точек (вершин) этого прямоугольника, определяя, таким образом, выделяющуюся прямоугольную область.

Кроме того, если определено множество выделяющихся прямоугольных областей, в случае, когда расстояние между центрами прямоугольников меньше чем некоторое заранее заданное расстояние, то в качестве выделяющейся прямоугольной области задается самая малая прямоугольная область, включающая в себя эти прямоугольные области все вместе.

Секция (53) определения прямоугольной области с лицом определяет прямоугольную область с лицом, основываясь при этом на карте присутствия лица, поступающей из секции (51) вычисления выделяющей характеристики, и предоставляет информацию о прямоугольной области с лицом, указывающую прямоугольную область с лицом, секции (33) задания образца композиции. Если описать это более конкретно, то на карте присутствия лица секция (53) определения прямоугольной области с лицом задает пиксели (позиции) носа лица в качестве центра прямоугольника, а расположенные по соседству с ними пиксели (позиции), в которых имеется резкое изменение (падение) показателя присутствия лица, - в качестве конечных точек (вершин) этого прямоугольника, определяя, таким образом, прямоугольную область с лицом.

Следует отметить, что выделяющаяся прямоугольная область, полученная секцией (52) определения выделяющейся прямоугольной области, и прямоугольная область с лицом, полученная секцией (53) определения прямоугольной области с лицом, все вместе именуются информацией о выделяющейся области.

Возвращаясь к Фиг.1, отметим, что секция (32) различения сцены выполняет преобразование частоты на входном изображении для того, чтобы извлечь частотную информацию, различает сцену входного изображения, используя эту частотную информацию в качестве количества признака (вектора), и предоставляет информацию о сцене, указывающую сцену, каковая информация получена в результате этого различения, секции (33) задания образца композиции. Если описать это более конкретно, то секция (32) различения сцены выполняет различение сцены, используя при этом некоторое заранее заданное изображения для обучения и, например, для машинного обучения, такого как SVM-машина (поддерживающая векторная машина).

В SVM-машине выполняется различение с двумя классами (взаимно-однозначное различение). Например, классы оцениваются на предмет того, являются ли они классом "Побережье" и классом "другие классы", классом "Сельский ландшафт" и классом "другие классы", классом "Небо" и классом "другие классы", классом "Гора" и классом "другие классы и так далее, и их соответствующие оценки в баллах сравниваются, при этом результатом различения является класс, имеющий самую высокую оценку в баллах.

Следует отметить, что, в то время как секция (32) различения сцены использует SVM-машину, это не является ограничением. Например, может быть использовано распознавание образов с использованием нейронной сети или распознавание образов, основанное на сопоставлении с образцом или тому подобное.

Секция (33) задания образца композиции задает образец композиции, соответствующий входному изображению, на основе количества порций информации о выделяющихся областях, поступающих из секции (31) извлечения выделяющейся области, и информации о сцене, поступающей из секции (32) различения сцены, и предоставляет образец композиции в секцию (34) анализа композиции. Образец композиции предварительно определен в связи с количеством выделяющихся областей (объектов) и сценой. Подробности об образце композиции будут описаны ниже со ссылкой на Фиг.5.

На основе образца композиции, поступающего из секции (33) задания образца композиции, секция (34) анализа композиции определяет область "обрезания" на входном изображении, которая является оптимальной для изображения, получаемого "обрезанием" по этому образцу композиции, и предоставляет эту оптимальную область "обрезания" в секцию (35) "обрезания" изображения.

Секция (34) анализа композиции включает в себя секцию (34а) создания модели композиции, секцию (34b) создания предохранительной модели, секцию (34с) создания модели штрафов, секцию (34d) создания целевой функции и секцию (34е) оптимизации.

Секция (34а) создания модели композиции создает модель композиции, представляющую область "обрезания", основанную на образце композиции, поступающей из секции (33) задания образца композиции. Модель композиции представлена заранее заданной энергетической функцией E_c.

Секция (34b) создания предохранительной модели создает предохранительную модель для предотвращения того, чтобы область "обрезания" стала слишком маленькой. Предохраняющая модель представлена заранее заданной энергетической функцией E_s.

Секция (34с) создания модели штрафов создает модель штрафов для оценки площади области для области "обрезания", которая лежит вне входного изображения.

Модель штрафов представлена заданной энергетической функцией Е_р.

Секция (34d) создания целевой функции создает целевую функцию Е из энергетической функции Е_с, представляющей модель композиции, энергетической функции E_s, представляющей предохранительную модель, и энергетической функции Е_р, представляющей модель штрафов.

Секция (34е) оптимизации определяет область "обрезания", которая минимизирует целевую функцию Е, и предоставляет эту область "обрезания", в качестве оптимальной области "обрезания", в секцию (35) "обрезания" изображения.

Подробности, касающиеся энергетических функций. Е_с, E_s, и Е_р и целевой функции Е, будут детально описаны ниже.

Секция (35) "обрезания" изображения "обрезает" на введенном входном изображении изображение оптимальной области "обрезания", основываясь на оптимальной области "обрезания", поступающей из секции (34) анализа композиции, и выводит полученное "обрезанием" изображение.

[Процесс "обрезания" изображения в устройстве обработки изображений]

Далее со ссылкой на блок-схему алгоритма, показанную на Фиг.3, будет дано описание процесса "обрезания" изображения в устройстве (11) обработки изображений, показанном на Фиг.1.

На этапе S 11 секция (31) извлечения выделяющейся области генерирует карту выделяющей характеристики и карту присутствия лица, соответствующие входному изображению. Если описать это более конкретно, то секция (51) вычисления выделяющей характеристики генерирует карту выделяющей характеристики, соответствующую входному изображению и предоставляет эту карту выделяющей характеристики в секцию (52) определения выделяющейся прямоугольной области, и также генерирует карту присутствия лица, соответствующую входному изображению, и предоставляет карту присутствия лица в секцию (53) определения прямоугольной области с лицом.

На этапе S 12 секция (31) извлечения выделяющейся области извлекает и определяет выделяющуюся область, на которую направлено внимание на входном изображении, на основе карты выделяющей характеристики и карты присутствия лица. Если описать это более конкретно, то секция (52) определения выделяющейся прямоугольной области определяет выделяющуюся прямоугольную область на основе карты выделяющей характеристики, поступающей из секции (51) вычисления выделяющей характеристики, и предоставляет информацию о выделяющейся прямоугольной области, указывающую выделяющуюся прямоугольную область, секции (33) задания образца композиции. Кроме того, секция (53) определения прямоугольной области с лицом определяет прямоугольная область с лицом на основе карты присутствия лица, поступающей из секции (51) вычисления выделяющей характеристики, и предоставляет информацию о прямоугольной области с лицом, указывающую прямоугольную область с лицом, секции (33) задания образца композиции.

Следует отметить, что, хотя на этапе S 12 выделяющаяся прямоугольная область и прямоугольная область с лицом каждая определены в качестве выделяющейся области, прямоугольная область с лицом может обрабатываться коллективно как выделяющаяся прямоугольная область.

Пример выделяющейся области, определенной таким образом, показан на Фиг.4.

На Фиг.4 входное изображение Р представляет собой изображение единственной птицы (журавля), летящей в небе. Как показано на Фиг.4, в соответствии с процессом на этапе S 12, внимание направлено на единственную птицу, и единственная выделяющаяся область (L) определена таким образом, чтобы включать в себя эту птицу.

Возвращаясь к блок-схеме, показанной на Фиг.3, отметим, что на этапе S 13, секция (32) различения сцены выполняет преобразование частоты на входном изображении для того, чтобы извлечь частотную информацию, различает сцену входного изображения по частотной информации, выступающей в качестве количества признака (вектора), и предоставляет информацию о сцене, указывающей сцену, которая получена в результате различения, секции (33) задания образца композиции.

На этапе S 14 секция (33) задания образца композиции задает образец композиции, соответствующий входному изображению, на основе количества порций информации о выделяющихся областях, поступающей из секции (31) извлечения выделяющейся области, и информации о сцене, поступающей из секции (32) различения сцены, и предоставляет образец композиции в секцию (34) анализа композиции.

Ниже, со ссылкой на Фиг.5, будет дано описание из образцов композиции, которые задаются на основе количества выделяющихся областей (объектов), и сцен.

На Фиг.5 различные образцы композиции определены каждый в связи с количествами выделяющихся областей (объектов), и каждой из сцен, которые представляют собой "Побережье", "Сельский ландшафт", "Небо", "Гора", "Скоростная автомагистраль", "Улица", "Город" и "Высотное здание".

В соответствии с Фиг.5, например, когда количество выделяющихся областей составляет 0 на входном изображении, сцена которого представляет собой "Побережье" (то есть, когда присутствует только ландшафт побережья), в качестве образца композиции задается горизонтальная композиция. Когда количество выделяющихся областей составляет 1, в качестве образцов композиции задаются трехчастная композиция и горизонтальная композиция. Кроме того, когда количество выделяющихся областей составляет от 2 до 5, в качестве образцов композиции задаются контрастная композиция и горизонтальная композиция, и когда количество выделяющихся областей составляет 6 или больше, в качестве образцов композиции задаются контрастная композиция и горизонтальная композиция.

Кроме того, когда количество выделяющихся областей составляет 0 на входном изображении, сцена которого представляет собой "Сельский ландшафт" (то есть, когда присутствует только сельский ландшафт), в качестве образца композиции задается радиальная композиция. Когда количество выделяющихся областей составляет 1, в качестве образцов композиции задаются трехчастная композиция и радиальная композиция. Кроме того, когда количество выделяющихся областей составляет от 2 до 5, в качестве образцов композиции задаются контрастная композиция и радиальная композиция, и когда количество выделяющихся областей составляет 6 или больше, в качестве образцов композиции задаются радиальная композиция и периодическая композиция.

Аналогичным образом, задаются образцы композиции в соответствии с количествами выделяющихся областей на входном изображении, сцена которого представляет собой "Небо", входном изображении, сцена которого представляет собой "Гору", входном изображении, сцена которого представляет собой "Скоростную автомагистраль", и так далее.

Следует отметить, что в случае, когда задаются образцы двух композиций, задается такой образец композиции, который удовлетворяет каждой из композиций.

Кроме того, образцы композиции, связанные с количествами выделяющихся областей и сценами, описанными со ссылкой на Фиг.5, могут быть заданы заранее, или могут задаваться пользователем, в соответствии с тем, что требуется.

Ниже, со ссылкой на. Фиг.6, будет дано описание примера образцов композиции, задаваемых секцией (33) задания образца композиции.

Композиция А на Фиг.6 показывает трехчастную композицию, в которой объект размещается на пересечении вертикальной линии и горизонтальной линии, обеспечивая, таким образом, хорошо сбалансированное изображение.

Композиция В на Фиг.6 показывает контрастную композицию, которая представляет собой композицию, в которой аналогичные объекты или похожие объекты располагаются бок о бок. В композиции В размещая основной объект таким образом, чтобы он был большим, а другой объект - таким образом, чтобы он был маленьким, заставляют основной объект выделяться.

Композиция С на Фиг.6 показывает диагональную композицию, которая используется в случае, когда желательно создать ощущение ритма. Кроме того, композиция С является композицией, которая позволяет добиться эффективного использования узкого участка.

Композиция D на Фиг.6 показывает радиальную композицию, которая используется в случае, когда желательно создать ощущение открытости или протяженности. Примеры объекта включают в себя ветви дерева и солнечный свет, проходящий через разрыв в облаках.

Композиция Е на Фиг.6 представляет собой горизонтальную композицию, которая используется в случае, когда желательно дать ощущение боковой протяженности. Основная тема может быть изменена посредством сдвига положения горизонтальной линии в вертикальном направлении.

Композиция F на Фиг.6 представляет собой вертикальную композицию, которая используется в случае, когда желательно акцентировать вертикальное направление изображения. Примеры объекта включают в себя ствол дерева и дорогу.

Композиция G на Фиг.6 представляет собой перспективную композицию, которая используется в случае, когда желательно создать ощущение протяженности от точки схода (пересечения диагоналей на чертеже).

Композиция Н на Фиг.6 представляет собой периодическую композицию, в которой множество аналогичных предметов размещены с равными промежутками, и которая используется в случае, когда желательно создать ощущение ритма или ощущения единства.

Таким образом, на основе количества выделяющихся областей и информации о сцене, секция (33) задания образца композиции задает из числа образцов композиции, показанных на Фиг.6, образец композиции, связанный с количеством выделяющихся областей и сценой, показанными на Фиг.5. Следует отметить, что виды образцов композиции не ограничены этими восьмью видами, показа