Устройство съемки изображений, устройство обработки изображений и способ обработки изображений для формирования вспомогательной информации для снятого изображения

Устройство съемки изображений, устройство обработки изображений и способ обработки изображений для формирования вспомогательной информации для снятого изображения

Иллюстрации

Показать все

Реферат

УРОВЕНЬ ТЕХНИКИ

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству съемки изображений, устройству обработки изображений и способу обработки изображений, которые оперируют данными изображения, что дает возможность изменять фокусное расстояние изображения после съемки изображения.

Уровень техники

Среди цифровых камер в последние годы уделено внимание сектору камер, называемых светлопольными камерами. С помощью изображений, снятых этим типом камеры, можно создавать перефокусированное изображение путем изменения фокусного расстояния (плоскость изображения, плоскость перефокусирования) после съемки изображения, и соответственно предполагается возможность выбора различных положений фокуса после съемки изображения и устранения расфокусированных изображений, обусловленные ошибкой пользователя в момент съемки изображения.

Между тем существует функция, называемая отображением предварительного просмотра, которая используется при отображении изображений, снятых цифровой камерой. Это функция для отображения списка уменьшенных изображений, чтобы упростить пользователю поиск намеченного изображения. Однако, хотя изображения, снятые светлопольной камерой, дают возможность поместить фокус куда угодно после съемки изображения, фокус не обязательно помещается на человека или т.п., которого пользователь желает видеть в фокусе в момент съемки изображения. В частности, когда выполняется отображение предварительного просмотра, существуют случаи, например, когда невозможно определить, кто присутствует на изображении, если человек находится не в фокусе, и пользователь испытывает трудность с выбором изображения.

Патентная публикация Японии № 2009-065356 раскрывает способ решения вышеупомянутой проблемы, в котором лицо субъекта нельзя распознать в момент съемки изображения с помощью светлопольной камеры. В этом способе задается настройка для изменения глубины резкости, положение линзы изменяется несколько раз для предварительного съемки изображения, распознавание лиц выполняется на основе результатов предварительного съемки изображения, а затем выполняется съемка изображения.

Однако, хотя патентная публикация Японии № 2009-065356 раскрывает способ выполнения распознавания лиц в момент съемки изображения, отсутствует раскрытие способа для решения вышеупомянутой проблемы в момент воспроизведения изображения.

В связи с вышеупомянутыми проблемами настоящее изобретение обеспечивает устройство съемки изображений, устройство обработки изображений и способ обработки изображений, которые дают возможность простой идентификации субъекта, включенного в данные изображения, которые были сняты светлопольной камерой.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

В соответствии с первым аспектом настоящего изобретения предложено устройство съемки изображений, содержащее: формирующую изображение линзу; датчик изображения, который состоит из множества двумерно размещенных пикселей, причем датчик изображения выполнен с возможностью выполнения фотоэлектрического преобразования над падающим светом и вывода данных изображения; множество микролинз, которые размещаются между формирующей изображение линзой и датчиком изображения, причем каждая микролинза соответствует соответствующей области из множества областей датчика изображения, причем каждая область состоит из заранее установленного количества пикселей; модуль обработки изображений, выполненный с возможностью формирования изображения восстановления в заранее установленной плоскости перефокусирования путем выполнения перефокусирования над данными изображения, которые были выведены из датчика изображения, и определения, присутствует ли субъект на изображении восстановления; и модуль записи, выполненный с возможностью записи данных изображения, которые были выведены из датчика изображения, и записи информации о субъекте, присутствие которого было определено с помощью модуля обработки изображений, в качестве вспомогательной информации совместно с данными изображения.

В соответствии со вторым аспектом настоящего изобретения предложено устройство обработки изображений для обработки данных изображения, выведенных из устройства съемки изображений, содержащего формирующую изображение линзу, датчик изображения, который состоит из множества двумерно размещенных пикселей, причем датчик изображения выполнен с возможностью выполнения фотоэлектрического преобразования над падающим светом и вывода данных изображения, и множество микролинз, которые размещаются между формирующей изображение линзой и датчиком изображения, причем каждая микролинза соответствует соответствующей области из множества областей датчика изображения, причем каждая область состоит из заранее установленного количества пикселей, причем устройство обработки изображений содержит: модуль обработки изображений, выполненный с возможностью формирования изображения восстановления в заранее установленной плоскости перефокусирования путем выполнения перефокусирования над данными изображения, которые были выведены из датчика изображения, и определения, присутствует ли субъект на изображении восстановления; и модуль записи, выполненный с возможностью записи данных изображения, которые были выведены из датчика изображения, и записи информации о субъекте, присутствие которого было определено с помощью модуля обработки изображений, в качестве вспомогательной информации совместно с данными изображения.

В соответствии с третьим аспектом настоящего изобретения предложен способ обработки изображений для обработки данных изображения, выведенных из устройства съемки изображений, содержащего формирующую изображение линзу, датчик изображения, который состоит из множества двумерно размещенных пикселей, причем датчик изображения выполнен с возможностью выполнения фотоэлектрического преобразования над падающим светом и вывода данных изображения, и множество микролинз, которые размещаются между формирующей изображение линзой и датчиком изображения, причем каждая микролинза соответствует соответствующей области из множества областей датчика изображения, причем каждая область состоит из заранее установленного количества пикселей, причем способ обработки изображений содержит: этап обработки изображений, состоящий в формировании изображения восстановления в заранее установленной плоскости перефокусирования путем выполнения перефокусирования над данными изображения, которые были выведены из датчика изображения, и определении, присутствует ли субъект на изображении восстановления; и этап записи, состоящий в записи данных изображения, которые были выведены из датчика изображения, и записи информации о субъекте, присутствие которого было определено на этапе обработки изображений, в качестве вспомогательной информации совместно с данными изображения.

Дополнительные признаки настоящего изобретения станут очевидными из нижеследующего описания примерных вариантов осуществления со ссылкой на сопровождающие чертежи.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 - блок-схема, показывающая общую конфигурацию устройства съемки изображений в соответствии с вариантами осуществления настоящего изобретения.

Фиг. 2 - схема, иллюстрирующая взаимное расположение пикселей в датчике изображения и массива микролинз в соответствии с вариантами осуществления.

Фиг. 3 - схема, иллюстрирующая взаимное расположение формирующей изображение линзы, пикселей в датчике изображения и массива микролинз в соответствии с вариантами осуществления.

Фиг. 4A и 4B - схемы, иллюстрирующие отношение соответствия между областями зрачка у формирующей изображение линзы и светоприемными пикселями в соответствии с вариантами осуществления.

Фиг. 5 - схема, иллюстрирующая области пропускания у лучей формирования перефокусированного изображения в соответствии с вариантами осуществления.

Фиг. 6 - схема, иллюстрирующая информацию о положении лица и информацию об относительном размере лица, служащие в качестве вспомогательной информации, в соответствии с вариантами осуществления.

Фиг. 7 - блок-схема алгоритма, показывающая операцию записи, которая выполняется после того, как снято основное изображение, в соответствии с вариантами осуществления.

Фиг. 8 - блок-схема алгоритма, показывающая операцию отображения предварительного просмотра для основного изображения в соответствии с вариантами осуществления.

Фиг. 9A - 9D - схемы, показывающие примеры отображений предварительного просмотра в соответствии с вариантами осуществления.

Фиг. 10 - схема, показывающая общую конфигурацию цифровой камеры 1 в соответствии с третьим вариантом осуществления.

Фиг. 11 - схема, иллюстрирующая разделение экрана съемки изображения.

Фиг. 12 - блок-схема алгоритма, показывающая обработку по съемке изображения и обработку по восстановлению в соответствии с третьим вариантом осуществления.

Фиг. 13A - схема, иллюстрирующая изображение видоискателя в случае, когда первый переключатель выключен в режиме съемки изображения.

Фиг. 13B - схема, иллюстрирующая изображение видоискателя в случае, когда первый переключатель включен.

Фиг. 14 - блок-схема алгоритма, показывающая подробности обработки по восстановлению на этапе S110 из фиг. 12.

Фиг. 15A - схема, иллюстрирующая изображение, отображенное на модуле 4 отображения в случае, когда первый переключатель выключен в режиме съемки изображения, в соответствии с третьим вариантом осуществления.

Фиг. 15B - схема, иллюстрирующая изображение, отображенное на модуле 4 отображения в случае, когда первый переключатель включен, в соответствии с третьим вариантом осуществления.

Фиг. 15C - схема, иллюстрирующая восстановленное изображение в соответствии с третьим вариантом осуществления.

Фиг. 16 - схема, показывающая общую конфигурацию цифровой камеры 1 в соответствии с четвертым вариантом осуществления.

Фиг. 17 - блок-схема алгоритма, показывающая обработку по съемке изображения и обработку по восстановлению в соответствии с четвертым вариантом осуществления.

Фиг. 18A - схема, иллюстрирующая изображение, отображенное на модуле 4 отображения в случае, когда первый переключатель выключен в режиме съемки изображения, в соответствии с четвертым вариантом осуществления.

Фиг. 18B - схема, иллюстрирующая изображение, отображенное на модуле 4 отображения в случае, когда первый переключатель включен, в соответствии с четвертым вариантом осуществления.

Фиг. 18C - схема, иллюстрирующая восстановленное изображение в соответствии с четвертым вариантом осуществления.

Фиг. 19 - схема, иллюстрирующая восстановленное изображение в случае, когда основной субъект не был обнаружен, в соответствии с четвертым вариантом осуществления.

Фиг. 20A - схема, показывающая оптическую систему, к которой может применяться настоящее изобретение.

Фиг. 20B - схема, показывающая другую оптическую систему, к которой может применяться настоящее изобретение.

Фиг. 20C - схема, показывающая еще одну оптическую систему, к которой может применяться настоящее изобретение.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Нижеследующее является подробным описанием вариантов осуществления для выполнения настоящего изобретения со ссылкой на сопровождающие чертежи.

Первый вариант осуществления

Фиг. 1 - блок-схема, показывающая общую конфигурацию устройства 100 съемки изображений в соответствии с вариантами осуществления настоящего изобретения. В показанной на фиг. 1 конфигурации свет, который прошел через формирующую изображение линзу 101, образует изображение в области положения фокуса формирующей изображение линзы 101. Массив 102 микролинз компонуется несколькими микролинзами 1020, и благодаря расположению в области положения фокуса формирующей изображение линзы 101 массив 102 микролинз функционирует так, что свет, который прошел через разные области зрачка формирующей изображение линзы 101, делится и излучается для каждой области зрачка. Датчик 103 изображения является фотоэлектрическим преобразователем, например датчиком изображения на CMOS или датчиком изображения на CCD, и выводит сигнал изображения, полученный путем подвергания фотоэлектрическому преобразованию падающего света. Несколько микролинз 1020 размещаются двумерно, так что каждая микролинза 1020 соответствует множеству пикселей, и поэтому свет, который разделен и излучен для каждой области зрачка с помощью микролинз 1020, может приниматься наряду с сохранением информации о разделении и может быть преобразован в сигнал изображения, который можно подвергнуть обработке данных.

Схема 104 аналоговой обработки сигналов (AFE) выполняет коррелированную двухступенчатую выборку, усиление сигнала, регулировку контрольного уровня, аналого-цифровое преобразование и т.п. над сигналом изображения, выведенным из датчика 103 изображения. Схема 105 цифровой обработки сигналов (DFE) выполняет цифровую обработку изображений, например регулировку контрольного уровня, над сигналом изображения, выведенным из схемы 104 аналоговой обработки сигналов.

Схема 106 обработки изображений подвергает сигнал изображения, выведенный из схемы 105 цифровой обработки сигналов, заранее установленной обработке изображений, а также операции перефокусировки (проявочной обработке), которая является уникальной для светлопольных камер, для установки фокуса на произвольной виртуальной плоскости изображения. Кроме того, схема 106 обработки изображений содержит функцию обнаружения субъекта для обнаружения субъекта в проявленном изображении и функцию распознавания для распознавания, является ли обнаруженный субъект конкретным субъектом. В настоящем варианте осуществления схема 106 обработки изображений содержит функцию определения лица для идентификации лица человека в качестве примера обнаружения субъекта и функцию распознавания лиц для распознавания, чье лицо было идентифицировано, путем сопоставления с базой данных лиц в позже описанной запоминающей схеме 107, в качестве примера функции распознавания субъекта, однако этим не ограничивается. Схема 106 обработки изображений дополнительно содержит функцию для считывания основного изображения из схемы 108 записи, выполнения проявления с использованием заранее установленного параметра перефокусировки и формирования уменьшенного изображения (миниатюрного изображения), когда нужно выполнить отображение предварительного просмотра в момент воспроизведения. Запоминающая схема 107 является энергонезависимым запоминающим устройством, например флэш-памятью, и хранит информацию из базы данных лиц, в которой хранятся пары лиц и имен людей. Схема 108 записи является носителем записи, например картой памяти, который записывает и хранит сигналы изображения (основные изображения), выведенные из схемы 106 обработки изображений, и позже описанную вспомогательную информацию, которая ассоциируется с основными изображениями.

Схема 109 управления выполняет общее управление устройством 100 съемки изображений, например управление датчиком 103 изображения и схемой 106 обработки изображений. Операционная схема 110 принимает сигналы от операционного элемента, которым снабжается устройство 100 съемки изображений, и вводит команды пользователя в схему 109 управления. Схема 111 отображения отображает снятые изображения, изображения визирования по экрану, различные типы экранов настройки, основные изображения, проявленные изображения, вспомогательную информацию, записанную в схеме 108 записи, и т.п. Кроме того, в описанном далее случае, когда вспомогательная информация является изображением, схема 111 отображения может вырезать и отобразить часть того изображения. Кроме того, в случае, когда вспомогательная информация является символьными данными, схема 111 отображения может отобразить символы наложенными на экран дисплея.

Далее идет описание взаимного расположения формирующей изображение линзы 101, массива 102 микролинз и датчика 103 изображения в устройстве съемки изображений из настоящего варианта осуществления.

Фиг. 2 - схема, показывающая датчик 103 изображения и массив 102 микролинз из направления оптической оси Z на фиг. 1. Каждая микролинза 1020 располагается так, что одна микролинза 1020 соответствует нескольким пикселям 201 деления. Массив 200 пикселей задается в виде группы пикселей 201 деления за одной микролинзой. Отметим, что в первом варианте осуществления каждый массив 200 пикселей компонуется всего 25 пикселями 201 деления в пяти строках и пяти столбцах.

Фиг. 3 - схема, показывающая, как свет, излученный из формирующей изображение линзы 101, проходит через одну микролинзу 1020 и принимается датчиком 103 изображения, если смотреть из направления, перпендикулярного оптической оси Z. Свет излучается из областей a1 - a5 зрачка формирующей изображение линзы 101, проходит через центральную микролинзу 1020 и образует изображения на соответствующих пикселях p1 - p5 деления за той микролинзой.

Фиг. 4A - схема для более точного описания областей пропускания света у формирующей изображение линзы 101, показанных на фиг. 3, и областей приема света у датчика 103 изображения, принимая во внимание апертуру формирующей изображение линзы 101 из направления оптической оси Z. Фиг. 4B - схема, показывающая одну микролинзу 1020 и массив 200 пикселей, размещенный за ней, если смотреть из направления оптической оси Z. В случае, когда количество областей зрачка, на которое делится формирующая изображение линза 101, является таким же, как количество пикселей за микролинзой 1020, что показано на фиг. 4A, свет, излученный из одной разделенной области зрачка у формирующей изображение линзы 101, образует изображение на одном пикселе. Отметим, что здесь диафрагменные числа у формирующей изображение линзы 101 и микролинз 1020 практически совпадают друг с другом.

Отношение соответствия между областями a11 - a55 зрачка у формирующей изображение линзы 101, показанными на фиг. 4A, и пикселями p11 - p55, показанными на фиг. 4B, является вершинно-симметрическим отношением, если смотреть из направления оптической оси Z. Соответственно, свет, излученный из области a11 зрачка формирующей изображение линзы 101, образует изображение на пикселе p11 среди пикселей в массиве 200 пикселей за микролинзой 1020. Аналогичным образом свет, который излучается из области a11 зрачка и проходит через другую микролинзу 1020, также образует изображение на пикселе p11 среди пикселей в массиве 200 пикселей за той микролинзой 1020.

Нижеследующее описывает способ вычисления положения фокуса (плоскости перефокусирования), которое соответствует произвольному положению субъекта на экране. Как показано на фиг. 4A и 4B, каждый пиксель в массиве 200 пикселей принимает свет, который прошел через разную область зрачка у формирующей изображение линзы 101. Сигналы пикселей объединяются из этих разделенных сигналов, чтобы сформировать пару сигналов, которые подвергнуты горизонтальному разделению зрачка.

В выражении (1) свет, который прошел через левосторонние области (области зрачка a11-a51 и a12-a52) выходного зрачка у формирующей изображение линзы 101, объединяется для пикселей в некотором массиве 200 пикселей. Это применяется к нескольким массивам 200 пикселей, которые выровнены в горизонтальном направлении, и изображение субъекта, образованное этой группой выходных сигналов, является изображением A. Также в выражении (2) свет, который прошел через правосторонние области (области зрачка a14-a54 и a15-a55) выходного зрачка у формирующей изображение линзы 101, объединяется для пикселей в некотором массиве 200 пикселей. Это применяется к нескольким массивам 200 пикселей, которые выровнены в горизонтальном направлении, и изображение субъекта, образованное этой группой выходных сигналов, является изображением B. Величина несовпадения изображений (разность фаз разделения зрачка) затем обнаруживается путем подвергания изображения A и изображения B операции корреляции. Затем положение фокуса, которое соответствует произвольному положению субъекта на экране, можно вычислить путем умножения величины несовпадения изображений на коэффициент пересчета, который определяется на основании оптической системы и положения фокуса формирующей изображение линзы 101.

Далее идет описание обработки для восстановления изображения для произвольно заданного положения фокуса (плоскости перефокусирования), которая выполняется над снятыми данными, полученными с помощью конфигураций формирующей изображение линзы 101, массива 102 микролинз и датчика 103 изображения.

Фиг. 5 - схема, показывающая, из какой области разделения зрачка формирующей изображение линзы 101 выходит свет после прохождения через некоторый пиксель в произвольно заданной плоскости перефокусирования, а также на какую микролинзу 1020 падает тот свет, если смотреть из направления, перпендикулярного оптической оси Z. Здесь положения областей разделения зрачка у формирующей изображение линзы 101 обозначаются координатами (u,v), положения пикселей в плоскости перефокусирования обозначаются координатами (x,y), а положения микролинз 1020 в массиве 102 микролинз обозначаются координатами (x',y'). Кроме того, расстояние от формирующей изображение линзы 101 до массива 102 микролинз обозначается с помощью F, а расстояние от формирующей изображение линзы 101 до плоскости перефокусирования обозначается с помощью αF. Здесь α является коэффициентом перефокусирования для определения положения плоскости перефокусирования и может произвольно задаваться пользователем или задаваться в соответствии с идентификацией сцены, обнаружением субъекта или т.п. Отметим, что фиг. 5 показывает только направления u, x и x', а направления v, y и y' не показаны. Как показано на фиг. 5, свет, который прошел через координаты (u,v) и координаты (x,y), поступает в координаты (x',y') в массиве 102 микролинз. Эти координаты (x',y') могут выражаться, как показано в выражении (3).

Тогда допуская, что L(x',y',u,v) обозначает выход пикселя, который принимает этот свет, выход E(x,y), полученный в координатах (x,y) в плоскости перефокусирования, получается путем интегрирования L(x',y',u,v) для областей зрачка формирующей изображение линзы 101, соответственно приводя к выражению (4).

В выражении (4) задание α, (x,y) и (u,v) дает положение (x',y') микролинзы 1020, на которую падает свет. Затем можно получить пиксель, который соответствует положению (u,v) в массиве 200 пикселей, которое соответствует той микролинзе. Выходом этого пикселя является L(x',y',u,v). E(x,y) затем можно вычислить путем выполнения вышеприведенного вычисления для всех областей разделения зрачка и интегрирования полученного выхода пикселя. Отметим, что интегрирование в выражении (4) может выполняться путем простого сложения, если в качестве (u,v) используются репрезентативные координаты областей разделения зрачка у формирующей изображение линзы.

Нижеследующее описывает формат вспомогательной информации в настоящем варианте осуществления. Когда выполняется съемка изображения, основное изображение из сигнала изображения (светлопольная информация), выведенного из датчика 103 изображения, записывается в схему 108 записи с помощью схемы 106 обработки изображений. В то же время данные изображения (дополнительное изображение) и символьные данные (дополнительная информация) также формируются и используются в качестве вспомогательной информации для основного изображения. Нижеследующее со ссылкой на фиг. 1 и блок-схему алгоритма на фиг. 7 описывает операции для формирования вспомогательной информации, когда выполняется съемка изображения.

Сначала будет приведено описание способа для формирования и записи данных изображения в качестве вспомогательной информации. На этапе S600 выполняется съемка изображения для съемки основного изображения. Когда выполняется съемка изображения, сигнал изображения, выведенный из датчика 103 изображения, подвергается аналоговой обработке сигналов посредством AFE 104, а результирующий сигнал подвергается цифровой обработке сигналов посредством DFE 105. После цифровой обработки сигналов основное изображение записывается в схему 108 записи посредством схемы 106 обработки изображений. Последующая обработка выполняется под управлением схемы 109 управления.

Когда запись основного изображения завершается, формируется и записывается вспомогательная информация. На этапе S601 коэффициент перефокусирования для выполнения перефокусировки посредством схемы 106 обработки изображений устанавливается в начальное значение посредством схемы 109 управления. Начальное значение является значением, в соответствии с которым фокус помещается на близкий план.

На этапе S602 схема 109 управления контролирует, установлен ли коэффициент перефокусирования в значение, в соответствии с которым фокус помещается на самый дальний план, и завершает обработку, если коэффициент перефокусирования достиг значения, указывающего самый дальний план. Если не достигнуто значение, указывающее самый дальний план, то процедура переходит к этапу S603. На этапе S603 схема 109 управления меняет коэффициент перефокусирования в направлении дальнего плана на некоторую величину. Схема 109 управления затем дает команду схеме 106 обработки изображений для выполнения проявления с использованием того коэффициента перефокусирования.

На этапе S604 схема 106 обработки изображений выполняет обработку по определению субъекта (например, обработку по определению лица) над изображением (изображением восстановления), которое было проявлено с использованием обозначенного коэффициента перефокусирования на этапе S603. Процедура переходит к этапу S605, если в результате определения лица определяется, что лицо присутствует на проявленном изображении, и процедура возвращается к обработке этапа S602, если не определено, что лицо присутствует. На этапе S605 схема 109 управления управляет обработкой, выполненной после определения лица. В частности, схема 109 управления дает команду схеме 106 обработки изображений для преобразования проявленного изображения, которое фокусируется на обнаруженном лице, в формат JPEG и сохранения проявленного изображения в схеме 108 записи в качестве дополнительного изображения совместно с основным изображением. Если определяется, что одно и то же лицо присутствует на двух или более проявленных изображениях, то схема 109 управления управляет сохранением проявленного изображения, включающего это лицо, с наиболее сфокусированным состоянием. В качестве способа для идентификации проявленного изображения, которое нужно сохранить, можно использовать способ идентификации коэффициента перефокусирования путем обнаружения положения фокуса на основе вышеописанной операции корреляции для положения обнаруженного лица. В качестве альтернативы также можно идентифицировать наиболее сфокусированное проявленное изображение на основе выделения контуров, степени надежности для обнаружения лица и так далее. В этом случае для последовательно сформированных проявленных изображений выполняется сравнение в отношении значения оценки для контура или степени надежности для обнаружения лица, и проявленное изображение, имеющее большее значение, сохраняется в запоминающей схеме 107. Процедура затем возвращается к обработке этапа S602, и вышеописанная обработка повторяется.

Хотя на фиг. 7 показан пример, в котором в качестве вспомогательной информации сохраняется дополнительное изображение (данные изображения), в качестве вспомогательной информации может сохраняться дополнительная информация. Примеры этой дополнительной информации включают в себя значение коэффициента перефокусирования, которое использовалось при формировании изображения, на котором было обнаружено лицо, информацию, указывающую положение лица на основном изображении, и информацию, указывающую относительный размер лица относительно размера основного изображения.

Информация о положении лица является числовым представлением того, насколько далеко вправо и вниз находится положение, в котором присутствует лицо, используя верхнюю левую точку основного изображения в качестве начала отсчета. Это сейчас будет описываться со ссылкой на фиг. 6. Здесь 501 обозначает основное изображение. Также 500 обозначает лицо, которое было обнаружено. Кроме того, ширина и высота основного изображения обозначаются соответственно с помощью W и H, а ширина и высота лица обозначаются соответственно с помощью Wface и Hface. Кроме того, допуская, что Dx является горизонтальным расстоянием от начала отсчета 0 до начального положения лица, а Dy является вертикальным расстоянием от начала отсчета до начального положения лица, относительная ширина и относительная высота в информации об относительном размере соответственно получаются из Wface/W и Hface/H. Также горизонтальное относительное расстояние и вертикальное относительное расстояние в информации о положении соответственно получаются из Dx/W и Dy/H. Схема 109 управления дает команду для преобразования этой дополнительной информации в файл данных и сохранения файла данных в схеме 108 записи совместно с основным изображением.

Далее со ссылкой на фиг. 8 и 9A-9D будет приведено описание случая, в котором записанное основное изображение и вспомогательная информация (например, дополнительные изображения и дополнительная информация) считываются из схемы 108 записи, и схема 111 отображения выполняет отображение предварительного просмотра светлопольного изображения.

На фиг. 9A 801 обозначает экран дисплея, который является частью схемы 111 отображения. Также прямоугольное изображение, обозначенное цифрой 802, является миниатюрным изображением, полученным путем уменьшения основного изображения. Когда пользователь дает команду операционной схеме 110 для выполнения отображения предварительного просмотра, операционная схема 110 дает схеме 109 управления команду отображения предварительного просмотра. При приеме команды отображения предварительного просмотра схема 106 обработки изображений считывает основное изображение из схемы 108 записи и уменьшает его, чтобы сформировать миниатюрное изображение. Схема 106 обработки изображений затем передает миниатюрное изображение в схему 111 отображения, которая создает экран предварительного просмотра на экране 801 дисплея. Здесь 803 обозначает курсор, когда одно миниатюрное изображение выбирается из нескольких миниатюр, и курсор 803 визуализируется схемой 111 отображения. Также 804 обозначает человека A, записанного на основном изображении, а 805 также обозначает человека B, записанного на основном изображении. Если основное изображение проявляется с использованием определенного коэффициента перефокусирования, то глубина резкости небольшая и не все субъекты находятся в фокусе. В показанном на фиг. 9A примере человек A, показанный сплошной линией, находится в фокусе, а человек B, показанный пунктирной линией, не находится в фокусе, соответственно указывая, что человек B расфокусирован.

На этапе S701 на фиг. 8 пользователь дает команду операционной схеме 110 для перемещения курсора 803 и выбора миниатюрного изображения, которое должно служить в качестве цели. Фиг. 9B показывает состояние, в котором выбрано миниатюрное изображение.

На этапе S702 схема 109 управления дает команду схеме 106 обработки изображений для поиска вспомогательной информации, которая ассоциируется с выбранным миниатюрным изображением. Схема 106 обработки изображений ищет в схеме 108 записи вспомогательную информацию, которая ассоциируется с основным изображением, соответствующим миниатюрному изображению, которое выбирается на фиг. 9B. В случае, когда дополнительная информация (относительное положение лица и относительный размер лица) и дополнительные изображения, на которых человек A и человек B были в фокусе, получаются в результате поиска на этапе S703, схема 109 управления отображает человека A и человека B одновременно в окрестности выбранного миниатюрного изображения. Здесь только области лиц вырезаются из дополнительных изображений, на которых лица были в фокусе, на основе дополнительной информации, указывающей относительные положения лиц, и области лиц отображаются схемой 111 отображения, как показано цифрами 811 и 812. Выполнение отображения таким образом дает возможность пользователю легко проверить, кто присутствует на изображении, даже при просмотре миниатюрного изображения от основного изображения, которое имеет небольшую глубину резкости.

Далее будет приведено описание случая, когда сами дополнительные изображения уменьшаются и отображаются. Этот случай показан на фиг. 9C. Аналогично показанному на фиг. 9B случаю, схема 109 управления дает команду схеме 111 отображения для отображения изображений, обозначенных цифрами 821 и 822, в окрестности выбранного миниатюрного изображения. Изображение 821 является изображением, которое проявлялось с использованием первого коэффициента перефокусирования, и человек A находится в фокусе. Изображение 822 является изображением, которое проявлялось с использованием второго коэффициента перефокусирования, и человек B находится в фокусе. Выполнение этого отображения таким образом дает возможность пользователю просматривать строки с изображениями, на которых лица субъектов находятся в фокусе, вместе с миниатюрным изображением.

Как описано выше, в соответствии с первым вариантом осуществления вспомогательная информация записывается совместно с основным изображением, и изображение, на котором лицо, включенное в основное изображение, находится в фокусе, которое получается на основе записанной вспомогательной информации, отображается в окрестности выбранного миниатюрного изображения. Это дает возможность упростить пользователю выбор намеченного изображения субъекта.

В соответствии с настоящим вариантом осуществления на этапе S603 идентифицируются соответствующие субъекты, присутствующие на экране, и чтобы получить изображения, на которых соответствующие субъекты находятся в фокусе, формируется множество проявленных изображений путем многократного изменения коэффициента перефокусирования от значения, в соответствии с которым фокус помещается на близкий план (широкоугольная сторона), к дальнему плану на некоторую величину. В качестве альтернативы также можно оценить положения фокуса соответствующих субъектов на основе информации о фокусном положении (карта расстояний) у соответствующих положений экрана, выведенной с помощью, например, вышеописанной операции корреляции и т.д., определить множество возможных коэффициентов перефокусирования, при которых соответствующие субъекты становятся сфокусированными, и использовать это множество возможных вариантов в качестве коэффициентов перефокусирования для этапа S603. Также можно определить некоторую величину коэффициента перефокусирования для этапа S603 на основе множества возможных вариантов.

Второй вариант осуществления

Нижеследующее является описанием второго варианта осуществления настоящего изобретения. Во втором варианте осуществления, когда схема 106 обработки изображений из вышеописанного первого варианта осуществления обнаруживает лицо, схема 106 обработки изображений помимо этого осуществляет распознавание лиц с использованием базы данных лиц и имен, которая хранится в запоминающей схеме 107, и записывает имя человека совместно с основным изображением.

По этой причине во втором варианте осуществления база данных, в которой ассоциируются характерные черты лица и имена, заранее сохраняется в запоминающей схеме 107 на фиг. 1. Также, если схема 106 обработки изображений обнаруживает лицо на изображении, проявленном с некоторым коэффициентом перефокусирования на этапе S605 на фиг. 7, то схема 106 обработки изображений затем выполняет распознавание лиц для того лица путем создания запроса к базе данных лиц и имен в запоминающей схеме 107. Имя человека, происходящее из запроса, созданного схемой 106 обработки изображений, тогда рассматривается в качестве вспомогательной информации вместе с дополнительны