Устройство для захвата изображений, способ управления им и носитель записи

Устройство для захвата изображений, способ управления им и носитель записи

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Данное изобретение относится к устройству для захвата изображений, способу управления им и носителю записи, а более конкретно - к способу расширения динамического диапазона, который обеспечивает расширение диапазона тонов путем комбинирования множества по-разному экспонированных изображений.

Уровень техники

В последние годы некоторые устройства для захвата изображений, такие как цифровые фотоаппараты и цифровые видеокамеры приобрели функцию расширения динамического диапазона, которая способствует получению изображения, диапазон тонов которого расширяется посредством комбинирования множества по-разному экспонированных изображений, получаемых путем захвата изображений субъекта с использованием разных времен экспонирования.

В патентной публикации Японии № 2008-104009 описано устройство для захвата изображений, которое формирует HDR-изображение путем захвата двух разных изображений, соответственно попадающих в диапазоны яркости на стороне высокой яркости и стороне низкой яркости, за счет обнаружения самой высокой яркости на стороне высокой яркости и самой низкой яркости на стороне низкой яркости, когда захваченное изображение не попадает в заданный диапазон яркости.

Кроме того, описан способ динамического управления комбинированием изображений при обработке формирования изображения расширенного диапазона (называемой далее обработкой формирования HDR-изображения) с тем, чтобы избежать прерывистости изображения в комбинированном изображении, выдаваемом в результате обработки формирования HDR-изображения, когда оно включает в себя движущийся объект.

В патентной публикации Японии № 2002-101347 описан следующий способ. То есть когда формируют HDR-изображение с использованием двух разных изображений, иными словами, недодержанного изображения и передержанного изображения, область, в которой может возникнуть прерывистость изображения, указывается на основании разностей между уровнями тонов нормализованных изображений, и в этой области запрещается замена на недодержанное изображение.

Вместе с тем, даже когда используется вышеупомянутый способ согласно патентной публикации Японии № 2002-101347, в области движущегося объекта HDR-изображения, формируемого путем комбинирования, зачастую могут использоваться пиксели, извлекаемые как из недодержанного изображения, так и из передержанного изображения, вследствие чего возникает проблема прерывистости текстуры в области движущегося объекта.

Раскрытие изобретения

Данное изобретение сделано при рассмотрении проблем обычных способов. В данном изобретении предлагаются устройство для захвата изображений, которое предотвращает прерывистость изображения в изображении, диапазон тонов которого расширен путем комбинирования множества по-разному экспонированных изображений, способ управления этим устройством и носитель записи.

В данном изобретении - в первом его аспекте - предложено устройство для захвата изображений с целью формирования изображения с расширенным динамическим диапазоном путем комбинирования множества изображений, подлежащих комбинированию, содержащее: средство захвата изображений для выдачи изображения, полученного путем захвата субъекта; средство определения для определения количества изображений, подлежащих комбинированию, используемых для формирования изображения с расширенным динамическим диапазоном, и условий экспонирования для соответствующих изображений, подлежащих комбинированию, из распределения значений пикселей субъекта; первое задающее средство для задания области движущегося объекта для множества заранее снятых изображений, выдаваемых из средства захвата изображений; средство изменения для определения надлежащего условия экспонирования для субъекта, соответствующего области движущегося объекта, заданной первым задающим средством, и для изменения одного условия экспонирования из условий экспонирования изображений, подлежащих комбинированию, определяемых средством определения, к надлежащему условию экспонирования; второе задающее средство для задания области движущегося объекта для множества изображений, подлежащих комбинированию, которые захватываются средством захвата в условиях экспонирования изображений, подлежащих комбинированию, включая надлежащее условие экспонирования; и формирующее средство для формирования изображения с расширенным динамическим диапазоном путем комбинирования множества изображений, подлежащих комбинированию, причем формирующее средство использует пиксели изображения, подлежащего комбинированию, захваченного при надлежащем условии экспонирования, в качестве пикселей области движущегося объекта, заданной вторым задающим средством.

Дополнительные признаки данного изобретения станут очевидными из нижеследующего описания возможных вариантов осуществления (приводимого со ссылками на сопровождающие чертежи).

Краткое описание чертежей

На фиг. 1 представлена блок-схема, иллюстрирующая функциональную компоновку цифрового фотоаппарата 100 в соответствии с вариантом осуществления данного изобретения;

на фиг. 2 представлен вид для пояснения прерывистости изображения в HDR-изображении, которая обуславливается обычной обработкой расширения динамического диапазона;

на фиг. 3 представлена блок-схема последовательности операций обработки формирования HDR-изображения в соответствии с вариантов осуществления данного изобретения;

на фиг. 4A, 4B и 4C представлены виды для пояснения областей движущегося объекта в соответствии с вариантом осуществления данного изобретения;

на фиг. 5 представлен график для пояснения установочных параметров условий экспонирования в соответствии с вариантом осуществления данного изобретения;

на фиг. 6A, 6B и 6C представлены виды для пояснения обработки группирования пикселей, соответствующих движущимся объектам, в соответствии с вариантом осуществления данного изобретения;

на фиг. 7 представлен вид, иллюстрирующий область фотометрии, соответствующую движущемуся объекту в соответствии с вариантом осуществления данного изобретения;

на фиг. 8A, 8B, 8C и 8D представлены виды для пояснения изменения условий экспонирования в соответствии с вариантом осуществления данного изобретения;

на фиг. 9 представлена схема для пояснения параллельной обработки в соответствии с вариантом осуществления данного изобретения;

на фиг. 10 представлен вид, иллюстрирующий примеры по-разному экспонированных изображений в соответствии с вариантом осуществления данного изобретения;

на фиг. 11 представлен вид для пояснения диапазона тонов после регулирования уровней тонов благодаря разным временам экспонирования;

на фиг. 12 представлен вид, иллюстрирующий движущиеся пиксели в соответствии с вариантом осуществления данного изобретения; и

на фиг. 13 представлен вид для пояснения обработки отображения в соответствии с вариантом осуществления данного изобретения.

Осуществление изобретения

Ниже со ссылками на чертежи будет описан предпочтительный вариант осуществления данного изобретения. Отметим, что вариант осуществления, описываемый ниже, будет примером случая, в котором данное изобретение применяется к цифровому фотоаппарату как примеру устройства для захвата изображений, которое будет выдавать изображение, динамический диапазон которого расширен (HDR-изображение), путем комбинирования множества изображений, полученных путем захвата изображений субъекта, имеющих разные времена экспонирования. Вместе с тем, данное изобретение применимо к произвольному устройству, которое может выдавать изображение, чей динамический диапазон расширен путем комбинирования множества изображений, полученных путем захвата изображений субъекта, имеющих разные времена экспонирования. В этом описании, термин «прерывистость изображения» будет в своем родовом значении выражать проблемы прозрачности, прерывистости структуры, запаздывания изображения, размноженных краев и смеси шаблонов в HDR-изображении.

Сначала будут описаны прозрачность, прерывистость структуры, запаздывание изображения, размноженные края и смесь шаблонов в HDR-изображении. Формирование HDR-изображения способом расширения динамического диапазона, описанным в патентной публикации Японии № 2008-104009, требует комбинирования множества изображений, которые получены посредством множества операций захвата изображений, имеющих разные уровни экспонирования в связи с субъектом. Вместе с тем, когда субъекты включают в себя движущийся объект, изображения, подлежащие комбинированию, имеют разные области движущихся объектов, и в HDR-изображении, полученном путем комбинирования изображений, подлежащих комбинированию, возникает проблема прерывистости изображения.

Более конкретно, когда субъект включает в себя движущийся объект, HDR-изображению, полученному путем комбинирования изображений, полученных посредством множества операций захвата изображений, присущи нижеследующие проблемы, связанные с прерывистостью изображения. Например, когда предполагается случай, в котором область 201 движущегося объекта включает в себя область 202 высвеченного светлого участка в передержанном изображении 200, как показано на фиг. 2, возникают следующие проблемы.

1. Когда пиксели заменяют с использованием пикселей недодержанного изображения 220, не включающего в себя движущийся объект в области в том же положении, что и область 202 высвеченного светлого участка, в области движущегося объекта HDR-изображения 230 формируется прозрачная область 231, сквозь которую виден фон (прозрачность).

2. Когда пиксели заменяют с использованием недодержанного изображения 220, в котором движущийся объект существует в том же положении, что и область 202 высвеченного светлого участка, но его положение отличается, рисунок текстуры поверхности движущегося объекта становится прерывистым на границе соответствующей области 232.

3. В отличие от показанного на фиг. 2, когда передержанное изображение включает в себя область высвеченного светлого участка в области фона, и когда движущийся объект в недодержанном изображении существует в загораживающем положении этой области, комбинирование изображений осуществляют путем замены пикселей области высвеченного светлого участка пикселями недодержанного изображения, как если бы было множество изображений движущегося объекта (запаздывание изображения).

Не только обработка замены пикселей, но и обработка комбинирования с использованием взвешенного усреднения множества изображений в диапазоне полутонов также вызывает прерывистость изображения, такую как размноженные края вокруг движущегося объекта и шаблонов в добавляемых областях движущегося объекта, в качестве проблем, возникающих во время обычной обработки комбинирования изображений.

Отметим, что даже когда используется вышеупомянутый способ согласно патентной публикации Японии № 2002-101347, пиксели, извлекаемые как из передержанного изображения, так и из недодержанного изображения, зачастую могут использоваться в области движущегося объекта HDR-изображения, сформированного посредством комбинирования, что создает проблему прерывистости текстуры в области движущегося объекта.

C другой стороны, можно воспользоваться способом исключения прерывистости изображения путем задания области, где величины изменений значений пикселей равны пороговому значению разностей всех из множества изображений, захватываемых для формирования HDR-изображения, или больше этого порогового значения, и формирования HDR-изображения с использованием пикселей, извлеченных из одного изображения, для пикселей этой области. Вместе с тем, выбранное изображение, из которого извлекаются пиксели, присваиваемые области, где величины изменений значений пикселей равны упомянутому пороговому значению или больше него, зачастую может включать в себя область высвеченного светлого участка или область потери деталей из-за затенения, а желаемый эффект расширения динамического диапазона в получаемом HDR-изображении зачастую получить нельзя. В частности, когда передержанное изображение и недодержанное изображение, используемые для формирования HDR-изображения, захватываются в соответствии с самой высокой яркостью и самой низкой яркостью подобно тому, как это предписывается в патентной публикации Японии № 2008-104009, оба эти изображения могут включать в себя область высвеченного светлого участка или область потери деталей из-за затенения, а желаемый эффект расширения динамического диапазона получить нельзя.

Поэтому в соответствии с данным изобретением определяют надлежащее условие экспонирования для области движущегося объекта, включенной в изображение, заменяют одно из условий экспонирования двух или более изображений надлежащим условием экспонирования изображения для захвата двух или более изображений, а пиксели изображения, захваченного при надлежащем условии экспонирования, используют для области, определенной как область движущегося объекта.

Функциональная компоновка цифрового фотоаппарата

На фиг. 1 представлена блок-схема, иллюстрирующая функциональную компоновку цифрового фотоаппарата 100 в соответствии с вариантом осуществления данного изобретения.

Контроллер 101 представляет собой, например, центральный процессор (ЦП). Контроллер 101 управляет операциями соответствующих блоков, входящих в состав цифрового фотоаппарата 100, путем считывания программы обработки формирования HDR-изображения (описываемой ниже), которая хранится в постоянном запоминающем устройстве (ПЗУ) 102, расширения программы считывания в оперативном запоминающем устройстве (ОЗУ) 103 и выполнения расширенной программы. ПЗУ 102 представляет собой, например, регистр, такой как перезаписываемое энергонезависимое запоминающее устройство. ПЗУ 102 хранит информацию параметров управления и т.п., необходимую для операций соответствующих блоков, входящих в состав цифрового фотоаппарата 100, в дополнение к программе обработки формирования HDR-изображения. ОЗУ 103 представляет собой, например, энергозависимое запоминающее устройство. ОЗУ 103 используется не только как область расширения программы обработки формирования HDR-изображения, но и как временная область хранения промежуточных данных, выдаваемых во время операций соответствующих блоков, входящих в состав цифрового фотоаппарата 100.

Отметим, что в нижеследующем описании этого варианта осуществления имеется в виду, что соответствующие процессы воплощаются соответствующими блоками, входящими в состав цифрового фотоаппарата 100 как компонентами аппаратных средств. Вместе с тем, данное изобретение не ограничивается таким конкретным вариантом осуществления, а процессы соответствующих блоков могут быть воплощены посредством программ, которые могут воплощать такие же процессы, как процессы соответствующих блоков.

Диафрагма 105 является элементом управления экспонированием, который находится в плоскости зрачка оптической системы 104 и регулирует количество света путем частичного перехвата света, который падает на поверхность блока 107 захвата изображения. Механический затвор 106 представляет собой элемент управления экспонированием, который регулирует количество света, падающего со временем, за счет перехвата лучей, попадающих на поверхность блока захвата изображения.

Конфигурация блока 107 захвата изображения обеспечивается: элементом захвата изображения, то есть одиночным плоским элементом, который сформирован путем наслаивания цветовых фильтров, например, в шаблоне массива Байера и принимает изображение субъекта единственной плоскостью; и трехплоскостным элементом, который разделяет цветное изображение на три или более с использованием спектральной призмы (не показана) и принимает соответствующие лучи света посредством независимых элементов захвата изображении или аналогичных элементов. Блок 107 захвата изображения осуществляет фотоэлектрическое преобразование изображения субъекта, сформированного посредством оптической системы 104, которая включает в себя множество линз и зеркал. Затем блок 107 захвата изображения выдает аналоговый сигнал изображения, полученный путем фотоэлектрического преобразования, в препроцессор 108.

Отметим, что когда конфигурация блока 107 захвата изображения обеспечивается трехплоскостным элементом, требуется спектральный оптический элемент, но обработку интерполяции массива Байера в процессоре 110 изображений (описываемом ниже) можно опустить. Кроме того, блок 107 захвата изображения также является элементом управления экспонированием, который регулирует количество света путем управления временами накапливания и моментами считывания элементов захвата изображений, поскольку элементы захвата изображений имеют функцию электронного затвора.

Препроцессор 108 применяет к входному аналоговому сигналу изображения удаление шума посредством коррелированной двойной дискретизации (CDS), управление экспонированием с использованием регулирования усиления посредством автоматической регулировки усиления (АРУ), регулирование уровня черного и обработку аналого-цифрового преобразования, и выдает цифровой сигнал изображения. Различные процессы, проводимые в препроцессоре 108, также называются аналоговыми входными (AFE) процессами, поскольку они являются предварительными процессами для аналогового сигнала изображения.

В этом варианте осуществления, чтобы захватить с разделением во времени множество по-разному экспонированных изображений, контроллер 101 управляет операциями управления экспонированием в диафрагме 105, механическом затворе 106, блоке 107 захвата изображения и препроцессоре 108 с использованием контроллера 109 экспонирования. Более конкретно, контроллер 109 экспонирования управляет величиной отверстия диафрагмы 105, временем полного открытия отверстия механического затвора 106, временами накапливания и моментами считывания элементов захвата изображений, а также величиной регулирования усиления в препроцессоре 108 в соответствии с частями информации экспонирования множества изображений, вводимыми из контроллера 101.

Процессор 110 изображений применяет - к входному цифровому сигналу изображения - процессы обработки изображений, такие как интерполяция матрицы Байера, обработка линейной матрицы, регулирование баланса белого, преобразование в пространстве YCC, коррекция цветового различия и/или тона, и/или контраста и обработка выделения краев. Процессор 110 изображений может формировать одно выходное изображение (изображение, связанное с одиночной обычной операцией захвата изображения) путем применения этих процессов обработки изображения. Формируемое изображение хранится, например, в устройстве 111 для запоминания изображений (описываемом ниже). В альтернативном варианте формируемое изображение записывается на носителе 115 записи посредством блока 114 интерфейса записи. Различные процессы обработки изображения, проводимые процессором 110 изображений, называются цифровыми выходными (DBE) процессами, в отличие от AFE-процессов препроцессора.

Предположим, что в этом варианте осуществления процессор 110 изображений проводит процессы обработки изображения, включающие в себя обработку комбинирования, которые проводятся на соответствующих этапах, необходимых для формирования HDR-изображения, динамический диапазон которого расширен из множества по-разному экспонированных изображений. Множество по-разному экспонированных изображений, используемых в обработке формирования HDR-изображения, последовательно сохраняются в устройстве 111 для запоминания изображений после применения DBE-процессов в процессоре 110 изображений. Процессор 110 изображений считывает соответствующие изображения из устройства 111 для запоминания изображений и применяет к ним требуемые процессы.

Кроме того, когда в соответствии с форматом записи захваченного изображения, который хранится, например, в ПЗУ 102, требуется обработка преобразования, такая как сжатие и/или кодирование, процессор 110 изображений применяет эту обработку к данным изображения, тем самым формируя записываемые данные изображения.

Устройство 111 для запоминания изображений представляет собой область хранения изображений, заключенную в цифровом фотоаппарате 100. Устройство 111 для запоминания изображений может временно хранить не только данные изображения, получаемые посредством обработки формирования HDR-изображения, но и промежуточные данные изображения, которые получаются путем применения некоторых DBE-процессов, если потребуется. Изображения, хранимые в устройстве 111 для запоминания изображений, могут быть необработанными или обработанными в минимальной степени данными изображения (т.е. данными изображения, представленными в формате RAW) трех плоскостей, к которым применена, например, интерполяция массива Байера и линейная матричная обработка, данными изображения в цветовом пространстве RGB, которые в дальнейшем будут подвергнуты регулированию баланса белого, или данными изображения в цветовом пространстве YCC, к которым применено YCC-преобразование. Отметим, что этот вариант осуществления будет приведен в нижеследующем описании в предположении, что изображения для обработки формирования HDR-изображения, которые хранятся в устройстве 111 для запоминания изображений, являются YCC-изображениями. Вместе с тем, изображения, используемые при обработке формирования HDR-изображения (описываемой ниже), не ограничиваются изображениями в цветовом пространстве YCC, и возможно использование изображения в других цветовых пространствах.

Блок 112 отображения представляет собой, например, устройство отображения, такое как компактный жидкокристаллический дисплей (ЖКД), который входит в состав цифрового фотоаппарата 100 и отображает захваченное изображение, формированное HDR-изображение, или изображение, считанное с носителя 115 записи посредством блока 114 интерфейса носителя записи (описываемого ниже).

Операционный блок 113 представляет собой интерфейс пользователя, который включает в себя кнопку затвора, кнопку меню, и т.п., входит в состав цифрового фотоаппарата 100 и используется для приема вводов операций от пользователя. Операционный блок 113 анализирует ввод операции, совершаемый пользователем, и выдает сигнал, соответствующий этому вводу операции, в контроллер 101. Кроме того, операционный блок 113 не ограничивается физическими операционными элементами (вышеупомянутыми кнопкой затвора, кнопкой меню, и т.п.), а может включать в себя датчик сенсорной панели. Например, в этом случае, операционный блок 113 выдает информацию положения в области отображения блока 112 отображения, приводимого в действие пользователем, в контроллер 101.

Блок 114 интерфейса носителя записи представляет собой интерфейс, используемый, например, для записи данных изображения и т.п., формируемых процессором 110 изображений, на подключенном носителе записи 115, или для считывания данных с носителя 115 записи. Носитель 115 записи может быть, например, внутренним запоминающим устройством, входящим в состав цифрового фотоаппарата 100, или записывающим устройством, таким как плата памяти или дисководом для жестких дисков (HDD), который подключен с возможностью отключения к цифровому фотоаппарату 100.

Обработка формирования HDR-изображения

Ниже, со ссылками на блок-схему последовательности операций, показанную на фиг. 3, будет приведено конкретное описание обработки формирования HDR-изображения, проводимой цифровым фотоаппаратом 100 согласно этому варианту осуществления, имеющим вышеупомянутую компоновку. Обработку, соответствующую этой блок-схеме последовательности операций, можно воплотить, когда контроллер 101 считывает соответствующую программу обработки, хранимую, например, в ПЗУ 102, расширяет программу считывания на ОЗУ 103 и выполняет расширенную программу. Отметим, что нижеследующее описание будет приведено в предположении, что эта обработка формирования HDR-изображения начинается, например, когда пользователь приводит в действие кнопку затвора, а режим захвата изображения цифрового фотоаппарата 100 установлен как режим захвата HDR-изображения.

На этапе S301, контроллер 101 задает области движущегося объекта в угле поля формирования изображения (первое задание) и сохраняет заданные области в ОЗУ 103. Каждая область движущегося объекта обозначает область, включающую в себя движущийся субъект, такой как субъект, который движется, причем этот субъект заключен в каждом изображении, захватываемом для формирования HDR-изображения. Более конкретно, контроллер 101 получает множество заранее снятых изображений, который захвачены с разделением во времени, из устройства 111 для запоминания изображений, и вычисляет разности значений пикселей для этого множества заранее снятых изображений. Затем контроллер 101 проверяет, равна ли каждая разность заданному пороговому значению Th_MOV, требующемуся для суждения о движущемся объекте, или превышает это пороговое значение, тем самым задавая область движущегося объекта для каждого пикселя. В этом варианте осуществления контроллер 101 управляет препроцессором 108 и процессором 110 изображений, чтобы применить заданные процессы к двум заранее снятым изображениям, которые захвачены с разделением по времени при одном и том же условии экспонирования, тем самым формируя изображения формата YCC. Потом контроллер 101 осуществляет управление для вычисления разностей компонентов яркости этих двух заранее снятых изображений формата YCC и сравнивает вычисленную разность для каждого пикселя с пороговым значением Th_MOV.

Например, при обнаружении областей движущегося объекта с использованием двух заранее снятых изображений 401 и 402, полученных путем осуществляемого с разделением по времени захвата субъектов, включая движущийся объект 410, как показано на фиг. 4A и 4B, контроллер 101 разделяет каждое из изображений на множество блоков и вычисляет разности компонентов яркости для соответствующих блоков. В примере, показанном на фиг. 4A-4C, блоки, которые обозначены закрашенными кружками на фиг. 4C и значения яркости которых изменяются за счет движения субъекта, заданы как области движущегося объекта.

Отметим, что в этом варианте осуществления контроллер 101 задает области движущегося объекта с использованием двух заранее снятых изображений, которые захвачены с разделением по времени при одном и том же условии экспонирования. Когда условия экспонирования заранее снятых изображений являются разными, уровни тонов двух заранее снятых изображений регулируются в соответствии с условиями экспонирования так, что уровни тонов для идентичных субъектов равны друг другу, что позволяет контроллеру 101 провести сравнение. Вместе с тем, если заранее снятые изображения включают в себя область высвеченного светлого участка или область потери деталей из-за затенения, обуславливаемые разными условиями экспонирования, то, поскольку эта область изменяется в зависимости от условий экспонирования, после этого конкретная область неподвижного объекта обнаруживается как область движущегося объекта.

При формировании HDR-изображения, когда «область, соответствующая движущемуся объекту, включает в себя область высвеченного светлого участка или область потери деталей из-за затенения», прерывистость изображения может возникать за счет присвоения пикселей, выбранных из множества изображений, имеющих разные условия экспонирования, области движущегося объекта. За счет присвоения пикселей, выбранных из одного изображения, этой области, можно избежать прерывистости изображения. Вместе с тем, когда этой области присваивают пиксели области высвеченного светлого участка или области потери деталей из-за затенения, как описано выше, полученное изображение имеет слабый эффект расширения динамического диапазона. То есть проблема прерывистости изображения предотвращается для HDR-изображения, формируемого путем обработки, предусматривающей такое присвоение пикселей, но получение предпочтительного результата применительно к расширению динамического диапазона как первоначальной цели оказывается маловероятным. По этой причине в данном варианте осуществления по меньшей мере для области движущегося объекта устанавливают предпочтительное условие экспонирования (надлежащее условие экспонирования), а HDR-изображение формируют с использованием изображения, захваченного при этом условии. Кстати, когда замены пикселей области высвеченного светлого участка или области потери деталей из-за затенения в области неподвижного объекта организуют для обнаружения ее в качестве области движущегося объекта в соответствии с изменениями условий экспонирования, определенные условия экспонирования могут отклоняться от предпочтительного условия экспонирования для строго движущегося объекта.

Когда определяют надлежащее условие экспонирования для одной области, контроллер 101 вычисляет взвешенный центроид I_g распределения тонов исходя из распределения тонов для этой области, как показано на фиг. 5. Затем контроллер 101 определяет условие экспонирования, включающее в себя взвешенный центроид I_g распределения тонов в окрестности медианы заданного диапазона тонов. То есть, например, условие экспонирования, которое определяется с учетом изменений пикселей высвеченного светлого участка, заключенных в области неподвижного объекта, имеет меньшую величину экспозиции, чем в случае, где учитывается только движущийся объект, поскольку взвешенный центроид распределения тонов находится на стороне высоких тонов. То есть когда пиксели изображения, захваченного при условии экспонирования, определенном таким образом, присваиваются как пиксели области движущегося объекта, эта область вследствие малой величины экспозиции может включать в себя пиксели потери деталей из-за затенения. По этой причине, в данном варианте осуществления, когда область движущегося объекта обнаруживают с использованием множества заранее снятых изображений, имеющих разные условия экспонирования, используются заранее снятые изображения, не имеющие каких-либо изменений пикселей высвеченного светлого участка и потери деталей из-за затенения при соответствующих условиях экспонирования.

Отметим, что описание этого варианта осуществления будет приведено в предположении, что область движущегося объекта задана с использованием двух заранее снятых изображений, захваченных при одном и том же условии экспонирования. Вместе с тем, данное изобретение не ограничивается таким конкретным способом задания движущегося объекта. Например, для определения области движущегося объекта можно использовать три или более заранее снятых изображений, и множество заранее снятых изображений могут быть изображениями, захваченными в разных условиях экспонирования. Когда используют изображения, захваченные в разных условиях экспонирования, предпочтителен захват соответствующих изображений в условиях экспонирования, которые не вызывают изменения пикселей высвеченного светлого участка или потери деталей из-за затенения в области неподвижного объекта, как описано выше.

При задании области движущегося объекта область высвеченного светлого участка или область потери деталей из-за затенения могут зачастую включать в себя движущийся объект в зависимости от условий экспонирования. По этой причине контроллер 101 может определять окончательную область движущегося объекта путем объединения областей движущегося объекта, заданных из множества заранее снятых изображений, соответственно полученных при разных условиях экспонирования, таких как условие экспонирования на стороне малой экспозиции и условие экспонирования на стороне большой экспозиции.

Множество областей движущегося объекта могут быть заданы для соответствующих областей в угле поля. Множество заданных с разделением областей движущегося объекта можно получить путем группирования пикселей, соответствующих движущимся объектам. Более конкретно, контроллер 101 осуществляет группирование, учитывая информацию координат пикселей с использованием значений яркости и цветовую информацию пикселей как дополнительную информацию.

Группирование пикселей, соответствующих движущимся объектам, будет описано ниже со ссылками на фиг. 6A-6C. Например, при таком распределении пикселей, соответствующих движущимся объектам, обнаруженным на этом этапе, как показано на фиг. 6A, контроллер 101 может проводить обработку, связанную с группированием, пользуясь способом наращивания области для группирования пикселей, соответствующих движущимся объектам, которые поставлены в идентичные условия.

Способ наращивания области представляет собой обработку одного общего изображения, которая приводит к объединению элементов, первоначально разделенных на мелкие части (например, на соответствующие пиксели), на основании некоторого оценочного значения, когда разность между оценочным значением группы и оценочным значением каждого элемента равна заданному пороговому значению или меньше него, и не приводит к объединению элементов в противном случае. Способ наращивания области описан например в первоисточнике “Mikio Takagi, Haruhisa Simoda, Handbook of Image Analysis (Revised Edition), University of Tokyo Press”.

После завершения обработки задания области движущегося объекта контроллер 101 переводит процесс на этап S302.

На этапе S302, контроллер 101 определяет количество изображений (два или более), необходимых для формирования HDR-изображения, а также величины экспозиции (условия экспонирования) этих изображений, и сохраняет их в ОЗУ 103. Информация о количестве изображений, необходимых для формирования HDR-изображения, и величинах экспозиции соответствующих изображений может быть задана, например, заранее и сохранена в ПЗУ 102, или может быть определена в соответствии с результатом обработки фотометрии субъекта. В этом варианте осуществления контроллер 101 управляет блоком 107 захвата изображения, осуществляя предварительное фотографирование при условии экспонирования на стороне большой экспозиции и при условии экспонирования на стороне малой экспозиции и задавая часть с наибольшей яркостью и часть с наименьшей яркостью субъекта исходя из полученных изображений. Затем контроллер 101 определяет количество изображений, необходимых для формирования HDR-изображения, и исходя из диапазона яркости, вычисленного на основании значений самой высокой яркости и самой низкой яркости, и динамический диапазон элемента захвата изображения. Кроме того, контроллер 101 определяет условия экспонирования соответствующих экспонированных изображений, включая величину E_UNDER недодержки, которая не вызовет никакого высвеченного светлого участка в части с самой высокой яркостью субъекта, и величину E_OVER передержки, которая не вызовет никакой потери деталей из-за затенения в части с самой низкой яркостью. Когда количество изображений, необходимых для формирования HDR-изображения, равно трем или более, условия экспонирования соответствующих изображений могут быть определены, например, путем равномерного распределения значений между величинами E_UNER и E_OVER экспозиции.

Отметим, что в вышеизложенном описании этого варианта осуществления указано, что количество изображений, необходимых для формирования HDR-изображения, определяется в соответствии с распределением яркости субъекта. В альтернативном варианте можно допустить фиксированное значение количества изображений, необходимых для формирования HDR-изображения.

На этапе S303, контроллер 101 определяет надлежащее условие экспонирования для области движущегося объекта и сохраняет его в ОЗУ 103. Когда области движущегося объекта обнаруживаются, как показано на фиг. 4C, контроллер 101 управляет блоком фотометрии (не показан), проводя фотометрические операции для области фотометрии, показанной на фиг. 7, соответствующей областям движущегося объекта, и определяет надлежащее условие экспонирования с использованием полученного результата фотометрии. В качестве способа определения надлежащего условия экспонирования, надле