Система и способ для генерации изображения с расширенным динамическим диапазоном из множества экспозиций движущейся сцены

Система и способ для генерации изображения с расширенным динамическим диапазоном из множества экспозиций движущейся сцены

Иллюстрации

Показать все

Реферат

Область техники

Изобретение относится к созданию изображения с Расширенным Динамическим Диапазоном (РДД) из последовательности сгруппированных изображений и более подробно к системе и способу для генерации таких РДД изображений даже при наличии движения сцены или камеры между изображениями.

Уровень техники

Реальный мир имеет намного больше изменений яркости, чем могут зафиксировать датчики, доступные в большинстве современных камер. Излучение отдельно взятой сцены может содержать четыре порядка величины яркости от затененных до полностью освещенных областей. Обычные датчики ПЗС или КМОП фиксируют только приблизительно 256-1024 уровней яркости.

Эта проблема ограниченного динамического диапазона в последние годы вдохновила множество решений. Один способ фиксации полного излучения статической сцены состоит во взятии множества экспозиций сцены и последующем их объединении для создания карты Расширенного Динамического Диапазона (РДД) [3, 7, 8, 9, 12]. Поскольку эти технологии требуют множества вводимых изображений, существует возможность движения между вводимыми объектами или из-за динамических элементов в сцене, или из-за перемещения (например, ручной) камеры. Митсунага и др. [9] обращались к этой проблеме в ограниченной степени, подгоняя модели общего движения к вводимым данным. Манн и др. [8] по-другому совмещали экспонированные кадры, используя гомографии, которые могут компенсировать большие вращения камеры. Богони [2] использовал аффинное движение, сопровождающее попиксельный поток, для совмещения различных экспозиций, но подробностей совмещения кадров не привел.

Потребность соединения изображений, взятых в разное время, может быть устранена (и таким образом устранена проблема движения) посредством использования множества детекторов изображения, новых датчиков или пространственным изменением экспозиций пикселя [10]. Однако суть настоящего изобретения в том, что может быть реализовано при помощи обычных широкодоступных (то есть обладающие узким динамическим диапазоном) датчиков изображения и камеры.

Как только РДД-изображение будет вычислено, затем оно будет построено и отображено на дисплее. Так как обычные дисплеи способны выводить только около двух порядков величин значений яркости, на РДД-изображении должно быть выполнено уменьшение контрастности. Эта так называемая проблема отображения (преобразования) тона недавно исследовалась множеством исследователей [4, 5, 11].

Следует отметить, что в предыдущих абзацах, так же как и в остальной части этого описания, оно относится к различным самостоятельным публикациям, идентифицированным числовыми указателями, содержащимися в пределах пары скобок. Например, такая ссылка может быть идентифицирована, говоря "ссылка [1]" или просто "[1]". Множество ссылок будут идентифицированы парой скобок, содержащих более чем одну ссылку, например [2, 3]. Перечень ссылок, включающих в себя публикации, соответствующие каждому указателю, может быть найден в конце раздела подробного описания.

Сущность изобретения

Настоящее изобретение относится к системе и способу для генерации изображения с расширенным динамическим диапазоном (РДД) из сгруппированной последовательности изображений сцены, даже при наличии движения сцены или камеры между изображениями. Эта система и способ включают в себя первое обозначение изображения из последовательности, имеющего самое большое количество "допустимых" пикселей, в качестве опорного изображения. Пиксель считают допустимым, если он не насыщен и он показывает приемлемую степень контраста. В тестовых вариантах осуществления интенсивность пикселя измерялась в терминах восьмибитных значений цветового пространства RGB, и пиксель считался ненасыщенным и показывающим приемлемую степень контраста, если каждое из его RGB значений находилось в пределах интервала. В тестовых вариантах осуществления настоящего изобретения минимальная и максимальная границы интервала были установлены соответственно равными 17 и 254.

Как только опорное изображение было выбрано, каждое из "неопорных" изображений в последовательности совмещают с опорным изображением. В одном варианте осуществления настоящих системы и способа для каждого неопорного изображения это достигается посредством совмещения рассматриваемого изображения с изображением сгруппированной последовательности (включающей опорное изображение), которое показывает экспозицию, которая и ближе к этому опорному изображению, чем у рассматриваемого изображения, и наиболее близка среди других изображений к экспозиции рассматриваемого изображения. Эта процедура совмещения генерирует поле потока для каждого из неопорных изображений. В тестовых вариантах осуществления настоящего изобретения совмещение включает в себя вычисление попиксельного поля оптического потока.

Поля потока, генерирующиеся для неопорных изображений, уже не являющихся совмещенными с опорным изображением, сцепляются для совмещения каждого из них с опорным изображением. Сцепленные поля потока или немодифицированное поле потока в случае изображений, первоначально совмещенных непосредственно с опорным изображением, используются затем для деформации каждого неопорного изображения. Эти деформированные изображения затем объединяются с опорным изображением для создания карты излучения (светимости), представляющей РДД-изображение. В случаях, когда РДД-изображение должно быть представлено и отображено с использованием восьмибитного отображения, карта светимости подвергается процедуре отображения тона для преобразования ее в изображение, подходящее для отображения системой.

Следует отметить, что, несмотря на то, что хотя и не требуется, в идеале количество изображений в сгруппированной последовательности и изменение в экспозиции среди изображений являются такими, что изображения все вместе охватывают, по существу, все изменения яркости изображаемой там сцены.

Относительно вычисления попиксельных полей оптических потоков для неопорных изображений оно может быть достигнуто в соответствии с одним вариантом осуществления настоящих системы и способа создания РДД-изображения следующим образом. Для случая, когда рассматриваемое изображение имеет более короткую экспозицию, чем другое вводимое изображение, с которым оно будет совмещаться, интенсивность рассматриваемого изображения увеличивается для фактического соответствия диапазону интенсивности другого изображения. Принимая во внимание, что в случае, когда рассматриваемое изображение имеет более длинную экспозицию, чем другое изображение, с которым оно будет совмещаться, интенсивность этого другого изображения увеличивается для фактического соответствия диапазону интенсивности рассматриваемого изображения. В любом случае после завершения процедуры усиления поле потока вычисляется таким образом, чтобы в целом совмещать рассматриваемое изображение с другим вводимым изображением, оценивая общее преобразование, которое отображает рассматриваемое изображение на другое изображение. Затем вычисляют поле движения плотности, используя основанную на градиенте процедуру оптического потока. Это создает локальную коррекцию поля потока, вычисленного с помощью общих преобразований. Скорректированное поле потока комплектуется из составного вектора для каждого местоположения пикселя, который является суммой общего компонента, полученного из общих преобразований, и локального компонента, взятого из поля движения плотности, который формирует локальную коррекцию для общего компонента. Могут использоваться любые соответствующие общепринятые общие преобразования. В тестовых вариантах осуществления настоящего изобретения использованные общие преобразования представляли собой аффинные преобразования.

Вышеупомянутая процедура вычисления поля движения плотности, формирующего локальную коррекцию к общим преобразованиям, включает в себя использование варианта методики Лукаса и Канэйда, используемой в рамках пирамиды оператора Лапласа. Более подробно, рассматриваемое изображение деформируется по отношению к другому изображению последовательности, с которым оно было совмещено, и разностные векторы потока оцениваются на каждом уровне пирамиды. Эти разностные векторы потока накапливаются для каждого пикселя на каждом уровне пирамиды для установления конечного локального компонента поля движения плотности.

В отношении объединения опорного изображения и деформированных изображений для создания карты излучения (светимости) оно может быть достигнуто в соответствии с одним вариантом осуществления настоящей системы и способа создания РДД-изображения следующим образом. Сначала опорное изображение и каждое деформированное изображение преобразуются в индивидуальные изображения излучения. Значение излучения (светимости) затем назначается каждому местоположению пикселя в карте излучения (светимости). Эти значения светимости могут быть либо значениями светимости, связанными с одним опорным изображением, либо взвешенной комбинацией двух или более значений светимости, взятых из соответствующих местоположений пикселя в изображениях светимости, связанных с опорным изображением и деформированными изображениями. Вообще, решение будет зависеть от того, какие значения, основанные на интенсивности пикселей, как считают, являются заслуживающими доверия.

Более подробно, для каждого местоположения пикселя опорного изображения сначала определяют, что значения излучения (светимости), назначенные соответствующим местоположениям в деформированных изображениях, находятся в пределах максимально допустимой шумовой дисперсии значения излучения, назначенного местоположению пикселя рассматриваемого опорного изображения. Если оказывается, что, по меньшей мере, одно из значений излучения, назначенных вышеупомянутому соответствующему местоположению в деформированных изображениях, находится в пределах максимально допустимой шумовой дисперсии, то средневзвешенное значение величины(величин) их излучения и этого же значения опорного изображения назначают в качестве значения излучения (светимости) для местоположения рассматриваемого пикселя в карте светимости. Если, однако, оказывается, что ни одно из значений излучения, назначенных соответствующему местоположению в деформированных изображениях, не находится в пределах вышеупомянутой максимально допустимой шумовой дисперсии, то значение излучения, связанное с одним опорным изображением, назначают как значение излучения для местоположения рассматриваемого пикселя в карте излучения.

В дополнение к только что описанным выгодам другие преимущества настоящего изобретения станут очевидными из подробного описания, которое следует далее, если оно предпринято в сочетании с фигурами чертежей, которые сопровождают его.

Описание чертежей

Конкретные признаки, аспекты и преимущества настоящего изобретения станут более понятными, принимая во внимание нижеследующее описание, приложенную формулу изобретения и сопроводительные чертежи.

Фиг. 1 представляет собой диаграмму, изображающую компьютерное устройство общего назначения, составляющее типичную систему для осуществления настоящего изобретения.

Фиг. 2 А и В представляет собой блок-схему алгоритма, схематически изображающую полный способ генерации РДД-изображений в соответствии с настоящим изобретением.

Фиг. 3А-D изображают последовательность пяти сгруппированных изображений сцены восхода солнца, которые имеют примечания, показывающие, как изображения управляются каждой частью способа создания РДД-изображения, представленного на фиг.2 А и В.

Фиг. 4A и B представляют собой графики, связанные с процедурой вычисления карты излучения, представленной на фиг.2 А и В, причем график фиг. 4А составляет график зависимости общего веса от интенсивности, а график фиг. 4В составляет график карты правдоподобия, основанной на согласованности излучения совпадающих пикселей.

Фиг. 5 представляет собой блок-схему алгоритма, схематически изображающую один вариант осуществления процедуры вычисления карты излучения, представленной на фиг. 2.

Фиг. 6А-Е изображают результаты использования процедуры совмещения в соответствии с настоящим изобретением по сравнению с использованием методики общего совмещения, причем фиг. 6А показывает последовательность пяти сгруппированных изображений сцены восхода солнца, фиг. 6В и С показывают результаты только общего совмещения изображений с фиг. 6А, причем фиг. 6С представляет собой крупный план вида правой стороны фиг. 6В, и фиг. 6D и E показывают результаты совмещения в соответствии с настоящим изобретением, причем фиг. 6Е представляет собой крупный план вида правой стороны фиг. 6D.

Подробное описание предпочтительных вариантов осуществления

В нижеследующем описании предпочтительных вариантов осуществления настоящего изобретения сделана ссылка к сопроводительным чертежам, которые формируют часть этого и на которых в качестве иллюстрации показаны конкретные воплощения, в которых может быть осуществлено изобретение. Следует понимать, что могут использоваться другие варианты осуществления и могут быть сделаны изменения структуры без отступления от контекста настоящего изобретения.

1.0 Компьютерная среда генерации РДД-изображения

Перед обеспечением описания предпочтительных вариантов осуществления настоящего изобретения кратко будет приведено общее описание подходящей компьютерной среды, в которой может быть осуществлено изобретение. Фиг. 1 иллюстрирует пример подходящей компьютерной системной среды 100. Компьютерная системная среда 100 является только одним примером подходящей компьютерной среды и не предназначена для наложения какого-либо ограничения относительно области использования или функциональных возможностей изобретения. Не следует интерпретировать компьютерную среду 100 как имеющую какую-либо зависимость или требование, относящееся к любому проиллюстрированному в обычной операционной среде 100 компоненту или их комбинации.

Изобретение используется с многочисленными другими компьютерными системными средами или конфигурациями общего или специального назначения. Примеры известных компьютерных систем, сред и/или конфигураций, которые могут быть подходящими для использования с настоящим изобретением, включают в себя, но не в ограничительном смысле, персональные компьютеры, серверные компьютеры, карманные или переносные устройства, многопроцессорные системы, системы, основанные на микропроцессорах, телеприставки, программируемую бытовую электронику, сетевые ПК, миникомпьютеры, универсальные компьютеры, распределенные компьютерные среды, которые включают в себя любые из вышеупомянутых систем или устройств, и т.п.

Изобретение может быть описано в общем контексте компьютерно-выполнимых команд, таких как программные модули, исполняемые компьютером. Вообще, программные модули включают в себя подпрограммы, программы, объекты, компоненты, структуры данных и т.д., которые исполняют конкретные задачи или реализуют конкретные абстрактные типы данных. Изобретение также может быть осуществлено в распределенных компьютерных средах, в которых задачи исполняются удаленными устройствами обработки, которые связаны через коммуникационную сеть. В распределенной компьютерной среде программные модули могут быть расположены в носителях памяти и локального, и удаленного компьютера, включающих в себя запоминающие устройства.

Со ссылкой к фиг. 1 типичная система для осуществления изобретения включает в себя компьютерное устройство общего назначения в форме компьютера 110. Компоненты компьютера 110 могут включать в себя, но не в ограничительном смысле, процессор 120, системную память 130 и системную шину 121, которая соединяет различные системные компоненты, в том числе системную память с процессором 120. Системная шина 121 может быть любой из нескольких типов шинных структур, включающих в себя шину памяти или контроллер памяти, периферийную шину и локальную шину, использующую любую из разнообразных шинных архитектур. В качестве примера, а не ограничения, такая архитектура включает в себя Архитектуру шины Промышленного Стандарта (ISA), Микроканальную Архитектуру шины (MCA), Расширенную ISA шины (EISA), локальную шину ассоциации по стандартизации в области видеотехники и микроэлектроники (VESA) и шину межсоединения периферийных компонентов (PCI), также известную как дополнительная шина расширения.

Компьютер 110 обычно включает в себя разнообразные компьютерно-читаемые носители. Компьютерно-читаемые носители могут быть любыми доступными носителями, к которым может обратиться компьютер 110, и включают в себя и энергозависимые, и энергонезависимые носители, сменные и несменные носители. В качестве примера, а не ограничения, компьютерно-читаемые носители могут включать в себя компьютерные носители данных и коммуникационные носители. Компьютерные носители данных включают в себя и энергозависимые, и энергонезависимые, сменные и несменные носители, реализованные любым способом или технологией для хранения информации, такой как компьютерно-читаемые команды, структуры данных, программные модули или другие данные. Компьютерные носители данных включают в себя, но не в ограничительном смысле, ОЗУ, ПЗУ, СППЗУ, флэш-память или память, выполненную по другой технологии, CD-ROM, цифровые многофункциональные диски (DVD) или другую оптическую дисковую память; магнитные кассеты, магнитную ленту, магнитную дисковую память или другие магнитные запоминающие устройства; или любую другую среду, которая может быть использована для хранения требуемой информации и быть доступной компьютеру 110. Коммуникационные носители обычно воплощают компьютерно-читаемые команды, структуры данных, программные модули или другие данные в модулированном сигнале данных, таком как несущая волна или другой механизм передачи, и включают в себя любые носители, доставляющие информацию. Термин "модулированный сигнал данных" обозначает сигнал, который имеет одну или более установок его характеристик, либо измененный каким-то способом для кодирования информации в сигнале. В качестве примера, а не ограничения, коммуникационные среды включают в себя проводные среды, такие как проводная сеть или проводное прямое подсоединение, и беспроводные среды, такие как акустическая, РЧ, инфракрасная и другая беспроводная среда. Любые комбинации вышеупомянутого также должны быть включены в пределы области компьютерно-читаемых носителей.

Системная память 130 включает в себя компьютерные носители данных в форме энергозависимой и/или энергонезависимой памяти, такой как постоянное запоминающее устройство (ПЗУ) 131 и оперативная память (ОЗУ) 132. Основная система ввода-вывода 133 (BIOS) содержит основные подпрограммы, которые помогают передавать информацию между элементами в пределах компьютера 110 (например, при запуске), и обычно хранится в ПЗУ 131. ОЗУ 132 обычно содержит данные и/или программные модули, которые могут быть непосредственно доступными для процессора 120 и/или в настоящее время могут быть им обработаны. В качестве примера, а не ограничения, фиг. 1 иллюстрирует операционную систему 134, прикладные программы 135, другие программные модули 136 и программные данные 137.

Компьютер 110 также может включать в себя другие сменные/несменные, энергозависимые/энергонезависимые компьютерные носители данных. Только в качестве примера, фиг. 1 иллюстрирует дисковод 141 жесткого диска, который считывает с или записывает на несменный, энергонезависимый магнитный носитель, дисковод 151 магнитных дисков, который считывает с или записывает на сменный энергонезависимый магнитный диск 152, и оптический дисковод 155, который считывает с или записывает на сменный энергонезависимый оптический диск 156, такой как CD-ROM или другой оптический носитель. Другие сменные/несменные, энергозависимые/энергонезависимые компьютерные носители данных, которые могут использоваться в обычной операционной среде, включающей в себя, но не в ограничительном смысле, кассеты с магнитной лентой, модули флэш-памяти, цифровые многофункциональные диски, цифровую видеоленту, твердотельное ОЗУ, твердотельное ПЗУ и тому подобное. Дисковод 141 жесткого диска обычно подключается к системной шине 121 через несменный интерфейс памяти, такой как интерфейс 140, и дисковод 151 магнитных дисков, и оптический дисковод 155 обычно подключаются к системной шине 121 сменным интерфейсом памяти, таким как интерфейс 150.

Дисководы и относящиеся к ним компьютерные носители данных, обсужденные выше и проиллюстрированные на фиг. 1, обеспечивают хранение компьютерно-читаемых команд, структур данных, программных модулей и других данных для компьютера 110. Например, на фиг. 1 дисковод 141 жесткого диска показан как хранилище операционной системы 144, прикладных программ 145, других программных модулей 146 и программных данных 147. Следует обратить внимание, что эти компоненты могут быть или теми же самыми, или отличаться от операционной системы 134, прикладных программ 135, других программных модулей 136 и программных данных 137. Операционной системе 144, прикладным программам 145, другим программным модулям 146 и данным программ 147 здесь присвоены различные номера для иллюстрации того, что они могут быть, как минимум, различными копиями. Пользователь может вводить команды и информацию в компьютер 110 через устройства ввода данных, такие как клавиатура 162 и указывающее устройство 161, обычно обозначаемое как мышь, трекбол или сенсорную клавиатуру. Другие устройства ввода данных (не показанные) могут включать в себя микрофон, джойстик, игровую клавиатуру, спутниковую антенну, сканер или нечто подобное. Эти и другие устройства ввода данных часто подключаются к процессору 120 через пользовательский интерфейс 160 ввода, который присоединяется к системной шине, но может подключаться другим интерфейсом и шинными структурами, такими как параллельный порт, игровой порт или универсальная последовательная шина (USB). Монитор 191 или устройство отображения другого типа также подключается к системной шине 121 через интерфейс, такой как видеоинтерфейс 190. В дополнение к монитору компьютеры могут также включать в себя другие периферийные устройства вывода, такие как динамики 197 и принтер 196, который может быть подключен через периферийный интерфейс вывода 195. В частном смысле настоящего изобретения, камера 163 (такая как цифровая/электронная покадровая или видеокамера, или фильмовый/фотографический сканер), способная фиксировать последовательность изображений 164, также может быть включена в качестве устройства ввода данных в персональный компьютер 110. Далее, несмотря на то, что изображена только одна камера, в качестве устройств ввода данных в персональный компьютер 110 может быть включено множество камер. Изображения 164 от одной или нескольких камер вводятся в компьютер 110 через соответствующий интерфейс 165 камеры. Этот интерфейс 165 подсоединяется к системной шине 121, предоставляя таким образом возможность изображениям быть направленными к ОЗУ 132 и сохраненными в нем, или одном из других устройств хранения данных, связанных с компьютером 110. Однако следует отметить, что данные изображения могут быть введены в компьютер 110 также из любых из вышеупомянутых компьютерно-читаемых носителей, не требуя использования камеры 163.

Компьютер 110 может функционировать в сетевом окружении, используя логические подключения с одним или более удаленными компьютерами, такими как удаленный компьютер 180. Удаленный компьютер 180 может быть персональным компьютером, сервером, маршрутизатором, сетевым ПК, равноправным устройством или другим обычным сетевым узлом и, как правило, включает в себя многие или все элементы, описанные выше относительно компьютера 110, хотя на фиг. 1 проиллюстрировано только запоминающее устройство 181. Логические подключения, изображенные на фиг. 1, включают в себя локальную сеть (LAN) 171 и глобальную сеть (WAN) 173, но также могут включать в себя другие сети. Такие сетевые среды являются общеизвестными в офисах, компьютерных сетях предприятий, интранете и Интернете.

При использовании в сетевой рабочей среде LAN компьютер 110 подключают к локальной сети 171 через сетевой интерфейс или адаптер 170. При использовании в сетевой рабочей среде WAN компьютер 110 обычно включает в себя модем 172 или другие средства установления связи по WAN 173, такой как Интернет. Модем 172, который может быть внутренним или внешним, может быть подключен к системной шине 121 через пользовательский интерфейс 160 ввода или другой соответствующий механизм. В сетевом окружении программные модули, изображенные относительно компьютера 110 или его частей, могут храниться в удаленном запоминающем устройстве. В качестве неограничивающего примера фиг. 1 иллюстрирует удаленные прикладные программы 185 как постоянно хранящиеся в устройстве памяти 181. Будет понятно, что показанные сетевые подключения являются обычными и могут использоваться другие средства установления связи между компьютерами.

2.0 Формирование РДД-изображения

Выше описана обычная операционная среда, остающаяся часть этого раздела описания будет посвящена описанию программных модулей, воплощающих изобретение. Вообще, система и способ в соответствии с настоящим изобретением включают в себя генерацию РДД-изображения при помощи последовательности сгруппированных изображений, даже если эти изображения фиксируют движение камеры и сцены.

2.1 Последовательность вводимых изображений

Как указано выше, настоящая система создания РДД-изображения и способ создания РДД-изображений используют сгруппированные экспозиции. Группирование - это термин, первоначально используемый в фотографии, который передает снятые фотографии одной и той же сцены в многообразных параметрах настройки экспозиции в надежде получения одного снимка с оптимальным уровнем экспозиции. В контексте настоящего изобретения термин "сгруппированные" изображения вообще означает последовательность изображений, которые были зафиксированы камерой при изменении уровня экспозиции. Один способ достижения этого состоит в использовании функции автогруппирования, присутствующей во многих современных фотокамерах. При автогруппировании сцены камера определяет корректную экспозицию, используя режим текущего измерения, и фиксирует изображение на этом уровне. В таком случае дополнительно захватывается больше экспозиций в фиксированных множествах оригинальной экспозиции. Например, многие из этих камер фиксируют одно изображение с более короткой экспозицией (например, на одном или двух шагах изменения фокусного расстояния вверх) и одно изображение с более длинной экспозицией (например, при одном или двух шагах изменения фокусного расстояния вниз), по сравнению с изображением с "корректной экспозицией". Следует отметить, что в идеале количество изображений в сгруппированной последовательности и изменение экспозиции среди изображений является таким, при котором все изображения вместе охватывают, по существу, весь диапазон яркости изображенной сцены. Таким образом, окончательное РДД-изображение представляет полный динамический диапазон сцены.

Независимо от того, как сгруппированные изображения были получены, однажды введенные в настоящую систему, они сортируются в соответствии с экспозицией. Изображение с наибольшим количеством "допустимых" пикселей выбирается затем в качестве опорного изображения. Пиксель рассматривается как "допустимый", если он не является насыщенным или малоконтрастным. Один способ осуществления этого состоит в требовании для каждого "допустимого" пикселя наличия RGB значений в пределах предписанного интервала. Например, в тестовых вариантах осуществления настоящего изобретения минимум и максимум интервала были установлены равными 17 и 254 соответственно.

Таким образом, обращаясь к фиг. 2A и B, способ создания РДД-изображения начинается вводом последовательности сгруппированных изображений (действие 200 способа). Эти изображения затем сортируются по уровням экспозиции (действие 202 способа). Например, фиг. 3А показывает последовательность из пяти сгруппированных изображений сцены восхода солнца, которые были отсортированы по экспозиции и отображены в строке. В этом примере изображение, имеющее самую короткую экспозицию 304, показано с левого края с изображениями, экспозиция которых последовательно увеличивается слева направо. Таким образом, экспозиция 308, имеющая самую длинную экспозицию, изображена на фиг. 3А справа. Процесс создания РДД-изображения продолжается выбором вводимого изображения, имеющего наибольшее количество допустимых пикселей (действие 204 способа), и его обозначением в качестве опорного изображения (действие 206 способа). В примере, показанном на фиг. 3А, среднее изображение 300 из строки было признано имеющим наибольшее количество допустимых пикселей и отмечено стрелкой.

2.2 Совмещение РДД-изображения

Так как сгруппированные вводимые изображения показывают изменяющиеся экспозиции, генерация РДД-изображения требует передачи от вводимых изображений информации о цвете пикселей. Это, в свою очередь, требует, чтобы соответствия пикселей для различных вводимых изображений были очень точными. Процесс вычисления соответствий пикселей, передачи информации о цвете и извлечения РДД-изображения упоминается как «сшивание» (совмещение) РДД-изображения.

При выполнении этой операции РДД сшивания каждая соседняя пара упорядоченных по экспозиции вводимых изображений совмещается в направлении выбранного опорного изображения. Это показано на фиг. 3В, где вышеописанная сгруппированная последовательность изображений восхода солнца показывается еще раз в вышеупомянутом порядке экспозиции. Как показано, изображение 304 с самой короткой экспозицией на левом краю совмещают с изображением, имеющим следующий после него уровень экспозиции 302. В свою очередь, это последнее изображение 302 совмещают с опорным изображением 300. Аналогично, изображение, показывающее самую длинную экспозицию 308, совмещают с изображением 306, имеющим следующий по длительности уровень экспозиции, которое, в свою очередь, совмещают с опорным изображением 300. Соседние пары выбираются потому, что они показывают меньше визуальных изменений, что приводит к более надежному совмещению. Эти последовательности попарных совмещений вводимых изображений достигаются при помощи процесса деформации, который будет описан ниже.

2.2.1 Деформация изображения

Вышеупомянутая процедура попарного совмещения вообще включает в себя первое усиление изображения рассматриваемой пары с более короткой экспозицией для согласования с соседним изображением с более длинной экспозицией. Затем изображение, имеющее более длинную экспозицию (относительно выбранного опорного изображения), совмещают с "более близким" изображением через использование процесса деформации в одном варианте осуществления, включающем общую оценку движения с последующим локальным попиксельным вычислением потока.

Более подробно, процесс РДД сшивания генерирует «деформированные» изображения. Изображения (S) имеют экспозиции более короткие, чем выбранное опорное изображение (R), совмещенное непосредственно со смежным соседним изображением, имеющим более длинную экспозицию, которое может быть само по себе опорным изображением R, создавая совмещенное изображение с более короткой экспозицией (S_U), где нижний индекс "U" относится к тому, что оно является деформированным изображением. Для удобства системы обозначений изображениям с более короткой экспозицией будем давать нижний индекс i, где i = 1, 2, 3 и так далее, который указывает на порядок их экспозиции. В частности, чем больше нижний индекс i, тем короче экспозиция относительно опорного изображения R. Окончательно совмещенные изображения S_U будут иметь соответствующие нижние индексы.

Вышеупомянутый процесс деформации изображения осуществляется следующим образом. Для начала предполагается, что текущее рассматриваемое вводимое изображение было зафиксировано с более короткой экспозицией, чем опорное изображение, то есть Si. В начальной стадии процесса РДД сшивания интенсивность рассматриваемого изображения с более короткой экспозицией усиливается до фактического соответствия диапазону интенсивности вводимого изображения, имеющего следующую по длине экспозицию, которое может непосредственно являться опорным изображением. Следует отметить, что интенсивность изображений с более короткой экспозицией усиливается для соответствия изображению с более длинной экспозицией для облегчения процесса совмещения. Предпочтительно увеличивать изображения с короткой экспозицией, а не уменьшать изображение с более длинной экспозицией для предотвращения несоответствия интенсивностей пикселей в насыщенных областях кадра с более длинной экспозицией. Изображения с короткой экспозицией усиливают для согласования потерь подробностей в насыщенных областях изображений с длинной экспозицией. Также следует отметить, что усиленные изображения используются только для вычисления поля потока, как будет объяснено ниже. Они не используются для вычисления карты излучения из-за шума и насыщения, вводимых в процессе усиления (интенсивности). Для нахождения количества требуемого усиления интенсивности используется функция отклика камеры для преобразования более коротко экспонированного изображения к карте излучения с последующим преобразованием к виртуальному изображению, имеющему более длинную экспозицию при помощи инверсного отклика. Это виртуальное изображение должно соответствовать значениям пикселя (дискретизация модуля и шум) более длительно экспонированного изображения, с которым оно было совмещено.

Затем вычисляют поле f_Si потока, используя методику, основанную на градиенте. В сущности, она включает в себя вычисление соответствия движения плотности между парой рассматриваемых изображений, и она используется для деформации информации пикселя. Более подробно, процедура состоит из двух стадий. Сначала эти два изображения (то есть рассматриваемое изображение с усиленной более короткой экспозицией и его сосед с "менее короткой" экспозицией) в общем совмещаются при помощи оценки общего преобразования, которое отображает одно на другое. Может использоваться любое соответствующее обычное общее преобразование. В тестовых вариантах осуществления настоящего изобретения в качестве общего преобразования использовалось аффинное преобразование. Оптический поток, основанный на градиенте, в таком случае используется для вычисления поля движения плотности, которое формирует локальную коррекцию к общему преобразованию. Затем для каждого пикселя получают составные векторы, являющиеся суммой локального и общего компонентов. Общий компонент получается из общих параметров деформации, а локальный компонент генерируется процедурой оптического потока, которая будет описана далее.

Для вышеупомянутой локальной оценки движения используется методика варианта Лукаса и Канэйда [6] в рамках пирамиды Лапласа [1]. Методики для управления случаями ухудшения потока также могут добавляться посредством вычисления собственных значений матрицы суммированных частных производных и определения, если оно является некорректным. По существу, рассматриваемое изображение деформируется прогрессивным способом по отношению к соседнему с ним изображению при каждой итерации, и разностные векторы потока оцениваются и накапливаются внизу пирамиды. Эта методика расширяется посредством включения в нее общего аффинного потока во время деформации, так что накопленные разности всегда представляются к общему потоку в терминах локальной коррекции. Результатом является вышеупомянутое поле f_Si потока.

Точно так же изображения (L), имеющие экспозиции более длинные, чем у выбранного опорного изображения (R), совмещаются непосредственно со смежным соседним изображением, имеющим "менее длинную" экспозицию, которое может яв