Камера, система, содержащая камеру, способ работы камеры и способ обращения свертки записанного изображения

Камера, система, содержащая камеру, способ работы камеры и способ обращения свертки записанного изображения

Иллюстрации

Показать все

Реферат

Область техники

Изобретение относится к камере, содержащей объектив и датчик изображения, в которой отношение расстояния между датчиком и объективом вдоль оптической оси и фокусного расстояния объектива изменяется в течение времени экспозиции изображения. Изобретение также относится к способу обращения свертки данных изображения, захваченных датчиком изображения.

Уровень техники

Традиционные датчики изображения, например, датчики на основе КМОП и ПЗС, интегрируют весь свет, падающий на них в течение времени экспозиции. Это обеспечивает резкие изображения неподвижных объектов, но приводит к пространственному размытию для объектов, которые движутся, пока затвор открыт. Объекты, которые не находятся в фокусе, также размыты. Так называемое размытие вследствие движения пропорционально времени экспозиции и скорости объекта. Первое доставляет особые неудобства, когда камера работает в условиях низкой освещенности. В таких обстоятельствах желательно продолжительное время экспозиции для достижения достаточно высоких уровней сигнал/шум, чтобы можно было адекватно отображать темные области сцены. По этой причине, многие камеры страдают от классического противоречия между размытием вследствие движения и динамическим диапазоном. Время экспозиции необходимо увеличивать, чтобы улавливать достаточно света, но необходимо уменьшать для снижения размытия вследствие движения. В рамках изобретения понятие «камера» содержит камеры для фотосъемки, а также камеры для видеосъемки.

Камера и способ, наподобие описанных в первом абзаце, известны из статьи Нагахары и др. "Flexible Depth of Field Photography", H. Nagahara, S. Kuthirummal, C. Zhou, and S.K. Nayar, European Conference on Computer Vision (ECCV), октябрь, 2008.

В статье Нагахары и др. показана камера для фотосъемки, в которой расстояние между датчиком и объективом с фиксированным фокусным расстоянием изменяется. Датчик качается в пределах расстояния в течение времени экспозиции. Расстояние качания задано так, чтобы охватывать диапазон из диапазонов глубины сцены для увеличения глубины резкости. Традиционная камера, раскрытая в статье Нагахары и др., снижает размытие вследствие расфокусировки. Для снижения размытия вследствие расфокусировки, датчик качается вдоль оптической оси, охватывая определенные диапазоны глубины.

Качание датчика обеспечивает составное изображение, в сущности, являющееся комбинацией нескольких изображений на различных глубинах фокуса. Можно вычислить функцию рассеяния точки (PSF). Функция рассеяния точки является, в сущности, изображением точки объекта, зарегистрированной на датчике. Для объекта, находящегося полностью в фокусе, рассеяние точки будет нулевым, и, таким образом, PSF будет функцией Дирака. Преобразование Фурье этой функции даст постоянную величину для всех частот. Для точки, находящейся не в фокусе, PSF является функцией расплывания, для объекта, находящегося в движении относительно неподвижной камеры, PSF будет расплываться в пределах некоторого расстояния вследствие движения. Из PSF можно вычислить обратную функцию рассеяния точки (IPSF). Обращение свертки в отношении составного изображения позволяет получить резкое изображение и позволяет получить увеличенную глубину резкости. Дело в том, что, как показывает Нагахара, при качании датчика, PSF для неподвижных объектов на различных расстояниях становится в значительной степени одинаковой. Таким образом, обращение свертки в отношении исходного изображения с одной и той же IPSF позволяет получить резкое изображение на всех расстояниях или, по меньшей мере, в увеличенном диапазоне расстояний, а также получить увеличенную глубину резкости для неподвижных объектов.

Хотя размытие вследствие расфокусировки и его снижение может иметь место и является важной задачей, основная проблема, как объяснено выше, существует для движущихся объектов, а именно размытие вследствие движения, в особенности при увеличении времени экспозиции.

Нагахара уже упоминает проблемы, связанные с размытием вследствие движения, но не дает решения.

Известное решение для снижения размытия вследствие движения состоит в перемещении датчика перпендикулярно оптической оси. Это решение известно, например, из статьи Левина и др. “Motion-Invariant Photography”, A. Levin, P. Sand, T. S. Cho, F. Durand, W. T. Freeman. SIGGRAPH, ACM Transactions on Graphics, август 2008. В сущности, это решение предполагает перемещение датчика слева направо (или наоборот) в течение экспозиции для снижения размытия вследствие движения благодаря горизонтальному движению.

Помимо решения, предложенного в статье Левина и др., размытие вследствие движения можно инвертировать посредством видеообработки. Это достигается оценкой движения и обратной фильтрацией вдоль траектории движения. Это известно, например, из US 6930676. Однако на практике, такая процедура страдает от неточных векторов движения, особенно для областей затемнения. Чтобы иметь возможность осуществить обратную фильтрацию, необходимо знать траекторию движения и вывести из нее векторы движения. Во многих автономных камерах, используемых в профессиональных целях, векторы движения могут быть вовсе недоступны. Например, записи с многих камер, используемых для наблюдения или мониторинга активности, обеспечивают всего лишь ввод в процедуры анализа на основе компьютерного зрения (например, автоматического обнаружения подозрительных объектов, обнаружения падения пожилых людей, и т.д.). В этих сценариях, качество необработанных входных кадров является определяющим фактором производительности системы обнаружения. Достаточно точные векторы движения могут быть недоступны оперативно в камере, и последующая обработка записанного видео не является возможностью системы слежения в реальном времени. Для камеры, которая делает один снимок, принципиально невозможно точно определить векторы движения. В областях затемнения оценка движения также чрезвычайно затруднена и неточна, если вообще возможна. В условиях низкой освещенности проблемы возникают вследствие недостатка света.

Во-вторых, большинство традиционных камер отличается наличием регулируемого затвора и апертуры, которая ограничивает свет, поступающий через объектив, во временном и пространственном измерениях. Их обычно можно описать как фильтры с прямоугольными характеристиками пропускания (т.е. обладающие постоянной чувствительностью в пределах конечного интервала), соответствующие sinc-модуляции в соответствующих временных и пространственно-частотных областях. В результате, некоторые высокие частоты полностью подавляются при получении и не могут быть восстановлены в ходе обратной КИХ-фильтрации даже при наличии полной информации движения. На практике, обратную фильтрацию следует производить с величайшей осторожностью во избежание усиления шума и внесения артефактов. В итоге можно сказать, что в современной технике неизвестны эффективные и простые средства для снижения размытия вследствие движения.

Сущность изобретения

Задачей изобретения является снижение размытия вследствие движения.

Для этого камера, согласно изобретению, отличается тем, что камера выполнена с возможностью работы так, что сохраняется следующее:

V_sweep*A/b²>0,25 с^-1,

где V_sweep - движение датчика и/или объектива вдоль оптической оси и/или изменение фокусного расстояния объектива, A - апертура объектива и b - расстояние между объективом и датчиком.

V_sweep, A и b выражаются через одну и ту же единицу расстояния.

“Выражаются через одну и ту же единицу расстояния” означает, что все они выражаются, например, в мм/с и мм либо в см/с и см.

На первый взгляд в этом можно усмотреть противоречие: размытие вследствие движения вызвано перемещением объекта в направлении перпендикулярном оптической оси, например, в горизонтальном или вертикальном направлении, тогда как датчик движется вдоль оптической оси. Захваченное изображение демонстрирует размытие вследствие движения, например, в горизонтальном или вертикальном направлении, в зависимости от направления движения объекта, и поэтому не кажется логичным выбором снижение размытия вследствие движения перемещением датчика вдоль оптической оси, и кажется логичным выбором перемещение датчика перпендикулярно оптической оси, как в статье Левина и др.

Однако авторы изобретения поняли, что движение датчика по отношению к фокальной плоскости вдоль оптической оси можно фактически использовать для эффективного противодействия размытию вследствие движения, при выполнении определенных условий. Благодаря качанию датчика вдоль оптической оси, ядро размытия вследствие движения становится в высокой степени одинаковым для диапазона скоростей объекта. PSF является в высокой степени одинаковой для диапазона скоростей объекта. Это позволяет формировать изображение, инвариантное относительно движения, используя IPSF, которая обеспечивает резкое изображение для диапазона скоростей объекта.

Авторы изобретения поняли, что максимальная скорость объекта, т.е. диапазон скоростей объекта, в котором можно осуществлять формирование изображения, инвариантное относительно движения или почти инвариантное относительно движения, зависит от ряда факторов, в том числе

- скорости движения датчика или частоты качания фокуса,

- апертуры главной линзы и

- среднего расстояния между датчиком и объективом.

Среднее расстояние можно определять для вариантов осуществления, в которых датчик перемещается, как половину расстояния, пройденного за одно качание.

Обращаясь к вышесказанному, с позиции настоящего изобретения, можно вычислить, что в статье Нагахары и др. до определенной скорости можно осуществлять формирование изображения, инвариантное относительно движения, но этот диапазон для всех практических целей незначителен, неадекватен и малозначим, будучи диапазоном от 0 км/ч до 0,1 км/ч. На практике это означает, в соответствии с утверждениями, приведенными в статье Нагахары, что никакого эффективного формирования изображения, инвариантного относительно движения, невозможно добиться камерой и способом, раскрытыми в статье Нагахары. Нагахара, таким образом, был прав, заявив, что размытие вследствие движения представляет проблему. Используя идею Нагахары и др., разные PSF должны быть использованы для разных скоростей, и формирование изображения, инвариантного относительно движения, по этой причине невозможно.

Примечательно, что Нагахара и др. не раскрывает наличия какой-либо возможности формирования изображения, инвариантного относительно движения.

Движение датчика, предложенное Нагахарой, и причина этого движения, раскрытая и рассмотренная в статье Нагахары, состоит в прохождении по различным глубинам фокусировки. Глубина фокусировки это признак, который имеет протяженность вдоль той же оси, что и движение датчика, т.е. и движение и причина движения датчика параллельны, фактически совпадают, с оптической осью.

Авторы изобретения поняли, что проблему, связанную с явлением, обусловленным движением объекта перпендикулярно оптической оси, фактически можно уменьшить посредством движения датчика вдоль оптической оси, при соблюдении определенных условий.

Минимальное значение (0,25 с^-1) для параметра V_sweep*A/b², позволяющее осуществлять формирование изображения, инвариантное относительно движения, для практических скоростей объектов и расстояний, по меньшей мере, на один порядок величины выше, чем известно из статьи Нагахары.

Примечательно, что движение датчика, с точки зрения изобретения, рассматривается как 'движение' датчика относительно фокусного расстояния. Такое движение можно осуществлять, перемещая датчик, перемещая объектив или поочередно, изменяя фокусное расстояние объектива. Во всех этих вариантах датчики проходят диапазон фокальных плоскостей. Естественно, возможно комбинированное движение, в котором датчик перемещается и одновременно изменяется фокусное расстояние. В дальнейшем, для простоты такие 'перемещения или движения' датчика, независимо от осуществления, будем называть “перемещениями датчика”. Тот факт, что датчик или объектив перемещается вдоль оптической оси (или изменяется фокусное расстояние) не исключает возможности одновременного перемещения датчика в направлениях перпендикулярно оптической оси.

Предпочтительно, параметр V_sweep*A/b² составляет более чем 0,5 с^-1, наиболее предпочтительно, более чем 1 с^-1.

Предпочтительно, параметр V_sweep*A/b² составляет менее, чем 15 с^-1, наиболее предпочтительно, менее чем 5 с^-1. Слишком большой параметр требует весьма высоких скоростей качания или очень малого расстояния до датчика.

Предпочтительно, время экспозиции находится между 0,005 и 0,05 секундами, наиболее предпочтительно, между 0,01 и 0,05 секундами.

Слишком большое время экспозиции потребовало бы весьма существенного перемещения датчика, возможно выходящего за пределы диапазона допустимых перемещений датчика.

В предпочтительном диапазоне времен экспозиции, перемещение датчика находится в допустимых пределах, тем не менее, обеспечивая весьма длительные времена экспозиции. Кроме того, в этом диапазоне времен экспозиции можно создавать видеопоследовательности.

В вариантах осуществления, изменение отношения таково, что датчик достигает позиций за пределами диапазона, в котором любые объекты находятся в фокусе.

С точки зрения изобретения, в вариантах изобретения выгодно быстро перемещать датчик по большому диапазону позиций или быстро изменять фокусное расстояние, выходить за пределы позиций, в которых любая часть изображения находится в фокусе. Таким образом, качание датчика выходит за пределы диапазона всевозможных глубин резкости. Такие позиции предоставляют информацию, которая дает возможность снизить размытие вследствие движения. Расширение диапазона перемещений датчика за пределы диапазона, необходимого для глубины резкости, помогает при формировании изображения, инвариантного относительно движения.

В вариантах осуществления, качание сделано зависимым, по меньшей мере, в верхнем диапазоне времен экспозиции, от времени экспозиции. Тогда, время экспозиции определяет величину предполагаемого перемещения датчика.

В статье Нагахары, смещение датчика ограничено прохождением через фокальный диапазон. В изобретении, скорость перемещения датчика является определяющим фактором, поэтому в предпочтительных вариантах осуществления для разных времен экспозиции смещение датчика изменяется с временем экспозиции.

При условии, что в настоящем изобретении скорость является определяющим фактором, для больших времен экспозиции смещение датчика сравнительно велико, тогда как для меньших времен экспозиции перемещение можно сделать сравнительно меньшим, но позволяющим эффективно снижать размытие вследствие движения.

В пределах вариантов осуществления для нижнего диапазона времен экспозиции скорость перемещения может не зависеть от времен экспозиции. Для таких времен экспозиции, скорость перемещения можно выбирать так, чтобы можно было эффективно снижать размытие вследствие движения.

Изобретение также относится к системе для записи изображений, содержащей камеру, дополнительно содержащую блок обращения свертки для обращения свертки записанного изображения.

Изобретение дополнительно относится к способу работы камеры, содержащей объектив и датчик изображения, в котором отношение расстояния между датчиком изображения и объективом и фокусного расстояния изменяется вдоль оптической оси в течение времени экспозиции изображения, при котором сохраняется следующее:

V_sweep*A/b² >0,25 с^-1,

где V_sweep - движение датчика и/или движение объектива вдоль оптической оси и/или изменение фокусного расстояния в секунду, A - апертура и b - расстояние между объективом и датчиком.

Краткое описание чертежей

Эти и другие задачи, и преимущественные аспекты станут очевидными из примерных вариантов осуществления, которые будут описаны, используя следующие фигуры.

Фиг. 1 иллюстрирует различные варианты осуществления изобретения.

Фигуры 2A-2C иллюстрируют действие затвора, происходящее за бесконечно малое время, т.е. описываемое функцией Дирака.

Фигуры 3A-3C иллюстрируют нормальное действие затвора.

Фигуры 4A-4C иллюстрируют действие, описанное в статье Левина и др.

Фигуры 5A-5C иллюстрируют действие, описанное в статье Нагахары и др.

Фигуры 6A-6C иллюстрируют настоящее изобретение.

Фигуры 7A-7C иллюстрируют обратную фильтрацию функции PSF фиг. 6C.

Фиг. 8 иллюстрирует алгоритм, систему и способ фильтрации записанного изображения.

Фиг. 9 иллюстрирует перемещение датчика.

Фиг. 10 - пример оптимизированной апертуры при наличии дополнительной информации о появлении скоростей объектов в сцене.

Фиг. 11 показывает интегрирование двойного конуса для общей системы, не оптимизированной по скорости, когда объект перемещается.

Фиг. 12 показывает вариант осуществления с датчиком, ортогонально сдвинутым на расстояние d_sensor.

Фигуры изображены с нарушением масштаба. В целом, идентичные компоненты обозначены на фигурах одинаковыми ссылочными позициями.

Подробное описание предпочтительных вариантов осуществления

Изобретение основано на понимании того, что, изменяя параметры камеры в течение времени экспозиции, можно изменять характеристики записываемого изображения. Этот факт используется для конструирования камеры, в которой размытие вследствие движения, в практическом диапазоне скоростей, почти не зависит от движения объектов и, предпочтительно, частотная характеристика одного из них такова, что записанный сигнал лучше подходит для обратной фильтрации. Это позволяет генерировать резкие изображения из записей с более длительным временем экспозиции без необходимости в оценивании движения. Другими словами, камера, отвечающая изобретению, может обеспечивать резкие изображения с высоким SNR даже в очень сложных оптических условиях формирования изображения: объекты, перемещающиеся с различными, неизвестными скоростями при низких уровнях освещенности. Для этого датчик и/или объектив, в течение времени экспозиции, перемещается вдоль оптической оси или попеременно или дополнительно, фокусное расстояние объектива изменяется в течение времени экспозиции. Изменение фокусных характеристик объектива для изменения фокусного расстояния оказывает такое же влияние, как перемещение датчика к объективу или от него или перемещение объектива к датчику или от него. Общей чертой этих различных вариантов осуществления является то, что отношение расстояния между датчиком и объективом вдоль оптической оси (b) и фокусного расстояния (f) изменяется в течение экспозиции.

Фиг. 1 иллюстрирует различные варианты осуществления изобретения.

Объект 1 фокусируется через объектив 2. Сфокусированное изображение изображено на фиг. 1 точкой пересечения световых лучей, идущих от объекта. В верхней части фиг. 1 камера имеет подвижный датчик 3. Датчик 3, в течение времени экспозиции, перемещается вдоль оптической оси. В верхней части фиг. 1 это показано пунктирными линиями. Движение датчика можно выразить расстоянием, проходимым за секунду. Эта скорость качания обозначается ниже как V_sweep. В нижней части фиг. 1 показан другой вариант предполагаемого движения датчика 3 и объектива относительно друг друга. В этом варианте осуществления датчик 3' неподвижен, а характеристики объектива 2' изменяются, например, путем изменения формы объектива или показателя преломления объектива. Также может перемещаться сам объектив. Вследствие изменения характеристик объектива, фокальная плоскость перемещается, оказывая такое же влияние, как перемещение датчика, показанное в верхней части фиг. 1. Предполагаемое перемещение датчика относительно объектива, согласно изобретению, осуществляется любым из вышеуказанных способов или любой комбинацией вышеуказанных способов. Комбинация, например, предусматривает, что часть перемещения осуществляется путем перемещения датчика, и часть перемещения, например, для точной настройки скорости или расширения возможного диапазона относительных перемещений, путем изменения фокусного расстояния объектива 2. Скорость качания V_sweep для подвижного датчика является просто величиной смещения датчика в секунду. Для подвижного объектива, скорость качания V_sweep является смещением объектива в секунду. Если движутся оба, скорость качания равна изменению расстояния между ними в секунду.

В случае, когда датчик и объектив неподвижны, и изменяется фокусное расстояние f объектива, что оказывает такое же влияние, как перемещение датчика и/или объектива, скорость качания можно вычислить следующим образом:

Выполняется соотношение:

1/b=1/f-1/v,

таким образом, f(t)=1/(1/v+1/(b(t)), где b(t) обозначает позицию плоскости изображения.

Изменение фокусного расстояния как функции времени, таким образом, меняет фокальную плоскость следующим образом:

f(t)=(v/(v+b(t))*b(t)

в приближении первого порядка, при условии, что v почти всегда намного больше, чем b:

df(t)/dt=db(t)/dt

В этом случае V_sweep определяется как изменение фокусного расстояния в секунду.

Другими словами, перемещение датчика к объективу и от него при постоянном фокусном расстоянии эквивалентно нахождению датчика и объектива в фиксированной позиции при увеличении и уменьшении фокусного расстояния объектива, и скорости качания являются в приближении первого порядка эквивалентными параметрами.

Для комбинированного действия, в котором движется как датчик, так и/или объектив, и изменяется фокусное расстояние f, частота качания задается суммой двух эффектов.

Во всех примерах отношение расстояния между объективом и датчиком (b) и фокусного расстояния f изменяется в ходе качания. Изменять b можно, либо перемещая датчик или объектив или их обоих, либо изменяя f, или производя обе операции одновременно или даже последовательно.

Перейдем к объяснению принципов изобретения со ссылкой на фигуры.

Для простоты, в дальнейшем будем рассматривать формирование изображения как 2D (двухмерный) процесс (во временном и одном пространственном измерениях, последнее представлено на фигуре осью x). Однако принципы, рассмотренные в этом документе, распространяются на два ортогональных пространственных измерения (x, y).

Чтобы лучше понять принцип формирования изображения, инвариантного относительно движения, полезно сначала обратиться к характеристикам пространственно-временной дискретизации традиционных камер. В традиционной системе оптического формирования изображения, такой как фотоаппарат, камера фокусируется на объект, представляющий интерес, фиксируя смещение между датчиком и объективом на соответствующем расстоянии. В этом случае, высокой резкости неподвижного и движущегося изображения можно добиться, когда пространственно-временное действие затвора бесконечно мало в пространстве и времени (функция Дирака δ(x,t), т.е. особая точка в пространстве и времени), как показано на фигурах 2A-2C. Фиг. 2A соответствует дискретизации света в пространстве-времени. На фиг. 2B показан соответствующий пространственно-временной амплитудный спектр, и на фиг. 2C показаны поперечные сечения 2D амплитудного спектра, соответствующие неподвижному (сплошная линия) и движущемуся (прерывистая линия) объекту. В пространстве-времени (фиг. 2A), неподвижный объект остается в своей позиции все время и, таким образом, представлен на фиг. 2A линией в фиксированной позиции x₀ все время, т.е. вертикальной линией. По вертикальной оси отложено нормализованное время, где 0 обозначает момент времени, и 1 обозначает момент времени, хотя 1 обозначает другой, более поздний момент времени. Движущийся объект, перемещающийся слева направо, изменяет позицию в течение экспозиции, перемещаясь вправо. Малый квадрат в середине представляет экспозицию. Экспозиция бесконечно мала во времени и пространстве, что выражается бесконечно малой точкой в пространстве и времени. Для этой идеализированной гипотетической конфигурации затвора, датчик записывает все частоты с одинаковой интенсивностью, что приводит к идентичным частотным характеристикам для разных движений. На фиг. 2B представлено преобразование Фурье полученного сигнала. Это функция, равная 1 для всех значений. Для функции Дирака, все частоты выбираются одинаково, и амплитуда при всех волновых числах одинакова. На фиг. 2C представлена функция рассеяния точки (PSF), в которой амплитуда отложена по вертикальной оси в логарифмической шкале, для различных волновых чисел, отложенных по горизонтальной оси. На фиг. 2B показано, что преобразование Фурье функции Дирака дает постоянную величину. При условии, что все частоты выбираются одинаково, амплитуда при всех волновых числах при всех возможных скоростях одинакова, т.е. функция PSF является константой. Таким образом, функции PSF также равны. Равенство функций PSF означает, что при всех скоростях объекта изображение является одинаково резким и может быть реконструировано обращением свертки изображения. Таким образом, дираковский затвор позволяет получить резкое изображение на всех скоростях. Однако совершенный дираковский затвор невозможно сконструировать, и его реалистические приближения улавливают недостаточно света для создания надлежащего изображения. Изображение может быть резким для всех скоростей объекта в изображении, но улавливается недостаточно света, чтобы объекты были видимы, что, мягко выражаясь, весьма непрактично. На практике, время срабатывания затвора (и апертура) регулируется в соответствии с локальными условиями освещенности, и более протяженные времена экспозиции требуются для улавливания достаточного света в темных окружающих обстановках для поддержания адекватного отношения сигнал/шум. Один подход к решению проблем состоит в разработке датчиков, более чувствительных к свету, которые позволяют сократить время экспозиции и достичь более точного приближения к функции Дирака. Однако в реальности на чувствительность датчика накладываются ограничения.

Большинство традиционных камер отличается наличием регулируемого затвора и апертуры, которая ограничивает свет, поступающий через объектив, во временном (т.е. в течение времени экспозиции) и пространственном измерениях. Их обычно можно охарактеризовать как фильтры с прямоугольными характеристиками пропускания (т.е. обладающие постоянной чувствительностью в пределах конечного интервала) в реальных временном и пространственном измерениях, соответствующие sinc-модуляции в соответствующих временных и пространственно-частотных областях. В результате, некоторые высокие частоты полностью подавляются при получении и не подлежат восстановлению в ходе обратной КИХ-фильтрации даже при наличии полной информации движения. На практике, обратную фильтрацию следует производить с величайшей осторожностью во избежание усиления шума и внесения артефактов. Это проиллюстрировано на фигурах 3A-3C. На фиг. 3A показан свет, падающий на датчик. Реальный затвор имеет конечную протяженность, таким образом, прямоугольник имеет ширину в направлении x. Прямоугольник представляет свет на датчике, поэтому ширина представляет световое пятно на датчике. Затвор открыт в течение времени t срабатывания затвора, причем это время t срабатывания затвора отложено по вертикальной оси, начиная от 0, начала экспозиции, до 1, окончания экспозиции.

Во временной области (фиг. 3B) и пространственно-частотной области (фиг. 3C) некоторые высокие частоты подавляются, что показано провалами на фигуре. Из-за этого утрачиваются некоторые детали и возникают некоторые артефакты. Кроме того, показаны три разные функции PSF, иллюстрирующие три разные функции PSF, типичные для объектов, движущихся внутри изображения при 0,50 и 100 км/ч приблизительно в 10 метрах от объектива. Эти функции PSF представлены линиями 31, 32 и 33 соответственно. Можно видеть, что три функции PSF сильно отличаются. Поскольку функции PSF различны для разных скоростей, для обращения свертки записанного изображения нельзя пользоваться единой IPSF. На практике и в теории это означает, что невозможно согласованно осуществить обращение свертки некоторой обратной фильтрацией трех изображений. Короче говоря, формирование изображения, инвариантного относительно движения, невозможно.

Для глобального движения, размытие вследствие движения можно предотвратить отслеживанием движения камерой. Альтернативно, этого можно добиться перемещением датчика относительно главной линзы с нужной скоростью вдоль поперечной траектории (перпендикулярно оптической оси) в течение времени экспозиции. Однако в записанном изображении будут резкими только объекты, движущиеся с целевой скоростью, тогда как все другие области сцены останутся размытыми или станут еще более размытыми, чем в случае, когда никаких действий не предпринимается.

Левин и др. предложили путь решения этой проблемы. Это изображено на фигурах 4A-4C. Левин и др. предлагают перемещать датчик в поперечном направлении по параболической траектории в пространстве-времени. На фигурах 4A-4C проиллюстрировано предложение Левина и др. В пространстве-времени (фиг. 4A) позиция света, падающего на датчик, следует параболической траектории в течение времени экспозиции. Параболическая траектория создает одинаковое размытие вследствие движения для диапазона скоростей вплоть до максимальной скорости перемещения датчика. Это проиллюстрировано на фиг. 4C тем фактом, что различные функции PSF для трех скоростей почти одинаковы. Эффективное ядро размытия можно установить путем интегрирования по времени, и для параболической траектории ядро размытия пропорционально 1/sqrt(x). Хотя записанные изображения окажутся сильно размытыми даже для неподвижных объектов, размытие можно устранить с использованием фиксированного, независимого от движения, ядра обратного фильтра. Поскольку три функции PSF почти одинаковы, то и операция обратная PSF, т.е. обращение свертки изображения, может обеспечивать резкие изображения для всех скоростей. Однако Левин и др. верно замечают, что их подход применим только к одномерному движению (например, чисто горизонтальному движению). Кроме того, функции PSF показывают, что для нескольких длин волны амплитуда равна нулю вследствие конечных размеров апертуры, из-за чего некоторые детали будут безвозвратно утеряны. Поэтому, хотя Левин и др. предлагают путь уменьшения проблем, их решение работает лишь частично и только если направление движения известно, и только пока упомянутое движение совершается параллельно движению датчика. Для любого другого движения или любой составляющей движения, не параллельной движению датчика, никакого решения не предложено, и ситуация столь плоха, как показано на фигурах 3A-3C.

Нагахара и др. предложили решение другой проблемы, а именно ограничения по DOF, т.е. глубине резкости. Благодаря перемещению датчика вдоль оптической оси, датчик проходит по всевозможным фокальным плоскостям, и это позволяет, посредством обращения свертки записанных изображений, получать изображение с гораздо большей глубиной резкости. Нагахара и др. показывают, что функцию PSF для неподвижных объектов на различных расстояниях от объектива можно сделать почти одинаковой. Таким образом, для обращения свертки изображения различных неподвижных объектов на разных расстояниях от объектива можно использовать единую IPSF, что приводит к увеличению глубины резкости.

На фигурах 5A-5C показан случай типичной установки, приведенной в примерах Нагахары, в отсутствие неподвижных объектов, но рассматриваются объекты с различными скоростями объектов. Функции PSF 31, 32, 33 (фиг. 5C) для различных скоростей объектов, в этом случае 0,50 и 100 км/ч, как на фигурах 4A-4C, сильно отличаются. Поскольку функции PSF сильно отличаются, применение единой обратной функции PSF не позволит обеспечить резкое изображение для указанных скоростей. Таким образом, хотя Нагахара и др. увеличивают глубину резкости (DOF), размытие вследствие движения остается проблемой. Быстро движущиеся объекты дают размытое изображение.

Таким образом, ни один из документов или подходов, отвечающих уровню техники, не позволяет эффективного снижения размытия вследствие движения, если движение или направление движения заранее не известно, или камера не движется, или нельзя определить векторы движения, что часто имеет место.

Фигуры 6A-6C иллюстрируют изобретение. Датчик перемещается вдоль оптической оси, причем сохраняется следующее условие:

V_sweep*A/b²>0,25 с^-1

В примере, показанном на фигурах 6A-6C, выполняются следующие условия:

V_sweep = 22,4 мм/с

A = 2 мм

B = 4,002 мм

расстояние от объекта до объектива = 10 метров

время экспозиции = 0,02 с

V_sweep*A/b²=2,8 с^-1

В пространстве-времени (фиг. 6A) график имеет форму диаболо (двух конусов, соединенных в вершинах); важный аспект состоит в том, что функции PSF для различных скоростей 0,50 и 100 км/ч почти одинаковы (фиг. 6C).

Поскольку функции PSF почти одинаковы, то обращение свертки записанных изображений с использованием единой функции IPSF возможно, что позволяет получить резкое изображение для всех объектов с указанными скоростями, т.е. формирование изображения, инвариантного относительно движения, или формирование изображения, почти инвариантного относительно движения, возможно для любой скорости до 100 км/ч. Очень важное отличие от решения, предложенного Левином и др., состоит в том, что для любой скорости в любом направлении, перпендикулярном оптической оси, до 100 км/ч на расстоянии 10 метров, возможно формирование изображения, инвариантного относительно движения. Таким образом, ограничение конкретным направлением скорости, присущее подходу Левина и др., преодолено. Кроме того, функции PSF не демонстрируют провалов, как у Левина и др. (и у Нагахары), что, в принципе, позволяет реконструировать больше деталей. Таким образом, благодаря перемещению датчика вдоль оптической оси, появляется возможность формирования изображения, инвариантного относительно движения, без ограничения по направлению, и с более высокой степенью сохранения деталей, при выполнении условий. Очень важное отличие от решения Нагахары состоит в том, что три функции PSF почти одинаковы, что дает возможность формирования изображения, инвариантного относительно движения для указанных скоростей, чего не позволяет решение Нагахары и др.

Примечательно, что в данном примере предполагается, что объект находится в фокусе в середине периода экспозиции. На фиг. 6A это проиллюстрировано тем, что верхняя часть диаболо такая же большая, как нижняя часть. Было обнаружено, что даже если это не так, то формирование изображения, инвариантного относительно движения, вполне возможно. Если объект находится в фокусе не в середине периода экспозиции, а несколько раньше или позже, то захватывается наибольшая часть информации, поскольку наибольшая часть информации присутствует в окрестности точки пересечения диаболо, то и возможно очень хорошее формирование изображения, инвариантного относительно движения. Ниже будет объяснено, что, с пониманием, возможна некоторая точная настройка.

В рамках изобретения, согласно вариантам осуществления, датчик выходит за пределы возможных фокальных диапазонов. Это гарантирует, что наибольшая часть информации будет захвачена для любого объекта на любом расстоянии от объектива. В таких вариантах осуществления возможно более надежное формирование изображения, инвариантного относительно движения.

Примечательно, что, в рамках изобретения, “формирование изображения, инвариантного относительно движения” не следует интерпретировать строго в том смысле, что для любой скорости на любом уровне детализации не будет разницы в формировании изображения; задачей изобретения является сокращение несовпадения вследствие движения, т.е. размытия вследствие движения в практических пределах; совершенное решение является идеалом, недостижимым в реальности.

Авторы изобретения поняли, что максимальная скорость объекта, для которого функции PSF объекта, зарегистрированного на датчи