Определение расстояния до объекта по изображению

Определение расстояния до объекта по изображению

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к определению расстояния до объекта на основе отдельного изображения и, в частности, но не исключительно, к определению расстояния до человека на основе изображения светлого зрачка.

УРОВЕНЬ ТЕХНИКИ

Определение расстояния до объектов на основе изображений, регистрируемых с помощью устройства захвата изображений, такого как камера для получения неподвижных или динамических изображений, приобретает все большее значение.

Например, с появлением автономных систем, способных адаптировать функциональные возможности и характеристики к окружающей среде, часто крайне необходима бывает информация о присутствии людей и их точном местоположении. К примерам относятся системы мониторинга для пожилых людей или больничных палат, адаптивные осветительные системы, способные локально регулировать освещенность для экономии электроэнергии или изменять форму луча или спектральные параметры для повышения комфорта. Так, в частности, точное положение глаз человека может представлять интерес в целях отображения, когда обеспечиваемый режим отображения адаптируется к обнаруженному положению глаз, например, для обеспечения оптимального режима отображения для обоих глаз при 3-мерной визуализации или для создания индивидуальной видимости в направлении ближайшей пары глаз при одновременном заслонении видимости в других направлениях.

Было предложено получать информацию о глубине сцены путем локального анализа размытия в результате неточной фокусировки, поскольку оно зависит от расстояния от линзы до объекта. Однако диафрагмы традиционных объективов вносят размытие в результате неточной фокусировки, которое является математически необратимым и очень избирательно к глубине. В связи с этим, такие методы обычно бывают сложными и приводят к относительно недостоверным данным о глубине.

В WO 2010/150177 A1 описаны различные оптические средства для записи наложенных изображений сцены на отдельный обнаружитель изображений, по которым с помощью соответствующих алгоритмов обработки изображений может быть получена информация о глубине сцены.

В статье А. Левин, Р. Фергус, Ф. Дьюранд, У.Т. Фриман «Изображение и глубина с традиционной камеры с кодированной апертурой» ("Image and Depth from a Conventional Camera with a Coded Aperture", by A. Levin, R. Fergus, F. Durand, W. T. Freema, SIGGRAPH, ACM Transactions on Graphics, август 2007) предложено уменьшить этот недостаток введением кодированной апертуры в линзу датчика изображений, посредством этого формируя спектральные свойства получившегося при этом размытия в результате неточной фокусировки. Данная система основана на кодированной апертуре, имеющей широкополосную структуру, и статистической модели изображений для восстановления глубины и реконструкции полностью сфокусированного изображения сцены. Однако такой метод дает в результате систему высокой степени сложности, требующую большого вычислительного ресурса. Кроме того, такой метод может привести к измерениям глубины, которые являются менее достоверными и точными, чем необходимо. В действительности данный способ особенно проблематичен при наличии контрастов по глубине для объектов с одинаковыми интенсивностями. В этом случае результирующие изображения представляют собой наложение двух размытых плоскостей.

Таким образом, было бы целесообразным создание усовершенствованной системы для определения расстояний до объектов на основе изображения с устройства захвата изображений и, в частности, было бы целесообразным создание системы, обеспечивающей повышенную эксплуатационную гибкость, пониженную сложность, пониженное использование ресурсов (в частности, пониженное использование вычислительных ресурсов), улучшенное определение расстояния и/или улучшенные рабочие характеристики.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

В связи с этим, целью настоящего изобретения является предпочтительно уменьшение, смягчение или устранение одного или более из вышеуказанных недостатков по отдельности или в любой комбинации.

В соответствии с одним аспектом настоящего изобретения предлагается устройство для определения расстояния до объекта сцены по п. 1.

Настоящее изобретение может обеспечивать улучшенное и/или упрощенное определение расстояния до объекта на основе изображения с устройства захвата изображений. Расстояние до объекта может определяться по отдельному изображению.

Вычислительный ресурс может быть особенно низким, поскольку на основе оптической характеристики может достигаться имеющее низкую сложность обнаружение объектов изображения, соответствующих теневым изображениям объекта. В частности, обнаружение не требует сложного моделирования или предположений относительно сцены и, кроме того, не требует наличия сложной обработки изображений для разделения вклада со стороны перекрывающихся ядер размытия в результате неточной фокусировки. Система может быть направлена на использование неплотных образов данных, в которых конкретные объекты изображения, соответствующие теневым изображениям, поддаются идентификации. В частности, вместо того, чтобы выполнять сложный анализ изображений, учитывающий помеху/размытие изображения, вызванное находящимся не в фокусе датчиком изображений, значительное сокращение обработки данных может быть достигнуто благодаря обнаружению лишь конкретных объектов изображения, соответствующих теневым изображениям одного и того же легко идентифицируемого объекта. В частности, вместо того, чтобы оценивать все изображение и сцену, необходимо обрабатывать лишь весьма незначительное число идентифицируемых объектов изображения. Система может быть особенно применимой для сценариев, в которых могут регистрироваться или создаваться неплотные образы данных, и, в частности, для сцен и изображений, в которых выделяются конкретные цели.

Данный метод может обеспечивать определение расстояния в устройствах с низким вычислительным ресурсом, таких как мобильные устройства, или может, например, обеспечивать более быстрое определение расстояния, посредством этого обеспечивая, например, определение расстояния в реальном времени.

Оптическая характеристика является характеристикой объекта, которая может обеспечивать возможность различения объекта сцены в изображении при анализе свойств изображения (например, светлого объекта в темной окружающей среде, темного объекта в светлой окружающей среде; или красного объекта в зеленой окружающей среде). Характеристикой излучения может являться, например, характеристика испускания и/или характеристика отражения. Оптическая характеристика может при этом являться характеристикой света от объекта сцены, достигающего устройства захвата изображений.

Кодированная апертура может, например, обеспечиваться с помощью фиксированной маски, содержащей ряд отверстий в светонепроницаемом элементе, закрывающем объектив устройства захвата изображений. Или же, например, светонепроницаемый элемент может быть создан с помощью управляемого элемента, такого как, например, маска, образованная жидкокристаллическим (ЖК) элементом, расположенным перед объективом.

Настоящее изобретение может обеспечивать определение расстояния по отдельному изображению, посредством этого исключая необходимость во множестве датчиков изображений, устройств захвата изображений и т.д.

Оптическая характеристика может являться заданной или предполагаемой оптической характеристикой.

В соответствии с факультативным признаком изобретения, изображение является изображением светлого зрачка, а оптическая характеристика является характеристикой света, отраженного назад сетчаткой в направлении устройства захвата изображений.

Настоящее изобретение может обеспечивать улучшенное и/или упрощенное определение расстояния до зрачка и, следовательно, расстояния до человека или животного. В частности, настоящее изобретение во многих сценариях может обеспечивать сокращенное определение расстояния до человека.

Использование изображения светлого зрачка может, в частности, привести к оптической характеристике в изображении, соответствующей более простому обнаружению зрачка или обеспечивающей более простое установление отличий от других зарегистрированных элементов сцены. В действительности, объекты изображения, соответствующие зрачку, могут быть обнаружены с помощью имеющего низкую сложность критерия. В частности, различие между вкладами в изображение со стороны зрачка и со стороны других элементов сцены может быть увеличено, благодаря чему облегчается обнаружение и обеспечивается обнаружение пониженной сложности. Например, может использоваться простой критерий обнаружения на основе яркости и/или, например, цвета. Кроме того, изображение светлого зрачка, как правило, может характеризоваться тем, что зрачок существенно ярче, чем окружающие участки, благодаря чему обеспечивается преобладание вклада в изображение со стороны зрачка над вкладом со стороны других мест (частей) сцены.

Изображение светлого зрачка может, в частности, представлять собой изображение, в котором одновременное освещение обеспечивается источником света, расположенным на оптической оси устройства захвата изображений. Например, изображение светлого зрачка может быть захвачено с использованием освещения сцены от источника света, расположенного в пределах 5° относительно оптической оси изображения при измерении со стороны зрачка.

В соответствии с факультативным признаком изобретения, приемник выполнен с возможностью приема второго изображения сцены от датчика изображений, причем второе изображение является изображением темного зрачка; при этом обнаружитель дополнительно выполнен с возможностью компенсации первого изображения с учетом второго изображения до обнаружения указанных, по меньшей мере, двух объектов изображения.

Настоящее изобретение может обеспечивать улучшенное и/или упрощенное определение расстояния до зрачка и, следовательно, расстояния до человека или животного. В частности, настоящее изобретение во многих сценариях может обеспечивать сокращенное определение расстояния до человека.

Использование изображения темного зрачка вместе с изображением светлого зрачка обеспечивает значительное выделение объектов изображения, соответствующих зрачкам. В частности, компенсация изображения светлого зрачка с помощью изображения темного зрачка может исключить или уменьшить вклад со стороны объектов, отличных от зрачка. Компенсация может привести к прореживанию данных в обрабатываемом изображении и может упростить и/или улучшить обнаружение объектов изображения, соответствующих зрачку. Как правило, различие между объектами изображения, соответствующими светлым зрачкам и другим участкам изображения, выделяется. Следовательно, вычислительные потребности могут быть снижены, и может быть достигнуто более надежное обнаружение.

Таким образом, данный метод может привести к оптической характеристике, соответствующей более простому обнаружению зрачка в изображении. В действительности, объекты изображения, соответствующие зрачку, во многих сценариях могут быть обнаружены с помощью имеющего низкую сложность критерия. Например, может использоваться простой критерий обнаружения на основе яркости и, например, цвета.

Изображение темного зрачка может, в частности, представлять собой изображение, в котором не обеспечивается одновременное освещение источником света, расположенным на оптической оси устройства захвата изображений. Например, изображение темного зрачка может быть захвачено в отсутствии освещения сцены от источника света, расположенного в пределах 5° относительно оптической оси изображения при измерении со стороны зрачка.

В соответствии с факультативным признаком изобретения, устройство дополнительно содержит источник света для освещения сцены, причем источник света размещается на оптической оси устройства захвата изображений; и блок управления источником света, выполненный с возможностью включения источника света для первого изображения и выключения источника света для второго изображения.

Это может обеспечивать улучшенное и/или упрощенное обнаружение объектов изображения и может, в частности, иметь следствием управляемое создание изображений светлого и темного зрачков. Следовательно, данная система сама может освещать сцену для создания поддающихся обнаружению объектов, которые выделяются на фоне остальных объектов в сцене.

Выключение (или включение) может быть частичным. Так, при включении источник света будет ярче, чем при его выключении. Однако некоторый свет может, тем не менее, излучаться в тех случаях, когда источник света находится в выключенном состоянии, при этом световой выход во включенном состоянии может быть меньше, чем максимальный возможный выход источника света.

Во многих вариантах осуществления источник света может предпочтительно являться источником инфракрасного света.

В соответствии с факультативным признаком изобретения, указанные, по меньшей мере, два объекта изображения соответствуют первому зрачку человека, а обнаружитель дополнительно выполнен с возможностью обнаружения дополнительных, по меньшей мере, двух объектов изображения, соответствующего теневым изображениям второго зрачка человека, возникающим как следствие различных отверстий кодированной апертуры; причем блок оценки расстояния дополнительно выполнен с возможностью определения расстояния в ответ на смещение в изображении дополнительных, по меньшей мере, двух объектов изображения.

Во многих сценариях это может обеспечивать улучшенное определение расстояния. Например, могут быть определены отдельные расстояния до двух зрачков, а расстояние до головы может быть определено как среднее этих оценок расстояний.

В соответствии с факультативным признаком изобретения, указанные, по меньшей мере, два объекта изображения соответствуют первому зрачку человека; а обнаружитель дополнительно выполнен с возможностью обнаружения дополнительных, по меньшей мере, двух объектов изображения, соответствующего теневым изображениям второго зрачка человека, возникающим как следствие различных отверстий кодированной апертуры; причем блок оценки расстояния дополнительно выполнен с возможностью определения ориентации головы человека в ответ на разность между смещением в изображении указанных, по меньшей мере, двух объектов изображения и смещением в изображении дополнительных, по меньшей мере, двух объектов изображения.

Настоящее изобретение может обеспечивать улучшенное и/или упрощенное определение не только расстояния до головы человека, но и ориентации головы человека.

В соответствии с факультативным признаком изобретения, по меньшей мере, два из указанных, по меньшей мере, двух объектов изображения являются непересекающимися объектами изображения.

Во многих сценариях это может улучшать и/или упрощать определение расстояния. В частности, кодированная апертура может создаваться таким образом, что отверстия кодированной апертуры имеют следствием неперекрывающиеся объекты изображения для объекта в пределах заданного диапазона расстояний.

В соответствии с факультативным признаком изобретения, устройство дополнительно содержит источник света для освещения сцены, причем источник света имеет характеристику, выполненную с возможностью выделения оптической характеристики объекта сцены.

Во многих сценариях это может улучшать и/или упрощать определение расстояния. Система может вводить освещение, которое, в частности, выполнено с возможностью увеличения различения объекта и других компонентов в сцене.

Система может при этом активно вводить оптическое различение объектов в реальном мире, посредством этого обеспечивая при последующей обработке изображений более простую идентификацию объектов теневых изображений для требуемого объекта. Повышенное различение в сочетании с теневыми изображениями, создаваемыми кодированной апертурой, может значительно улучшить и/или упростить определение расстояния по отдельному изображению.

В соответствии с факультативным признаком изобретения, характеристика является, по меньшей мере, одним из: положения источника света; частотного распределения света, испускаемого источником света; пространственного распределения света, испускаемого источником света; и поляризации света, испускаемого источником света.

В различных сценариях это может обеспечивать особенно выигрышные характеристики благодаря выделению отдельных оптических характеристик.

В соответствии с факультативным признаком изобретения, кодированная апертура формируется с помощью ряда непересекающихся отверстий, причем каждое отверстие приводит к образованию теневого изображения объекта сцены.

Это может обеспечивать улучшенное и/или упрощенное определение расстояния. Это может дополнительно обеспечивать упрощенную и/или недорогую реализацию.

В соответствии с факультативным признаком изобретения, число составляет менее пяти.

Во многих вариантах осуществления это может обеспечивать улучшенное и/или упрощенное определение расстояния.

Во многих вариантах осуществления может быть особенно целесообразным иметь лишь два отверстия в кодированной апертуре, поскольку это может быть наименьшим числом отверстий, обеспечивающим определение расстояний на основе смещения между теневыми изображениями. Следовательно, во многих вариантах осуществления это может минимизировать сложность как обработки, так и аппаратной реализации.

Во многих вариантах осуществления может быть особенно целесообразным иметь отверстия в кодированной апертуре, которые являются вертикально ориентированными. Это может быть особенно целесообразным при обнаружении теневых изображений, соответствующих глазам живого существа, поскольку это может уменьшить или исключить вероятность перекрытия теневых изображений правого и левого глаз.

В соответствии с факультативным признаком изобретения, в каждом отверстии имеется интерференционная структура; при этом устройство выполнено с возможностью определения смещения в изображении указанных, по меньшей мере, двух объектов изображения под действием выходной структуры интерференционной структуры указанных, по меньшей мере, двух отверстий.

Во многих вариантах осуществления это может обеспечивать улучшенное и/или упрощенное определение расстояния. В частности, это может упростить определение смещения между изображениями объекта в случае, если они перекрываются. Во многих вариантах осуществления устройство может быть выполнено с возможностью определения того, перекрываются ли объекты изображения, и применения определения смещения на основе интерференции (только) в том случае, если они перекрываются.

Интерференционная структура может, в частности, являться картиной зонной пластинки.

В соответствии с одним аспектом настоящего изобретения предлагается система для определения расстояния до объекта сцены по п. 12.

В соответствии с одним аспектом настоящего изобретения предлагается способ определения расстояния до объекта сцены по п. 14.

Эти и другие аспекты, признаки и преимущества изобретения будут понятны из описанного ниже варианта (вариантов) осуществления и описаны применительно к нему.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Варианты осуществления настоящего изобретения будут описываться лишь в качестве примера со ссылкой на чертежи, на которых:

фиг. 1 иллюстрирует пример элементов устройства для определения расстояния до объекта в соответствии с некоторыми вариантами осуществления изобретения;

фиг. 2 иллюстрирует пример апертуры устройства захвата изображений в соответствии с предшествующим уровнем техники;

фиг. 3 иллюстрирует пример распределения световых лучей от объекта для апертуры на фиг. 2;

фиг. 4 иллюстрирует пример распределения световых лучей от объекта для апертуры на фиг. 2;

фиг. 5 иллюстрирует пример кодированной апертуры устройства захвата изображений в соответствии с некоторыми вариантами осуществления изобретения;

фиг. 6 иллюстрирует пример распределения световых лучей от объекта для кодированной апертуры на фиг. 5;

фиг. 7 иллюстрирует пример изображения светлого зрачка;

фиг. 8 иллюстрирует пример изображения светлого зрачка, зарегистрированного устройством захвата изображений в соответствии с некоторыми вариантами осуществления изобретения;

фиг. 9 иллюстрирует пример скомпенсированного изображения светлого зрачка, зарегистрированного устройством захвата изображений в соответствии с некоторыми вариантами осуществления изобретения;

фиг. 10 иллюстрирует пример скомпенсированного изображения светлого зрачка, зарегистрированного устройством захвата изображений в соответствии с некоторыми вариантами осуществления изобретения;

фиг. 11 иллюстрирует пример элементов устройства для определения расстояния до объекта в соответствии с некоторыми вариантами осуществления изобретения;

фиг. 12 иллюстрирует пример интерференционной структуры зонной пластинки в соответствии с предшествующим уровнем техники;

фиг. 13 иллюстрирует пример изображения, зарегистрированного устройством захвата изображений в соответствии с некоторыми вариантами осуществления изобретения;

фиг. 14 иллюстрирует пример изображений, зарегистрированных устройством захвата изображений в соответствии с некоторыми вариантами осуществления изобретения;

фиг. 15 иллюстрирует пример применения изображенного на фиг. 1 устройства, и

фиг. 16 иллюстрирует пример использования устройства в автостереоскопической системе отображения.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

В нижеследующем описании основное внимание уделяется вариантам осуществления изобретения, применимым к системе для определения расстояния до человека и, в частности, к определению расстояния до глаз человека по изображению светлых зрачков. Тем не менее, будет понятно, что настоящее изобретение не ограничено данным применением и может применяться к определению расстояния до множества других объектов на основе множества различных оптических характеристик.

Фиг. 1 иллюстрирует пример системы для определения расстояния до объекта по отдельному зарегистрированному изображению.

Устройство 101 захвата изображений выполнено с возможностью захвата изображения сцены, в которой присутствует объект. Устройство 101 захвата изображений содержит кодированную апертуру, которая создает маску для света, падающего на датчик изображений. Кроме того, датчик изображений размещается вне фокальной плоскости таким образом, что кодированная апертура создает размытие зарегистрированного изображения. Кодированная апертура является апертурой, которая содержит множество отверстий. Кодированная апертура применяет оптическую маску к традиционной апертуре с одним отверстием. В системе на фиг. 1 кодированная апертура выполнена таким образом, что создаются теневые изображения (множество копий) объектов. Особенность этих теневых изображений состоит в том, что смещение между ними пропорционально расстоянию до объекта.

Устройство 101 захвата изображений связано с приемником 103, который принимает изображение от датчика изображений. Приемник 103 связан с обнаружителем 105, который выполнен с возможностью обнаружения, по меньшей мере, двух объектов изображения в изображении, которые соответствуют теневым изображениям объекта, возникающим как следствие различных отверстий кодированной апертуры. Обнаружение основано на оптической характеристике объекта. Следовательно, обнаружитель может идентифицировать два (или, возможно, более) объекта (участка) изображения, которые являются теневыми изображениями/копиями конкретного объекта, расстояние до которого оценивается. Объекты изображения могут быть определены путем обнаружения присутствия конкретной оптической характеристики, такой как цвет, яркость или структура.

Обнаружитель 105 связан с блоком 107 оценки, который определяет смещение в изображении между двумя (или более) объектами изображения. Затем блок оценки приступает к оцениванию расстояния до объекта по определенному смещению.

Далее описывается действие изображенной на фиг. 1 системы, при этом особое внимание уделяется применению, в котором объектом является один или оба глаза человека. Кроме того, изображение является изображением светлого зрачка, а определение расстояния основано на оценке теневых изображений, по меньшей мере, одного зрачка.

При помещении датчика изображений вне фокальной плоскости характеристики размытия в результате неточной фокусировки зависят от характеристик апертуры, а также расстояния до объектов в сцене.

Действительно, в традиционной фотографии форма апертуры линзы определяет свойства ядра размытия. Например, типичная форма традиционной апертуры линзы показана на фиг. 2. Фиг. 3 иллюстрирует поперечное сечение устройства захвата изображений, содержащего линзу 301 с апертурой 303 и датчик 305 изображений, расположенный точно в фокальной плоскости. Как показано на чертеже, весь свет, испускаемый заданным объектом 307, фокусируется линзой 303 и сходится в одной и той же пространственной точке датчика 305 изображений в фокальной плоскости. Следовательно, в данном сценарии линза собирает световые лучи, исходящие от объекта и распространяющиеся в несколько различных направлениях, и отражает их таким образом, что они арифметически складываются в датчике 305 изображений.

Фиг. 4 иллюстрирует то же устройство захвата изображений, но с датчиком изображений, расположенным вне плоскости датчика. В этом случае световые лучи от отдельной точки расплываются по некоторому участку, и в действительности результирующее изображение соответствует свертке изображения сцены ядром размытия, соответствующим апертуре. Ядро размытия в результате неточной фокусировки является масштабированным представлением апертуры линзы и, следовательно, световые лучи от отдельной точки будут распределяться по участку изображения, соответствующему ядру размытия. Изображение в заданной точке датчика изображений будет соответствовать комбинации света от различных мест, которые после свертки ядром размытия вносят вклад в данную точку. Если апертура линзы представляет собой круглое отверстие, ядро размытия будет напоминать сплошной диск, который будет иметь подобную функции sinc спектральную характеристику в пространственной области. Поскольку функции sinc имеют нули, во время обнаружения некоторые пространственные частоты теряются и не могут быть восстановлены с помощью какой-либо процедуры восстановления изображений. Протяженность ядра размытия зависит от величины размытия в результате неточной фокусировки и, следовательно, расстояния до объекта. Однако для того, чтобы вычислить это расстояние до объекта на основе размытия в результате неточной фокусировки отдельной апертуры, необходимо иметь информацию о размере объектов. Поскольку такая информация, как правило, отсутствует или является недостоверной, результирующая оценка расстояния, как правило, также является недостоверной. Кроме того, обработка сигналов, требуемая для извлечения и определения фактических характеристик размытия в результате неточной фокусировки в зарегистрированном изображении, является очень проблематичной и сложной.

В статье А. Левин, Р. Фергус, Ф. Дьюранд, У.Т. Фриман «Изображение и глубина с традиционной камеры с кодированной апертурой» (SIGGRAPH, ACM Transactions on Graphics, август 2007) предложено использовать сложную широкополосную маску с кодированной апертурой для выполнения спектрального структурирования изображения, которое может использоваться для определения размытия в результате неточной фокусировки, по которому может быть вычислено расстояние. Однако эта обработка является очень сложной и ресурсоемкой и, как правило, дает неоптимальные результаты.

В изображенной на фиг. 1 системе используется линза с кодированной апертурой, причем кодированная апертура представляет собой очень простую маску, содержащую лишь два отверстия, как показано на фиг. 5. В этой системе апертура линзы используется для формирования характеристик размытия в результате неточной фокусировки. В отличие от формирования спектральных свойств размытия в результате неточной фокусировки с помощью широкополосной маски (как в системе из упомянутой статьи), в изображенной на фиг. 1 системе используется кодированная апертура, которая обеспечивает очень простой, прагматический анализ размытия в результате неточной фокусировки.

Фиг. 6 иллюстрирует поперечное сечение устройства 101 захвата изображений, показанного на фиг. 1. Устройство 101 захвата изображений содержит линзу 601 с кодированной апертурой 603, имеющей два отверстия 605, 607 и датчик 609 изображений, расположенный вне фокальной плоскости 611.

Как иллюстрируется на фиг. 6, кодированная апертура, состоящая из двух смещенных в вертикальном направлении круглых отверстий, может привести к внефокальному формированию изображений, которое может иметь следствием образование множества копий теневых изображений объекта. Действительно, можно рассматривать каждое отверстие как создающее отдельное ядро размытия, которое пространственно смещено относительно ядра размытия другого отверстия. Как показано на чертеже, заданный объект будет соответствующим образом представлен теневыми изображениями/несколькими представлениями в изображении, зарегистрированном вне фокальной плоскости. Кодированная апертура и свойства устройства 101 захвата изображений могут, в частности, быть выполнены таким образом, что для объекта в пределах диапазона дальностей до цели объекты изображения, соответствующие различным теневым изображениям, могут являться неперекрывающимися объектами изображения.

Смещение между различными объектами изображения зависит от расстояния между отверстиями в кодированной апертуре и расстояния до объекта сцены, которому соответствуют объекты изображения. Поскольку расстояние между отверстиями в кодированной апертуре известно, изображенная на фиг. 4 система может определять смещение между объектами изображения, соответствующее объекту, для которого должно определяться расстояние, и может после этого приступать к определению расстояния на основе этого смещения.

Таким образом, поскольку расстояние между теневыми изображениями свидетельствует о величине расфокусировки и, следовательно, о расстоянии до объекта теневых изображений, смещение объектов изображения относительно друг друга (расстояние между ними в изображении) может быть преобразовано в расстояние до объекта без априорного знания о размерах объектов. Такой метод сводит оценку размытия в результате неточной фокусировки к простой задаче оценивания смещения соответствующих теневых изображений. Коды апертуры могут быть дополнительно оптимизированы вплоть до еще большего упрощения требований к алгоритму обработки изображений. Например, использование двух смещенных в вертикальном направлении перекрестий может обеспечить реализацию в маломощных устройствах ценой световой отдачи системы.

Кроме того, поскольку определение расстояния основано на имеющем низкую сложность определении смещения между объектами изображения, соответствующими объекту, расстояние до которого должно оцениваться, анализ изображений может основываться на имеющем низкую сложность обнаружении этих конкретных объектов изображения в изображении с датчика изображений. В показанной на фиг. 1 системе обнаружитель 105 выполнен с возможностью обнаружения объектов изображения на основе оптической характеристики объекта. Оптическая характеристика может быть заданной известной или предполагаемой оптической характеристикой, которая позволяет отличать объект от других элементов в сцене. Например, оптической характеристикой может являться яркость, структура или цвет объекта.

Обнаружитель может соответствующим образом просматривать зарегистрированное внефокальное изображение для идентификации сегментов/участков изображения, которые имеют характеристики, соответствующие оптической характеристике изображения. Например, обнаружитель 105 может просматривать изображение для нахождения участков, цвет на которых хорошо соответствует цвету объекта.

Чтобы упростить такое обнаружение объектов изображения, соответствующих теневым изображениям, сцена может регулироваться или может ограничиваться таким образом, что объект имеет оптические характеристики, которые однозначно обеспечивают обнаружение соответствующих объектов изображения в зарегистрированном внефокальном изображении. Например, в некоторым вариантах осуществления объект может являться единственным светлым объектом в сцене или может, например, являться единственным красным объектом в сцене. В таких сценариях обнаружитель 105 может просто искать участки изображения, которые ярче порога (который, например, может зависеть от средней яркости изображения) или которые содержат компонент красного цвета.

Хотя размытие изображения приводит к тому, что такие участки изображения также содержат вклад со стороны других мест и, следовательно, других элементов сцены, метод, имеющий столь низкую сложность, может, тем не менее, часто быть полезным. Например, если объект является единственным красным объектом в сцене, объекты изображения, соответствующие его теневым изображениям, являются единственными участками, содержащими компонент красного цвета. Это может быть обнаружено даже в том случае, если фактический цвет этих участков изображения отличается от красного цвета объекта ввиду вклада от других объектов в сцене. В действительности, обнаружение может быть упрощено, и различение может быть выполнено более отчетливым, например, путем освещения сцены светом, имеющим красный цвет.

Таким образом, изображенная на фиг. 1 система определяет расстояние до объекта путем обнаружения множества объектов/сегментов изображения, которые соответствуют объекту на основе на основе оптического свойства объекта. Затем расстояние вычисляется по смещению/расстоянию между этими объектами изображения. Поэтому не требуется никакая сложная обработка сигналов для устранения размытия изображения, и может быть получена достоверная оценка расстояния при очень низко сложности. Такой метод особенно пригоден для регулируемых сцен, в которых объект поддается отчетливому различению, и для кодированных апертур с небольшим числом отверстий, приводящих к возникновению теневых изображений.

Особенно предпочтительным является сценарий, в котором объектом является глаз (или голова) человека или животного, а определение расстояния основано на изображении светлого зрачка. Как известно специалистам, изображение светлого зрачка представляет собой изображение, которое включает в себя отражение источника света сетчаткой глаза. Это отражение приводит к тому, что зрачок выглядит ярче, и часто может приводить к тому, что зрачок выглядит значительно ярче, чем окружающие участки. Хорошо известным примером формирования изображения светлого зрачка является эффект «красных глаз», который может возникнуть во время традиционной фотосъемки со вспышкой.

Изображение светлого зрачка может, в частности, представлять собой изображение, зарегистрированное при использовании источника света, расположенного на оптической оси устройства захвата изображений. Действительно, изображение светлого зрачка может быть создано путем создания устройству захвата изображений осевого освещения. В частности, изображение светлого зрачка может, например, быть создано путем обеспечения источника света, который освещает глаз из некоторого положения в пределах 5° относительно осевого направления при измерении со стороны глаза. Освещение может, в частности, представлять собой инфракрасный свет, который часто обеспечивает повышенный эффект светлого зрачка.

Пример изображения светлого зрачка представлен на фиг. 7. Как можно видеть, зрачки на изображении светлого зрачка, как правило, очень от