Формирование многоспектральных изображений

Формирование многоспектральных изображений

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

Данное изобретение относится к формированию многоспектральных изображений, в частности, но не исключительно, к формированию многоспектральных изображений, имеющих две пространственных и одну спектральную размерности.

УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

Человеческий глаз имеет три вида колбочек, которые чувствительны к различным участкам видимого спектра. Эти колбочки обычно обозначают L, M и S по длинам волн, к которым они чувствительны (длинные, средние и короткие), что приблизительно соответствует красному, зеленому и синему цветам. Относительная спектральная чувствительность колбочек иллюстрируется на фиг. 1, на которой показано, что колбочки имеют довольно широкополосный характер и соответствуют интегрированию излучения по широкому диапазону длин волн. Следовательно, два материала с различными спектральными параметрами при некоторых условиях освещения могут выглядеть для человека-наблюдателя как имеющие один и тот же цвет. Это явление известно как метамеризм. Подобно человеческому глазу, три основные (RGB) системы, использующие широкополосные светофильтры, стали составлять основу как дисплеев, так и камер. Дисплеи основаны на соответствующей комбинации основных цветов для формирования любого цвета в пределах гаммы, охватываемой основными цветами.

Часто бывает целесообразным описывать изображения исходя из более детальной спектральной отражательной способности, чем получаемая с помощью (относительно приблизительных) координат цветов RGB. Кроме того, желательно, чтобы изображение было получено с локальной спектральной информацией, т.е. информацией, в которой отдельно характеризуются спектральные характеристики различных участков изображения. Такое формирование изображения называется формированием многоспектральных изображений и является методом, нашедшим множество практических применений, включая, например:

- обнаружение загрязняющих веществ,

- контроль состояния окружающей среды,

- сортировку зерновых и лесо- и пиломатериалов по качеству,

- обнаружение микроорганизмов (флуоресценция/цитометрия),

- проточную цитометрию,

- оксиметрию и т.д.

Для некоторых применений желательно анализировать только отдельные участки спектра видимого излучения. Например, в фотоплетизмографии частота сердечных сокращений человека получается по результатам временного анализа оптической записи. Однако точно установлено, что сигнал частоты сердечных сокращений сильнее для зеленых цветов (например, 540-560 нм) ввиду свойств спектрального поглощения гемоглобина. В результате, система, специально анализирующая представляющую интерес узкую спектральную полосу, даст более точные оценки, чем система, использующая широкополосные датчики, которые регистрируют больше неспецифических сигналов окружающей среды и шума.

Желательно, чтобы многоспектральная камера обеспечивала высокое пространственное разрешение, высокое спектральное разрешение и высокое временное разрешение. Однако эти требования обычно бывают противоречивыми, и, следовательно, часто необходим компромисс между этими различными требованиями.

В одном типе многоспектральной камеры используется подход, при котором сцена/цель сканируется построчно, при этом используется ортогональный этой строке дисперсионный элемент (такой как решетка или призма) для получения спектра каждого пикселя в строке. Результирующие двумерные данные (с одной пространственной и одной спектральной размерностью) регистрируются с помощью традиционного двумерного датчика. Полные трехмерные данные (две пространственные размерности и одна спектральная размерность) формируются затем путем постепенного и последовательного сканирования строк в направлении, перпендикулярном строке.

Однако такая камера обычно бывает относительно сложной и требует механического перемещения для осуществления сканирования. Обычно это приводит к возрастанию сложности, увеличению стоимости, снижению надежности, повышению энергопотребления и увеличению габаритов и/или веса. Требуемый процесс сканирования также обычно бывает относительно медленным, что приводит к относительно длительному времени регистрации изображения. Это делает данный подход менее подходящим, например, для регистрации динамических изображений.

В другом типе многоспектральных камер используется перестраиваемый светофильтр, который размещается перед обычной черно-белой камерой. За счет последовательной смены фильтров и записи соответствующего изображения могут быть получены полные трехмерные данные (т.е. каждое зарегистрированное изображение будет соответствовать излучению в частотном интервале полосы пропускания фильтра). Основной недостаток этого подхода состоит в том, что коэффициент использования светового потока оказывается довольно плохим, поскольку значительная часть излучения блокируется фильтром. Кроме того, подходящие фильтры, такие как жидкокристаллические перестраиваемые фильтры и акустооптические перестраиваемые фильтры, являются довольно дорогими и обычно обеспечивают пропускание излучения лишь на одной длине волны (режекцию). Данный подход также обычно имеет те же недостатки, что и сканирующие многоспектральные камеры, т.е. является медленным и имеет относительно низкую надежность и т.д.

Особенно важный недостаток указанных типов многоспектральных камер состоит в том, что они жертвуют спектральным разрешением ради временного разрешения. Это является недостатком в ситуациях, в которых регистрируемые объекты являются движущимися. Кроме того, данные способы, как правило, обладают очень конкретным (фиксированным) спектральным разрешением, которое не может быть легко приспособлено к применению.

Таким образом, усовершенствованная многоспектральная камера была бы полезной. Например, многоспектральная камера, обеспечивающая повышенную универсальность, пониженную стоимость, уменьшенную сложность, увеличенную надежность, уменьшенные габариты/вес, пониженное энергопотребление, улучшенные временные характеристики/разрешение и/или улучшенную эффективность, была бы полезной.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

В соответствии с этим целью изобретения является уменьшение, ослабление или устранение одного или более из вышеупомянутых недостатков отдельно или в любой комбинации.

В соответствии с одним вариантом осуществления изобретения предлагается многоспектральная камера, содержащая: светоблокирующий элемент, имеющий, по меньшей мере, одно отверстие, позволяющее излучению проходить сквозь него; дисперсионный элемент для разложения излучения из указанного, по меньшей мере, одного отверстия в различных, зависящих от длины волны направлениях; линзу для фокусирования излучения из дисперсионного элемента на плоскость изображения; микролинзовую решетку, принимающую излучение от линзы; датчик изображения, принимающий излучение от микролинзовой решетки и формирующий сигнал величин пикселей, содержащий величины падающего излучения для пикселей датчика изображения; и процессор для формирования многоспектрального изображения по сигналу величин пикселей.

Данное изобретение может обеспечивать усовершенствование спектральной камеры. В частности, данный подход может обеспечивать регистрацию многоспектрального изображения, не требующую последовательных операций, таких как сканирование или последовательная смена физических фильтров. Регистрация видеоинформации, обеспечивающая формирование многоспектрального изображения, во многих вариантах осуществления может быть практически мгновенной. Данный подход может обеспечивать улучшенные временные характеристики и может, в частности, обеспечивать высокое временное разрешение при сохранении относительно высокого пространственного и спектрального разрешения. Многоспектральная камера в данном изобретении может оказаться особенно подходящей, например, для регистрации движущихся объектов или видеоизображений.

Данный подход может также обеспечить жесткую механическую установку и может уменьшить стоимость, габариты/вес, энергопотребление и/или сложность. Он может также обеспечить повышенную надежность.

Например, в некоторых вариантах осуществления многоспектральная камера, использующая данный подход, может оказаться способной одновременно регистрировать спектр для каждого пикселя в сцене. В противоположность традиционным камерам, таким как спектрометры со строчным сканированием или камеры с перестраиваемыми блокирующими фильтрами, локальная спектральная информация для всех пикселей может регистрироваться одновременно, тем самым обеспечивая улучшенные временные характеристики, что является чрезвычайно полезным, например, при наличии движения.

Система может использовать данные с традиционного датчика изображения в совокупности со специальной конфигурацией главной линзы, микролинзовой решетки и дисперсионного элемента, такого как решетка или призма, для формирования детального многоспектрального изображения. В данном подходе может осуществляться последующая обработка сигнала с датчика изображения для формирования многоспектрального изображения с необходимыми требованиями. Например, данный подход может обеспечить создание светофильтров и их применение в программном обеспечении в качестве этапа последующей обработки цифровых данных, тем самым обеспечивая повышенную универсальность.

Многоспектральное изображение содержит как пространственную, так и спектральную информацию. Как правило, данные представляются в трехмерных наборах данных, соответствующих двум пространственным размерностям и одной спектральной размерности. Например, спектральное распределение для множества участков изображения может быть представлено многоспектральным изображением. При этом многоспектральное изображение представляет собой комбинированное пространственное и спектральное изображение. В некоторых вариантах осуществления многоспектральное изображение может быть разделено на множество пикселей со спектральным распределением, создаваемым для каждого пикселя. Многоспектральное изображение содержит отдельные спектральные данные для множества участков изображения. При этом многоспектральное изображение содержит локализованные спектральные данные и, в частности, может представлять как информацию по изображению видимого диапазона, так и спектральные изменения по данному изображению.

Светоблокирующий элемент может образовывать для камеры оболочку таким образом, что единственным излучением, достигающим дисперсионного элемента, линзы, микролинзы и датчика изображения, является излучение, проходящее сквозь отверстие в светоблокирующем элементе.

В конструкции многоспектральной камеры может использоваться структура последовательных плоскостей, при этом светоблокирующий элемент образует первую светоблокирующую плоскость (не считая отверстий), за которой следует (возможно, параллельная) плоскость дисперсионного элемента, за которой следует плоскость линзы, за которой следует плоскость микролинзовой решетки, за которой следует датчик изображения (который, возможно, параллелен микролинзовой решетке). Плоскость изображений может быть (виртуальной) (возможно, параллельной) плоскостью, как правило, между линзой и микролинзовой решеткой. Плоскости линзы, микролинзы и датчика могут, в частности, размещаться в конфигурации Шаймпфлюга. Это может, например, использоваться в вариантах осуществления, в которых дисперсионный элемент вносит угол относительно оптической оси.

Дисперсионный элемент может быть, например, призмой или решеточным элементом и может обеспечивать разложение за счет дифракции.

Указанное, по меньшей мере, одно отверстие может быть любым подходящим отверстием в светоблокирующем элементе, позволяющим излучению проходить сквозь светоблокирующий элемент. Отверстие не обязательно должно быть пустым, а может, например, быть заполнено прозрачным материалом. В некоторых вариантах осуществления в указанном, по меньшей мере, одном отверстии может располагаться линза и/или диафрагма. При этом с оптической точки зрения указанное, по меньшей мере, одно отверстие может представлять собой, по меньшей мере, одну линзу и/или диафрагму. В частности указанное, по меньшей мере, одно отверстие может содержать апертуру линзы объектива, которая переносит изображение на дисперсионный элемент.

В соответствии с еще одной особенностью данного изобретения многоспектральное изображение включает в себя признак спектрального распределения для пикселей многоспектрального изображения.

Данное изобретение может обеспечивать усовершенствованное формирование многоспектральных изображений с относительно высоким пространственным, спектральным и/или временным разрешением.

В соответствии с еще одной особенностью данного изобретения процессор размещается для: синтезирования первого изображения в плоскости дисперсии из сигнала величин пикселей; формирования второго изображения путем наложения пространственной маски на первое изображение, причем пространственная маска соответствует спектральной характеристике; и формирования пространственного изображения для многоспектрального изображения, соответствующего спектральной характеристике второго изображения.

Это может обеспечить улучшенные характеристики и/или упрощенную эксплуатацию. В частности, это может обеспечить подлежащие определению спектральные характеристики, которые соответствуют конкретным пожеланиям и требованиям для отдельного варианта осуществления. Спектральные характеристики могут, например, быть определены путем вычислительной обработки без требования каких-либо ручных, механических или физических изменений. При этом характеристики сформированного многоспектрального изображения могут быть изменены попросту использованием обработки выходной информации датчика. Тем самым достигается более гибкий подход, который не ограничивается физическими ограничениями, например, спектральных или пространственных фильтров.

Плоскость дисперсии представляет собой, в частности, плоскость, в которой положение излучения зависит лишь от длины волны излучения. При этом излучение от всех участков сцены (т.е. проходящее сквозь указанное, по меньшей мере, одно отверстие под любым углом) будет сходиться в одной и той же точке, которая зависит от длины волны. При этом в плоскости дисперсии спектральные характеристики полностью преобразуются в пространственные характеристики.

Первое изображение является не пространственным изображением сцены, а, скорее, спектральным изображением, в котором каждая точка соответствует суммарной интенсивности излучения сцены для одной длины волны. При этом первое изображение может рассматриваться как спектральное изображение или спектральная карта. В частности, первое изображение может рассматриваться как карта спектральной интенсивности.

В соответствии с еще одной особенностью данного изобретения процессор размещается для: определения множества пространственных изображений, соответствующих различным спектральным характеристикам, путем наложения соответствующих различных пространственных масок на первое изображение; и формирования многоспектрального изображения из множества пространственных изображений.

Это может дать практический и гибкий подход к формированию многоспектрального изображения. Последовательность масок, соответствующих различным спектральным характеристикам/фильтрам, может применяться параллельно или последовательно путем алгоритма последующей обработки для получения набора пространственных изображений, соответствующих различным спектральным контурам/характеристикам. Спектральные контуры/характеристики могут гибко выбираться и применяться с помощью имеющей низкую сложность пространственной обработки.

В соответствии с еще одной особенностью данного изобретения спектральная характеристика соответствует полосовому фильтру.

Характеристика полосового фильтра может, в частности, соответствовать выбору частотного интервала. Это может обеспечить практическое и эффективное формирование многоспектральных изображений.

В соответствии с еще одной особенностью данного изобретения микролинзовая решетка и датчик изображения размещаются таким образом, что излучение, проходящее через указанное, по меньшей мере, одно отверстие под одинаковым углом, распределяется по множеству пикселей датчика изображений, причем данное распределение является распределением, зависящим от длины волны.

Это может обеспечить усовершенствованное и/или упрощенное формирование многоспектральных изображений. Распределение, в частности, может быть таким, что один световой луч при заданном угле сквозь указанное, по меньшей мере, одно отверстие может достичь множества пикселей, при этом до каждого пикселя доходит различный интервал длин волн.

В соответствии с еще одной особенностью данного изобретения процессор размещается для компенсации величины одного пикселя датчика изображения, принимающего световые лучи, соответствующие лучам с различными длинами волн и проходящие сквозь указанное, по меньшей мере, одно отверстие под различными углами.

Это может обеспечить усовершенствованное и/или упрощенное формирование многоспектральных изображений. Вместо этого или кроме этого, данный подход может упростить реализацию.

В соответствии с еще одной особенностью данного изобретения микролинзовая решетка главным образом располагается в плоскости изображений.

Это может оказаться особенно целесообразным в некоторых вариантах осуществления или сценариях. В частности, во многих сценариях это может обеспечить формирование многоспектрального изображения непосредственно по выходной информации датчика без необходимости последующей обработки с фильтрацией. Данный подход может, например, обеспечить повышенное спектральное разрешение.

В соответствии с еще одной особенностью данного изобретения микролинзовая решетка располагается между плоскостью изображений и датчиком изображения.

Это может оказаться особенно целесообразным в некоторых вариантах осуществления или сценариях. В частности, это может позволить датчику изображения регистрировать информацию, которая хорошо подходит для формирования многоспектральных изображений с помощью последующей обработки на компьютере.

В соответствии с еще одной особенностью данного изобретения многоспектральная камера дополнительно содержит ввод данных пользователем и контроллер для регулирования положения, по меньшей мере, одного из следующего - микролинзовой решетки или датчика изображения - в ответ на ввод данных пользователем.

Это может позволить создать более универсальную многоспектральную камеру и может, в частности, позволить пользователю контролировать компромисс между пространственным и спектральным разрешением для изображения, регистрируемого датчиком изображения.

В с еще одной особенностью данного изобретения, светоблокирующий элемент образует светоблокирующую плоскость, при этом указанное, по меньшей мере, одно отверстие представляет собой щель в светоблокирующей плоскости.

Данный подход может обеспечить регистрацию трехмерного изображения с двумя пространственными и одной спектральной размерностью по измерению одним датчиком. Щель, как правило, может иметь ширину 1 мм или менее. Кроме того, узкая щель может обеспечивать надлежащее управление углами падающих лучей в указанной, по меньшей мере, одной щели по одной размерности при обеспечении регистрации протяженной сцены. Дисперсионный элемент может представлять собой, например, линейный решетчатый элемент, линии которого практически параллельны щели. Микролинзовая решетка может, в частности, представлять собой линзовую решетку, линии которой практически параллельны щели.

В соответствии с еще одной особенностью данного изобретения датчик изображения представляет собой двумерный датчик изображения.

Это может позволить регистрировать трехмерное изображение с двумя пространственными и одной спектральной размерностью по измерению одним датчиком.

В соответствии с еще одной особенностью данного изобретения указанное, по меньшей мере, одно отверстие состоит из множества отверстий, образующих кодированную апертуру.

Это может повысить световую чувствительность многоспектральной камеры посредством последующей обработки. Кодированная апертура может, в частности, обеспечивать падающее излучение от множества отверстий при обеспечении компенсации этого путем последующей обработки. Кодированная апертура может, например, состоять из практически круглых отверстий или вытянутых щелей, размещенных в соответствующей конфигурации, которая может быть скомпенсирована/изменена путем последующей обработки.

В соответствии с еще одной особенностью данного изобретения указанное, по меньшей мере, одно отверстие представляет собой точечное отверстие.

Это может обеспечить надлежащее управление углами падающих лучей в указанном, по меньшей мере, одном отверстии, при этом надлежащим образом заданные углы зависят от направления на источник лучей. В предпочтительном варианте осуществления точечное отверстие может часто иметь максимальный размер 1 мм или менее.

В соответствии с одним вариантом осуществления данного изобретения предлагается способ формирования многоспектрального изображения, причем данный способ включает в себя: создание светоблокирующего элемента, имеющего, по меньшей мере, одно отверстие, позволяющее излучению проходить через него; создание дисперсионного элемента для разложения излучения от указанного, по меньшей мере, одного отверстия в различных, зависящих от длины волны направлениях; создание линзы для фокусирования излучения от дисперсионного элемента на плоскость изображения; создание микролинзовой решетки, принимающей излучение от линзы; создание датчика изображения для приема излучения от микролинзовой решетки и формирования сигнала величин пикселей, содержащего величины падающего излучения для пикселей датчика изображения; и формирование многоспектрального изображения по сигналу величин пикселей.

Эти и другие варианты осуществления, особенности и преимущества данного изобретения понятны из описанного ниже варианта (вариантов) осуществления и пояснены со ссылкой на него.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Варианты осуществления данного изобретения описываются лишь в качестве примера со ссылкой на чертежи, на которых:

фиг. 1 является иллюстрацией относительной спектральной чувствительности человеческого глаза;

фиг. 2 является иллюстрацией некоторых элементов многоспектральной камеры в соответствии с некоторыми вариантами осуществления данного изобретения;

фиг. 3 является иллюстрацией некоторых элементов многоспектральной камеры в соответствии с некоторыми вариантами осуществления данного изобретения;

фиг. 4 является иллюстрацией некоторых элементов системы формирования изображений с перестраиваемым спектром в соответствии с известным уровнем техники;

фиг. 5 является иллюстрацией некоторых элементов процессорного элемента для многоспектральной камеры в соответствии с некоторыми вариантами осуществления данного изобретения;

фиг. 6 является иллюстрацией некоторых элементов многоспектральной камеры в соответствии с некоторыми вариантами осуществления данного изобретения; и

фиг. 7 является иллюстрацией некоторых элементов многоспектральной камеры в соответствии с некоторыми вариантами осуществления данного изобретения.

ПОДРОБНОЕ ОПИСАНИЕ НЕКОТОРЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

На фиг. 2 показан пример элементов многоспектральной камеры в соответствии с некоторыми вариантами осуществления данного изобретения.

Многоспектральная камера включает в себя светоблокирующий элемент 201, который содержит одно или более отверстий 203, позволяющих излучению проходить сквозь него. Для ясности нижеследующее описание сосредоточено на примере, в котором в светоблокирующем элементе 201 предусматривается точечное отверстие (или узкая щель), но понятно, что в других вариантах осуществления может использоваться более одного отверстия.

В данном примере отверстие 203 имеет максимальный размер менее 1 мм (или ширину менее 1 мм для щели). В частности, отверстие 203 является настолько малым, что направление/угол световых лучей от объектов, изображения которых формируются, изменяется не более чем, например, на 1° поперек отверстия, т.е. лучи, исходящие из одной и той же точки, могут проходить сквозь отверстие 203 лишь в том случае, если они имеют угол относительно отверстия, лежащий в пределах 1° друг относительно друга. В данном конкретном примере многоспектральная камера используется для формирования изображений объектов, которые отстоят, по меньшей мере, на 20 см от отверстия 203 и, следовательно, отверстие достаточно мало для того, чтобы угол/направление лучей от одной и той же пространственной точки, которые проходят сквозь отверстие 203, составлял не более чем 1°.

Многоспектральная камера дополнительно содержит дисперсионный элемент 205, который принимает излучение, проходящее сквозь отверстие 203. В данном примере дисперсионный элемент 205 образует дисперсионную плоскость. Дисперсионный элемент 205 разлагает излучение из отверстия 203 по различным, зависящим от длины волны направлениям. Поэтому луч света может исходить из объекта в сцене и достигать сервера 109 распределения через отверстие 203. Ввиду малых размеров отверстия 203 направление/угол, в котором луч достигает отверстия, зависит только от направления от объекта к отверстию 203 (предполагается, что отверстие 203 имеет бесконечно малый размер). При этом дисперсионный элемент 205 разлагает излучение луча на угловое распределение, в котором угол выхода из дисперсионного элемента 205 зависит от длины волны.

Следует отметить, что размер отверстия непосредственно определяет спектральное разрешение, которое может быть получено. Диапазон углов падения в одно и то же место на дисперсионном элементе 205 определяется как размер точечного отверстия, деленный на расстояние между отверстием 203 и дисперсионным элементом 205. Этим задаются направления различных лучей после дисперсии и, следовательно, спектральное разрешение, например, в плоскости дисперсии.

В некоторых вариантах осуществления дисперсионный элемент 205 может быть, например, призмой. В приведенном на фиг. 2 примере дисперсионный элемент 205 является решетчатым элементом, который разлагает падающее излучение за счет дифракционных эффектов. При этом в данном примере излучение от сцены (объекты X, Y, Z) распространяется сквозь точечное отверстие 203, а затем падает на решетку (образуемую дисперсионным элементом 205). Благодаря дифракционному действию решетки различные длины волн расходятся по различным направлениям распространения.

В зависимости от требуемого поля зрения расстояние между отверстием 203 и дисперсионным элементом 205 в предпочтительном варианте осуществления часто может находиться в интервале между 10 и 100 мм (включая оба значения).

Многоспектральная камера дополнительно содержит линзу 207, которая принимает излучение от дисперсионного элемента 205 и которая фокусирует его на плоскость 209 изображения. Фокусирование осуществляется таким образом, что все излучение, проходящее через отверстие 203 при заданном угле, достигает одной и той же точки на плоскости 209 изображения. При этом линза дополняет/обращает действие/эффект дисперсионного элемента 205 при измерении в плоскости 209 изображения. При этом разложение луча дисперсионным элементом 205 в точности компенсируется линзой 207 для плоскости 209 изображения таким образом, что один луч преобразуется в одну точку на плоскости 209 изображения. При этом излучение, падающее на плоскость 209 изображения, соответствует излучению, падающему на дисперсионный элемент 205, за исключением обращения (т.е. изображение перевернуто «вверх ногами»).

Следует отметить, что плоскость 209 изображения является не физическим элементом, а, скорее, относится к плоскости, в которой компенсируется спектральное разложение падающих световых лучей. При этом если бы датчик изображения был расположен в плоскости изображения, он регистрировал бы пространственное изображение, но не регистрировал бы никакой спектральной информации. Плоскость 209 изображения можно рассматривать как соответствующую виртуальной плоскости (в которой может регистрироваться сфокусированное пространственное изображение).

Линза 207 обычно размещается таким образом, чтобы ее главная ось/плоскость была перпендикулярна дифракции N-го (обычно первого) порядка дисперсионного элемента 205. Кроме того, расстояние между дисперсионным элементом 205 и линзой 207 в предпочтительном варианте осуществления обычно больше расстояния между отверстием 203 и дисперсионным элементом 205.

Многоспектральная камера дополнительно содержит микролинзовую решетку 211, которая принимает излучение от линзы 207. Микролинзовая решетка 211 содержит множество линз, перекрывающих плоскость излучения, падающего от линзы 207. Микролинзовая решетка 211 в предпочтительном варианте осуществления может образовывать плоскость, пересекающую «ось вращения» (конфигурация Шаймпфлюга), которая также пересекается плоскостью дисперсионного элемента 205 и главной осью/плоскостью линзы 207. Расстояние между линзой 207 и микролинзовой решеткой 211 может быть определено по формуле линзы для линзы 20, поэтому зависит от оптической силы линзы 207 и расстояния от дисперсионного элемента 205.

Многоспектральная камера дополнительно включает в себя датчик 213 изображения, который содержит множество чувствительных элементов для обнаружения уровня падающего излучения. Каждый чувствительный элемент при этом является оптическим датчиком, соответствующим пикселю регистрируемого изображения. В приведенном на фиг. 2 примере чувствительные элементы размещаются в двумерной плоскости.

Таким образом, каждый чувствительный элемент может соответствовать пикселю изображения, формируемого микролинзовой решеткой 211 в плоскости, в которой расположен датчик 213 изображения. Датчик 213 изображения формирует сигнал величин пикселей, который содержит величины падающего излучения для пикселей датчика изображения. Сигнал величин пикселей может, в частности, включать в себя измеренные величины для каждого из чувствительных элементов.

Сигнал величин пикселей подается на процессор, который затем определяет по этому сигналу многоспектральное изображение.

Введение микролинзовой решетки 211, по существу, дает информацию, которая может использоваться для последующей обработки зарегистрированной информации в конкретной конструкции камеры таким образом, что трехмерный (две пространственные размерности и одна спектральная) набор данных, соответствующий многоспектральному изображению, может формироваться по одному мгновенному измерению. При этом спектральная информация может определяться без необходимости последовательной физической фильтрации излучения или сканирования.

Введение микролинзовой решетки 211, в частности, позволяет осуществлять точное и раздельное определение пространственных и спектральных характеристик на основе одного измерения с помощью двумерного датчика изображения.

Пример этого приведен на фиг. 3. В этом случае микролинзовая решетка 211 расположена по существу в плоскости 207 изображения. При этом все излучение, падающее на микролинзовую решетку 211, надлежащим образом фокусируется пространственно, и каждая из микролинз может рассматриваться как соответствующая величине пространственного пикселя. Однако изображение, проецируемое на микролинзовую решетку 211, не имеет никакого спектрального распределения, т.е. все длины волн из одного и того же места в сцене (и, следовательно, проходящие отверстие 203 под одним и тем же углом) достигают одной и той же микролинзы. Тем не менее, хотя различные длины волн луча сходятся в одной и той же точке в микролинзовой решетке 211, они осуществляют это с различных направлений и имеют различные углы падения. Это используется микролинзовой решеткой 211 для разложения лучей падающего излучения в зависимости от угла падения и, следовательно, длины волны. При этом излучение, выходящее из микролинзы, соответствует излучению, падающему на микролинзу (и, следовательно, в одну точку), но с угловым расхождением, которое отражает длину волны, т.е. выходящее излучение имеет спектральное (пространственное) распределение.

В приведенном на фиг. 3 примере датчик 213 изображения расположен таким образом, что излучение от одной микролинзы охватывает множество пикселей, хотя при этом излучение от каждой микролинзы достигает только одного набора пикселей (либо, с другой стороны, нет перекрытия световых конусов от отдельных микролинз, и каждый пиксель (чувствительный элемент) принимает излучение только от одной микролинзы.

В соответствии с этим в приведенном на фиг. 3 примере датчик 213 изображения регистрирует излучение, которое разделяется на пространственные группы пикселей, при этом каждая группа пикселей соответствует микролинзе. Кроме того, каждая группа пикселей содержит множество пикселей, каждая из которых соответствует излучению конкретного интервала длин волн. При этом зарегистрированные данные дают многоспектральные данные, соответствующие многоспектральному изображению с пространственным разрешением, соответствующим микролинзам микролинзовой решетки 211, и спектральным разрешением, соответствующим числу пикселей в каждой группе пикселей.

В качестве примера практического осуществления 1-мегапиксельный датчик может использоваться с микролинзовой решеткой 211 размером 100 на 100 для получения многоспектрального изображения с пространственным разрешением 100 на 100 пикселей и спектральным разрешением 100 спектральных значений на пространственный пиксель.

Таким образом, микролинзовая решетка 211 использует информацию о зависящих от длины волны углах лучей, падающих на микролинзовую решетку 211, для получения спектральной информации при сохранении отдельной пространственной информации плоскости изображений. При этом одновременная и разрешимая спектральная и пространственная информация регистрируется путем одного измерения датчиком.

Следует отметить, что без введения микролинзовой решетки 211 такое измерение не может быть выполнено. Например, в статье Мохан А., Раскар Р. и Тумблин Дж. «Формирование изображений с перестраиваемым спектром: программируемая модуляция длин волн для камер и проекторов» (Форум по компьютерной графике, т. 27, номер 2, 2008 г., стр. 709-717) предполагается, что многоспектральная камера может быть основана на такой конструкции, как изображенная на фиг. 4. В данной системе датчик изображения располагается в плоскости изображений, которая является единственным местом в системе, в котором положение лучей зависит только от пространственного положения источника луча. При этом в существующей системе данная плоскость является единственной плоскостью, которая позволяет определять пространственные положения.

Существующая камера выполняет оптическую фильтрацию падающих лучей для формирования многоспектральных изображений. В частности, в существующей камере различные светофильтры последовательно помещаются в плоскости дисперсии. Плоскость дисперсии представляет собой плоскость, в которой положение излучения зависит только от длины волны излучения и не зависит от пространственного источника излучения (и, следовательно, не зависит от угла/направления лучей, проходящих сквозь отверстие 203). Таким образом, в плоскости дисперсии световые лучи упорядочиваются по длине волны сверху вниз. Плоскость дисперсии может восприниматься как дополняющая плоскость изображений, т.е. в плоскости дисперсии изображение является спектральным изображением без какой-либо пространственной информации или корреляции, в то время как изображение в плоскости и