Система гиперспектральной визуализации в видимом свете, способ записи гиперспектрального изображения и отображения гиперспектрального изображения в видимом свете

Система гиперспектральной визуализации в видимом свете, способ записи гиперспектрального изображения и отображения гиперспектрального изображения в видимом свете

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ, КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к системе гиперспектральной визуализации, содержащей камеру записи гиперспектрального изображения объекта и устройство отображения для отображения гиперспектрального изображения в видимом свете, записанного устройством регистрации, и к способу записи гиперспектрального изображения и отображения гиперспектрального изображения в видимом свете.

УРОВЕНЬ ТЕХНИКИ

Гиперспектральная визуализация, как известно, должна открывать подробности, которые невозможно или трудно увидеть человеческим глазом, такие как, например, различия в человеческих тканях. При гиперспектральной визуализации получают изображение объекта в одном или более диапазонах длин волн, где по меньшей мере один диапазон длин волн является по меньшей мере частично невидимым для человеческого глаза или по меньшей мере очень трудно видимым. Это изображение затем преобразуется в видимое изображение и такое изображение выдается наблюдателю в видимом свете. Гиперспектральная визуализация может быть основана как на спектрально селективном освещении (то есть освещении объекта светом в определенном диапазоне длин волн), так и на спектрально селективной фильтрации (то есть использовании фильтра, пропускающего свет только в определенном диапазоне длин волн) перед визуализацией. В обоих случаях для формирования результирующего изображения, раскрывающего интересующий контраст структуры, требуется обработка изображения.

В такой системе традиционно получают гиперспектральное изображение (например, изображение, выходящее за пределы видимого спектра) и результат показывают на экране дисплея. Сидящий перед экраном дисплея наблюдатель, заинтересованный в невидимых или едва видимых подробностях наблюдаемого объекта, может изучать изображение на экране в видимом свете, как оно могло бы появиться, например, в ультрафиолетовом свете или в инфракрасном свете.

Хотя использование экрана является очень полезной технологией, его возможности ограничены. Было предложено проецировать гиперспектральное изображение на изучаемый объект, например, в работе R.K. Miyake, H.D. Zeman, F.H. Duarte, R. Kikuchi, E. Ramacciotti, G. Lovhoiden, C. Vrancken, "Vein imaging: A new method of near infrared imaging where a processed image is projected onto the skin for the enhancement of vein treatment", Dermatologic, Surgery, vol. 32, pp. 1031-1038, 2006. Проекция выполняется лазерным проектором.

Однако, трудно, если не почти невозможно, используя известную технологию, обеспечить проекцию с высокой четкостью, при которой проекция с относительно высокой степенью совмещения совпадает с объектом, если объект, которым в известном уровне техники является кожа, не является неподвижным и в высокой степени плоским.

Задача изобретения заключается в обеспечении системы и способа, позволяющих непосредственно наблюдать гиперспектральные детали наблюдаемого объекта и осуществлять правильное совмещение.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Для этого система согласно изобретению отличается тем, что камера системы является камерой для съемки светового поля и устройство отображения является проектором светового поля, причем камера и проектор имеют общий коаксиальный оптический путь и камера выполнена с возможностью съемки гиперспектрального светового поля, и содержит вывод отправляемых данных снятого гиперспектрального светового поля на вход проектора светового поля и проектор светового поля располагается так, чтобы проецировать световое поле в видимом свете на объект на основании данных, принятых от камеры.

Для этого способ согласно изобретению отличается тем, что световое поле в гиперспектральном диапазоне излучения объекта снимают посредством камеры светового поля, данные светового поля, снятого камерой, обрабатываются, чтобы обеспечить данные проекционного изображения для проектора светового поля, и проектор светового поля проецирует световое поле на основании данных проекционного изображения объекта, причем камера и проектор имеют общий коаксиальный оптический путь и световое поле в видимом свете проецируется на объект проектором светового поля.

Камера для съемки светового поля получает световое поле в гипердиапазоне спектра, то есть в спектральном диапазоне излучения по меньшей мере частично невидимого для человеческого глаза, и проектор светового поля проецирует световое поле в видимом свете. Проектор светового поля образует устройство отображения для отображения гиперспектрального изображения, записанного регистрирующим устройством, в видимом свете. Спроецированное световое поле создает отображение спроецированного трехмерного (3D) изображения, покрывающего объект, причем упомянутое трехмерное изображение является резким в большом диапазоне глубин. Общий коаксиальный оптический путь обеспечивает относительно простое совмещение снятого и спроецированного световых полей. Это позволяет проводить точное проецирование в реальном времени проектором гиперспектрального изображения в видимом свете на объект наблюдения, для которого камера сняла гиперспектральное световое поле, а также в случае, когда объект наблюдения является не плоским, а имеет трехмерную форму.

Камера для съемки светового поля по сравнению с обычной двумерной и даже трехмерной камерой имеет то преимущество, что снимает полное световое поле с возможностью съемки резких изображений по всему диапазону глубин. Обычная двумерная камера не обеспечивает большой глубины зрения и хотя трехмерная камера может обеспечивать некоторую информацию о глубине, ни та, ни другая камера неспособна обеспечивать резкое изображение по всему диапазону глубин. Камеру светового поля также называют пленоптической камерой. Камера светового поля является камерой, получающей информацию светового поля о сцене, используя пленоптическую визуализацию. При съемке пленоптического изображения снимает падающее световое поле, сохраняющее как интенсивность, так и направление падающего света. Реализация системы пленоптической визуализации может быть основана на различных технологиях: массив микролинз, как в работе M. Levoy et al, "Light field microscopy", ACM Trans, on Graphics, vol. 25, no. 3, pp. 924-934, July 2006; пятнистая (dappled) фотография с непрерывно меняющейся маской затухания, как в работе A. Veeraraghavan et al, "Dappled photography: Mask enhanced cameras for heterodyned light fields and coded aperture refocusing", ACM Trans, on Graphics (Proc. SIGGRAPH 2007), vol. 26, no. 3, July 2007; маска кодирования апертуры, как в работе A. Levin et al, "Image and depth form a conventional camera with a coded aperture", ACM Trans, on Graphics (Proc. SIGGRAPH 2007), vol. 26, no. 3, July 2007; кодер волнового фронта, как в работе E.R. Dowski et al, "Extended depth of field through wave-front coding", Applied Optics, vol. 34, no. 11, pp. 1859-1866, Apr. 1995; визуализация с перемещением фокуса, как в работе H. Nagahara et al, "Flexible Depth of Field Photography", in Proc. ECCV 2008, Oct. 2008. Снятое пленоптическое изображение сохраняет пространственную информацию падающего светового поля. Снятое световое поле фактически является четырехмерным, поскольку каждый световой луч характеризуется двумерным распределением на датчике и горизонтальным и вертикальным углами падения, добавляющими еще два измерения. Спроецированное световое поле создает изображение на объекте, которое является резким в большом диапазоне оптических глубин.

Из описанных выше технологий предпочтительным является использование массива микролинз. В технологиях с непрерывно меняющейся маской затухания и с кодированием апертуры некоторая часть света, проходящего через маску, ослабляется, приводя к потере интенсивности. В массиве микролинз используется более высокий процент доступного света.

Массив микролинз располагается между линзой и датчиком изображения пленоптической камеры. Массив микролинз перефокусирует свет, принятый линзой, на датчик изображения, таким образом создавая множество малых изображений, получаемых с несколько различных точек зрения. Трехмерная информация сохраняется в малых изображениях, каждое из которых создается одиночной микролинзой. Каждое из малых изображений имеет относительно низкую пространственную разрешающую способность.

Другой тип камеры для съемки светового поля, который не использует массив микролинз, является системой, использующей так называемый подвижный фокус или технологию подвижной линзы. В таких камерах во время визуализации положение фокусирующей линзы и/или датчика изменяется. Эта технология эквивалентна интегрированию изображений при перемещении фокуса (то есть, в частности, диапазона глубины полей). Результирующее изображение содержит всю информацию об изображении для перемещения фокуса, а также собирает весь доступный свет. Снятое изображение может быть восстановлено из свертки, чтобы обеспечить резкие изображения на различных глубинах и реконструировать пленоптическое проецированное световое поле. Использование массива микролинз предпочтительно, поскольку световое поле может быть снято мгновенно. Используя микролинзу, относительно легко совместить полученное световое поле, снятое камерой, и проецируемые проектором световые поля.

Предпочтительно камера и проектор имеют общую цепочку оптических элементов визуализации вдоль общей коаксиальной оптической оси. Это позволяет лучше совместить снятое световое поле и спроецированное световое поле.

Предпочтительно система содержит элемент, обеспечивающий пленоптическую функцию, расположенный на общем коаксиальном оптическом пути.

Наличие элемента, обеспечивающего пленоптическую функцию на общем коаксиальном пути, повышает простоту совмещения снятого и спроецированного оптических полей.

Такими элементами могут быть массив микролинз, кодированная апертура, кодер волнового фронта.

Из этих элементов предпочтительным является массив микролинз.

В вариантах осуществления система содержит светоделитель для расщепления путей прохождения светового луча от камеры светового поля к общей оптической оси и к проектору светового поля и, соответственно, обратно, причем светоделитель обладает дихроичным, спектрально селективным свойством. Дихроичный светоделитель пропускает или отражает свет в гиперспектральном диапазоне, направленный к камере, в то же время отражая или пропуская поступающий от проектора свет в видимом диапазоне.

В другом варианте осуществления используется спектрально селективное освещение.

В предпочтительных вариантах осуществления система является мобильной, предпочтительно портативной системой, например переносной системой. Это позволяет, например, врачу рассматривать вены сразу же и на месте. Когда в вену должны вводиться иглы, такая проверка на месте является большим преимуществом.

В другом предпочтительном варианте осуществления система является частью хирургического источника света.

В другом варианте осуществления система является частью большей системы, причем большая система дополнительно содержит вторичную систему визуализации для обеспечения данных вторичного изображения на внутреннем изображении наблюдаемого объекта, в которой система содержит процессор для обеспечения информации о глубине на основании данных снятого гиперспектрального светового поля, и средство форматирования на основании информации о глубине вторичных данных в изображении, спроецированном на объект. Вторичная система визуализации может быть, например, рентгеновской системой, системой магнитно-резонансной томографии (MRI), системой компьютерной томографии (CT), системой позитронной эмиссионной томографии/компьютерной томографии (PET-CT) или ультразвуковой системой.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие задачи и предпочтительные варианты станут очевидны из примерных вариантов осуществления, которые будут описаны, используя следующие чертежи.

Фиг. 1 - вариант осуществления системы согласно изобретению;

Фиг. 2 - другой вариант осуществления системы согласно изобретению;

Фиг. 3 - другой вариант осуществления системы согласно изобретению;

Фиг. 4 - переносное устройство, содержащее систему согласно изобретению;

Фиг. 5 - повышение качества изображения вен, используя переносную систему, показанную на фиг. 4;

Фиг. 6 - хирургическая или стоматологическая лампа, содержащая систему согласно изобретению;

Фиг. 7 и 8 - рентгеновская система, содержащая систему согласно изобретению;

Фиг. 9 - принцип использования микролинз для получения светового поля и проецирования светового поля;

Фиг. 10 - способ достижения соответствия при точной настройке между полученной и спроецированной световой областью.

Чертежи выполнены не в масштабе. В общем одинаковые компоненты обозначаются на чертежах одними и теми же ссылочными позициями.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Задача изобретения состоит в обеспечении результирующего изображения как проекции на наблюдаемой ткани и все же таким способом, что проекция всегда правильно сфокусирована на ткани, независимо от поверхностной кривизны ткани или ее ориентации относительно устройства получения/проекции изображения.

Гиперспектральная визуализация обеспечивает контраст, например, контраст ткани, который невидим невооруженным глазом. Улучшенный контраст может использоваться, например, для обнаружения кровеносных сосудов и нервов во время хирургической операции или введения игл в вены. Он может также использоваться для идентификации злокачественной ткани.

Гиперспектральная визуализация может быть основана на монохромном, спектрально неселективном датчике изображения и использовании спектрально селективной фильтрации перед датчиком изображения подобно обычной камере RGB, но с большим количеством цветовых каналов и с различными характеристиками фильтра. В противном случае, гиперспектральная визуализация может также быть основана на спектрально селективном (управляемом) освещении в сочетании с датчиком изображения без фильтра. Возможно также объединение «фильтрованного освещения» и «фильтрованного сбора данных».

Различия в спектральных характеристиках между различными материалами обычно преобразовываются в видимый контраст (черно-белый или псевдоцветной) посредством линейной взвешенной комбинации различных входных спектральных значений для одного и того же пространственного местоположения. Всевозможные заданные комбинации весов приводят к различным контрастам ткани. Также, результатом гиперспектральной визуализации является обычно изображение с улучшенным контрастом интересующего материала (жидкости или ткани). Таким образом, например, можно обнаруживать положение вен и артерий на основе их тонкой, но явной спектральной характеристики по сравнению, например, с кожей. Соответствующее результирующее изображение показывает структуру кровеносного сосуда непосредственно под наблюдаемой областью кожи. Задача изобретения состоит в проецировании результирующего изображения в реальном времени на наблюдаемую ткань и его постоянном правильном совмещении с наблюдаемой тканью в режиме реального времени.

Недостаток текущих систем гиперспектральной визуализации состоит в общем в том, что результирующие данные появляются на экране дисплея отдельно, так что геометрическая связь с реальной тканью легко теряется. В настоящее время, использование очков виртуальной реальности является популярным способом сохранения результирующих данных, сформированных в очках, которые формируют экраны для отображения при постоянном совмещении с тканью, наблюдаемой хирургом. Большим недостатком здесь является то, что это требует шлема-дисплея, местоположение и ориентация которого отслеживаются относительно положения рабочей области, увеличивая сложность таких решений. Кроме того, это вынуждает специалиста носить специальные очки. Также, в операционных присутствуют много людей и если только один специалист носит специальные очки, ассистенты неспособны видеть то, что видит специалист, если они также не носят очки и положение и ориентация упомянутых очков также не отслеживаются, что создает огромную сложность для системы.

Задача изобретения состоит в создании системы и способа, позволяющих непосредственно видеть гиперспектральные детали наблюдаемого объекта и осуществлять правильное совмещение без необходимости в трехмерном слежении за объектом или ношении специальных очков.

На фиг. 1 показан вариант осуществления системы и способа согласно изобретению.

Источник 2 гиперспектрального света освещает гиперспектральным светом объект 1, в этом примере - человеческую ткань. Источник света может быть частью системы и в предпочтительных вариантах осуществления он предусмотрен или может быть предусмотрен отдельно. Источник гиперспектрального света вызывает формирование гиперспектрального изображения ткани, например, в инфракрасном или ультрафиолетовом диапазоне. В качестве альтернативы, объект может самостоятельно, независимо от наличия источника гиперспектрального света, обеспечивать гиперспектральное изображение, то есть изображение на длине волны, на которой его не видно или трудно видеть человеческим глазом. Например, объект может быть снабжен веществом, которое, будучи освещенным ранее, фосфоресцирует на конкретной длине волны.

В качестве альтернативы или дополнения, ткань 1 может, даже без источника света, освещающего его, обеспечивать инфракрасное изображение, показывающее подробности на инфракрасной длине волны, которые невидимы на видимых длинах волн. В качестве альтернативы или дополнения, объект может освещаться источником, обеспечивающим видимый свет, а также, например, ультрафиолетовый и/или инфракрасный свет, и на пути прохождения света до камеры или внутри камеры предусмотрен селективно избирательный элемент, так чтобы камера регистрировала гиперспектральное изображение.

В качестве альтернативы или дополнения, камера может быть снабжена пикселями датчика, электронно регистрирующими изображение в видимом свете, и пикселями датчика, регистрирующими изображение в гиперспектральном диапазоне гиперспектральному излучению, используются для гиперспектрального светового поля.

Также возможно использовать камеру светового поля, содержащую пиксели, чувствительные как к видимому свету, так и к гиперспектральному излучению (например, к инфракрасной и/или ультрафиолетовой части спектра), и последовательно во времени помещать селективно избирательные фильтры перед источником, обеспечивая видимый свет, а также гиперспектральное излучение, причем фильтры пропускают либо видимый свет, либо гиперспектральную часть спектра и сбор данных камеры светового поля синхронизируется с последовательным во времени освещением, чтобы обеспечить данные светового поля в гиперспектральном диапазоне и, возможно, также в видимой части спектра.

В вариантах осуществления гиперспектральное изображение получают в ультрафиолетовом или инфракрасном диапазоне электромагнитного спектра. Эти варианты осуществления предпочтительны.

Однако гиперспектральное изображение может быть снято и в других диапазонах электромагнитного спектра, например посредством рентгеновской визуализации или терагерцовой визуализации.

Для таких вариантов осуществления камерой светового поля является устройство рентгеновской или терагерцовой визуализации, обеспечивающее данные светового поля в рентгеновской или терагерцовой части электромагнитного спектра.

Четырехмерное световое поле, обеспечиваемое тканью, снимают посредством камеры 3 светового поля через систему 5 линз. Система 5 линз содержит светоделитель 6 пучка и массив 7 микролинз. Снятое световое поле обозначено на фиг. 1 как CLF. Камера светового поля содержит датчик, с помощью которого снимают световое поле. Данные снятого светового поля передаются через видеопроцессор 8 на проектор 4 светового поля. Выходной сигнал камеры, таким образом, обеспечивает подачу данных на вход проектора. «Обеспечение данных» должно, однако, интерпретироваться не так, чтобы означать, что данные камеры напрямую подаются на проектор, а означать, что данные камеры формируют основу данных для проектора. Обработка данных может обеспечиваться между выходом камеры 3 светового поля и входом проектора 4 светового поля. Проектор светового поля проецирует PLF светового поля на ткань 1 через светоделитель 6 и массив 7 микролинз. Предпочтительно, чтобы источник света образовывал часть системы. Это позволит управлять интенсивностью света, освещающего объект 1. Вариант осуществления, показанный на фиг. 1, показывает систему, в которой гиперспектральное изображение получают в ультрафиолетовом или инфракрасном диапазоне. Как объяснялось выше, такое изображение может быть получено различными способами. Для простоты на чертеже не показан никакой селективно избирательный элемент. Такой селективно избирательный элемент может быть, например, помещен перед источником или перед камерой или, если камера содержит разные пиксели для видимого света и для ультрафиолетового или инфракрасного излучения, данные могут электронно фильтроваться, то есть использовать фильтр данных, чтобы фильтровать данные, полученные камерой светового поля.

Благодаря обычно короткому фокусному расстоянию микролинз в массиве микролинз, массив микролинз имеет тенденцию создавать массив микроизображений, также сфокусированных очень близко позади массива линз. Система оптических линз между массивом 7 микролинз и светоделителем 6, а также позади светоделителя, переключает эту плоскость (микро-) изображения, так чтобы плоскость микроизображения совпадала с плоскостью датчика камеры и с плоскостью элемента формирования изображения в проекторе. Элемент формирования изображения может быть, например, массивом светоизлучающих элементов, массивом переключаемых зеркал (обычно, элемент DLP) или массивом жидкокристаллических оптических затворов.

Проектор 4 и камера 3 имеют общую коаксиальную оптическую ось. Общая оптическая ось показана на фиг. 1 таким образом, что световые лучи параллельны. Преимущество использования общей оптической траектории для визуализации и проекции состоит в том, что спроецированное наложение характеризуется хорошим совмещением с соответствующей тканью. Помимо вычисления разностей размера считываемого и проецируемого элемента никакая сложная трехмерная обработка не требуется.

Каждая микролинза может рассматриваться как суперпиксель, который хранит не только угловую информацию, но и интенсивность падающего света в месте расположения такого «суперпикселя». Точно также, проектор, формирующий те же самые микроизображения совместно с массивом микролинз, приведет к проекции, фокальная плоскость которой совпадает с первоначальной плоскостью поверхности, независимо от ее искривленной формы. Использование общей оптической траектории и совмещение пикселей датчика и проектора приведут к проекции, которая всегда сфокусирована на поверхности, которая получается с помощью камеры. Использование массива микролинз предпочтительно, поскольку массив микролинз не вносит затухание в световое поле.

Система может называться пленоптической гиперспектральной системой виртуальной реальности, обеспечивающей независимые от диапазона получение и проекцию изображения. В зависимости от применения светоделитель 6 также может обеспечивать спектральную избирательность. В частности, когда визуализация производится, главным образом, в области невидимого света, такого как инфракрасный свет, светоделитель может обладать дихроичным свойством. В этом случае, падающий инфракрасный свет следует по прямой траектории к камере, а видимый свет от проектора преломляется светоделителем.

На фиг. 2 также показан вариант осуществления системы согласно изобретению. Зеркало используется для изгиба спроецированного светового поля. Это позволяет при некоторых обстоятельствах получить более компактную конструкцию системы.

На фиг. 3 показан дополнительный вариант осуществления. В этом варианте осуществления камера и проектор содержат разные массивы микролинз. Системы, показанный на фиг. 1 и 2, предпочтительны, но если, например, спектральная длина волны при гиперспектральной визуализации требует для микролинз определенного материала, который менее пригоден для длины волны видимого света, могут использоваться отдельные массивы микролинз. На фиг. 1-3 камера и проектор вдоль общей оптической оси используют общие элементы визуализации.

На фиг. 4 и 5 показан предпочтительный вариант осуществления системы. В этом варианте осуществления система является мобильной, предпочтительно портативной системой. В этом варианте осуществления система является переносной системой. Система содержит источник гиперспектрального излучения внутри переносного устройства, камеру и проектор, причем портативное устройство используется, чтобы получить данные области ткани и обеспечить проекцию невидимых в противном случае данных, например, на положение вен, как показано на фиг. 5. Наличие должным образом снятого изображения и проецирование должным образом резкого изображения, например, вен, используя портативное устройство, дает большие преимущества в ситуации, когда важно или даже жизненно важно быстро найти вену. При введении иглы в вену, например, в чрезвычайной ситуации, такой как авария, быстрые и точные действия могут быть критичными или даже делом жизни или смерти, и здесь необходимо только относительно простое устройство, которым можно легко управлять и доставлять к месту чрезвычайной ситуации. Существующие системы не обеспечивают возможность точно и в реальном времени и на месте аварии обеспечивать изображение положения вен или других гиперспектральных подробностей. Портативная система, показанная на фиг. 4 и 5, на деле обеспечивает такую возможность. В этом примерном случае система является переносной. Систему могут носить на шлеме или на рукаве, так чтобы руки были свободны для введения иглы или выполнения других медицинских процедур.

На фиг. 6 показано использование системы согласно изобретению в хирургической лампе или стоматологической лампе. Лампа при необходимости может обеспечивать спектрально селективное освещение как часть гиперспектральной визуализации. В еще одном варианте осуществления изобретение может быть включено в систему, содержащую вторичную систему визуализации, например, в рентгенографическую систему, или, в более общем плане, в систему, создающую внутреннее изображение наблюдаемого объекта, например, в систему, описанную в заявке WO2010067281.

На фиг. 7 схематично показан чертеж системы для такого варианта осуществления.

Система содержит рентгеновский C-образный кронштейн с прикрепленными к нему двумя камерами, чувствительными к ультрафиолетовым, видимым или инфракрасным длинам волн. Показанная рентгеновская система с C-образным кронштейном состоит из основной рамы 72, передвигающейся на колесах 71, в которой C-образный кронштейн 73 расположен так, что он при вращении вокруг оси 74 (по углу), мог также поворачиваться вокруг оси 75 в направлении двойной стрелки 76 (орбитальное вращение). Хотя здесь описывается подвижная система, рентгеновская система может также крепиться к стене, как в лаборатории катетеризации. Источник 77 рентгеновского излучения и детектор 81, предпочтительно, прямоугольный плоский детектор, находящиеся напротив друг друга, обеспечиваются в C-образном кронштейне 73 в области его концов.

Рентгеновское устройство с C-образным кронштейном способно получать трехмерное внутреннее изображение пациента. Система 82 камеры прикрепляется в стороне от детектора 81 и способна получать изображения операционной области пациента. В частном варианте осуществления система камеры способна получать трехмерное изображение пациента. Кроме того, система 83 гиперспектральной визуализации согласно изобретению также прикрепляется к детектору 81 и способна проецировать информации в видимом свете обратно на пациента таким образом, что изображения сфокусированы на изогнутых поверхностях пациента. Например, такие структуры, как границы опухоли, лучше очерчиваются в гиперспектральном изображении и в соответствии с изобретением могут быть спроецированы обратно на пациента в видимом свете. Это позволяет хирургу лучше видеть границы опухоли. Помимо этой обратной проекции снятого гиперспектрального изображения, система 83 позволяет обратную проекцию изображений, снятых рентгеновской системой и преобразованных в видимые изображения. Например, положение опухоли глубоко внутри тела, видимом при рентгеновской визуализации, проецируется обратно на тело пациента. Таким образом, хирург имеет гораздо лучшее указание, где расположена опухоль. Кроме того, могут быть указаны важные структуры, такие как большие кровеносные сосуды, лежащие ниже поверхности и невидимые глазами. Таким образом, хирург знает о них заранее, чтобы быть осторожным, делая надрезы в этом месте. Вместо рентгеновской системы подобный подход может также быть применен к MRI, CT, PET-CT или ультразвуковой системам. Может также использоваться система терагерцовой визуализации. Все эти системы обеспечивают внутреннее изображение наблюдаемого объекта и во всех случаях источники данных создают потоковые двумерные изображения, формирующие вторичный набор данных в дополнение к данным, основанным на их получении камерой. В системе, показанной на фиг. 7, относительные положения системы гиперспектральной визуализации и вторичной системы визуализации (рентгеновская система на фиг. 7) известны и фиксируются. Это позволяет проводить относительно простое согласование съемки гиперспектрального и внутреннего изображений.

В системах, в которых взаимное относительное положение системы гиперспектральной визуализации и внутренней вторичной системы визуализации в большей или меньшей степени должно быть переменным, предпочтительно должно обеспечиваться средство определения взаимного положения системы гиперспектральной визуализации и вторичной системы визуализации. Это может делаться автоматически, например, обеспечивая электронное средство для измерения координат X, Y и Z обеих систем визуализации и предпочтительно также ориентации или оси системы визуализации, если эта информация необходима. Это может, конечно, также быть сделано посредством ручного ввода таких данных. В качестве альтернативы или дополнения, признаки функции, возникающие естественно или специально помещенные внутри диапазона соответствующих изображений, присутствующие как в гиперспектральном изображении, так и во вторичном изображении, могут использоваться для совмещения гиперспектрального и вторичного изображений. Например, для этой цели могут использоваться небольшие металлические объекты на пациенте в различных точках, которые могут быть показаны в гиперспектральном, а также в видимом, таком как рентгеновское, изображении.

На фиг. 8 дополнительно поясняется система, показанная на фиг. 7. Использование таких данных вторичного изображения, поступающих, например, из рентгеновских данных, требует точного вычисления карты глубин d(x, y), описывающей расстояние d между пленоптической камерой/проектором и поверхностью ткани для каждого пикселя (x, y) проектора. В этом состоит отличие от данных пленоптической камеры, которые сами по себе требуют только пространственной интерполяции, чтобы согласовать входную пиксельную сетку пленоптической камеры с сеткой выходных пикселей проектора.

Снятое световое поле содержит информацию о глубине. Чтобы восстановить профиль расстояния из полученных данных светового поля, были предложены различные решения, например, в работе Bishop et al. in T. Bishop, P. Favaro, "Plenoptic depth estimation from multiple aliased views", в издании: 2009 IEEE 12th International Conference on Computer Vision Workshops (ICCV Workshops), IEEE, pp. 1622-1629, Los Alamitos, 2009 и Wanner et al. in S. Wanner, J. Fehr, B. Jaehne, "Generation EPI representations of 4D light fields with a single lens focused plenoptics camera", в издании: Proc. ISVC 2011, G. Bebis et al. eds., pp. 90-101, 2011. Тогда это становится дополнительной задачей, выполняемой блоком 8 обработки на фиг. 8. Восстановленная карта глубин d(x, y) затем используется в части 9, чтобы переформатировать изображение из источника вторичных данных в массив микроизображений. В случае должного совмещения с массивом микролинз, вторичные данные также будут затем проецироваться в соответствующем фокусе на поверхности ткани, независимо от ее формы и ориентации. Хотя это не показано, часть 9 может также иметь вход для ввода данных, относящихся к взаимным положениям и/или ориентациям гиперспектральной и рентгеноскопической систем визуализации.

На фиг. 9 показан принцип использования микролинз для съемки светового поля и проецирования светового поля. Верхняя часть фиг. 9 показывает съемку светового поля. Съемка пленоптического изображения сохраняет пространственную информацию падающего светового поля. В случае использования массива микролинз трехмерная информация сохраняется в малых микроизображениях, каждое из которых создается одиночной микролинзой массива микролинз. Снятое световое поле является фактически четырехмерным, поскольку каждый световой луч характеризуется двумерным расположением на датчике и горизонтальным и вертикальным углами падения, добавляющими еще 2 измерения.

Каждая микролинза может рассматриваться как суперпиксель, который хранит не только угловую информацию, но также и интенсивность падающего света в месте расположения такого «суперпикселя».

Нижняя часть фиг. 9 показывает проецирование светового поля из пикселя проектора 4. Световые лучи меняют направление на обратное. Проектор, который формирует те же самые микроизображения, которые связаны с массивом микролинз, будет приводить к проекции, фокальная плоскость которой совпадает с первоначальной поверхностной плоскостью, независимо от форма ее кривизны. Использование общего оптического пути и совмещение пикселей датчика и проектора приведут к проекции, которая всегда будет в фокусе на поверхности, которую снимает камера. Если все элементы являются одинаковыми, имеют один и тот же размер, одно и то же положение и т.д., то существует взаимно-однозначная связь между пикселем камеры и пикселем проектора. В действительности, эти два пикселя могут отличаться по размеру или по точному местоположению. Однако, связь остается простой задачей преобразования (T) и масштабирования (S). Она выполняется в процессоре 8.

Задача преобразования может также выполняться механически, снабжая проектор или камеру средством для преобразования данных датчика или проецирования поверхности в направлениях x и y.

При наличии на фиг. 9 общих оптических элементов и, в частности, общего элемента, обеспечивающего пленоптическую функцию, массив 7 микролинз увеличивает соответствие между оптическими путями записи и проецирования изображения, упрощая, таким образом, обработку.

На фиг. 10 представлен способ определения требуемого преобразования и коэффициентов масштабирования.

На фиг. 10 показано испытательное изображение T, это испытательное изображение T записывается камерой 3, которая посылает данные записанного изображения на процессор 8; процессор 8 применяет начальное преобразование T и S, найденное, например, посредством предшествующего слежения за оптическим путем, сформированным компьютером, предполагающим известные функции камеры и проектора, к данным и отправляет их на проектор 4. Спроецированное изображение сравнивается с испытательным изображением, которое может быть снято, например, отдельной камерой, способной записывать как гиперспектральное, так и спроецированное изображение. Если испытательное изображение и спроецированное изображения совпадают, то используются предварительно установленные значения для T и S, если они не совпадают, значения T и S варьируются до тех пор, пока испытательное изображение и спроецированное изображение не совпадут. Это один из способов нахождения значений T и S. На фиг. 10 показан способ совмещения камеры светового поля и проектора светового поля для системы согласно изобретению, в котором регулируются коэффициенты преобразования Т и масштабирования S, чтобы совместить испытательное изображение T со спроецированным изображением светового поля. Эта процедура испытания и совмещения делается в предпочтительных способах согласно изобретению перед съемкой изображений светового поля и спроецированных изображений светового поля.

В итоге из