Голографические пользовательские интерфейсы для медицинских процедур

Голографические пользовательские интерфейсы для медицинских процедур

Иллюстрации

Показать все

Реферат

Перекрестная ссылка на родственные заявки

По настоящей заявке испрашивается приоритет предварительной заявки США номер 61/549273, поданной 20 октября 2011 г., полное раскрытие которой настоящим включено в настоящее описание посредством ссылки во всей полноте.

Область техники, к которой относится изобретение

Настоящее раскрытие относится к медицинским системам, устройствам и способам и, более конкретно, к системам, устройствам и способам, относящимся к интеграции данных голографических изображений с другой информацией для повышения точности и эффективности в медицинских применениях.

Уровень техники

Были исследованы автостереоскопические устройства отображения (ASD) для трехмерной (3D) визуализации на двумерной (2D) панели без необходимости в пользовательских очках. Однако, разрешение и время обработки ограничивают возможность построения с помощью данной технологии высококачественных изображений. Кроме того, данные устройства отображения обычно ограничены 2D плоскостью (например, не дают возможности врачу перемещать или вращать устройство отображения, для того чтобы видеть данные с различных ракурсов). Хотя различные ракурсы могут быть обеспечены с ограниченным полем обзора, поле обзора для данного типа устройств отображения продолжает страдать от нарушения параллакса движения.

Аналогично, пользовательский ввод для управления объектами данных в значительной степени ограничен преобладающими 2D механизмами, например мышами, планшетами, клавиатурами, сенсорными панелями, слежением с помощью камеры и т.д. Соответственно, имеет место необходимость в системе, устройстве и способе, как раскрыто и описано в настоящем документе, которые могут применяться для преодоления вышеуказанных недостатков.

Раскрытие изобретения

В соответствии с настоящими принципами система интерактивного голографического отображения включает в себя модуль создания голограммы, сконфигурированный так, чтобы отображать голографически построенное анатомическое изображение. Система определения местоположения сконфигурирована так, чтобы определять контролируемое пространство на голографически построенном анатомическом изображении или поблизости от него. Положение и ориентация одного или более контролируемых объектов контролируются системой определения местоположения, так что совпадение пространственных точек между контролируемым пространством и одним или более контролируемыми объектами вызывает отклик на голографически построенном анатомическом изображении.

Другая система интерактивного голографического отображения включает в себя процессор и память, связанную с процессором. Модуль создания голограммы содержится в памяти и сконфигурирован так, чтобы отображать голографически построенное анатомическое изображение в виде голограммы в воздухе или на голографическом устройстве отображения. Система определения местоположения сконфигурирована так, чтобы определять контролируемое пространство на голографически построенном анатомическом изображении или поблизости от него. Положение и ориентация одного или более контролируемых объектов контролируются системой определения местоположения, так что совпадение пространственных точек между контролируемым пространством и одним или более контролируемыми объектами вызывает отклик на голографически построенном анатомическом изображении, причем данный отклик на голографически построенном анатомическом изображении включает одно или более из: сдвига или вращения голографически построенного анатомического изображения, коррекции увеличения голографически построенного анатомического изображения, нанесения обозначений на голографически построенное анатомическое изображение и генерирования обратной связи.

Способ взаимодействия с голографическим устройством отображения включает в себя: отображение голографически построенного анатомического изображения; определение местоположения контролируемого пространства на голографически построенном анатомическом изображении или поблизости от него для определения области взаимодействия; контроль положения и ориентации одного или более контролируемых объектов системой определения местоположения; определение совпадения пространственных точек между контролируемым пространством и одним или более контролируемыми объектами; и, если определено совпадение, вызывание отклика на голографически построенном анатомическом изображении.

Эти и другие цели, признаки и преимущества настоящего раскрытия будут понятны из следующего подробного описания его иллюстративных вариантов осуществления, которое следует читать в связи с прилагаемыми чертежами.

Краткое описание чертежей

Настоящее раскрытие подробно представляет следующее описание предпочтительных вариантов осуществления со ссылкой на следующие чертежи, причем:

Фиг. 1 представляет собой технологическую блок-схему, изображающую систему для взаимодействия с голограммами в соответствии с иллюстративными вариантами осуществления;

Фиг. 2 представляет собой перспективный вид голограммы, построенной с картой данных или наложением на нее в соответствии с иллюстративным вариантом осуществления;

Фиг. 3 представляет собой блок-схему, изображающую иллюстративную последовательность действий для отображения карты данных или наложения на голографическом изображении в соответствии с иллюстративным вариантом осуществления;

Фиг. 4 представляет собой блок-схему, изображающую иллюстративную систему и последовательность действий для отображения статических или анимированных объектов на голографическом изображении в соответствии с иллюстративным вариантом осуществления;

Фиг. 5 представляет собой схему, изображающую иллюстративное изображение отображения меню объектов для выбора виртуальных объектов во время процедуры для отображения на голографическом изображении в соответствии с иллюстративным вариантом осуществления;

Фиг. 6 представляет собой блок-схему, изображающую иллюстративную систему для управления роботом с помощью голографического изображения в соответствии с иллюстративным вариантом осуществления;

Фиг. 7 представляет собой блок-схему, изображающую иллюстративную систему, которая использует тактильную обратную связь с голографическим изображением, в соответствии с иллюстративным вариантом осуществления;

Фиг. 8 представляет собой схему, изображающую множество видов, обеспечиваемых в различных ракурсах в иллюстративной системе для отображения голографического изображения или тому подобного в соответствии с одним вариантом осуществления;

Фиг. 9 представляет собой блок-схему, изображающую иллюстративную систему для управления роботом удаленно через сеть с помощью голографического изображения в соответствии с иллюстративным вариантом осуществления; и

Фиг. 10 представляет собой технологическую схему, изображающую способ взаимодействия с голограммой в соответствии с иллюстративным вариантом осуществления.

Осуществление изобретения

В соответствии с настоящими принципами описаны системы, устройства и способы, которые применяют технологию голографического отображения для медицинских процедур. Ее можно реализовывать с помощью голографических 3D-технологий (например, голограмм в воздухе) и чувствительных к 3D-вводу в реальном времени способов, таких как оптическое определение формы, для обеспечения большей степени взаимодействия между человеком и данными во время процедуры. Применение голографической технологии с другими технологиями может упрощать выполнение процедуры, выбор инструмента и манипуляцию в анатомической области исследования. Такие иллюстративные варианты осуществления, описанные в настоящем документе, могут использовать голографические 3D-устройства отображения для визуализации в реальном времени объемных массивов данных с иллюстративными способами определения местоположения для определения движений в свободном пространстве во время клинической процедуры, тем самым предлагая новые способы взаимодействия между человеком и данными в интервенционном наборе.

В одном иллюстративном варианте осуществления 3D-голография может быть использована для объединения анатомических данных с функциональной визуализацией и "сенсорной" информацией. Четвертое измерение (например, время, цвет, текстура и т.д.) можно использовать для того, чтобы представлять динамическое мультимодальное 3D-представление состояния исследуемого объекта (например, органа). Отображение может осуществляться (почти) в реальном времени и использовать кодируемую цветом визуальную информацию и/или тактильную обратную связь/тактильную информацию, например для того, чтобы передавать различные эффекты состояний голографически отображаемого исследуемого объекта. Такая информация может включать морфологическую информацию о мишени, функциональную информацию об исследуемом объекте (например, поток, сократимость, биомеханический или химический состав ткани, напряжение, температуру, pH, pO₂, pCO₂ и т.д.) или измеренные изменения свойств мишени вследствие взаимодействия между мишенью и доставляемым препаратом. Иллюстративное голографическое 3D-устройство отображения может быть видно под (практически) любым углом/направлением, так что, например, несколько пользователей одновременно могут взаимодействовать с одними и теми же восприятием и информацией. Альтернативно, можно одновременно отображать различную информацию разным пользователям, находящимся в помещении, как например посредством отображения различной информации на каждой грани куба или многогранника.

В одном варианте осуществления можно "прикасаться" или как-либо еще взаимодействовать с конкретной областью исследования на голографическом 3D-устройстве отображения (например, с помощью одного или более пальцев, виртуальных приспособлений или материальных инструментов, которые отслеживают в том же самом пространстве взаимодействия), и характеристики ткани становятся доступными и отображаются на 3D-голограмме. Такое "прикосновение" можно также использовать для того, например, чтобы вращать виртуальный орган, масштабировать, помечать точки в 3D, прочерчивать схему пути и траектории (например, для обработки, нацеливания и т.д.), выбирать критические зоны, которые не следует затрагивать, выдавать аварийные сигналы и помещать виртуальные объекты (например, имплантаты) в 3D в отображаемую анатомическую 3D-область.

Иллюстративные варианты осуществления в соответствии с настоящим раскрытием можно также использовать для того, чтобы облегчать удаленную процедуру (например, когда практикующий специалист "воздействует" на виртуальный орган, а робот одновременно или последовательно осуществляет процедуру на реальном органе), для отработки процедуры до осуществления реальной процедуры в условиях тренировки или симуляции и/или для того, чтобы рассматривать/исследовать/изучать процедуру после ее осуществления (например, посредством записи данных, хранения и воспроизведения голографического 3D-отображения и любых связанных мультимодальных сигналов, относящихся к клинической процедуре).

Иллюстративные варианты осуществления в соответствии с настоящим раскрытием далее описаны в настоящем документе со ссылкой на прилагаемые чертежи. Притом, что такие иллюстративные варианты осуществления в основном описаны по отдельности друг от друга (например, для облегчения представления и восприятия), среднему специалисту в данной области техники при рассмотрении идей настоящего описания ясно, что такие иллюстративные варианты осуществления можно использовать независимо и/или в комбинации друг с другом. Более того, воплощение и применение иллюстративных вариантов осуществления, описанных в настоящем документе, включая их комбинации и варианты, которые рассматриваются как часть настоящего раскрытия, могут зависеть от, например, конкретного лабораторного или клинического использования/применения, интеграции с другими родственными технологиями, доступных ресурсов, окружающих условий и т.д. Соответственно, ничего в настоящем раскрытии не следует интерпретировать как ограничение объекта, раскрытого в настоящем описании.

Голографическое 3D-устройство отображения в реальном времени в соответствии с настоящими принципами может включать ввод с шестью степенями свободы (DOF) в реальном времени посредством технологии определения местоположения, внедренной в устройство взаимодействия данных (например, тактильное устройство для сенсорной обратной связи). Также можно использовать систему визуализации/контроля для получения многомерных данных. Могут быть обеспечены линии передачи данных между голографическим устройством отображения, системой определения местоположения/устройством взаимодействия и системой визуализации/контроля для коммуникации между данными системами. В одном варианте осуществления устройства отображения, устройства обратной связи, устройства определения местоположения, устройства измерения могут быть использованы или интегрированы с вычислительной рабочей станцией для содействия принятию решений и библиотеками данных с информацией о случаях, которые можно динамически обновлять/запрашивать во время прямой трансляции случая, для тренировки/обучения/руководства процедурой (например, на предмет нахождения аналогичных архивированных клинических случаев, имеющих отношение к процедуре и подвергаемому лечению пациенту).

Следует понимать, что настоящее изобретение описано в терминах медицинских инструментов; однако, идеи настоящего изобретения гораздо шире и применимы к любым системам, которые могут получать преимущество от голографической визуализации. В некоторых вариантах осуществления настоящие принципы используются при отслеживании или анализе сложных биологических или механических систем. В частности, настоящие принципы применимы к процедурам внутреннего слежения в биологических системах, процедурам во всех областях тела, таких как легкие, желудочно-кишечный тракт, выделительные органы, кровеносные сосуды и т.д. Элементы, изображенные на чертежах, могут быть воплощены в различных комбинациях аппаратного обеспечения и программного обеспечения и предоставляют функции, которые могут быть объединены в одном элементе или многих элементах.

Функции различных элементов, показанных на чертежах, могут предоставляться посредством применения специализированного аппаратного обеспечения, а также аппаратного обеспечения, способного к выполнению программного обеспечения в связи с подходящим программным обеспечением. При обеспечении посредством процессора функции могут обеспечиваться посредством одного специализированного процессора, одного совместно используемого процессора или посредством множества отдельных процессоров, некоторые из которых могут быть совместно используемыми. Кроме того, явное использование термина "процессор" или "контроллер" не следует интерпретировать как относящееся исключительно к аппаратному обеспечению, способному к выполнению программного обеспечения, и оно может неявно включать, без ограничения, аппаратное обеспечение цифрового сигнального процессора ("DSP"), доступную только для чтения память ("ROM") для хранения программного обеспечения, память с произвольным доступом ("RAM"), энергонезависимое устройство хранения и т.д.

Кроме того, предполагается, что все утверждения настоящего описания, перечисляющие принципы, аспекты и варианты осуществления настоящего изобретения, а также их конкретные примеры, охватывают как их структурные, так и функциональные эквиваленты. Кроме того, предполагается, что такие эквиваленты включают как известные в настоящее время эквиваленты, так и эквиваленты, которые будут разработаны в будущем (т.е. любые разрабатываемые элементы, которые осуществляют ту же функцию, независимо от структуры). Таким образом, например, специалистам в данной области техники ясно, что блок-схемы, представленные в настоящем описании, представляют концептуальные виды иллюстративных компонентов системы и/или схему, воплощающую принципы настоящего изобретения. Аналогично, следует понимать, что любые карты технологического процесса, технологические схемы и тому подобное представляют различные процессы, которые могут быть по существу представлены в машиночитаемых средах для хранения и вследствие этого выполнены компьютером или процессором, показан ли явно такой компьютер или процессор или нет.

Кроме того, варианты осуществления настоящего изобретения могут принимать форму компьютерного программного продукта, доступного на используемой компьютером или машиночитаемой среде для хранения, предоставляющей программный код для использования посредством компьютера или любой системы выполнения команд или в соединении с ними. Для целей настоящего описания используемая компьютером или машиночитаемая среда для хранения может представлять собой любое приспособление, которое может содержать, хранить, сообщать, распространять или передавать программу для использования посредством системы, приспособления или устройства выполнения команд или в соединении с ними. Среда может представлять собой электронную, магнитную, оптическую, электромагнитную, инфракрасную или полупроводниковую систему (или приспособление или устройство) или среду распространения. Примеры машиночитаемой среды включают полупроводниковую или твердотельную память, магнитную ленту, сменную компьютерную дискету, память с произвольным доступом (RAM), доступную только для чтения память (ROM), жесткий магнитный диск и оптический диск. Современные примеры оптических дисков включают компакт-диск с доступной только для чтения памятью (CD-ROM), компакт-диск с возможностью перезаписи (CD-R/W), Blu-Ray™ и DVD.

Если теперь обратиться к чертежам, на которых одинаковые номера представляют одни и те же или аналогичные элементы, и, в первую очередь, к Фиг. 1, то на ней иллюстративно показана система 100 для создания и взаимодействия с голографическими изображениями в соответствии с одним вариантом осуществления. Система 100 может включать в себя рабочую станцию или консоль 112, с которой наблюдают за процедурой и/или управляют ею. Рабочая станция 112, предпочтительно, включает в себя один или более процессоров 114 и память 116 для хранения программ и приложений. Память 116 может хранить модуль 115 создания голограммы, сконфигурированный так, чтобы строить голографическое изображение на устройстве 158 отображения или в воздухе в зависимости от применения. Модуль 115 создания голограммы кодирует данные изображения для создания трехмерной голограммы. Кодирование может передавать голограмму на 2D-устройство отображения, или в 3D-среды, или 3D-устройство отображения. В одном примере данные от 3D-визуализации, например компьютерной томографии, ультразвука, магнитного резонанса, можно трансформировать в голограмму с применением пространственного распределения и интенсивности света для построения голограммы.

Система 120 определения местоположения включает в себя систему координат 122, в которой построено голографическое изображение или голограмма 124. Систему 120 определения местоположения можно также использовать для того, чтобы регистрировать контролируемый объект 128, который может включать виртуальные инструменты, которые создаются и управляются по отдельности, реальные инструменты, руки, пальцы или другие анатомические части врача и т.д. Система 120 определения местоположения может включать электромагнитную следящую систему, систему измерения формы, такую как волоконно-оптическая система измерения формы, оптическую измерительную систему, включая светочувствительные датчики и матрицы, или другую измерительную модальность и т.д. Систему 120 определения местоположения используют для определения пространственных областей на голограмме или голографическом изображении 124 и поблизости от него, для того чтобы делать возможным вызывание различных функций или действий в результате движения в области голограммы 124. Например, динамическое местоположение рук врача можно отслеживать с помощью волоконно-оптического устройства измерения формы. Когда руки врача входят в такое пространство, например контролируемое пространство 126 поблизости от проецируемой голограммы 124, интенсивность голограммы может повышаться. В другом примере движение руки врача может использоваться для изменения положения или ориентации голограммы 124 в пространстве или для того, чтобы как-либо иначе взаимодействовать с голограммой 124.

Контролируемый объект или измерительную систему 128 можно контролировать в пространстве относительно голограммы 124 или пространства 126 поблизости от голограммы 124. Контролируемый объект 128 может включать руки врача, реальное или виртуальное приспособление, другую голограмму и т.д. Контролируемый объект 128 может включать датчик или датчики 132, приспособленные для контроля положения контролируемого объекта 128, так что когда объект или его часть расположены в пределах голограммы 124 или пространства 126 поблизости от голограммы 124, происходит реакция, которая соответствует типу контролируемого объекта 128 и действию, которое осуществлено или должно быть осуществлено контролируемым объектом 128. Датчик или датчики 132 могут включать ЭМ-датчики, волоконно-оптические датчики формы и т.д.

В одном варианте осуществления датчики 132 включают волоконно-оптические датчики формы. Можно использовать модуль 134 интерпретации информации от датчиков, для того чтобы интерпретировать сигналы обратной связи от устройства или системы (132) измерения формы. Модуль 134 интерпретации сконфигурирован так, чтобы использовать сигнальную обратную связь (и любую другую обратную связь, например оптическую, электромагнитное (ЭМ) слежение и т.д.) для реконструирования движения, отклонения и других изменений, связанных с контролируемым объектом 128, который может включать медицинское устройство или инструмент, виртуальные приспособления, анатомические элементы человека и т.д. Медицинское устройство может включать катетер, направитель, зонд, эндоскоп, робот, электрод, фильтрующее устройство, баллонное устройство или другой медицинский компонент и т.д.

Система (132) измерения формы может включать в себя одно или более оптических волокон, которые связаны с контролируемым объектом 128 по установленной схеме или схемам. Оптические волокна соединяются с рабочей станцией 112 посредством кабельной системы 127. Кабельная система 127 может включать волоконную оптику, электрические соединения, другое оборудование и т.д. по необходимости.

Система (132) измерения формы может быть основана на датчиках на волоконно-оптической брэгговской решетке. Волоконно-оптическая брэгговская решетка (ВБР) представляет собой короткий сегмент оптического волокна, который отражает определенные длины волн света и пропускает все остальные. Это достигается посредством внесения периодических изменений коэффициента преломления сердцевины волокна, что создает специфическое к длине волны диэлектрическое зеркало. Волоконную брэгговскую решетку можно поэтому использовать в качестве встроенного оптического фильтра для блокировки определенных длин волн или в качестве специфического к длине волны отражателя.

Фундаментальным принципом, лежащим в основе работы волоконной брэгговской решетки, является отражение Френеля на каждой из границ раздела, на которых изменяется коэффициент преломления. Для некоторых длин волн отраженный свет различных периодов находится в фазе, так что имеет место усиливающая интерференция для отражения и, в связи с этим, ослабляющая интерференция для пропускания. Брэгговская длина волны чувствительна к напряжению, а также к температуре. Это означает, что брэгговские решетки можно применять в качестве чувствительных элементов в волоконно-оптических датчиках. В ВБР-датчике измеряемая величина (например, напряжение) вызывает сдвиг брэгговской длины волны.

Одним преимуществом данного метода является то, что различные элементы датчика можно распределять по длине волокна. Включение трех или более сердцевин с различными датчиками (размерами) вдоль длины волокна, которое встроено в структуру, позволяет точно определять трехмерную форму такой структуры, как правило с точностью, превышающей 1 мм. Вдоль длины волокна в различных положениях можно располагать множество ВБР-датчиков (например, 3 или более чувствительных сердцевин волокон). Из измерения напряжения каждой ВБР можно определять кривизну структуры в данном положении. Из множества измеренных положений определяют общую трехмерную форму.

В качестве альтернативы волокно-оптическим брэгговским решеткам можно использовать обратное рассеяние, присущее обычному оптическому волокну. Один из таких подходов заключается в использовании рэлеевского рассеяния в стандартном одномодовом коммуникационном волокне. Рэлеевское рассеяние происходит в результате случайных флуктуаций коэффициента преломления в сердцевине волокна. Данные случайные флуктуации можно моделировать брэгговской решеткой с случайным изменением амплитуды и фазы вдоль длины решетки. Посредством использования данного эффекта в трех или более сердцевинах, проложенных по одной длине многожильного волокна, можно следить за 3D-формой и динамикой исследуемой поверхности.

В одном варианте осуществления рабочая станция 112 включает в себя модуль 148 создания изображения, сконфигурированный так, чтобы принимать обратную связь от системы 132 измерения формы или другого датчика для определения взаимодействий с голограммой 124. Системе 120 определения местоположения известно положение и состояние голограммы 124 и окружающего ее пространства 126. Когда контролируемый объект 128 входит в пространство 126 или совпадает с положениями голограммы 124, что определяется модулем 142 сравнения, вызывается действие в зависимости от типа движения, типа контролируемого объекта 128, типа процедуры или активности и/или любых других критериев. Модуль 142 сравнения информирует модуль 115 создания голограммы, что необходимо изменение. Модуль 115 создания голограммы перекодирует данные изображения, которые обрабатываются и выводятся на модуль 148 создания изображения, который обновляет голограмму 124 в соответствии с установленными критериями.

В иллюстративных вариантах осуществления голограмма 124 может включать в себя внутренний орган, построенный на основании 3D-изображений 152 пациента или субъекта 150. Изображения 152 можно получать от пациента 150 до операции с применением системы 110 визуализации. Следует отметить, что система 110 визуализации и пациент 150 не обязательно должны присутствовать для использования настоящих принципов, поскольку система 100 может быть использована в любое время для тренировки, анализа или других целей. В данном примере врач использует пару перчаток с расположенными на них датчиками 132. Когда перчатки/датчики 132 входят в пространство 126 и совпадают с голограммой 124, врач имеет возможность вращать или перемещать голограмму 124. В другом варианте осуществления перчатки включают в себя тактильное устройство 156, которое обеспечивает тактильную обратную связь в зависимости от положения перчаток/датчиков относительно голограммы 124 или пространства 126. В других вариантах осуществления тактильная обратная связь указывает на тип ткани, соответствующий голограмме 124 и ее представлению. Тактильное устройство или система 156 может включать в себя источники ультразвука, громкоговорители или другие источники вибраций для передачи отличий состояния голограммы 124 с помощью вибраций или звука.

Устройство 118 отображения и/или устройство 158 отображения могут также позволять пользователю взаимодействовать с рабочей станцией 112, голограммой 124 и ее компонентами и функциями или любыми другими элементами в системе 100. Это дополнительно облегчается интерфейсом 130, который может включать в себя клавиатуру, мышь, джойстик, тактильное устройство или любое другое периферийное или управляющее устройство для обеспечения пользователя обратной связью с рабочей станцией 112 и для взаимодействия с ней.

В одном варианте осуществления пользователь (практикующий специалист, хирург, исследователь и т.д.) может прикасаться (или осуществлять иное взаимодействие) к конкретной области исследования (ROI) 154 на голографическом 3D-устройстве 158 отображения или голограмме 124 на голографическом 3D-устройстве отображения (или где-либо еще) для отображения дополнительной информации, связанной с выбранной конкретной областью исследования, например характеристик ткани, таких как температура, химический состав, генетическая сигнатура, давление, степень кальцификации и т.д. Наложение информации можно отображать или представлять на отдельном иллюстративном 2D-устройстве (118) отображения, причем части 2D-устройства отображения могут быть прозрачными, например для лучшей визуализации отображаемой информации. Также возможно, что иллюстративное 2D-устройство 118 отображения представляет или отображает другую графику и текст с высоким разрешением (например, в иллюстративных вариантах осуществления, когда 3D-устройство отображения может иметь относительно низкое или ограниченное разрешение).

Другие варианты осуществления могут обеспечивать практикующего специалиста (например, доктора) "не требующим наклона головы" устройством отображения (в качестве устройства 158 отображения) или в качестве комбинированного устройства отображения (118 и 158), для того чтобы размещать отображение/представление такой дополнительной информации. Кроме того, на голографическом 3D-устройстве 158 отображения или голограмме 124 могут автоматически выделяться и/или обводиться другие зоны или области исследования 154. Такие другие зоны исследования могут представлять собой, например, зоны, которые имеют характеристики, аналогичные выбранной зоне исследования, и/или как-либо еще связанные зоны.

В соответствии с еще одним иллюстративным вариантом осуществления голографическое 3D-устройство 158 отображения или голограмма 124 могут использоваться со слежением за пользователем с шестью степенями свободы (6DOF), например с помощью инструментов 132 с поддержкой формы и/или с помощью основанных на камерах датчиков 137, делающим возможным применение в качестве пользовательского интерфейса при 3D- и в реальном времени 6DOF-взаимодействии с пользователем. Например, пользователю (например, практикующему специалисту) предоставлена возможность прикасаться к виртуальному органу, отображаемому в виде голографического 3D-изображения 124. Пользователь может вращать, масштабировать с увеличением/уменьшением (например, изменяя увеличение изображения), помечать точки в 3D, прочерчивать схему пути и/или траектории, выбирать (критические) зоны, которые не следует затрагивать, выдавать аварийные сигналы, вставлять виртуальные имплантаты и управлять их ориентацией в 3D в анатомической области и т.д. Данные функции осуществляют с применением системы (систем) определения местоположения 120 и системы или модуля 148 создания изображения, работающих в связи с голографическими данными, отображаемыми для получения голограммы 124.

Можно создавать и помещать на голографическое 3D-устройство 158 отображения или голограмму 124 исходные точки 162 посредством касания (и/или постукивания, захвата и т.д.) части устройства 158 отображения или голограммы 124. Исходные точки 162 могут использоваться для, например, активации виртуальных камер, которые могут обеспечивать отдельно настраиваемые ракурсы обзора (например, ориентацию, масштаб, разрешение и т.д.), которые можно передавать потоком (или передавать иным образом) на отдельное 2D-устройство 118 отображения высокого разрешения.

Функцию управления касанием можно использовать для создания или помещения виртуальных исходных точек 162 на 3D-устройстве 158 отображения для различных задач, например инициализации сегментации, моделирования, совмещения или другого вычисления, визуализации, стадии планирования и т.д. В дополнение к использованию голографического 3D-устройства 158 отображения или голограммы 124 для отображения данных анатомической области, устройство отображения можно также использовать для отображения кнопок, выпадающих меню, указателей/рамок, необязательных функций и т.д., позволяющих пользователям взаимодействовать с системой и/или любым компьютером, включенным в нее или соединенным с ней (например, соединенному непосредственно или через интернет или другую сеть), и давать им команды.

В другом варианте осуществления для приема вербальной информации для соединения, управления, взаимодействия и т.д. с иллюстративным голографическим 3D-устройством 158 отображения или голограммой 124 посредством управляемых голосом команд можно использовать микрофон 164. Может предлагаться механизм 166 распознавания речи для преобразования голосовых команд в программные команды, для того чтобы позволять пользователю (например, хирургу) взаимодействовать с голографическим 3D-устройством 158 отображения или голограммой 124 без необходимости использования своих рук. Например, пользователь может сказать "SHOW LAO FORTY", и отображаемый объем на голографическом изображении будет поворачиваться на соответствующий угол, для того чтобы обеспечить пользователю требуемый вид. Другие команды могут лежать в диапазоне от относительно простых, таких как "масштабировать", за чем следует определенное количество, например "в 3 раза", или таких, чтобы отображать конкретную (дополнительную) информацию, до более сложных команд, которые, например, могут быть связаны с определенной операцией или процедурой.

В соответствии с другим вариантом осуществления режим записи может быть предусмотрен в памяти 116 и сделан доступным для, например, воспроизведения случая на том же устройстве для повтора в режиме полного 3D и/или на обычных (2D или 3D) устройствах просмотра с автоматическим преобразованием записанных 3D-кадров в множество ракурсов обзора в 2D (или во вращающиеся 3D-модели, например на языке моделирования виртуальной реальности (VRML)). Информационные соединения между голографическим устройством 158 отображения и записями, заархивированными в библиотеке/базе данных 168, такой как система архивирования и передачи изображений (PACS), радиологические информационные системы (RIS) или другая система электронных медицинских записей, можно использовать для облегчения, например, визуализации и диагностической интерпретации/анализа данных. Записи можно повторять и использовать, например, в процессах обучения и тренировки, как, например, для того, что обучать или тренировать других в индивидуальных условиях (например, когда пользователь хочет пересмотреть запись осуществленной процедуры), в условиях малых групп (например, с коллегами и/или руководством), в относительно больших классах, на лекциях и т.д. Такие иллюстративные записи можно также использовать для маркетинговых презентаций, в условиях исследований и т.д. и можно также использовать для оценки качества и государственной экспертизы, например оценки процесса или экспертизы процедур руководством больницы, сторонними страховыми организациями, инвесторами, Управлением по контролю качества пищевых продуктов и лекарственных средств (FDA) и/или другими контролирующими органами. Виртуальные камеры можно использовать для захвата или записи с множества точек обзора/углов и создания множества 2D-выводов для, например, видеозахвата или одновременного отображения изображений на различных телевизионных 2D-экранах или мониторах (или их участках).

Если обратиться к Фиг. 2, в другом варианте осуществления трехмерную (3D) голографию можно использовать для отображения объемных данных анатомической области (например, из 3D КТ-сканирования), например для объединения анатомических данных с функциональной визуализацией и "сенсорной" информацией, а также временной (относящейся ко времени) информацией. Информацию можно использовать для создания (генерирования, получения, отображения и т.д.) динамического мультимодального 3D-представления 202 (например, голограммы) объекта (например, органа) и ег