Устройство, способ и система обеспечения увеличенного дисплея с использованием шлема-дисплея

Устройство, способ и система обеспечения увеличенного дисплея с использованием шлема-дисплея

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Описанные здесь варианты осуществления относятся к отображению информации с помощью мультидисплейной системы и, более конкретно, к отображению информации с помощью мультидисплейной системы, состоящей из шлема-дисплея, который должен использоваться вместе с физическим дисплеем системы.

Уровень техники

Создаваемая компьютером информация относится к информации, которая формируется или обрабатывается или формируется и обрабатывается настольной или портативной компьютерной системой. Физический дисплей является физической выходной поверхностью компьютера и проекционным механизмом, показывающим пользователю компьютерной системы формируемую компьютером информацию, такую как текст, видео и графические изображения, используя электронно-лучевую трубку (CRT), жидкокристаллический дисплей (LCD), светодиод, газовую плазму или другие технологии проецирования изображений.

Мультидисплейная система является системой, использующей по меньшей мере два физических дисплея для показа пользователю сформированной компьютером информации. В частности, мультидисплейная система заставляет многочисленные физические дисплеи работать совместно, чтобы имитировать единый физический дисплей, называемый расширенным рабочим столом. Мультидисплейная система может показывать пользователю больше сформированной компьютером информации, чем традиционная однодисплейная система, предлагая увеличенную площадь отображения. К преимуществам мультидисплейных систем относятся предоставление пользователям возможности повышения их рабочей эффективности за счет увеличенной площади отображения, которая уменьшает помехи и улучшает работу в многозадачном режиме.

Обычно использование мультидисплейных систем ограничивается небольшим поднабором фиксированных местоположений, поскольку два или более физических дисплеев не могут легко переноситься или транспортироваться. Существуют несколько мультидисплейных систем с двумя или более физическими дисплеями, предлагающих пользователям мобильность, однако, их мобильность остается недостаточно оптимальной. Кроме того, некоторые мультидисплейные системы требуют от пользователей большого расхода объема ресурсов. Например, использование мультидисплейных систем с многочисленными физическими дисплеями (например, в диапазоне от десятков до тысяч 15-тидюймовых LCD) требует большого объема помещений и энергии.

Пользователи настольных компьютерных систем, а также пользователи, работающие на портативных компьютерных системах, таких как переносные компьютеры, ноутбуки, портативные устройства и мобильные телефоны, имеют несколько вариантов, позволяющих развертывание одного или более дисплеев. Тем не менее, недостаточная мобильность, описанная выше, а также огромные затраты, связанные с использованием мультидисплейных систем, продолжают присутствовать.

Краткое описание чертежей

Настоящее изобретение иллюстрируется в качестве примера и не ограничивается сопроводительными чертежами, где схожие ссылочные позиции указывают схожие элементы и где:

фиг. 1 - примерная мультидисплейная система по меньшей мере с одним физическим дисплеем и по меньшей мере одним виртуальным дисплеем, который обеспечивается шлемом-дисплеем;

фиг. 2 - упрощенное схематичное изображение примерной мультидисплейной системы для реализации показа пользователю сформированной компьютером информации с помощью по меньшей мере одного физического дисплея и по меньшей мере одного виртуального дисплея, обеспечиваемого виртуальным шлемом-дисплеем;

фиг. 3А - блок-схема последовательности выполнения операций примерного способа показа пользователю сформированной компьютером информации с помощью мультидисплейной системы, содержащей по меньшей мере один физический дисплей и по меньшей мере один виртуальный дисплей, обеспечиваемый шлемом-дисплеем;

фиг. 3В - блок-схема последовательности выполнения операций для дополнительных признаков способа показа пользователю сформированной компьютером информации с помощью мультидисплейной системы, содержащей по меньшей мере один физический дисплей и по меньшей мере один виртуальный дисплей, обеспечиваемый шлемом-дисплеем;

фиг. 4 - примерная мультидисплейная система по меньшей мере с одним физическим дисплеем и по меньшей мере одним виртуальным дисплеем, обеспечиваемым шлемом-дисплеем; и

фиг. 5 - блок-схема примерной системы обработки для реализации способа показа пользователю сформированной компьютером информации с помощью мультидисплейной системы, содержащей по меньшей мере один физический дисплей и по меньшей мере один виртуальный дисплей, обеспечиваемый шлемом-дисплеем.

Подробное описание

Описанные здесь варианты осуществления показывают пользователю сформированную компьютером информацию, используя мультидисплейную систему, содержащую физический дисплей и по меньшей мере один виртуальный дисплей, обеспечиваемый шлемом-дисплеем.

В примерном варианте осуществления обеспечивается шлем-дисплей для отображения сформированной компьютером информации совместно с физическим дисплеем компьютерной системы. Шлем-дисплей содержит логику формирования, прозрачный дисплей и блок презентации. Логика формирования используется для формирования по меньшей мере одного виртуального изображения. Блок презентации используется для представления по меньшей мере одного виртуального изображения на прозрачном дисплее. Прозрачный дисплей выполнен с возможностью просмотра пользователем по меньшей мере одного виртуального изображения и физического изображения в реальной сцене. По меньшей мере одно виртуальное изображение представляется на прозрачном дисплее в качестве дополнительного объекта в реальной сцене и по меньшей мере один виртуальный дисплей используется вместе с физическим дисплеем, чтобы представлять сформированную компьютером информацию на расширенном рабочем столе с визуальной точки зрения пользователя.

Преимуществом одного или более вариантов осуществления мультидисплейной системы, содержащей физический дисплей и по меньшей мере один виртуальный дисплей, обеспечиваемый шлемом-дисплеем, является решение проблемы снижения мобильности и повышенного потребления ресурсов, свойственной традиционным мультидисплейным системам, использующим два и более физических дисплеев.

Термин "сформированная компьютером информация", как он используется здесь, относится к информации, которая формируется и/или обрабатывается компьютерной системой.

Термин "рабочий стол", как он используется здесь, относится к среде взаимодействия "человек-интерфейс", через которую пользователи могут запускать, взаимодействовать и управлять приложениями, настройками и/или данными и т.д. Рабочие столы используются для представления пользователям сформированной компьютером информации. Термин "расширенный рабочий стол", как он используется здесь, относится к единому рабочему столу, на котором просматривается более одного физического дисплея/виртуального дисплея.

Термин "физический дисплей", как он используется здесь, относится к компьютерному устройству вывода и проекционному механизму, который показывает сформированную компьютером информацию, такую как текст, видео и графические изображения, используя электронно-лучевую трубку (CRT), жидкокристаллический дисплей (LCD), светодиод (LED), органический светодиод (OLED), дисплей с жидкокристаллическим слоем на кремниевой подложке (LCOS), газовую плазму, ретинальную проекцию или другую проекционную технологию.

Термин "виртуальный дисплей", как он используется здесь, относится к виртуальному объекту, выполненному с помощью компьютерной графики, который имитирует внешний вид и поведение физического дисплея. Виртуальный дисплей действует как рабочий стол, с которой конечный пользователь может взаимодействовать, используя программное обеспечение и/или аппаратурное обеспечение компьютерной системы и/или шлема-дисплея.

Термин "прозрачный дисплей", как он используется здесь, содержит ссылку на физический дисплей, который позволяет пользователю видеть то, что показывается на дисплее, в то же время позволяя пользователю продолжать смотреть сквозь дисплей. Прозрачный дисплей может быть прозрачным или полупрозрачным дисплеем, использующим технологию проекции изображения, такую как CRT, LCD, LED, OLED, LCOS, газовая плазма, технологию ретинальной проекции или другую технологию проекции изображения. Термин "прозрачный дисплей", как он используется здесь, может также относиться к линзе или куску стекла, пластика или другого прозрачного вещества, который помещается непосредственно на человеческий глаз или перед ним и используется для фокусировки, модификации, проекции или рассеивания световых лучей. Термин "прозрачный дисплей", как он используется здесь, может также относиться к линзам или куску стекла, пластика или другого прозрачного вещества, который помещается непосредственно на человеческий глаз или перед ним, который содержит сочетания и/или различные вариации прозрачных или полупрозрачных дисплеев (описанных выше), которые используют технологию проекции изображения.

Термин "шлем-дисплей" относится к носимому устройству, обладающему способностью представления пользователю сформированной компьютером информации (такой как изображения или видео), а также возможностью для пользователя смотреть через него. Шлемы-дисплеи используются для представления пользователям виртуальных объектов, в то же время предоставляя пользователю возможность видеть сцены реального мира. Шлемы-дисплеи представляют пользователям сформированную компьютером информацию по меньшей мере тремя различными способами. Один из типов шлема-дисплея содержит проектор, проецирующий сформированную компьютером информацию на одну или две полупрозрачные линзы, расположенные перед глазами пользователя. Второй тип шлема-дисплея содержит одну или две линзы, расположенные перед глазами пользователя и содержат полупрозрачные физические дисплеи в линзах для представления пользователю сформированной компьютером информации. Полупрозрачные физические дисплеи, входящие в этот тип шлема-дисплея, выполнены по технологии CRT, LCD, LED, OLED, LCOS, газовой плазмы или другой технологии проекции изображения. Другие типы шлемов-дисплеев содержат шлемы-дисплеи, представляющие сформированную компьютером информацию, используя по меньшей мере технологию прямой ретинальной проекции, увеличитель или оптический вторичный объектив, в зависимости от конфигурации оптической системы.

Шлемы-дисплеи можно носить на голове пользователя или как часть головного убора, носимого пользователем. Шлемы-дисплеи, имеющие дисплейную оптику перед одним глазом, известны как монокулярные шлемы-дисплеи, а шлемы-дисплеи, имеющие дисплейную оптику перед каждым глазом, называют бинокулярными шлемами-дисплеями. Шлемы-дисплеи позволяют накладывать виртуальные объекты на сцены реального мира. Это иногда упоминается как скорректированная реальность или смешанная реальность. Объединение видения пользователем реального мира с виртуальными объектами в реальном времени может делаться, представляя виртуальные объекты через полупрозрачные физические дисплеи, позволяющие пользователю видеть виртуальные объекты и реальный мир одновременно. Этот способ часто называют Optical See-Through (сквозным оптическим) и типы шлемов-дисплеев, использующих этот способ, называют оптическими шлемами-дисплеями. Объединение видения пользователем реального мира с виртуальными объектами в реальном времени может также делаться электронно, получая видео от камеры и смешивая его электронным способом с виртуальными объектами. Этот способ часто называют Video See-Through (сквозное видео) и типы шлемов-дисплеев, использующих этот способ, называют видеошлемами-дисплеями

На фиг. 1 представлена мультидисплейная система 100 с физическим дисплеем 103 и по меньшей мере одним виртуальным дисплеем 107А-В. Шлем-дисплей 105 пользователь надевает на себя и использует совместно с компьютерной системой 101. Более конкретно, физический дисплей 103 подключается к компьютерной системе 101 и используется для представления пользователю сформированной компьютером информации в сочетании с шлемом-дисплеем 105. Шлем-дисплей 105 обеспечивает по меньшей мере один виртуальный дисплей 107А-В, который работает вместе с физическим дисплеем 103, чтобы представлять пользователю сформированную компьютером информацию на расширенном рабочем столе. В частности, шлем-дисплей 105 содержит корпус 109 логической схемы, прозрачный дисплей 111 и раму 113. Корпус 109 логической схемы и прозрачный дисплей 111 используются для формирования и представления по меньшей мере одного виртуального дисплея 107А-В, соответственно. Рама 113 может быть использоваться для поддержки сквозного дисплея 111 и корпуса 109 логической схемы. Рама 113 может быть изготовлена из любого материала, обеспечивающего электрические и магнитные соединения между прозрачным дисплеем 111 и корпусом 109 логической схемы.

В корпусе 109 логической схемы, показанном на фиг. 1, располагаются несколько логических блоков, используемых для формирования, конфигурации и представления по меньшей мере одного виртуального дисплея 107А-В, используемого в сочетании с физическим дисплеем 103, для представления пользователю шлемом-дисплеем 105 сформированной компьютером информации. Корпус 109 логической схемы содержит логику формирования (не показана) и блок презентации (не показан).

Логика формирования, находящаяся в корпусе 109 логической схемы, может быть блоком обработки графики (GPU) или другой схемой, которая выполняет и исполняет формирование изображения графики. Например, но не для создания ограничения, логика формирования внутри корпуса 109 логической схемы является блоком GPU, который использует позиционную информацию (описывается ниже), площадь экрана (описывается ниже) и положение поверхности (описывается ниже) физического дисплея 103, чтобы формировать изображение и создавать по меньшей мере один виртуальный дисплей 107А-В. Сформированные виртуальные дисплеи 107А-В являются сформированными компьютером графическими презентациями трехмерного физического дисплея 103. В одном из вариантов осуществления виртуальные дисплеи 107А-В формируются логикой формирования, заключенной внутри корпуса 109 логической схемы, основываясь на позиционной информации, площади экрана и положении поверхности физического дисплея, определенных вычислительной логикой, которая также может присутствовать внутри корпуса 109 логической схемы (описывается ниже).

Прозрачный дисплей 111, показанный на фиг. 1, используется совместно с блоком презентации посредством шлема-дисплея 105, чтобы представлять пользователю шлемом-дисплеем 105 по меньшей мере один виртуальный дисплей 107А-В, который формируется логикой формирования внутри корпуса 109 логической схемы. Прозрачный дисплей 111 представляет пользователю по меньшей мере один виртуальный дисплей 107А-В, в то же время позволяя пользователю видеть физический дисплей 103. По меньшей мере один из виртуальных дисплеев 107А-В действует совместно с физическим дисплеем 103, чтобы представлять сформированную компьютером информацию компьютерной системы 101 на рабочем столе. Этот расширенный рабочий стол является единым рабочим столом, на котором просматриваются виртуальные дисплеи 107А-В и физический дисплей 103.

Как обсуждалось выше, корпус 109 логической схемы, показанный на фиг. 1, также содержит блок презентации. Блок презентации может быть аппаратурным, программным или их сочетанием. Блок презентации или корпус 109 логической схемы совместно используют все данные от других логических блоков, присутствующих в корпусе 109 логической схемы и создают окончательное визуальное представление по меньшей мере одного из виртуальных дисплеев 107А-В и сформированной компьютером информации, полученной из совместных данных. Окончательное визуальное представление виртуальных дисплеев 107А-В и сформированной компьютером информации, которое создается блоком презентации, представляется пользователю шлемом-дисплеем 105 на прозрачном дисплее 111.

Например, и не для целей создания ограничения блок презентации корпуса 109 логической схемы может быть проектором, проецирующим по меньшей мере один визуальный дисплей 107А-В на прозрачный дисплей 111, изготовленный из линзы или куска стекла, пластика или другого прозрачного вещества, которые помещаются на человеческий глаз или перед ним и используются для фокусировки, модификации, проецирования или рассеивания световых лучей. В этом примере спроецированные виртуальные дисплеи 107А-В формируются логикой формирования внутри корпуса 109 логической схемы.

В качестве дополнительного, не создающего ограничений примера блок презентации корпуса 109 логической схемы может быть контроллером дисплея, обрабатывающим по меньшей мере один из виртуальных дисплеев, сформированных логикой формирования корпуса 109 логической схемы, и выводит обработанные результаты, используя прозрачный дисплей 111, такой как виртуальный ретинальный дисплей (VRD), ретинальный сканирующий дисплей (RSD) или ретинальный проектор (RP), чтобы отображать по меньшей мере один из сформированных виртуальных дисплеев непосредственно на сетчатку глаза пользователя шлемом-дисплеем 105.

В качестве другого примера, не создающего ограничений, блок презентации может быть контроллером видеодисплея (VDC), который обрабатывает сформированные виртуальные дисплеи 107А-В логики формирования, расположенной в корпусе 109 логической схемы, и использует обработанные результаты для вывода кадровых буферов на прозрачный дисплей, так чтобы пользователю шлемом-дисплеем 105 предоставлялось видеопрезентация виртуальных дисплеев 107А-В. В качестве еще одного примера, не создающего ограничений, блок презентации может быть видеодисплейным процессором (VDP), который обрабатывает по меньшей мере один из сформированных виртуальных дисплеев 107А-В логики формирования, содержащейся в корпусе 109 логической схемы, и использует эту обработанную информацию для вывода визуальной презентации по меньшей мере одного из визуальных дисплеев 107А-В, который должен показываться пользователю шлемом-дисплеем 105 на прозрачном дисплее 111. В качестве альтернативного примера, блок презентации в корпусе 109 логической схемы может быть формирователем видеосигнала, который выводит визуальную презентацию по меньшей мере одного из виртуальных дисплеев 107А-В на прозрачный дисплей 111 для предоставления пользователю шлемом-дисплеем 105 сформированной компьютером информации.

В некоторых вариантах осуществления по меньшей мере один виртуальный дисплей 107А-В представляется на прозрачном дисплее 111 пользователю, носящему шлем-дисплей 105, в качестве дополнительного объекта с визуальной точки зрения пользователя в сцене реального мира, наблюдаемой пользователем. Для этих вариантов осуществления физический дисплей 103 располагается в сцене реального мира, наблюдаемой пользователем. Например, по меньшей мере один виртуальный дисплей 107А-В может быть представлен на прозрачном дисплее 111 в качестве дополнительного объекта, расположенного по соседству с физическим дисплеем 103 в сцене реального мира с визуальной точки зрения пользователя. Альтернативно, по меньшей мере один виртуальный дисплей 107А-В может быть представлен на прозрачном дисплее 111 в качестве дополнительного объекта, который накладывается на физический дисплей 103 в сцене реального мира с визуальной точки зрения пользователя.

В некоторых вариантах осуществления сформированная компьютером информация показывается пользователю на расширенном дисплее, по меньшей мере на одном виртуальном дисплее 107А-В и на физическом дисплее 103, причем только в то время, когда физический дисплей 103 находится в поле зрения шлема-дисплея 105. Для этих вариантов осуществления поле зрения шлема-дисплея 105 может определяться, по меньшей мере, акселерометром, цифровым компасом, визуальной камерой, инфракрасной камерой или другим физическим датчиком, пригодным для сбора данных и/или изменения параметров, связанных с физической манипуляцией или ориентацией шлема-дисплея 105 или физического дисплея 103. В других вариантах осуществления физический дисплей 103 будет определяться как находящийся в поле зрения шлема-дисплея 105 после того, как посредством вычислительной логики (описывается дальше) будут определены позиционная информация, местоположение поверхности и площадь экрана физического дисплея 103.

На фиг. 2 схематично показана примерная мультидисплейная система 200 для осуществления показа пользователю сформированной компьютером информации с помощью по меньшей мере одного физического дисплея и по меньшей мере одного виртуального дисплея, что обеспечивается шлемом-дисплеем 220.

Мультидисплейная система 200 содержит шлем-дисплей 220 и компьютерную систему 222. Компьютерная система 222, показанная на фиг. 2, содержит физический дисплей 202. С целью упрощения, другие элементы компьютерной системы не показаны. Физический дисплей 202 является физическим дисплеем, используемым для представления сформированной компьютером информации компьютерной системы 222.

Шлем-дисплей 220, показанный на фиг. 2, содержит вычислительную логику 204 для определения положения шлема-дисплея 220, определения местоположения физического дисплея, основываясь, по меньшей мере, на определенном положении шлема-дисплея 220, определении положения поверхности и площади экрана физического дисплея 202 основываясь, по меньшей мере, на определенном местоположении физического дисплея 202, и для обеспечения подачи на логику 206 формирования определенного положения шлема-дисплея 220, определенного местоположения физического дисплея 202, определенного положения поверхности физического дисплея 202 и определенной площади экрана физического дисплея 202.

Шлем-дисплей 220 также содержит логику 206 формирования, перспективную логику 208, логику 210 ассоциации, блок 218 презентации, прозрачный дисплей 212, память 214 и датчик 216. В некоторых вариантах осуществления корпус 109 логической схемы, показанный на фиг. 1, используется для размещения в нем, по меньшей мере, вычислительной логики 204, логики 206 формирования, перспективой логики 208, логики 210 ассоциации, блока 218 презентации, прозрачного дисплея 212, памяти 214 или датчика 216.

Возвращаясь к вычислительной логике 204, показанной на фиг. 2, положение шлема-дисплея 220 и местоположение, положение поверхности и площадь экрана физического дисплея 202 определяются, используя данные и/или параметры, полученные от датчика 216. В варианте осуществления датчик 216 может быть по меньшей мере акселерометром, цифровым компасом, визуальной камерой, инфракрасной камерой или другим физическим датчиком, пригодным для сбора данных и/или измерения параметров, связанных с физической манипуляцией и/или ориентацией шлема-дисплея 220 и/или физического дисплея 202.

В одном из вариантов осуществления датчик 216 определяет положение шлема-дисплея 220 и местоположение физического дисплея 202, определяя позиционную информацию шлема-дисплея 220 и определяя позиционная информацию физического дисплея 202. Определение позиционной информации содержит определение положения шлема-дисплея 220, определение ориентации точки зрения шлема-дисплея 220, что определяется визуальной точкой зрения пользователя шлемом-дисплеем 220, определение множества вершин физического дисплея, используя определенное положение шлема-дисплея 220 и определенную ориентацию точки зрения шлема-дисплея 220, определение всех расстояний между шлемом-дисплеем 220 и каждой из множества вершин, используя определенное множество вершин физического дисплея, определенное положение шлема-дисплея 220 и определенную ориентацию точки зрения шлема-дисплея 220. В других вариантах осуществления определение позиционной информации шлема-дисплея 220 также содержит определение местоположения физического дисплея 202 со ссылкой на определенное положение шлема-дисплея 220.

В варианте осуществления датчик 216 содержит датчик положения и ориентации, который используется для измерения положения шлема-дисплея 220, ориентации точки зрения шлема-дисплея 220 и местоположения физического дисплея 202, когда шлем-дисплей 220 надет на пользователя. Датчик положения и ориентации содержит по меньшей мере гироскопический датчик, датчик ускорения или магнитный датчик.

Гироскопический датчик обнаруживает вращения в трех направлениях X, Y и Z шлема-дисплея 220 и/или физического дисплея 202, измеряемых в плоской системе координат, приближенной к реальному миру. Датчик ускорения обнаруживает переходные операции в трех направлениях X, Y и Z шлема-дисплея 220 и/или физического дисплея 202, а магнитный датчик обнаруживает трехмерные позиционные координаты и ориентации точки зрения шлема-дисплея 220 и/или физического дисплея 202, используя направления X, Y и Z шлема-дисплея 220. В некоторых вариантах осуществления эти датчики выводят свои результаты измерений на датчик 216, который передает информацию на вычислительную логику 204. В этих вариантах осуществления вычислительная логика использует результаты измерений, полученные датчиком 216, чтобы определить положение и ориентацию точки зрения шлема-дисплея 220, а также вершины местоположения физического дисплея 202.

В других вариантах осуществления вычислительная логика использует информацию, полученную датчиком 216, для вычисления всех расстояний между каждой вершиной физического дисплея 202 и шлемом-дисплеем 220.

В некоторых вариантах осуществления позиционная информация шлема-дисплея 220 и физического дисплея 202, определенная датчиком 216, направляется на вычислительную логику 204 шлема-дисплея 220. В другом варианте осуществления датчик 216, в дополнение к определению позиционной информации шлема-дисплея 220 и физического дисплея 202, может также определять все углы между всеми вершинами физического дисплея 202. В этом варианте осуществления датчик 216, в дополнение к позиционной информации шлема-дисплея 220 и физического дисплея 202, направляет каждый угол между вершинами физического дисплея 202 на вычислительную логику 204. Вычислительная логика 204 использует определенные углы между каждой вершиной физического дисплея 202, чтобы модифицировать каждое из расстояний, определенных датчиком 216.

В дополнение к направлению позиционной информации шлема-дисплея 220 и физического дисплея 202 на вычислительную логику, датчик 216 также направляет собранные данные и/или параметры в память 214 для хранения. Память будет описана ниже более подробно.

Возвращаясь к вычислительной логике 204, показанной на фиг. 2, позиционная информация шлема-дисплея 220 и физического дисплея 202 используется вычислительной логикой 204, чтобы вычислять положение поверхности и площадь экрана физического дисплея 202. В варианте осуществления датчик 216 направляет углы между каждой вершиной физического дисплея 202 в дополнение к позиционной информации шлема-дисплея 220 и физического дисплея 202, на вычислительную логику 204. В этом варианте осуществления вычислительная логика 204 использует углы между всеми вершинами физического дисплея 202, чтобы модифицировать по меньшей мере одно положение поверхности и площадь экрана, которые вычисляются вычислительной логикой 204.

Положение поверхности относится к плоскости, в которой расположен физический дисплей 202. Эта плоскость является двумерным аналогом трехмерной сцены реального, мира, как его видит пользователь с надетым шлемом-дисплеем 220. В варианте осуществления положение на поверхности, вычисление вычислительной логикой 204, основано, по меньшей мере, на одном из следующего: евклидово пространство, двумерная прямоугольная система координат или трехмерная прямоугольная система координат.

Площадь экрана относится к величине, выражающей размер физического дисплея 202 на плоскости, являющейся двумерным аналогом трехмерной сцены реального мира, которую видит пользователь через надетый шлем-дисплей 220. В одном из вариантов осуществления площадь экрана вычисляется, основываясь по меньшей мере на одной трехмерной формуле для определения площади обычных форм; двумерной формуле для определения площади обычных форм и делении физического дисплея 202 на единичные квадраты или единичные треугольники для определения его площади. В еще одном варианте осуществления, если физический дисплей 202 имеет изогнутую границу, площадь экрана вычисляется, основываясь на делении физического дисплея 202 на единичные окружности. Следует понимать, что вычисление площади экрана и положения поверхности физического дисплея 202 хорошо известно специалистам в данной области техники и не ограничивается описанными здесь способами.

Позиционная информация шлема-дисплея 220 и физического дисплея 202, а также положение на поверхности и площадь экрана физического дисплея 202 направляются вычислительной логикой 204 на логику 206 формирования. Дополнительно к направлению позиционной информации шлема-дисплея 220 и физического дисплея 220, а также положения на поверхности и площади экрана физического дисплея 202 на логику 206 формирования, вычислительная логика 204 также направляет собранные и/или обработанные данные в память 214 для хранения. Память 214 будет более подробно описана ниже.

По меньшей мере один виртуальный дисплей (такой как виртуальные дисплеи 107А-В на фиг. 1) формируется логикой 206 формирования, используя данные, принятые от вычислительной логики 204.

Логика 206 формирования может быть блоком обработки графики (GPU) или другой схемой, выполняющей и осуществляющей представление графики. В одном из вариантов осуществления логика 206 формирования использует позиционную информацию шлема-дисплея 220 и физического дисплея 202, а также площадь экрана и положение поверхности физического дисплея, чтобы выполнять сложные математические и геометрические вычисления, необходимые для представления графики. Дополнительно, логика 206 формирования использует результаты своих вычислений для представления по меньшей мере одного виртуального дисплея (такого как виртуальные дисплеи 107А-В на фиг. 1). Например, но не для создания ограничений, логика 206 формирования является GPU, использующим позиционная информацию, площадь экрана и положение поверхности физического дисплея 202 для формирования и создания изображения по меньшей мере одного виртуального дисплея, который является созданным компьютером представлением графики физического дисплея 202.

В одном из вариантов осуществления виртуальный дисплей, сформированный логикой 206 формирования, основывается исключительно на позиционной информации шлема-дисплея 220 и физического дисплея 202, которая определяется датчиком 216 и вычислительной логикой 204 (описывается выше). В других вариантах осуществления блок 206 формирования содержит датчики слежения за глазами (не показаны), чтобы измерять и отслеживать движения глаз пользователя, так чтобы его визуальная точка зрения могла быть определена. Данные, полученные от датчиков слежения за глазами, могут использоваться логикой 206 формирования совместно с данными, собранными и/или обработанными вычислительным блоком 204, чтобы сформировать по меньшей мере один виртуальный дисплей, который будет предоставляться пользователю шлемом-дисплеем 220, основываясь на индивидуальной визуальной точке зрения пользователя. Датчики слежения за глазами могут быть датчиками слежении за глазами, такими как специальные контактные линзы со встроенным зеркалом или датчик магнитного поля или быть оптическими датчиками слежения за глазами, такими как датчик на основе технологии роговичного отражения от центра зрачка. Следует заметить, что способы вычисления и/или слежения за движением глаз пользователя, чтобы определить, какова визуальная точка зрения пользователя, хорошо известны специалистам в данной области техники и, таким образом, не ограничиваются описанными здесь способами.

В некоторых вариантах осуществления логика 206 формирования формирует виртуальный дисплей, имеющий площадь экрана, кратную площади экрана физического дисплея 202, основываясь на результатах измерений датчиков слежения за глазами и данных, собранных и/или отработанных вычислительным блоком 204. На фиг. 4 показано примерное представление виртуального дисплея, имеющего площадь экрана, кратную площади экрана физического дисплея, который был сформирован логикой формирования (такой как логика 206 формирования на фиг. 2).

На фиг. 4 показана примерная мультидисплейная система 400 с одним физическим дисплеем 413 и одним виртуальным дисплеем 411, обеспечиваемым шлемом-дисплеем 403. Мультидисплейная система 400 содержит компьютерную систему 409, имеющую физический дисплей 413 и шлем-дисплей 403, представляющий виртуальный дисплей 411. Пользователь, смотрящий на физический дисплей компьютерной системы 409, когда на него надет шлем-дисплей 403, рассматривается как имеющий виртуальный дисплей 411. Виртуальный дисплей 411 предоставляется пользователю, на которого надет шлем-дисплей, блоком презентации (не показан) на прозрачном дисплее 405 шлема-дисплея 403 после того, как логика 413 формирования сформирует виртуальный дисплей 411. Виртуальный дисплей 411 формируется блоком 405 формирования, основываясь на данных полученных вычислительным блоком (не показан) и по меньшей мере одним датчиком (не показан). Виртуальный дисплей 411 формируется логикой 405 формирования, основываясь на данных, полученных вычислительным блоком (не показан). В одном из вариантов осуществления вычислительный блок и по меньшей мере датчик определяют все четыре расстояние 407A-D между шлемом-дисплеем 403 и физическим дисплеем 413. Вычислительный блок и по меньшей мере один датчик используют расстояния 407A-D для вычисления положения шлема-дисплея 403, местоположения физического дисплея 413 и площади экрана физического дисплея 413. В других вариантах осуществления сформированный виртуальный дисплей 411 формируется блоком 413 формирования, используя по меньшей мере один из фрагментов данных, собранных и/или вычисленных вычислительным блоком и по меньшей мере одним датчиком, как описано выше. Например, но не для ограничения, если площадь экрана физического дисплея 413 равна 540 квадратных сантиметров или 83,7 квадратных дюймов, то виртуальный дисплей 411 будет формироваться блоком 413 формирования, чтобы иметь площадь экрана 1080 кв. см или 167,4 кв. дюймов (что достигается умножением примерной площади экрана физического дисплея 413 на множитель 2).

Как показано на фиг. 2, сформированный виртуальный дисплей логики 206 формирования передается перспективной логике 208. В дополнение к направлению сформированного виртуального дисплея шлема-дисплея 220 перспективной логике 208, логика 206 формирования также направляет сформированный виртуальный дисплей в память 214 для хранения. Память 214 ниже будет описана более подробно.

Перспективная логика 208 определяет требуемую относительную ориентацию дисплея между первым и вторым участками расширенного рабочего стола, которая должна быть назначена физическому дисплею 202 и сформированному виртуальному дисплею. Требуемая относительная ориентация расширенного рабочего стола определяется по мере того, как пользователь с надетым шлемом-дисплеем будет перемещать голову или изменять свое местоположение.

Эта относительная ориентация дисплея может позволять пользователю мультисистемы 200 с удобством просматривать сформированную компьютером информацию на расширенном рабочем столе физического дисплея 202 и по меньшей мере на одном виртуальном дисплее. В одном из вариантов осуществления относительная ориентация дисплея определяется перспективной логикой 208, используя позиционную информацию шлема-дисплея 220, позиционную информацию физического дисплея 202 и площадь экрана физического дисплея 202, определенных датчиком 216 и вычислительной логикой 204 (описана выше). Относительная ориентация дисплея используется для определения местоположения физического дисплея 202 в реальном мире относительно местоположения в реальном мире по меньшей мере одного виртуального дисплея, сформированного логикой 206 формирования. Эта относительная ориентация дисплея позволяет шлему-дисплею 220 и физическому дисплею 202 предст