Устройство и способ отображения изображения, мобильное устройство, система отображения изображения и компьютерная программа

Устройство и способ отображения изображения, мобильное устройство, система отображения изображения и компьютерная программа

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Технология, раскрытая в данном описании, относится к устройству отображения изображения, которое установлено на голове или на лице пользователя и используется для просмотра изображения, способу отображения изображения, мобильному устройству, которое снимает изображения, просматриваемые во время движения, к системе отображения изображения и компьютерной программе. Более конкретно, технология относится к устройству отображения изображения, способу отображения изображения, мобильному устройству, системе отображения изображения и компьютерной программе, которые используются для просмотра изображения, снятого внешней камерой, такому как изображение "всего неба", изображение типа "рыбий глаз" и панорамное изображение.

Уровень техники

Хорошо известны устройство отображения изображения или дисплей, устанавливаемый на голове, которые устанавливают на голове или лице, и используется для просмотра изображения. В дисплее, устанавливаемом на голове, модуль дисплея предусмотрен для каждого из правого и левого глаза, и увеличенное виртуальное изображение отображаемого изображения формируется оптической системой виртуального изображения таким образом, что пользователь может просматривать изображение с ощущением реальности. Если дисплей, устанавливаемый на голове, разработан так, что он полностью блокирует внешний мир при установке на голове пользователя, ощущение погружения во время просмотра улучшается. Дисплей, устанавливаемый на голове, также может отображать разные изображения для правого и левого глаз, и может представлять 3-D изображение для отображения изображения с параллаксом для правого и левого глаз.

При использовании дисплея, устанавливаемого на голове, можно просматривать широкоугольное изображение. Например, описан дисплей, устанавливаемый на голове, в котором можно наслаждаться изображением пространства шириной 360°, которое следует движению головы пользователя, на которой гиродатчик закреплен на его/ее голове (например, см. Патентный документ 1 и Патентный документ 2). Область отображения перемещается в соответствии со смещением при движении головы, детектируемым гиродатчиком. Таким образом, может быть представлено изображение, которое следует движению головы пользователя.

Кроме того, существует заявка, разработанная для обеспечения для пользователя возможности просмотра прямого изображения, снятого внешней камерой, с использованием дисплея, установленного на голове. Например, существует раскрытие, в котором система дисплея изображения, в которой изображение, фактически снятое устройством формирования изображения, установленным на другом перемещающемся объекте, а не на голове человека, таком как радиоуправляемая модель, отображается на устройстве дисплея, надетом на пользователя (см., например, Патентный документ 3).

Также известна технология FPV (обзор со стороны первого лица), обеспечивающая для пользователя возможность управления радиоуправляемой моделью вертолета и т.п., при просмотре изображения с точки обзора первого лица (точка обзора пилота), снятого беспроводной камерой, установленной на радиоуправляемой модели.

Например, существует раскрытие воздушной системы формирования изображений, в которой всенаправленная камера, которая снимает окружающие изображения, и лазерный измеритель расстояния, который измеряет высоту всенаправленной камеры от земли, устанавливают на вертолете малого размера, высота полета и скорость полета которого управляется устройством управления полетом, и формирование изображений аэрофотосъемки выполняется с использованием всенаправленной камеры на заданной высоте, на основе высоты, измеряемой лазерным измерителем расстояния (см., например, Патентный документ 4). Изображения, снятые всенаправленной камерой, могут быть переданы во внешний компьютер через сеть передачи данных.

Далее, существует раскрытие сетевой системы, в которой радиоуправляемая модель автомобиля, оборудованная трехмерной стереокамерой, работающей на среднем и большом расстоянии, и трехмерная стереокамера, работающая на и малом расстоянии, передают трехмерное комбинированное изображение, и трехмерное комбинированное изображение отображается на стороне контроллера (см., например, Патентный документ 5).

Кроме того, существует раскрытие сетевой системы, которая принимает, на стороне контроллера, изображение, генерируемое устройством модели, снимающим изображения сцены спереди, и информацию о местоположении и ориентации устройства модели и генерирует, и отображает виртуальное изображение, в соответствии с местоположением и ориентацией (см., например, Патентный документ 6).

Список литературы

Патентные документы

Патентный документ 1: JP 9-106322 А

Патентный документ 2: JP 2010-256534 А

Патентный документ 3: JP 2008-147865 А, абзацы [0024]-[0026]

Патентный документ 4: JP 2011-183824 А

Патентный документ 5: JP 2012-151800 А

Патентный документ 6: JP 2012-143447 А

Раскрытие изобретения

Задачи, решаемые изобретением

Технология, раскрытая в данном описании, направлена на предоставление устройства отображения изображения, способ отображения изображения, мобильное устройство, систему отображения изображения и компьютерную программу, которые являются прекрасными и могут использоваться при просмотре изображения, снятого внешней камерой, такой как изображение "всего неба", изображение типа рыбий глаз, или панорамное изображение.

Технология, раскрытая в данном описании, дополнительно направлена на предоставление отличного устройства отображения изображения, выполненного с возможностью соответствующим образом отображать изображения из точки обзора первого лица, снятого камерой, установленной на мобильном устройстве, таком как радиоуправляемая модель, и также предоставлять способ отображения изображения, мобильное устройство, систему отображения изображения и компьютерную программу.

Решение задачи

Данная заявка выполнена с учетом изложенных выше задач, и технология, раскрытая в пункте 1 формулы изобретения, направлена на устройство отображения изображения, которое включает в себя:

модуль дисплея, устанавливаемый на голове пользователя;

модуль детектирования положения, который детектирует положение головы; и

модуль управления отображением, который управляет отображением изображения модуля дисплея на основе положения головы, изображение снимают с помощью мобильного устройства.

В соответствии с технологией, раскрытой в пункте 2 данной заявки, модуль управления отображением устройства отображения изображения по п. 1 вырезает область, соответствующую положению головы, из широкоугольного изображения, снятого мобильным устройством, и отображает вырезанную область в модуле дисплея.

В соответствии с технологией, раскрытой в пункте 3 данной заявки, когда отображают множество изображений точки обзора, снятых из множества точек обзора, используя способ параллельного глубокого фокусирования, модуль управления отображением устройства отображения изображения по п. 1 регулирует точку схождения между изображениями точки обзора на основе скорости движения движущегося объекта.

В соответствии с технологией, раскрытой в пункте 4 данной заявки, модуль управления отображением устройства отображения изображения по п. 1 отображает изображение с расстоянием между точками обзора, которое соответствует операции изменения масштаба изображения в модуле дисплея.

В соответствии с технологией, раскрытой в пункте 5 данной заявки, устройство отображения изображения по п. 1 смещает направление линии обзора модуля камеры мобильного устройства, по меньшей мере, в одном из направлений, таком как направление панорамной съемки, наклон и качание в стороны относительно положения головы.

В соответствии с технологией, раскрытой в пункте 6 данной заявки, устройство отображения изображения по п. 1 дополнительно включает в себя

модуль обратной связи для ощущения операций, который передает по каналу обратной связи ощущение операции пользователю через тактильное ощущение или вибрацию,

в котором обратная связь для пользователя основана на ускорении, которому подвергается мобильное устройство при движении.

В соответствии с технологией, раскрытой в пункте 7 данной заявки, модуль управления отображением устройства отображения изображения по п. 1 накладывает AR изображение на изображение реального мира, снятое мобильным устройством, перед отображением изображения.

В соответствии с технологией, раскрытой в пункте 8 данной заявки, модуль управления отображением устройства отображения изображения по п. 7 отображает AR изображение, соответствующее, по меньшей мере, одному из текущего местоположения мобильного устройства, объекта, включенного в снятое изображении, и состояния мобильного устройства.

В соответствии с технологией, раскрытой в пункте 9 данной заявки, модуль управления отображением устройства отображения изображения по п. 1 отображает информацию о местоположении вокруг мобильного устройства и пользователя.

В соответствии с технологией, раскрытой в пункте 10 данной заявки, модуль управления отображением устройства отображения изображения по п. 1 дополнительно отображает изображение, снятое автоматическим следящим средством, которое снимает изображение при отслеживании мобильного устройства.

В соответствии с технологией, раскрытой в пункте 11 данной заявки, устройство отображения изображения по п. 1 дополнительно включает в себя модуль получения изображения линии собственного обзора, который получает изображение линии собственного обзора, которое можно видеть на линии обзора пользователя. Модуль управления отображением переключает изображение, отображаемое между изображением движущегося объекта на линии собственного обзора, снятым мобильным устройством, и изображением линии собственного обзора.

В соответствии с технологией, раскрытой в пункте 12 данной заявки, модуль управления отображением устройства отображения изображения по п. 1 переключает изображение между изображениями, снятыми из множества положений точек обзора мобильного устройства, в соответствии с положением головы.

В соответствии с технологией, раскрытой в п. 13 данной заявки, модуль управления отображением устройства отображения изображения по п. 1, корректирует сотрясения в движущемся изображении, снятом мобильным устройством, перед отображением движущегося изображения.

Технология, раскрытая в пункте 14 данной заявки, представляет собой способ отображения изображения, который включает в себя:

этап детектирования положения, состоящий в детектировании положения головы пользователя; и

этап управления отображением изображения на основе положения головы, изображение снимают мобильным устройством.

Технология, раскрытая в пункте 15 данной заявки, представляет собой систему отображения изображения, которая включает в себя:

мобильное устройство, которое снимает изображение во время движения; и

устройство отображения изображения, которое отображает изображение, снятое мобильным устройством, в соответствии с положением головы пользователя.

Следует отметить, что термин "система" означает логическую сборку устройств (или функциональных модулей, которые реализуют определенные функции), и соответствующие устройства или функциональные модули не обязательно расположены в одном корпусе.

Технология, раскрытая в пункте 16 данной заявки, направлена на мобильное устройство, которое включает в себя:

модуль камеры;

платформу камеры, которая управляет направлением линии обзора модуля камеры;

модуль движения, который перемещает устройство; и

модуль передачи данных, который передает данные, включающие в себя изображение, снятое модулем камеры,

в котором модуль камеры включает в себя множество камер, которые выполняют формирование изображений, используя способ параллельного глубокого фокусирования камеры, имеющей разные точки обзора.

В соответствии с технологией, раскрытой в пункте 17 данной заявки, мобильное устройство по п. 16 снимает изображение "всего неба", изменяя расстояние между точками обзора между камерами с разными точками обзора.

В соответствии с технологией, раскрытой в пункте 18 данной заявки, мобильное устройство по п. 16 экстраполирует изображения за пределами точек обзора камер из изображений, снятых камерами с разными точками обзора при фиксированном расстоянии между точками обзора.

Технология, раскрытая в пункте 19 данной заявки, направлена на компьютерную программу, записанную в формате, считываемом компьютером,

компьютерная программа, обеспечивающая выполнение компьютером следующих функций:

модуля детектирования положения, который детектирует положение головы пользователя; и

модуля управления отображением, который управляет отображением изображения на основе положения головы, изображение, снимаемое мобильным устройством.

Компьютерная программа по п. 19 данной заявки определяет компьютерную программу, записанную в формате, считываемом компьютером, таким образом, чтобы реализовать заданную обработку в компьютере. Другими словами, при установке компьютерной программы, в соответствии п. 19 данной заявки, в компьютер, реализуются совместные действия в компьютере, и могут быть достигнуты те же эффекты, как и в устройстве отображения изображения по п., 1 данной заявки.

Результаты изобретения

Технология, раскрытая в данном описании, обеспечивает превосходное устройство отображения изображения, которое может представлять изображение с реальными ощущениями при отображении изображения из точки обзора первого лица, снятого камерой, установленной в мобильном устройстве, таком как радиоуправляемая модель, на экране, помещенном перед глазами пользователя, и также обеспечивает способ отображения изображения, систему отображения изображения, мобильное устройство и компьютерную программу.

Другие цели, свойства и преимущества технологии, раскрытой в данном описании, будут понятны из вариантов осуществления, описанных ниже, и подробного описания со ссылкой на приложенные чертежи.

Краткое описание чертежей

На фиг. 1 показана схема, схематично представляющая конфигурацию системы 100 отображения изображения, в соответствии с вариантом осуществления технологии, раскрытой в данном описании.

На фиг. 2 показан вид спереди пользователя, на которого надет дисплей 110, устанавливаемый на голове.

На фиг. 3 показан вид сверху пользователя, на которого надет дисплей 110, устанавливаемый на голове, показанный на фиг. 2.

На фиг. 4 показана схема, представляющая пример внутренней структуры дисплея 110, устанавливаемого на голове.

На фиг. 5 показана схема, представляющая систему координат в положении тела, детектируемом модулем 404 детектирования положения /местоположения.

На фиг. 6 показана схема, представляющая пример внутренней структуры мобильного устройства 120.

На фиг. 7 показана схема, схематично представляющая функциональную структуру модуля 401 управления для отображения изображения, снятого на стороне мобильного устройства 120 с дисплеем 110, устанавливаемым на голове.

На фиг. 8А показана схема, представляющая ситуацию, где модуль камеры 605 установлен так, чтобы платформа камеры 606 могла управлять линией визирования в соответствующих направлениях качания в стороны, наклона и панорамной съемки.

На фиг. 8В показана схема, представляющая ситуацию, где расстояние между камерой для левого глаза и камерой для правого глаза, которые составляют стереокамеру, является переменным.

На фиг. 8С показана схема, представляющая ситуацию, где основная камера 801 установлена на основной раме мобильного устройства 120-2, такого как автомобиль, и вторичная камера 802 установлена позади основной камеры 801.

На фиг. 9 показана схема, представляющая ситуацию, когда местоположение и положение поля отображения, отображенного на панели дисплея 409, перемещаются в соответствии с движением головы пользователя.

На фиг. 10 показана схема, представляющая пример последовательности операций для отображения широкоугольного изображения, такого как изображение всего неба, снятого на стороне мобильного устройства 120, широкоугольное изображение выполнено с возможностью следовать за положением головы пользователя на стороне дисплея 110, устанавливаемого на голове.

На фиг. 11 показана схема, представляющая модификацию последовательности операций для отображения широкоугольного изображения, такого как изображение всего неба, снятого на стороне мобильного устройства 120, широкоугольное изображение выполнено с возможностью следовать за положением головы пользователя на стороне дисплея 110, устанавливаемого на голове.

На фиг. 12А показана схема для пояснения способа управления точкой сходимости, когда трехмерное снятое изображение отображается на стороне дисплея 110, устанавливаемого на голове, на основании информации скорости мобильного устройства 120.

На фиг. 12В показана схема для пояснения способа управления точкой сходимости, когда трехмерное снятое изображение отображается на стороне дисплея 110, устанавливаемого на голове, на основании информации скорости мобильного устройства 120.

На фиг. 12С показана схема для пояснения способа управления точкой сходимости, когда трехмерное снятое изображение отображается на стороне дисплея 110, устанавливаемого на голове, на основании информации скорости мобильного устройства 120.

На фиг. 13А показана схема для пояснения способа съемки трехмерного изображения, с изменением расстояния d между точками обзора, в соответствии с операцией изменения масштаба изображения.

На фиг. 13В показана схема для пояснения способа съемки трехмерного изображения, с изменением расстояния d между точками обзора, в соответствии с операцией изменения масштаба изображения.

На фиг. 14 показана схема, представляющая ситуацию, когда голова наклоняется вверх, и модуль камеры 605 смонтированный на мобильном устройстве 120-2 также наклоняется вверх.

На фиг. 15 показана схема, представляющая ситуацию, когда ось наклона модуля камеры 605, установленного на мобильном устройстве 120-2, фиксируют в положении, которое повернуто вверх на Δθ_у от оси наклона головы пользователя.

На фиг. 16 показана схема, представляющая ситуацию, когда система координат модуля камеры 605 смещается в соответствующих направлениях панорамной съемки, наклона и качания в стороны относительно системы координат головы пользователя.

На фиг. 17 показана схема, представляющая ситуацию, когда информация о местоположении пользователя отображается, как меньший экран в экране, отображающем изображение, снятое мобильным устройством 120.

На фиг. 18 показана схема, представляющая ситуацию, когда информация о местоположении пользователя отображается на большом экране, и снятое изображение отображается на меньшем экране.

На фиг. 19 показана схема, представляющая пример отображения информации о местоположении пользователя.

На фиг. 20 показана схема, представляющая пример отображения информации о местоположении пользователя.

На фиг. 21 показана схема, представляющая ситуацию, когда автоматическое следящее устройство 2100, оборудованное камерой 2101, отслеживает заднюю часть мобильного устройства 120-1, выполняющего полет в воздухе.

На фиг. 22 показана схема, представляющая пример изображения мобильного устройства 120-1 снятого сзади камерой 2101 автоматического следящего устройства 2100.

На фиг. 23 показана схема, представляющая пример изображения линии обзора автомобиля, снятого мобильным устройством 120-2, таким как автомобиль.

На фиг. 24 показана схема, представляющая пример ситуации, когда пользователь, на которого надет дисплей 110, устанавливаемый на голове, следит за движущимся мобильным устройством 120-3 своими глазами.

На фиг. 25 показана схема, представляющая пример изображения собственной линии обзора пользователя, который следит за мобильным устройством 120-3 своими глазами, изображение собственной линии обзора снимает внешняя камера 413.

На фиг. 26 показана схема, представляющая пример расположения изображений, снятых мобильным устройством 120 в различных положениях точек обзора.

На фиг. 27 показана схема, представляющая ситуацию, когда наблюдаемые изображения имеют трапециевидное искажение в соответствии с наклоном вверх и вниз головы пользователя.

На фиг. 28 показана схема, представляющая ситуацию, когда изображения AR виртуального препятствия 2801 и запрещенной области 2802 отображаются на изображении поля зрения автомобиля (реальный мир), снятого мобильным устройством 120-2.

Осуществление изобретения

Ниже представлено подробное описание вариантов осуществления технологии, раскрытой в данном описании, со ссылкой на чертежи.

А. Конфигурация системы

На фиг. 1 схематично представлена конфигурация системы 100 отображения изображения, в соответствии с вариантом осуществления технологии, раскрытой в данном описании. Система 100 отображения изображения, показанная на чертежах, включает в себя устройство 110 отображения изображения (дисплей, установленный на голове), устанавливаемый на голове или лице пользователя, мобильные устройства 120-1, 120-2, 120-3 и другие, которые представляют собой движущиеся модели самолета (или вертолета или некоторого другого летающего объект), автомобиля, судна и т.п., и контроллер 130, который по беспроводному каналу управляет мобильными устройствами 120. Каждое из мобильных устройств 120-1, 120-2, 120-3 и другие оборудованы беспроводной камерой (не показана), и снимают изображения сцены во время движения. Контроллер 130 может представлять собой многофункциональный информационный терминал, такой как смартфон, и запускает приложение для управления мобильными устройствами 120.

Дисплей 110, устанавливаемый на голове, и мобильные устройства 120, и контроллер 130, и мобильные устройства 120 соединены по беспроводному каналу передачи через беспроводную сеть или инфракрасную систему передачи данных, и т.п.

Каждое из мобильных устройств 120 оборудовано беспроводной камерой (не показана) через платформу камеры, которая может изменять свое положение вокруг соответствующих осей панорамной съемки, наклона и отклонения от направления движения. Такая беспроводная камера может снимать изображения "всего неба" или изображения небесной сферы, или панорамные изображения, такие как изображения "половины неба" и изображения меньшего размера. В качестве альтернативы, беспроводная камера может выполнять широкоугольное формирование изображений, используя объектив типа "рыбий глаз".

Мобильные устройства 120 передают изображения, снятые с помощью беспроводных камер, в контроллер 130, и дисплей 110, устанавливаемый на голове. Однако, в случае, когда снятые изображения могут быть переданы непосредственно между дисплеем 110, устанавливаемым на голове, и мобильными устройствами 120, от мобильных устройств 120 не требуется передавать снятые изображения в контроллер 130, и беспроводное соединение между контроллером 130 и дисплеем 110, устанавливаемым на голове, не является необходимым. В представленном ниже описании, контроллер 130 не будет подробно описан на основе предположения, что передача данных может быть выполнена непосредственно между дисплеем 110, устанавливаемым на голове, и мобильными устройствам 120.

Хотя пользователь, на которого надет дисплей 110, устанавливаемый на голове, управляет мобильными устройствами 120, используя контроллер 130, в примере, показанном на фиг. 1, другой человек, кроме пользователя, который просматривает снятые изображения, переданные из мобильных устройств 120, с помощью дисплея 110, устанавливаемого на голове, может управлять мобильными устройствами 120, используя контроллер 130.

На фиг. 2 показан вид спереди пользователя, на голову которого надет дисплея 110, устанавливаемый на голове. Дисплей 110, устанавливаемый на голове, показанный на чертеже, представляет собой структуру, имеющую форму, аналогичную структуре пары очков, и разработан так, что он непосредственно закрывает правый и левый глаза пользователя, на которого надет дисплей 110, устанавливаемый на голове. В местах положения, на внутренней стороне основной рамы дисплея 110, устанавливаемого на голове, которые обращены к правому и левому глазам, предусмотрены панели дисплея (не показанные на фиг. 2), которые видит пользователь. На панели дисплея сформированы микродисплеи, такие как устройства органической EL или жидкокристаллические дисплеи.

Приблизительно в центре передней поверхности основной рамы дисплея 110, устанавливаемого на голове, имеющей форму очков, предусмотрена внешняя камера 413 для ввода окружающих изображений (видение пользователя). Кроме того, микрофоны 201 и 202 предусмотрены рядом с правым и левым концами элемента держателя, соответственно. Поскольку предусмотрены два микрофона 201 и 202, только голос, локализованный в центре (голос пользователя), распознается и может быть отделен от фонового шума и голосов других людей. Например, можно предотвратить выполнение неправильной операции во время операции голосового ввода.

На фиг. 3 показан вид сверху пользователя, на которого надет дисплей 110, устанавливаемый на голове, представленный на фиг. 2. Дисплей 110, устанавливаемый на голове, показанный на чертеже, имеет панели дисплея для левого глаза и правого глаза на боковых поверхностях, обращенных к лицу пользователя. Панели дисплея сформированы с использованием микродисплеев, таких как устройства органической EL или жидкокристаллических дисплеев. Изображения, отображаемые на правой и левой панелях дисплея, наблюдаются, как увеличенные виртуальные изображения, правым и левым глазами пользователя, после прохода через соответствующее оптические модули виртуального изображения. Поскольку высота глаза и расстояние между зрачками разные у разных людей, необходимо выполнять установку положения между соответствующими правой и левой системами дисплея, и глазами пользователя. В примере, показанном на фиг. 3, предусмотрен механизм регулировки расстояния между зрачками, который предусмотрен между панелью дисплея для правого глаза и панелью дисплея для левого глаза.

На фиг. 4 показан пример внутренней структуры дисплея 110, устанавливаемого на голове. Далее описаны соответствующие компоненты.

Модуль 401 управления включает в себя ROM (постоянное запоминающее устройство) 401А и RAM (оперативное запоминающее устройство) 401В. В ROM 401А содержатся программные коды, которые исполняет модуль 401 управления, и различного рода данные. При выполнении программы, загружаемой в RAM 401В, модуль 401 управления начинает управление отображением изображения, и совместно управляет работой всего дисплея 110, устанавливаемого на голове. Примеры программ и данных, сохраненных в ROM 401А, включают в себя программу управления отображением изображения, программу для обработки обмена данными с внешними устройствами, такими как мобильные устройства 120 и контроллер 130, и идентификационную информацию, уникальную для данного устройства 110. Программа управления отображением изображения предназначена, например, для выполнения управления отображением снятых изображений, принятых из мобильных устройств 120, но будет подробно описана ниже.

Модуль 402 входных операций включает в себя одну или больше частей управления, с помощью которых пользователь выполняет входные операции, такие как клавиши, кнопки или переключатели. Модуль 402 входных операций принимает инструкцию пользователя через части управления и выводит инструкции пользователя в модуль 401 управления. Модуль 402 входных операций также принимает инструкцию пользователя, сформированную из команды управления, принимаемой модулем 403 приема дистанционного управления, и также выводит эту инструкцию пользователя в модуль 401 управления.

Модуль 404 детектирования положения/местоположения представляет собой модуль, который детектирует положение головы пользователя, на которую надет дисплей 110, устанавливаемый на голове. В модуле 404 детектирования положения/местоположения установлен гиродатчик, датчик ускорения, датчик GPS (Система глобальной навигации) или геомагнитный датчик. В качестве альтернативы, модуль 404 детектирования положения/местоположения сформирован с использованием комбинаций двух или больше из таких датчиков, с преимуществами и недостатками учета показаний соответствующих датчиков.

На фиг. 5 показана система координат в положении, детектируемом модулем 404 детектирования положения/местоположения. Направление глубины отображаемого изображения (увеличенное виртуальное изображение) представляет ось Z, горизонтальное направление представляет ось Y, вертикальное направление представляет ось X, и начальное положение x-, у- и z-осей представляет собой положение точки обзора. В соответствии с этим, качание в сторону на угол θ_z эквивалентно движению головы пользователя вокруг оси Z, наклон θy эквивалентен движению головы пользователя вокруг оси Y, и поворот в направлении панорамной съемки на θ_x эквивалентен движению головы пользователя вокруг оси X. Модуль 404 детектирования положения/местоположения детектирует движения (θ_z, θ_y и θ_x) в соответствующих направлениях качания в стороны, наклона и панорамной съемки головы пользователя, и параллельное движение головы, и затем выводит движение в модуль 401 управления. Как будет описано ниже, при отображении изображения, снятого мобильным устройством 120 на экране панели 409 дисплея, модуль 401 управления может представлять изображение, которое следует движению головы пользователя, путем перемещения поля отображения, в соответствии со смещением головы при движении, детектируемом модулем 404 детектирования положения/местоположения.

Модуль 411 детектирования состояния получает информацию состояния о состоянии пользователя, на которого надет дисплей 110, устанавливаемый на голове, и выводит информацию состояния в модуль 401 управления. Например, состояние операции пользователя (надет ли на пользователя дисплей 110, устанавливаемый на голове), состояние действия пользователя (состояние движения, такое как состояние покоя, состояние ходьбы или состояние бега, открытое/закрытое состояние век глаз или направление линии обзора), ментальное состояние (уровень волнения), сознание, ощущение или эмоции, например, когда пользователь сосредоточен или концентрируется на наблюдении отображаемого изображения), и психологическое состояние получают, как информацию о состоянии. Для получения информации о состоянии от пользователя, модуль 411 детектирования состояния может включать в себя различного рода датчики состояния (не показаны), такие как датчик закрепления, сформированный в виде механического переключателя и т.п., гиродатчик, датчик ускорения, датчик скорости, датчик давления, датчик температуры тела, датчик потоотделения, датчик миоэлектрического потенциала, датчиком глазного потенциала и датчик электроэнцефалограммы.

Модуль 412 обратной связи (FB) операций включает в себя генератор вибрации и т.п., и обеспечивает обратную связь, представляющую ощущение операций для пользователя, на которого надет дисплей 110, устанавливаемый на голове, используя тактильное ощущение или вибрацию.

Внешняя камера 413 размещена практически в центре передней поверхности основной рамы дисплея 110, устанавливаемого на голове, имеющего форму в виде очков или форму, подобную шляпе (см. фиг. 2), и может снимать окружающие изображения. Кроме того, управление положением при направлениях панорамной съемки, наклона и качания в стороны внешней камеры 413 выполняется в соответствии с направлением линии обзора пользователя, детектируемым модулем 411 детектирования информации о состоянии, таким образом, что изображение уровня линии обзора пользователя может быть снято, используя внешнюю камеру 413. Кроме того, относительная скорость мобильных устройств 120 может быть измерена, используя внешнюю камеру 413.

Модуль 405 передачи данных выполняет обработку обмена данных с внешними устройствами, такими как мобильные устройства 120 и контроллер 130, и также выполняет обработку модуляции/демодуляции и обработку кодирования/декодирования передаваемых сигналов. Например, модуль 405 передачи данных принимает изображения, снятые беспроводными камерами, из мобильных устройств 120. Принятые изображения демодулируют и декодируют, используя модуль 405 передачи данных, или другие принятые данные подают в модуль 401 управления. Модуль 401 управления также передает данные, предназначенные для передачи, во внешние устройства, через модуль 405 передачи данных.

Модуль 405 передачи данных может иметь любую структуру. Например, модуль 405 передачи данных может быть разработан в соответствии со стандартом передачи данных, предназначенным для использования в операциях передачи/приема с внешними устройствами, с которыми требуется выполнить обмен данными. Стандарт передачи данных может быть разработан либо для передачи данных по кабелю или для беспроводной передачи данных. Здесь стандарт передачи данных может представлять собой MHL (мобильное соединение высокой четкости), USB (универсальная последовательная шина), HDMI (зарегистрированный товарный знак) (мультимедийный интерфейс высокой четкости), Wi-Fi (зарегистрированный товарный знак), Bluetooth (зарегистрированный товарный знак) для передачи данных, или например инфракрасную передачу данных.

Модуль 406 сохранения представляет собой накопитель большой емкости, который сформирован с использованием SSD (твердотельный привод) и т.п. Модуль 406 сохранения сохраняет программу приложения, предназначенную для исполнения модулем 701 управления, и данные изображений "всего неба", изображений типа "рыбий глаз", панорамных изображений и т.п., снятых мобильными устройствами 120.

Модуль 407 обработки изображений дополнительно выполняет обработку сигналов, такую как коррекция качества изображения, для сигналов изображения, выводимых из модуля 401 управления, и преобразует разрешение сигналов изображения до разрешения, совместимого с экраном панели 409 дисплея. Модуль 408 управления дисплеем последовательно выбирает пиксели панели 409 дисплея порядно, и выполняет последовательную развертку в строке пикселей для подачи сигналов пикселя на основе сигналов изображения, подвергаемых обработке сигналов.

Панель 409 дисплея сформирована с микродисплеем, таким как устройство органической EL (электролюминесценции) или жидкокристаллический дисплей. Оптический модуль 410 виртуального изображения увеличивает изображение, отображаемое на панели 409 дисплея, и проецирует изображение увеличенного виртуального изображения для просмотра пользователем.

Оптический модуль 410 виртуального изображения увеличивает изображение, отображаемое на панели 409 дисплея, с увеличением 1000 или больше, например, и формирует на сетчатке приблизительно виртуальное изображение размером 750-дюймов на расстоянии 20 метров от глаз пользователя. Это эквивалентно 45,09 градусов горизонтального угла обзора отображаемых пикселей.

На фиг. 6 показан пример внутренней структуры мобильного устройства 120. Как показано на фиг. 1, мобильные устройства 120 представляют собой модели движущегося объекта, такого как самолет, вертолет, автомобиль, судно и т.п., и, в основном, отличаются модулем 603 механизма движения, оставаясь, по существу, идентичными в других функциональных аспектах.

Модуль 602 сохранения реализован на основе запоминающего устройства, такого как RAM или ROM, и накопителя большой емкости, такого как привод жесткого диска или SSD. Модуль 602 сохранения используется для сохранения программы, исполняемой CPU (центральное процессорное устройство) 601, и изображений, снятых камерой. CPU 601 управляет соответствующими компонентами мобильного устройства 120 путем исполнения программы, сохраняемой в модуле 602 сохранения.

Мобильное устройство 120 имеет модуль 603 механизма движения, который может быть разным, в зависимости от типа движущегося объекта, такого как самолет, вертолет, автомобиль или судно, и модуль 603 механизма движения активируется в соответствии с инструкцией движения из CPU 601, и приводит в движение мобильное устройство 120.