Механизмы обеспечения безопасности на основе камеры для пользователей установленных на голове дисплеев

Механизмы обеспечения безопасности на основе камеры для пользователей установленных на голове дисплеев

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ

[0001] Настоящее изобретение в общем относится к человеко-машинным интерфейсам, в частности к предупреждению пользователей, когда они перемещаются за пределы поля обзора камеры или когда они приближаются к одному или большему количеству материальных препятствий.

УРОВЕНЬ ТЕХНИКИ

[0002] Подходы, описанные в этом разделе, могут быть осуществлены, но не обязательно являются подходами, которые ранее были задуманы или осуществлены. Следовательно, если не указано иное, не следует предполагать, что любой из подходов, описанных в этом разделе, квалифицируется как уровень техники только на основании его включения в этот раздел.

[0003] Одной из быстро развивающихся технологий в области человеко-машинного взаимодействия является разнообразные установленные на голове или соединенные с головой дисплеи, которые могут быть надеты на голову пользователя и иметь один или два дисплея перед одним или двумя глазами пользователя. Такой тип дисплеев имеет множество гражданских и коммерческих применений, включая симуляцию виртуальной реальности, включая видеоигры, медицину, спортивные тренировки, развлекательные приложения и так далее. В игровой области эти дисплеи могут использоваться, например, для визуализации трехмерных (3D) виртуальных игровых миров. Важный аспект таких игровых дисплеев состоит в том, что пользователь имеет возможность изменять отображаемый вид в виртуальном мире посредством поворота головы в дополнение к использованию обычных устройств ввода, таких как клавиатура или шаровой манипулятор.

[0004] Однако в обычных установленных на голове дисплеях пользователи уязвимы для получения травм, когда они носят установленный на голове дисплей и осуществляют пользовательские действия, такие как выполнение движений или перемещений по направлению к материальным препятствиям, таким как кофейный столик, стул и т.д. Кроме того, в некоторых человеко-машинных интерфейсах, содержащих установленные на голове дисплеи, пользователь должен присутствовать в пределах поля обзора специализированной видеокамеры или датчика глубины. Пользователя может раздражать, когда человеко-машинное взаимодействие прерывается, если пользователь выходит из поля обзора.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

[0005] Это раскрытие изобретения обеспечено для представления выбора идей в упрощенной форме, которые дополнительно описаны в подробном описании ниже. Это раскрытие изобретения не предназначено для идентификации ключевых признаков или существенных признаков заявленного предмета изобретения, а также не предназначен для использования в качестве помощи в определении объема заявленного предмета изобретения.

[0006] В целом, настоящее изобретение относится к технологии предупреждения пользователя установленных на голове дисплеев (HMD, head mounted display), что они приближаются к краю сцены, заданной полем обзора камеры, или что они приближаются к одному или большему количеству материальных препятствий. Это предупреждение включает представление звуковых сообщений и/или отображаемых сообщений пользователю или перемещение дисплея (дисплеев) установленных на голове дисплеев от глаз пользователя. В дополнение к обеспечению предупреждения настоящее изобретение может быть использовано для регулировки информационного контента (content), визуализируемого на дисплейной части HMD на основании действий, таких как перемещение по направлению к краю поля обзора, перемещение по направлению к материальному препятствию и т.д., пользователя, носящего HMD. В соответствии с некоторыми вариантами осуществления регулировка контента включает визуализацию объекта реального мира из непосредственной близости к этому пользователю на дисплейной части HMD. Определение, что пользователь приближается к краю сцены или материальному препятствию, выполняется посредством динамического отслеживания движений пользователя через анализ изображений и/или данных глубины, полученных от датчика (датчиков) изображения и/или датчика (датчиков) глубины, прикрепленных к установленному на голове дисплее, расположенных внутри или снаружи сцены и не прикрепленных к установленному на голове дисплею или их комбинации.

[0007] Край сцены может содержать материальное препятствие. Изображения дополнительно содержат информацию о глубине для сцены. Сцена может быть задана полем обзора по меньшей мере одного датчика изображения или по меньшей мере одного датчика глубины. Предупреждение включает направление посредством процессоров пользователя обратно по направлению к центру сцены.

[0008] В соответствии с некоторыми вариантами осуществления способ дополнительно включает прием посредством процессора вторичных изображений сцены от одного или большего количества вторичных датчиков, расположенных вне сцены и не прикрепленных к установленному на голове дисплею. Определение того, что пользователь приближается к одному или большему количеству материальных препятствий, дополнительно основано по меньшей мере на указанных вторичных изображениях. В соответствии с некоторыми вариантами осуществления указанное одно или большее количество материальных препятствий находятся внутри сцены. В соответствии с некоторыми вариантами осуществления указанное одно или большее количество материальных препятствий содержат край сцены.

[0009] В соответствии с одним вариантом осуществления предоставлен способ. Способ включает выполнение игры. Это выполнение вызывает визуализацию интерактивных игровых сцен на дисплейной части установленного на голове дисплея, надетого на пользователя. Изменение положения HMD, надетого на пользователя, обнаруживают, в то время как пользователь взаимодействует с игрой. Изменение положения HMD оценивают. На основании это оценки, когда изменение превышает заранее заданное пороговое значение, генерируют сигнал. Когда сигнал сгенерирован, для прерывания интерактивных сцен, визуализируемых на дисплейной части HMD, отправляют данные. Данные, отправленные на HMD, обеспечивают описательный контекст для указанного сигнала.

[0010] В соответствии с другим вариантом осуществления раскрыт способ. Способ включает выполнение игры. Это выполнение вызывает визуализацию интерактивных сцен игры на дисплейной части установленного на голове дисплея (HMD), надетого на пользователя. Объем, окружающий HMD, надетый на пользователя, определяют с использованием, например, одной или большего количества координат в пространстве декартовых координат. Действия пользователя, носящего HMD, контролируют во время геймплея, или процесса, игры. Когда эти действия приводят к изменению положения HMD, надетого на пользователя, эти изменения оценивают. Оценка вызывает генерацию сигнала, когда указанное изменение превышает заранее заданное пороговое значение. Когда сигнал сгенерирован, для прерывания интерактивных сцен, визуализируемых на дисплейной части HMD, отправляют данные. Отправленные данные обеспечивают описательный контекст для указанного сигнала.

[0011] В соответствии с некоторыми вариантами осуществления регулировка контента включает постепенное снижение яркости интерактивных сцен игры, визуализированной на экране HMD, переход экрана HMD в полупрозрачный режим или прозрачный режим. Такой переход приводит к визуализации объекта реального мира из непосредственной близости к пользователь, носящему HMD. Изображение объекта реального мира может быть визуализировано на переднем плане, в то время как интерактивные сцены визуализированы на заднем плане, объект реального мира может быть визуализирован на заднем плане, в то время как интерактивные сцены визуализированы на переднем плане, объект реального мира может быть визуализирован на части дисплейного экрана HMD, при этом интерактивные сцены визуализированы на оставшейся части дисплейного экрана, или любая их комбинация.

[0012] В соответствии с некоторыми вариантами осуществления регулировка контента может быть в виде постепенного снижения яркости интерактивных сцен игры, визуализированных на дисплейной части HMD. Снижение яркости может быть более сильным по мере того, как пользователь становится ближе к краю сцены или объекту.

[0013] В соответствии с некоторыми вариантами осуществления в дополнение к указывающей регулировке контента сигнал может выпускать предупреждение для пользователя. Такое предупреждение может быть в виде звукового сообщения, отображаемого сообщения для визуализации на дисплейной части HMD или осязательного сообщения, такого как вибрация и т.д. на HMD. Предупреждение также включает перемещение посредством процессора по меньшей мере одного дисплей установленного на голове дисплея от глаз пользователя.

[0014] В соответствии с дополнительными вариантами осуществления операции способа хранятся на машиночитаемом носителе, содержащем инструкции, которые при исполнении одним или большим количеством процессоров выполняют указанные операции. В соответствии с еще одними дополнительными примерными вариантами осуществления аппаратные системы или устройства могут быть выполнены с возможностью выполнения изложенных операций. Другие признаки, примеры и варианты осуществления описаны ниже.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0015] Варианты осуществления проиллюстрированы в качестве примера и не для ограничения на сопутствующих чертежах, на которых одинаковые ссылки указывают на аналогичные элементы, а также:

[0016] на фиг. 1 показана примерная сцена, подходящая для реализации различных аспектов настоящей технологии, в соответствии с вариантом осуществления изобретения.

[0017] На фиг. 2 показана примерная система, подходящая для использования способов для предостережения пользователя установленного на голове дисплея, в соответствии с вариантом осуществления изобретения.

[0018] На фиг. 3 показана другая примерная система, подходящая для использования способов для предостережения пользователя установленного на голове дисплея, в соответствии с вариантом осуществления изобретения.

[0019] На фиг. 4 показана еще одна примерная система, подходящая для использования способов для предостережения пользователя установленного на голове дисплея, в соответствии с вариантом осуществления изобретения.

[0020] На фиг. 5 показана блок-схема процесса, показывающая способ предостережения пользователя установленного на голове дисплея, в соответствии с вариантом осуществления изобретения.

[0021] На фиг. 6 показано схематичное представление примерной машины в виде компьютерной системы, в которой выполняется набор инструкций для выполнения указанной машиной любой одной или большего количества методологий, обсуждаемых в настоящем документе.

[0022] На фиг. 7 изображены различные части примерного установленного на голове дисплея, надетого на пользователя, в соответствии с одним вариантом осуществления.

[0023] На фиг. 8 изображено отслеживание установленного на голове дисплея и контроллера, надетых на пользователя или удерживаемых им в руках, в соответствии с вариантом осуществления настоящего изобретения.

[0024] На фиг. 9 изображены различные модули, используемые в отслеживании установленного на голове дисплея и потока данных между установленным на голове дисплеем и клиентским устройством/облачным сервером, в соответствии с одним вариантом осуществления.

[0025] На фиг. 10 изображен примерный вариант осуществления для определения положения установленного на голове дисплея и/или контроллера, надетых на пользователя или удерживаемых им в руках.

[0026] На фиг. 10А-10С изображены примерные варианты осуществления для определения изменения поднятия установленного на голове дисплея, надетого на пользователя.

[0027] На фиг. 11А-11Е изображено отслеживание установленного на голове дисплея для идентификации задачи безопасности, в соответствии с вариантом осуществления настоящего изобретения. На фиг. 11F изображено отслеживание установленного на голове дисплея для идентификации другой задачи безопасности, в соответствии с альтернативным вариантом осуществления настоящего изобретения.

[0028] На фиг. 12 показана блок-схема процесса, показывающая способ регулировки контента, визуализированного на установленном на голове дисплее, в соответствии с альтернативным вариантом осуществления изобретения.

[0029] На фиг. 13 изображена полная системная архитектура игрового модуля в соответствии с одним вариантом осуществления настоящего изобретения.

[0030] На фиг. 14 изображена структурная схема игровой системы в соответствии с вариантом осуществления настоящего изобретения.

ПОДРОБНОЕ ОПИСАНИЕ

[0031] Последующее подробное описание содержит ссылки на сопутствующие чертежи, которые формируют часть настоящего подробного описания. На чертежах показаны иллюстрации в соответствии с примерными вариантами осуществления. Эти примерные варианты осуществления, которые также в настоящем документе называются "примерами", описаны достаточно подробно для того, чтобы обеспечить специалистам в области техники возможность практиковать настоящий предмет изобретения. Варианты осуществления могут быть объединены, другие варианты осуществления могут быть использованы, или могут быть выполнены конструктивные, логические и электрические изменения без отклонения от сущности предмета изобретения. Следовательно, последующее подробное описание не следует принимать в ограничивающем смысле, а объем задан прилагаемой формулой изобретения и ее эквивалентами. В настоящем документе форма единственного числа использована, как принято в патентных документах, для содержания одного или более, чем одного. В настоящем документе термин "или" использован для ссылки на неисключительное "или", так что "А или В" содержит "А, но не В", "В, но не А" и "А и В", если не указано иное.

Техники вариантов осуществления, раскрытых в настоящем документе, могут быть реализованы с использованием различных технологий. Например, способы, описанные в настоящем документе, реализуются в программном обеспечении, выполняющемся на компьютерной системе, или аппаратном обеспечении, использующем комбинацию микропроцессоров или другие специально разработанные специализированные интегральные схемы (ASIC), программируемые логические устройства или различные их комбинации. В частности, способы, описанные в настоящем документе, реализуются посредством последовательности выполняемых компьютером инструкций, находящихся на носителе данных, таком как накопитель на дисках или читаемый с помощью компьютера носитель. Следует отметить, что способы, описанные в настоящем документе, могут быть реализованы посредством мобильного терминала, сотового телефона, смартфона, компьютера (например, настольного компьютера, планшетного компьютера, портативного компьютера), игровой консоли, ручного игрового устройства и т.д.

[0033] В общем, варианты осуществления настоящего изобретения предоставляют способы и системы для предупреждения пользователей установленных на голове дисплеев о приближении к краю сцены или перемещении за пределы поля обзора камеры, или когда они перемещаются по направлению к одному или большему количеству материальных препятствий. Определение того, что пользователи приближаются к краю поля обзора или препятствиям, выполняют на основании анализа изображений и/или данных глубины. Изображения и/или данные глубины могут быть получены от датчика (датчиков) изображения и/или датчика (датчиков) глубины, расположенных либо на установленном на голове дисплее, либо отдельно от пользователя и не соединенными со установленным на голове дисплеем, или комбинации того и другого. Предупреждение содержит звуковые сообщения, отображаемые или видимые сообщения, подсвечивание СИД, постепенного выцветания отображаемых изображений на закрепленном на голове дисплее, снижение яркости изображения, смешивания с видом реального мира, вызывание вибрации установленного на голове дисплея, вывод из взаимодействия установленного на голове дисплея или его частей или перемещение дисплея (дисплеев) установленного на голове дисплея от глаз пользователя таким образом, что пользователь может видеть реальный мир и препятствия, где он движется.

[0034] Термин "установленный на голове дисплей", как использован в настоящем документе, относится к одному или большему количеству из следующего: носимый компьютер, имеющий дисплей, установленное на голове электронное устройство, соединенный с головой дисплей, установленный на шлеме дисплей, установленный на голове компьютер с дисплеем. Установленное на голове устройство, которое надето на голову пользователя или которое является частью шлема, имеет небольшую дисплейную оптику перед одним (монокулярное дисплейное устройство) или каждым глазом (бинокулярное дисплейное устройство). Установленное на голове устройство имеет либо один, либо два небольших дисплея с линзами и полупрозрачными зеркалами, внедренными в шлем, очки (также известные как цифровые очки) или смотровой щиток. Дисплейные блоки могут быть миниатюризированы и могут содержать жидкокристаллический дисплей (ЖКД), дисплей на органических светодиодах (OLED, Organic Light-Emitting Diode). Некоторые поставщики применяют множественные микродисплеи для увеличения общего разрешения и поля обзора. Некоторые другие установленные на голове устройства не используют обычные дисплеи вообще, и вместо них проецируют световое излучение прямо на глаза пользователя.

[0035] Термин "датчик глубины", как использован в настоящем документе, относится к любому подходящему электронному устройству, выполненному с возможностью генерации карт глубины 3D пространства. Некоторые примеры чувствительных к глубине устройств содержат чувствительную к глубине камеру, стерео 3D камера, датчик глубины, видеокамера, выполненная с возможностью обработки изображений для генерации карт глубины, и т.д. Карты глубины могут обрабатываться посредством управляющего устройства для определения местоположения пользователя, присутствующего в 3D пространстве, а также частей его тела, включая голову, туловище и конечности. Термин "датчик изображения", как использован в настоящем документе, относится к любому подходящему электронному устройству, выполненному с возможностью генерации статических изображений или изображений движения 3D сцены. Некоторые примеры датчиков изображения содержат видеокамеру, фотокамеру, прибор с зарядовой связью (ПЗС) и т.д. Термин "поле обзора", как использован в настоящем документе, относится к протяженности 3D пространства, покрытого и "просматриваемого" датчиком изображения и/или датчиком глубины.

[0036] Термин "управляющее устройство", как использован в настоящем документе, относится к любому подходящему вычислительному устройству или системе, выполненным с обработки данных, изображений, карт глубины, пользовательского ввода и т.д.. Некоторые примеры управляющего устройства содержат настольный компьютер, портативный компьютер, планшетный компьютер, игровую консоль, звуковую систему, видеосистему, сотовый телефон, смартфон, компьютерную приставку к телевизору, телевизионный приемник и т.д. В соответствии с некоторыми вариантами осуществления по меньшей мере некоторые элементы управляющего устройства включены в дисплейное устройство (например, в виде носимого на голове компьютера). Управляющее устройство может находиться в беспроводной или проводной связи с датчиком глубины/датчиком изображения и установленным на голове дисплеем. Управляющее устройство также отвечает за генерацию изображений, отображаемых дополнительно на установленном на голове дисплее (например, генерирует виртуальную реальность). В соответствии с некоторыми вариантами осуществления термин "управляющее устройство" относится к "вычислительному устройству", "обрабатывающему средству" или только "процессору".

[0037] В соответствии с вариантами осуществления настоящего изобретения установленный на голове дисплей может быть надет на пользователя в частном 3D пространстве, таком как жилая комната здания. Пользователь может присутствовать перед датчиком глубины/датчиком изображения, который отслеживает движения пользователя. Управляющее устройство обрабатывает данные, принятые от датчика глубины/датчика изображения и, как результат обработки, управляющее устройство идентифицирует пользователя, движения/жесты пользователя и координаты отслеживания виртуального скелета в 3D пространстве.

[0038] Теперь со ссылкой на чертежи, на фиг. 1 показана примерная сцена 100, подходящая для реализации различных аспектов настоящей технологии, в соответствии с вариантом осуществления изобретения.

[0039] В частности, здесь показан пользователь 105, носящий установленный на голове дисплей 110. Пользователь 105 присутствует в 3D пространстве, находясь перед управляющим устройством 115, которое содержит датчик глубины/ датчик изображения таким образом, что пользователь 105 может быть легко отслежен. Управляющее устройство 115 соединено с игровым устройством или игровой консолью 120 или является его частью и также может находиться в функциональной связи с установленным на голове дисплеем 110 и некоторыми периферийными устройствами, такими как телевизионный дисплей 130, звуковая система и т.д.

[0040] Для того, чтобы отслеживаться управляющим устройством 115, пользователь 105 должен присутствовать внутри поля обзора датчика глубины и/или датчика изображения управляющего устройства 115, область которого также называется в настоящем документе "сценой" 135. Если пользователь 105 выходит из сцены 135, он не будет отслеживаться, и, таким образом, его взаимодействие с управляющим устройством 115 прерывается. В соответствии с альтернативным вариантом осуществления пользователь 105 может перемещаться по направлению к материальному препятствию 140, такому как стол, стул, игрушка и т.д. Поскольку пользователь 105 не может видеть реальный мир или имеет сокращенный обзор реального мира, в то время как носит установленный на голове дисплей 110, он может удариться о препятствие 140 и получить травму. Соответственно, настоящая технология направлена на предупреждение пользователя 105, если он приближается к краю сцены 135 или одному или большему количеству препятствий 140.

[0041] На фиг. 2 показана примерная система 200, подходящая для использования способов для предостережения пользователя установленного на голове дисплея, в соответствии с вариантом осуществления изобретения.

[0042] Как показано на фиг. 2, система 200 содержит установленный на голове дисплей 110 и управляющее устройство 115. Установленный на голове дисплей содержит один или большее количество дисплеев 250, модуль 260 связи и, опционально, запускающее устройство 270.

[0043] В соответствии с некоторыми вариантами осуществления дисплей 250 расположен перед одним или двумя глазами пользователя. Дисплей 250 выполнен с возможностью симуляции виртуальной реальности, включая видеоигры, спортивные тренировки, развлекательные приложения и т.д. В соответствии с одним примерным вариантом дисплей 250 выполнен с возможностью визуализации трехмерных (3D) виртуальных игровых миров. Пользователь способен изменять отображаемый вид в виртуальном мире посредством поворота головы.

[0044] В соответствии с некоторыми примерными вариантами осуществления модуль 260 связи выполнен с возможностью осуществления функциональной связи с управляющим устройством 115 и некоторыми другими периферийными устройствами, такими как телевизионный дисплей 130, звуковая система и т.д.

[0045] В соответствии с некоторыми примерными вариантами осуществления запускающее устройство 270 выполнено с возможностью запуска предупреждающего сигнала, отправленного управляющим устройством 115 на установленный на голове дисплей. Например, запускающее устройство 270 может инициировать отображение отображаемого устройства на дисплее 250 или снижение яркости изображений, отображаемых установленным на голове дисплеем пользователю. В соответствии с одним примерным вариантом осуществления запускающее устройство 270 останавливает отображение изображений установленным на голове устройством. В соответствии с другим примерным вариантом осуществления запускающее устройство 270 перемещает по меньшей мере один дисплей 250 установленного на голове дисплея 110 от глаз пользователя.

[0046] В соответствии с некоторыми вариантами осуществления управляющее устройство 115 содержит модуль 210 связи, вычислительный блок 220, датчик 230 глубины и датчик 240 изображения. Модуль 210 связи выполнен с возможностью осуществления функциональной связи с модулем 260 связи установленного на голове дисплея 110 и другими периферийными устройствами, такими как телевизионный дисплей 130, звуковая система и т.д.

[0047] В соответствии с некоторыми вариантами осуществления модуль 210 связи выполнен с возможностью передачи изображений сцены, захваченных, датчиком 230 глубины и/или датчиком 240 изображения на вычислительный блок 220.. В соответствии с некоторыми вариантами осуществления вычислительный блок 220 выполнен с возможностью обработки изображений сцены, принятых от датчика 230 глубины и/или датчика 240 изображения, отслеживания местоположения пользователя на основании принятых изображений и определения, что пользователь приближается к краю сцены. Вычислительный блок 220 дополнительно выполнен с возможностью отправки предупреждающих сообщений на установленный на голове дисплей 110 о близости края сцены.

[0048] В соответствии с некоторыми вариантами осуществления вычислительный блок 220 отправляет запускающие сигналы на запускающее устройство 270 на основании обработанных изображений сцены. В соответствии с некоторыми вариантами осуществления датчик 230 глубины захватывает видеоданные в 3D при любых окружающих световых условиях. Диапазон восприятия датчика 230 глубины является регулируемым и автоматически калибруется на основании физической окружающей среды на основании наличия или отсутствия мебели или других препятствий.

[0049] В соответствии с некоторыми вариантами осуществления датчик 240 изображения является устройством, которое преобразовывает оптическое изображение в электронный сигнал. Датчик 240 изображения может содержать, например, одну или большее количество видеокамер, которые чувствительны к видимому диапазону, ИК камеры, чувствительные к ИК диапазону, УФ камеры и другие прямые и непрямые генерирующие изображения системы датчиков, например, радар или лазерный радар. Изображения от датчика 230 глубины и датчика 240 изображения могут быть объединены посредством слияния данных и отображены пользователю.

[0050] На фиг. 3 показана другая примерная система 300, подходящая для использования способов для предостережения пользователя установленного на голове дисплея, в соответствии с вариантом осуществления изобретения. Система 300 аналогична системе 200, показанной на фиг. 2, за исключением того, что датчик 280 глубины и датчик 290 изображения прикреплены к установленному на голове дисплею 110.

[0051] На фиг. 4 показана еще одна примерная система 400, подходящая для использования способов для предостережения пользователя установленного на голове дисплея, в соответствии с вариантом осуществления изобретения. Система 400 аналогична системе 200, показанной на фиг. 2, за исключением того, что установленный на голове дисплей 110 содержит как датчик 280 глубины, так и датчик 290 изображения, и управляющее устройство 115 как датчик 230 глубины, так и датчик 240 изображения.

[0052] На фиг. 5 показана блок-схема процесса, показывающая способ 500 предостережения пользователя установленного на голове дисплея, в соответствии с вариантом осуществления изобретения.

[0053] Способ 500 выполняют посредством обрабатывающей логики, которая содержит аппаратное обеспечение (например, специализированная логика, программируемая логика и микрокод), программное обеспечение (такое как программное обеспечение, запускаемое на компьютерной системе общего назначения или специализированной машине) или комбинации и того, и другого. В соответствии с одним примерным вариантом осуществления обрабатывающая логика находится на установленном на голове дисплее. В соответствии с другим примерным вариантом осуществления обрабатывающая логика находится на управляющем устройстве. В соответствии с еще одним примерным вариантом осуществления обрабатывающая логика находится как на установленном на голове дисплее, так и на управляющем устройстве.

[0054] Как показано на фиг. 5, способ 500 может начинаться на операции 510 с приема изображений и/или данных глубины сцены, в которой присутствует пользователь, использующий установленный на голове дисплей. Сцена содержит заранее определенную трехмерную область. Изображения сцены захватываются одним или большим количеством датчиков, например датчиком изображения или датчиком глубины. Таким образом, сцена может быть задана полем обзора указанного одного или большего количества датчиков. Указанный один или большее количество датчиков может быть соединено со установленным на голове дисплеем. Установленный на голове дисплей является носимым компьютером с дисплеем, установленным на голове электронным устройством, соединенным с головой дисплеем, установленным на шлеме дисплеем и т.д. В соответствии с альтернативным вариантом осуществления указанный один или большее количество датчиков соединено с управляющим устройством.

[0055] Способ 500 в операции 520 переходит к отслеживанию информации о местоположении пользователя на основании по меньшей мере частично изображений и/или данных глубины сцены, принятых от указанного одного или большего количества датчиков. Далее в операции 530 способ 500 переходит к динамическому определению того, что пользователь приближается к краю сцены. Это определение основано по меньшей мере частично на отслеживании, выполненном в операции 520. В соответствии с одним примерным вариантом осуществления край сцены содержит одно или большее количество материальных препятствий, таких как кофейный столик, стул и т.д.

[0056] В операции 540 пользователя предупреждают, что он приближается к краю сцены, на основании определения, выполненного в операции 530. Такое предупреждение может содержать звуковое сообщение, видимое сообщение, включение светоизлучающих диодов, постепенное выцветание изображений, отображенных на закрепленном на голове дисплее, смешивание отображенных изображений с видом реального мира, вибрацию установленного на голове дисплея, вывод из взаимодействия установленного на голове дисплея или его частей или перемещение установленного на голове дисплея от глаз пользователя и т.д.

[0057] В соответствии с одним примерным вариантом осуществления способ 500 дополнительно включает прием вторичных изображений сцены от одного или большего количества вторичных датчиков. Указанный один или большее количество вторичных датчиков соединено с управляющим устройством. В соответствии с некоторыми вариантами осуществления указанный один или большее количество вторичных датчиков отслеживают местоположение пользователя по меньшей мере частично на основании вторичных изображений сцены. Если пользователь продолжает перемещаться в направлении края сцены, на основании вторичных изображений на установленный на голове дисплей может быть обеспечены дополнительные предупреждения. В соответствии с альтернативным вариантом осуществления, если пользователь прекращает перемещаться в направлении края сены и перемещается по направлению к центру сцены, изображения, отображаемые на установленном на голове дисплее, постепенно фокусируются, или установленный на голове дисплей или его части повторно входят во взаимодействие, установленные на голове дисплей перемещается к глазам пользователя и т.д.

[0058] На фиг. 6 показано схематичное представление вычислительного устройства для машины в примерном электронном виде компьютерной системы 600, в которой может быть выполнен набор инструкций для побуждения указанной машины выполнять любую одну или большее количество методологий, обсуждаемых в настоящем документе. В соответствии с примерными вариантами осуществления указанная машина работает, как отдельное устройство, или она может быть соединена (например, по сети) с другими машинами. В сетевом расположении машина может работать в качестве сервера, клиентской машины в сетевой среде клиент-сервер или как одноранговая машина в одноранговой (или распределенной) сетевой среде. Машина может являться персональным компьютером (ПК), планшетным ПК, компьютерной приставкой к телевизору, КПК, сотовым телефоном, портативным музыкальным проигрывателем (например, портативным звуковым устройством на жестком магнитном диске, таком как проигрыватель формата МР3 (Moving Picture Experts Group Audio Layer 3, кодек третьего уровня, разработанный командой MPEG)), веб устройством, сетевым роутером, коммутатором, мостом или любой машиной, выполненной с возможностью выполнения набора инструкций (последовательно или иначе), которые указывают действия, подлежащие выполнению этой машиной. Кроме того, хотя изображена только одна машина, термин "машина" следует также принимать, как содержащий любую совокупность машин, которые отдельно или совместно выполняют набор (или множество наборов) инструкций для выполнения любой одной или большего количества методологий, обсуждаемых в настоящем документе.

[0059] Примерная компьютерная система 600 содержит процессор или множество процессоров 605 (например, центральный процессор (ЦП), графический процессор (ГП) или оба) и основное запоминающее устройство 610 и статическое запоминающее устройство 615, которые осуществляют связь друг с другом по шине 620. Компьютерная система 600 дополнительно может содержать видеодисплей 625 (например, ЖКД или электронно-лучевую трубку (ЭЛТ)). Компьютерная система 600 также содержит по меньшей мере одно устройство 630 ввода, такое как буквенно-цифровое устройство ввода (например, клавиатура), устройство управления курсором (например, манипулятор типа "мышь), микрофон, цифровую камеру, видеокамеру и т.д. Компьютерная система 600 также содержит накопитель 635 на дисках, устройство 640 генерации сигнала (например, динамик) и устройство 645 сетевого интерфейса.

[0060] Накопитель 635 на дисках содержит читаемый с помощью компьютера носитель 650, который хранит один или большее количество наборов инструкций и структур данных (например, инструкции 655), воплощающие любую одну или большее количество из методологий или функций, описанных в настоящем документе, или используемых ими. Инструкции 655 также могут находиться, полностью или по меньшей мере частично, в основном запоминающем устройстве 610 и/или в процессорах 605 во время их выполнения компьютерной системой 600. Основное запоминающее устройство 610 и процессоры 605 также составляют машиночитаемый носитель.

[0061] Инструкции 655 дополнительно могут быть переданы или приняты по сети 660 связи через устройство 645 сетевого интерфейса, используя любой из ряда известных протоколов передачи (например, протокол передачи гипертекста (HTTP, Hyper Text Transfer Protocol, протокол CAN (Controller Area Network, сеть контроллеров), последовательный протокол и протокол Modbus). Сеть 660 связи содержит сеть Интернет, локальную сеть интранет, персональную сеть (PAN, Personal Area Network), ЛВС (локальную вычислительную сеть), ГВС (глобальную вычислительную сеть), городскую вычислительную сеть (MAN, Metropolitan Area Network), виртуальную частную сеть (ВЧС), сеть хранения данных (SAN, storage area network), соединение типа frame relay (ретрансляция кадров), соединение усовершенствованной интеллектуальной сети (AIN, Advanced Intelligent Network), соединение синхронной оптической сети (SONET, synchronous optical network), цифровую линию Т1, Т3, E1 или Е3, соединение службы передачи цифровых данных (DDS, Digital Data Service), соединение цифровой абонентской линии (DSL, Digital Subscriber Line), соединение сети Ethernet, линию цифровой сети с интегрированными услугами (ISDN, (Integrated Services Digital Network), кабельный модем, соединение асинхронного режима передачи (ATM, Asynchronous Transfer Mode) или соединение интерфейса передачи данных по ВОС (FDDI, Fiber Distributed Data Interface) или интерфейса передачи данных по медному кабелю (CDDI, Copper Distributed Data Interface). Кроме того, средства связи также содержат линии связи с любой из различных беспроводных сетей, включая WAP (Wireless Application Protocol, протокол приложений для беспроводной связи), GPRS (General Packet Radio Service, пакетная радиосвязь общего назнач