Системы и способы использования сокращенных транзитных участков для создания сцены дополненной виртуальной реальности с помощью устанавливаемой на голове системы

Системы и способы использования сокращенных транзитных участков для создания сцены дополненной виртуальной реальности с помощью устанавливаемой на голове системы

Иллюстрации

Показать все

Реферат

Область техники

Настоящее изобретение относится к способам и системам для использования сокращенных транзитных участков, чтобы создавать сцену дополненной виртуальной реальности в устанавливаемой на голове системе.

Уровень техники

Для ведения игры в дополненной виртуальной реальности, главным образом, используют приставку для видеоигр. Например, для ведения игры в дополненной виртуальной реальности пользователь обычно приобретает контроллер и приставку. Приставка может быть связана с сетью Интернет. Приставку подключают к питанию, и пользователь управляет контроллером для ведения игры через приставку и Интернет. Однако число транзитных участков, например, число сетевых устройств и т.п., через которые проходят данные игры в дополненной виртуальной реальности для облегчения ведения игры, может замедлить ход игры. Например, пользователь может быть вынужден ждать игры на определенных этапах игры в дополненной виртуальной реальности.

Именно в данном контексте описаны все возникающие в настоящем изобретении варианты осуществления.

Сущность изобретения

Варианты осуществления, описанные в настоящем изобретении, создают системы и способы использования сокращенных транзитных участков, чтобы создавать сцену дополненной виртуальной реальности в устанавливаемой на голове системе.

Вообще говоря, в ряде вариантов осуществления системы и способы обеспечивают ведение игры в дополненной виртуальной реальности, в которой данные среды, передаются потоком к устанавливаемому на голове дисплею из сети, минуя маршрутизатор между устанавливаемым на голове дисплеем и сетью. Неиспользование маршрутизатора уменьшает число транзитных участков между устанавливаемым на голове дисплеем и игровым облаком, которое исполняет игровую программу, чтобы обеспечить пользователю возможность ведения игры в дополненной виртуальной реальности.

В некоторых вариантах осуществления для ведения игры через игровую облачную систему используется устанавливаемый на голове дисплей. Устанавливаемый на голове дисплей включает в себя схему связи для передачи реальной среды, связанной с игровой программой, по сети. Реальная среда обрабатывается с помощью игровой облачной системы и передается потоком напрямую от схемы связи к игровой облачной системе. Устанавливаемый на голове дисплей, кроме того содержит схему обработки данных игры, связанную со схемой связи. Схему обработки данных игры используют для декодирования машинно-генерируемой интерактивной среды, полученных из игровой облачной системы по сети. Схема обработки данных игры приводит в действие часть интерактивности, связанной с игровой программой, путем наложения машинно-генерируемой интерактивной среды на реальную среду. Машинно-генерируемая интерактивная среда создается на основе реальной среды.

В некоторых вариантах осуществления описан способ ведения игры через игровую облачную систему. Способ включает в себя передачу реальной среды, связанной, с игровой программой, по сети. Реальная среда обрабатывается с помощью игровой облачной системы и передается потоком напрямую в игровую облачную систему. Способ включает в себя декодирование машинно-генерируемой интерактивной среды, полученных от игрового облака через сеть. Способ включает в себя приведение в действие части интерактивности, связанной с игровой программой, путем наложения машинно-генерируемой интерактивной среды на реальную среду. Машинно-генерируемая интерактивная среда создается на основе реальной среды.

В различных вариантах осуществления описан энергонезависимый машиночитаемый носитель для хранения на нем машиноисполняемых команд для ведения игры через игровую облачную систему. Машиноисполняемые команды, при выполнении процессором вычислительной машины, передают реальную среду, связанную с игровой программой, по сети. Реальную среду обрабатывают с помощью игровой облачной системы и передают потоком напрямую в игровую облачную систему. Машиноисполняемые команды, при выполнении процессором вычислительной машины декодируют машинно-генерируемую интерактивную среду, принятую из игрового облака через сеть. Машиноисполняемые команды при выполнении процессором вычислительной машины приводят в действие часть интерактивности, связанной с игровой программой, путем наложения машинно-генерируемой интерактивной среды на реальную среду. Машинно-генерируемая интерактивная среда создается на основе реальной среды.

Другие описанные аспекты будут вполне очевидны из следующего подробного описания, в сочетании с прилагаемыми чертежами, иллюстрирующими, в качестве примера, принципы вариантов осуществления, описанных в настоящем документе.

Краткое описание чертежей

Различные варианты осуществления, описанные в настоящем изобретении, могут быть лучше понятны со ссылкой на следующее описание вместе с прилагаемыми чертежами, на которых:

На фиг. 1А приведена схема системы для использования числа сокращенных транзитных участков между игровым облаком и устанавливаемым на голове дисплеем (head mounted display, HMD) или ручным контроллером (hand-held controller, HHC) для создания сцены дополненной виртуальной реальности в HMD в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 1В приведена схема системы для передачи данных между HMD или ННС и игровым облаком по сети и маршрутизатору для создания сцены дополненной виртуальной реальности в HMD в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 1С приведена схема системы для использования приставки для передачи данных среды, и для использования или не использования маршрутизатора для передачи входных данных и/или данных среды, и/или данных реальной окружающей среды для создания сцены дополненной виртуальной реальности в HMD в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 2 приведена схема системы для иллюстрирования создания входных данных на основании движения головы и/или движений рукой пользователя, в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 3 приведена схема HMD, которая является примером HMD по фиг. 1А, в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 4А приведена схема изображения, которое отображается на экране дисплея HMD по фиг. 3 для доступа к беспроводной сети, в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 4В приведена схема изображения, которое отображается на экране дисплея вычислительной машины для доступа к беспроводной сети, в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 5А приведена схема изображения игры, которое отображается на экране дисплея HMD по фиг. 3, где периферийная область экрана дисплея HMD имеет низкое разрешение, а центральная область имеет высокое разрешение, в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 5В приведена схема изображения игры, которое отображается на экране дисплея HMD по фиг. 3, где верхняя область и нижняя область экрана дисплея HMD имеет низкое разрешение, а область между верхней и нижней областями имеет высокое разрешение, в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 5С приведена схема изображения игры, которое отображается на экране дисплея HMD по фиг. 3, где правая область и левая область экрана дисплея HMD имеет низкое разрешение, а область между правой и левой областями имеет высокое разрешение, в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 6 приведена схема, иллюстрирующая различные типы ННС, в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 7А приведена схема варианта осуществления HMD, которая является примером HMD по фиг. 3, в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 7В приведен вид в изометрии варианта осуществления HMD, который является примером HMD по фиг. 3, в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 8А приведена схема, иллюстрирующая использование HMD по фиг. 7В с контроллером Dualshock в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 8В приведена схема, иллюстрирующая использование HMD по фиг. 7В с контроллером Move™ в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 9А приведена схема, иллюстрирующая использование HMD по фиг. 7В с контроллером Dualshock по фиг. 8А для ведения игры в сцене дополненной виртуальной реальности в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 9В приведена схема, иллюстрирующая сцену дополненной виртуальной реальности по фиг. 9А в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг 10 приведена структурная схема приставки, которая совместима для взаимодействия с ННС и HMD по фиг. 3, в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 11 приведена структурная схема, иллюстрирующая вариант осуществления игровой системы, в соответствии с одним вариантом осуществления, описанным в настоящем документе.

Осуществление изобретения

Описаны системы и способы для использования сокращенных транзитных участков, чтобы создавать дополненную виртуальную реальность в устанавливаемой на голове системе. Например, сетевое устройство, например, маршрутизатор, повторитель, концентратор, вычислительная машина, приставка, и т.п., добавляет транзитный участок в данные, передаваемые через сетевое устройство. Одно или больше сетевых устройств может быть расположено между устанавливаемым на голове дисплеем (head mounted display, HMD) и сетью и/или между ручным контроллером (hand-held controller, ННС) и сетью. Транзитный участок может быть добавлен в результате приема данных сетевым устройством от другого устройства, буферизации данных сетевым устройством, анализа данных, и пересылки Данных к другому устройству сетевым устройством. Системы и способы сокращают число сетевых устройств между HMD и сетью и/или между ННС и сетью. Сокращение числа сетевых устройств уменьшает задержку, например, время запаздывания, время буферизации данных, время приема данных, время анализа данных, время пересылки данных и т.п. При уменьшении задержки HMD и/или НМС используют для отображения насыщенных графических данных, которые приняты из игрового облака по сети с минимальной задержкой. Для создания сцены дополненной виртуальной реальности используется насыщенная графика. Следует заметить, что различные варианты осуществления, описанные в настоящем документе, могут быть осуществлены без некоторых или всех указанных конкретных деталей. В других примерах хорошо известные операции обработки не описаны подробно, чтобы излишне не загромождать различные варианты осуществления, описанные в настоящем документе.

В некоторых вариантах осуществления система включает в себя вычислительную машину, ННС и HMD. В различных вариантах осуществления вычислительную машину может быть. вычислительной машиной специального назначения, игровой приставкой, мобильным телефоном, планшетом, или любым другим устройством, которое выполняет одну или больше частей интерактивной игровой программы, которая воспроизводится на дисплее. В данных вариантах осуществления любые оставшиеся части интерактивной игровой программы выполняются в игровой облачной системе, например, на одной или больше виртуальных машин (virtual machines, VM). В некоторых вариантах осуществления игровая облачная система включает в себя ряд серверов, которые выполняют игровую программу, чтобы создавать игровую среду на игровом устройстве, например, HMD, экране вычислительной машины, телевизионном экране, и т.п. Например, гипервизор выполняется в верхней части физических ресурсов, например, процессоров, устройств памяти, серверов, и т.п., для выполнения ряда операционных систем и ряда машинных программ для создания данных, которые в дальнейшем используются для создания игровой среды на HMD. Примеры игровых приставок включают те, которые изготавливает Sony Computer Entertainment™, Inc. и другие производители. Интерактивная игровая программа может быть многопользовательской игровой программой, которую использует множество пользователей, или игровой программой для одного пользователя, которую использует пользователь с помощью вычислительной машины.

В нескольких вариантах осуществления все части интерактивной игровой программы выполняются в игровой облачной системе или на вычислительной машине.

HMD представляет собой устройство, надеваемое на голову пользователя, или часть шлема, который имеет малое оптическое устройство дисплея, например, линзу, стекло, и т.п., перед одним или каждым глазом пользователя. В некоторых вариантах осуществления одна сцена, например, виртуальная сцена, сцена дополненной виртуальной реальности и т.п. отображаются на экране дисплея HMD, даже хотя два оптических устройства используются для двух глаз. Оба глаза наблюдают одну сцену.

В некоторых вариантах осуществления HMD обладает возможностью приема- и воспроизведения видеовыхода от вычислительной машины. В различных вариантах осуществления ННС и/или HMD поддерживает беспроводную связь с вычислительной машиной, поскольку это обеспечивает большую свободу перемещения ННС и/или HMD, чем проводное соединение.

ННС может включать в себя какие-либо из разнообразных функций, такие как, например, кнопки, джойстик, навигационная клавиша, пусковой механизм, сенсорная панель, жесты рукой, сенсорный экран или другие типы механизмов ввода, и т.п., для создания входного сигнала для интерактивных игровых программ. Одним из примеров ННС является контроллер Sony Dualshock 4, изготавливаемый Sony Computer Entertainment™, Inc. Другие примеры ННС включают в себя контроллеры, изготавливаемые другими предприятиями и имеющие какое-либо число моделей и любой номер версии.

Кроме того, ННС может быть контроллером движения, который дает возможность пользователю взаимодействия и обеспечивает входной сигнал для интерактивной игровой программы путем перемещения контроллера движения. Одним из примеров контроллера движения является контроллер PlayStation Move™, изготавливаемый Sony Computer Entertainment™, Inc.

Аналогично, HMD может включать в себя схему пользовательского ввода, дающую пользователю возможность взаимодействия и обеспечивающую входной сигнал для интерактивной игровой программы за счет движения HMD. Для определения положения и перемещения контроллера движения и/или HMD могут быть использованы различные методы. Например, контроллер движения и/или схема пользовательского ввода может включать в себя различные типы схем инерционных датчиков, таких как акселерометры, гироскопы и магнитометры. В некоторых вариантах осуществления акселерометр представляет собой 6-осный акселерометр с низкой задержкой. В некоторых вариантах осуществления контроллер движения и/или HMD может включать в себя один или больше неподвижных опорных объектов, например, светоизлучающие диоды (light emitting diodes, LED), окрашенные точки, отражатели света, маркеры, отражающий в обратном направлении материал, заранее заданную форму, заранее заданный цвет, заранее заданный объект, штрих-код, метки, быстродействующий (quick response, QR) код, и т.п., и изображения неподвижных опорных объектов захватываются одной или большим количеством цифровых камер. В некоторых вариантах осуществления цифровая камера включает в себя видеокамеру, которая дополнительно содержит один прибор с зарядовой связью (Charge Coupled Device, CCD), светодиодный индикатор, и аппаратное устройство сжатия и кодирования данных в режиме реального времени, так что сжатые видеоданные могут быть переданы в соответствующем формате, таком как основанный на интраобразе стандарт экспертной группы по вопросам движущегося изображения (motion picture expert group, MPEG). Положение и перемещение контроллера движения и/или HMD затем можно определять путем анализа изображений, захваченных одной или большим количеством цифровых камер.

На фиг. 1А приведена схема варианта осуществления системы 100 для использования сокращенных транзитных участков между игровым облаком 102 и HMD 104 или ННС 106 для создания сцены дополненной виртуальной реальности в HMD 104. В некоторых вариантах осуществления игровое облако 102 здесь называют игровой облачной системой. В некоторых вариантах осуществления пользователь 108 располагает HMD 104 на своей голове таким образом, чтобы линзы HMD 104 располагались перед глазами таким же образом, как пользователь 108 надевал бы шлем. В некоторых вариантах осуществления HMD 104 надевают, как очки, например, корректирующие очки, защитные очки и т.п. В некоторых вариантах осуществления HMD 104 покрывает оба глаза пользователя 108. ННС 106 пользователь 106 удерживает руками.

В некоторых вариантах осуществления вместо ННС 106, пользователь 106 использует руки для выполнения жестов, например, жестов рукой, жестов пальцем и т.п. для HMD 104. Например, цифровая камера в HMD 104 захватывает изображения жестов, и процессор в HMD 104 анализирует жесты для определения того, зависит ли игра, отображаемая в HMD 104, от жестов.

Используемый здесь процессор может быть микропроцессором, программируемым логическим устройством (programmable logic device, PLD), специализированной интегральной микросхемой (application specific integrated circuit, ASIC), или их сочетанием.

Система 100 включает в себя сеть 110, которая может быть локальной сетью (local area network, LAN), глобальной сетью (wide area network, WAN), или их сочетанием. Примеры сети 110 включают в себя Интернет, Интранет или их сочетание. В некоторых вариантах осуществления сеть 110 использует протокол управления передачей (transmission control protocol, ТСР)/протокол Internet Protocol (IP) или протокол пользовательских дейтаграмм (user datagram protocol/IP, UDP/IP) для передачи данных среды, по сети 110 между игровым облаком 102 и HMD 104 или ННС 106. В различных вариантах осуществления сеть 110 использует протокол Ethernet, протокол TCP/IP, или оба протокола, для передачи данных среды, по сети 110 между игровым облаком 102 и HMD 104 или ННС 106. Игровое облако 102 включает в себя кодирующее/декодирующее устройство (кодек) 112 и потоковый буфер 114. Потоковый буфер 114 сохраняет поток данных 116 среды, который создается после выполнения игровой программы 117. Игровая программа 117 представляет собой пример интерактивной игровой программы и выполняется на одном или больше серверов игрового облака 102.

Данные 116 среды, включают в себя данные о виртуальной среде, данные виртуального игрового объекта, их сочетание и т.п. В ряде вариантов осуществления данные о виртуальной среде воспроизводятся для создания виртуальной среды игры, а данные виртуального игрового объекта воспроизводятся для создания одного или больше виртуальных игровых объектов, например, виртуальных игровых персонажей, виртуальных точек, виртуальных призов, игрового интерфейса и т.п.

В ряде вариантов осуществления виртуальная среда игры включает в себя виртуальный игровой объект. Примеры виртуальной среды включают в себя виртуальную географическую область, например, виртуальный город, виртуальную дорогу, виртуальное озеро, виртуальный океан и т.п.

Пример кодека 112 включает в себя компрессионное/декомпрессионное устройство. Например, кодек 112 кодирует/декодирует данные 116 среды. Примеры сжатия включают в себя сжатие с потерей данных, сжатие без потери данных, и т.п.

В некоторых вариантах осуществления кодек 112 выполняет пакетирование и депакетирование, и выполняет кодирование и декодирование данных. В данных вариантах осуществления кодек 112 включает в себя потоковый буфер 114.

Пользователь 108 использует HMD 104 для доступа к операционной системе (operating system, OS), которая выполняется на обрабатывающем устройстве HMD 104. Например, пользователь 108 включает посредством кнопки HMD 104, и процессор HMD 104 выполняет OS.

В некоторых вариантах осуществления OS позволяет HMD 104 получать доступ к сети 110. Например, когда пользователь 108 выбирает приложение сетевого доступа, например, значок сетевого доступа, символ сетевого доступа, и т.п., которое выполняется процессором HMD 104 в верхней части OS, приложение сетевого доступа представляет список сетей на микроконтроллере HMD 104 для показа пользователю 108. Пользователь 108 использует схему пользовательского ввода для выбора одной из сетей для доступа к сети 110. Например, пользователь 108 выполняет одно или больше движения головы, например, наклон головы, подмигивание, пристальное вглядывание, широко раскрытый взгляд, кивание, встряхивание, и т.п., которое обнаруживается схемой пользовательского ввода, для создания входного сигнала, чтобы выбрать одну из сетей. В другом примере пользователь 108 выбирает кнопку на ННС 106 для выбора одной из сетей, и выбор передается от ННС 106 к HMD 104 с помощью схемы связи ННС 106. Примеры схемы связи включают в себя приемопередатчик, схему передачи/приема, контроллер сетевого интерфейса, или их сочетание и т.п. Приложение сетевого доступа также требует пароля, например, ключа с секретом, секретного кода и т.п., от пользователя 108 для доступа к сети 110. После подтверждения того, что пароль действителен, приложение сетевого доступа позволяет доступ к сети 110 пользователю 108.

После выполнения доступа к сети 110, OS позволяет HMD 104 доступ к игровой программе 117. Например, когда пользователь 108 выбирает приложение доступа к игре, например, значок доступа к игре, символ доступа к игре, и т.п., которое выполняется процессором HMD 104 в верхней части OS, приложение доступа к игре требует доступа к игровой программе 117 по сети 110. Например, пользователь 108 выполняет одно или больше движения головы, которое обнаруживается схемой пользовательского ввода, чтобы создавать входной сигнал для выбора приложения доступа к игре. В другом примере пользователь 108 выбирает кнопку на ННС 106 для выбора приложения доступа к игре, и выбор передается от ННС 106 к HMD 104 с помощью схемы связи ННС 106.

После получения доступа к игровой программе 117 по сети 110, микроконтроллер HMD 104 отображает игру на экране дисплея HMD 104. В некоторых вариантах осуществления экран дисплея HMD 104 представляет собой быстродействующий экран для уменьшения размытости, когда HMD 104 перемещается быстро. Пользователь 108 выполняет одно или больше движения головы, и каждое движение головой запускает схему пользовательского ввода для создания входного сигнала, который может быть использован для ведения игры. В некоторых вариантах осуществления пользователь 108 выполняет выбор одной или больше кнопок ННС 106, используя руку, и каждое действие руки, например, нажатие пальцем, движение пальцем, вращение пальцем, сдвигание вверх пальцем, сдвигание вниз пальцем, сдвигание вправо пальцем, сдвигание влево пальцем, и т.п., запускает ННС 106, чтобы создавать входной сигнал, который может быть использован для ведения игры.

В некоторых вариантах осуществления приложение доступа к игре требует имени пользователя и/или пароля от пользователя 108 для доступа к игровой программе 117. После получения подтверждения от игрового облака 102, что имя пользователя и/или пароль действительны, приложение доступа к игре позволяет доступ к игровой программе 117 пользователю 108. В некоторых вариантах осуществления пользователь 108 предоставляет имя пользователя и/или пароль, выполняя одно или больше движений рукой и/или выполняя одно или больше движения головы.

В некоторых вариантах осуществления вместо доступа к приложению доступа к игре пользователь 108 запрашивает доступ к веб-странице после доступа к сети 110, и веб-страница Позволяет пользователю 108 доступ к игровой программе 117. Например, пользователь 108 выбирает приложение веб-браузера через схему пользовательского ввода, выполняя одно или больше движения головы, или через ННС 106, выполняя одно или больше Движений рукой для доступа к веб-странице. После доступа к веб-странице пользователь 108 ведет игру, отображаемую на веб-странице. Игра отображается, когда игровая программа 117 выполняется в игровом облаке 102.

В некоторых вариантах осуществления имя пользователя и/или пароль пользователя 108 подтверждается перед доступом к веб-странице для ведения игры, которая отображается, когда игровая программа 117 выполняется в игровом облаке 102. Имя пользователя и/или пароль подтверждаются в режиме, аналогичном описанному выше, когда пользователь 108 получает доступ к игре с помощью приложения доступа к игре.

Когда получен доступ к игровой программе 117, кодек 112 кодирует, например, сжимает и т.д. поток цифровых данных для данных 116 среды, для оправки потока закодированных данных среды, в HMD 104 по сети 110. В некоторых вариантах осуществления поток цифровых данных закодированных данных среды, находится, в виде пакетов для отправки по сети 110. HMD 104 принимает поток цифровых данных зазакодированных данных среды, по сети 110 от кодека 112, и поток цифровых данных обрабатывается, например, декодируется, депакетируется, и т.д., и воспроизводится для отображения игры на экране дисплея HMD 104.

Когда игра отображается на экране дисплея HMD 104, наружная видеокамера HMD 104 захватывает одно или больше изображений реальной окружающей среды, окружающей пользователя 108. Примеры реальной окружающей среды включают в себя помещение, в котором находится пользователь 108, географический район, в котором находится пользователь 108, реальные объекты вокруг пользователя 108 и т.п. Примеры географического района включают в себя парк, дорогу; улицу, озеро, город, ориентир, и т.п. Примеры реальных объектов включают в себя автобусную остановку, кофейную, магазин, игральную карту, колоду карт, участок, бутылку, телефон, мобильный телефон, штрих-код на игральной карте, офис, транспортное средство, помещение, пульт управления, рабочий стол, стул и т.п. Данные реальной окружающей среды, которые представляют собой данные одного или больше изображений реальной окружающей среды, пакетируются и кодируются посредством HMD 104 и отправляются в виде потока закодированных данных окружающей среды по сети 110 в кодек 112. Например, когда данные реальной окружающей среды не отправляют через маршрутизатор, их отправляют напрямую из HMD 104 по сети 110 в игровое облако 102. В некоторых вариантах осуществления данные реальной окружающей среды включают в себя аудиоданные, видеоданные или их сочетание. В различных вариантах осуществления данные реальной окружающей среды в настоящем документе называют реальной средой.

В некоторых вариантах осуществления вместо или в дополнение к внешней видеокамере HMD 104, для захвата изображений реальной среды используют цифровую камеру, являющуюся мобильной. Например, для захвата изображений реальной окружающей среды, окружающей пользователя 108, и включающей его, видеокамера связана с роботизированным устройством. Примеры роботизированного устройства включают в себя мультикоптер, роботизированную руку, робот, роботизированное транспортное средство, роботизированный автомобиль, квадрокоптер и т.п. Например, цифровая камера прикреплена относительно, например, под, над, сбоку и т.д., роботизированного устройства для захвата изображений реального окружения HMD 104, пользователя 108 и/или ННС 106.

После приема потока закодированных данных реальной окружающей среды кодек 112 декодирует закодированные данные реальной окружающей среды, и один или больше серверов игрового облака 102 депакетируют поток. В некоторых вариантах осуществления поток закодированных данных реальной окружающей среды, полученных от HMD 104, вначале депакетируется, а затем декодируется игровым облаком 102.

На основании декодированных данных реальной окружающей среды игровая программа 117 создает дополнительные данные среды, которые пакетируются одним или больше серверов игрового облака 102 для создания потока дополнительных данных среды. Например, игровая программа 117 создает виртуального игрового персонажа, отображаемого спереди на изображении реального рабочего стола. В качестве другого примера игровая программа 117 создает виртуальный экран дисплея, подлежащий отображению на изображении реального офиса пользователя 108.

В некоторых вариантах осуществления виртуальный игровой объект, который создается, основан на реальных связях между реальными объектами. Например, в реальном мире реальную машину ведут по реальной дороге. В данном примере виртуальный автомобиль создается, когда изображение реальной дороги принимается игровой программой 117. В качестве другого примера реальный телефон или реальная вычислительная машина установлены на реальном пульте управления в реальном офисе. В данном примере виртуальный телефон или виртуальный экран дисплея установлен на изображении реального рабочего стола, расположенного в реальном офисе. Дополнительные данные среды, включают в себя данные виртуального игрового объекта и/или данные виртуальной окружающей среды. Примеры виртуального игрового объекта и данных виртуальной окружающей среды включают в себя данные машинно-генерируемого объекта, данные объекта, созданные одним или больше серверов игрового облака 102 и т.п.

В некоторых вариантах осуществления дополнительные данные среды, включают в себя данные виртуального игрового объекта, которые созданы одним или больше серверами игрового облака 102, и включают в себя данные реальной окружающей среды, которые получены по сети 110 от HMD 104.

Поток дополнительных данных среды, сохраняется в потоковом буфере 114, кодируется кодеком 112, и отправляется в виде потока закодированных дополнительных данных среды, по сети 110 в HMD 104. В некоторых вариантах осуществления дополнительные данные среды, вначале кодируются, а затем пакетируются для создания потока закодированных дополнительных данных среды. HMD 104 принимает поток закодированных дополнительных данных среды, депакетирует поток и декодирует закодированные дополнительные данные среды, чтобы передавать дополнительные данные среды к микроконтроллеру HMD 104.

Микроконтроллер HMD 104 изменяет отображение игры, которое выполняется игровой программой 117, на основе дополнительных данных среды. Например, микроконтроллер HMD 104 воспроизводит данные виртуального игрового объекта для создания одного или больше изображений виртуального игрового объекта, и виртуальный игровой объект накладывается с помощью микроконтроллера на одно или больше изображений реальной окружающей среды, захваченных наружной видеокамерой HMD 104. В качестве другого примера аватар или виртуальный игровой персонаж накладывается поверх штрихкода игральной карты.

В качестве иллюстрации виртуального игрового объекта, наложенного на одно или больше изображений реальной среды, изменяется вид, например, цвет, форма, текстура и т.п., стола в реальной окружающей среде. В качестве другой иллюстрации все реальные объекты в реальном помещении, кроме некоторых реальных объектов, удаляются.

Во время ведения игры, например, перед наложением виртуального игрового объекта или после его наложения на одно или больше изображений реальной окружающей среды один или больше входных сигналов принимаются от HMD 104 и/или ННС 106. Например, пользователь 108 выполняет одно или больше движения головы после надевания HMD 104. Одно или больше движения головы выполняют, чтобы управлять, например, изменять местоположение, изменять позу, изменять вид, изменять движение и т.п. виртуального игрового объекта или наложения виртуальной окружающей среды на одно или больше изображений реальной окружающей среды. В качестве другого примера, пользователь 108 выполняет одно или больше движений рукой, например, нажимает кнопку, перемещает джойстик, жест рукой, жест пальцем, их сочетание, и т.п. для управления виртуальным игровым объектом или наложением виртуальной среды на одно или больше изображений реальной среды, и, когда выполнено одно или больше движений рукой, ННС 106 создает входные данные, которые преобразуются во входные сигналы с помощью схемы связи ННС 106 для отправки в схему связи HMD 104. В ряде вариантов осуществления пользователь 108 выполняет движение головой и/или движение рукой, чтобы изменять местоположение и/или ориентацию виртуального объекта, наложенного на одно или больше изображений реальной окружающей среды. Входные сигналы преобразуются из аналоговой формы в цифровую форму с помощью схемы связи HMD 104 для создания входных данных, и входные данные пакетируются и кодируются с помощью HMD 104 и отправляются по сети 110 к кодеку 112.

В некоторых вариантах осуществления игровая программа 117 устанавливает соответствие входных данных, созданных на основе одного или больше движения головы с входными данными, созданными на основе одного или больше движений рукой для определения того, изменилось ли состояние игры, которое отображается на HMD 104. Например, когда входной сигнал, указывающий наклон головы, принят по сети 110 с входным сигналом, указывающим нажатие кнопки на ННС 106, игровая программа 117 определяет изменение состояния игры. В противном случае игровая программа 117 определяет отсутствие изменения состояния игры.

Входные данные входных сигналов, созданные на основе одного или больше движения головы и/или одного или больше движений рукой, пакетируются и кодируются с помощью HMD 104, и отправляются в виде потока закодированных входных данных по сети 110 к кодеку 112. Например, когда входные данные не отправляют через маршрутизатор, входные данные отправляют напрямую из HMD 104 по сети 110 в игровое облако 102. Маршрутизатор может быть расположен между HMD 104 и сетью 110, чтобы направлять, например, направлять, отправлять и т.п., к адресуемому устройству, и т.п., данные между HMD 104 и сетью 110.

Кодек 112 декодирует, например, разворачивает, и т.д., поток закодированных входных данных, полученных по сети 110 от HMD 104, и декодированные входные данные буферизируются в потоковом буфере 114 для депакетирования и отправки в игровую программу 117. Одно или больше игровых облаков 102 депакетирует поток декодированных входных данных и отправляет входные данные в игровую программу 117. В некоторых вариантах осуществления игровое облако 102 вначале выполняет депакетирование, а затем выполняет декодирование.

На основании входных данных игровая программа 117 создает следующие данные среды, которые пакетируются одним или больше серверов игрового облака 102 для создания потока следующих данных среды. Поток следующих данных среды, сохраняется в потоковом буфере 114, кодируется кодеком 112, и отправляется в виде потока закодированных дополнительных данных среды, по сети 110 в HMD 104. В некоторых вариантах осуществления дополнительные данные среды, вначале кодируются, а затем пакетируются перед отправкой дополнительных данных среды, по сети 110 в HMD 104. HMD 104 принимает поток закодированных следующих данных среды, депакетирует поток и декодирует закодированные следующие данные среды, чтобы передавать следующие данные среды, к микроконтроллеру HMD 104.

В некоторых вариантах осуществления игровая среда включает в себя данные 116 среды или дополнительные данные среды, или следующие данные среды, или их сочетание.

Микроконтроллер HMD 104 изменяет отображение игры, которая выполняется игровой программой 117, на основе следующих данных среды. Например, микроконтроллер изменяет вид, положение и/или ориентацию виртуального игрового объекта, который накладывается на одно или больше изображений реальной окружающей среды. В качестве другого примера, когда пользователь 108 кивает, аватар пользователя 108 также кивает в виртуальном мире игры, который создается путем выполнения игровой программы 117. В данном примере аватар наложен на одно или больше изображений реальной окружающей среды. В еще одном примере, когда пользователь 108 качает головой в знак отрицания, аватар пользователя 108 также качает головой в знак отрицания в виртуальном мире игры, который создается путем выполнения игровой программы 117. В данном примере аватар наложен на одно или больше изображений реальной окружающей среды. В другом примере, когда пользователь 108 смотрит на виртуальный игровой персонаж, отображаемый на экране дисплея HMD 104, виртуальный игровой персонаж оглядывается на пользователя 108. Когда пользователь 108 отводит взгляд от виртуального игрового п