Способ и система для формирования изображений совмещенной реальности

Способ и система для формирования изображений совмещенной реальности

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение.

Изобретение относится к области визуализации совмещенной реальности, в частности, к визуализации строительных объектов по чертежам в месте их будущей постройки.

Уровень техники.

Решения, направленные на предоставление пользователю изображений виртуальной реальности, находят применение в различных областях деятельности человека.

Существуют решения в области виртуальной реальности, в которых посредством очков или шлема виртуальной реальности пользователю предоставляются лишь изображения из памяти компьютера.

Существуют решения в области дополненной реальности, в которых пользователь видит дополнительные изображения, накладываемые на изображения реального мира без привязки к географическому местоположению объектов реального мира.

Существуют решения в области совмещенной реальности, в которых изображения виртуальной реальности привязываются к географическим координатам реального мира, что дополнительно повышает реалистичность изображений виртуальной реальности и дает больше возможностей взаимодействия с ней.

Известно решение (US2014210947 (A1), опубл.31 июля 2014), в котором описывается процесс формирования дополненной реальности с использованием координатной геометрии. Варианты осуществления этого изобретения включают способ, систему и мобильное устройство, которые включают технологию дополненной реальности в наземную съемку, 3D лазерное сканирование и процессы цифрового моделирования. Используя технологию дополненной реальности, мобильное устройство может отображать изображение дополненной реальности, представляющее реальный вид физической структуры в реальной среде, и трехмерную цифровую модель непостроенного элемента дизайна, наложенного поверх физической структуры в ее предполагаемом месте постройки. В одном варианте осуществления маркер может быть размещен в заданном наборе координат на или вокруг интересующего места, определяемого с помощью геодезического оборудования, так чтобы трехмерная цифровая модель непостроенногоэлемента дизайна могла быть визуализирована в геометрически правильной ориентации относительно физической структуры. Варианты осуществления этого решения могут также применяться к уменьшенному трехмерному напечатанному объекту, представляющему физическую структуру, если посещение места проекта невозможно.

Однако в данном решении для построения изображения необходимо размещать в интересующем месте маркеры для ориентации устройства формирования дополненного изображения в пространстве.

Известно решение (US2014270477 (A1) опубл. 18 сентября 2014), в котором описываются системы и способы отображения трехмерной модели из фотограммметрического сканирования. В одном из вариантов предлагается компьютерно-реализованный способ для отображения трехмерной (3D) модели из фотограметрического сканирования. Изображение объекта и маркер сканирования могут быть получены в первом месте. Может быть определена взаимосвязь между изображением объекта и изображением маркера сканирования в первом местоположении. Геометрическое свойство объекта может быть определено на основе соотношения между изображением объекта и изображением маркера сканирования. 3D-модель объекта может быть сгенерирована на основе определенного геометрического свойства объекта. Трехмерная модель объекта может отображаться для масштабирования в среде дополненной реальности во втором местоположении на основе маркера сканирования во втором местоположении.

Однако в данном решении для построения изображения необходимо размещать в интересующем месте маркеры для формирования дополненного изображения.

Известно решение (US2016104323 (A1) опубл. 14 апреля 2016), в котором описываются устройство дляотображения изображения и способ для отображения изображения. Согласно одному варианту осуществления устройство для отображения изображения включает в себя модуль сбора данных и модуль обработки отображения. Модуль сбора данных сконфигурирован для получения принятого изображения, которое получено камерой, и которое включает в себя оптический код распознавания, представляющий идентификационную информацию, посредством формирования множества элементов в форме линии. Модуль обработки отображения сконфигурирован для наложения и отображения изображения трехмерного объекта, соответствующего идентификационной информации, на полученном изображении. Ориентация изображения трехмерного объекта, наложенного и отображаемого на снятом изображении, определяется на основе ориентации кода оптического распознавания на снятом изображении и наклона камеры.

Однако в данном решении для построения изображения необходимо размещать идентификационную информацию.

Раскрытие изобретения.

В одном аспекте изобретения раскрыт способ для формирования изображений совмещенной реальности, содержащий этапы, на которых:

определяют данные о местоположении устройства визуализации с помощью сигналов сверхширокополосных передатчиков, расположенных в известных местоположениях;

определяют данные об ориентации устройства визуализации с помощью инерциальной навигационной системы устройства визуализации;

получают с помощью камеры устройства визуализации данные изображения реального окружающего пространства пользователя;

загружают в блок обработки данные об имеющем географическую привязку объекте виртуальной реальности, который необходимо отобразить пользователю;

совмещают посредством блока обработки данные об имеющем географическую привязку объекте виртуальной реальности и данные изображения реального окружающего пространства, используя данные о местоположении и об ориентации устройства визуализации так, чтобы поместить данные об объекте виртуальной реальности и данные изображения реального окружающего пространства в одну систему пространственных координат, получая тем самым изображения совмещенной реальности;

отображают изображения совмещенной реальности пользователю при помощи устройства визуализации.

В дополнительных аспектах раскрыто, что устройство визуализации представляет собой очки или шлем виртуальной реальности; камера устройства визуализации является стереоскопической камерой; блок обработки является одним из: портативного ПК, мобильного телефона, специализированной микросхемы, процессора, контроллера; объектом виртуальной реальности, который необходимо отобразить пользователю, является по меньшей мере одно из строительного объекта, музея, зоопарка, парка аттракционов; данные о местоположении устройства визуализации дополнительно определяют с помощью инерциальной навигационной системы, причем если интенсивность сигналов сверхширокополосных передатчиков выше заданного порога интенсивности, то местоположение определяют с помощью сигналов сверхширокополосных передатчиков, а если интенсивность ниже заданного порога интенсивности, то местоположение определяют с помощью инерциальной навигационной системы; данные о местоположении устройства визуализации дополнительно определяют с помощью инерциальной навигационной системы на основе гироскопов и акселерометров, причем порог интенсивности для радиосигналов уменьшается в течение времени.

В другом аспекте изобретения раскрыта система для формирования изображений совмещенной реальности, содержащая:

- по меньшей мере три передатчика, расположенных в заранее заданных местоположениях реального пространства, выполненных с возможностью передавать радиосигналы;

- устройство визуализации, выполненное с возможностью предоставления пользователю изображений совмещенной реальности, причем устройство визуализации содержит

приемник сигналов передатчиков, выполненный с возможностью принимать радиосигналы от по меньшей мере трех передатчиков и методом трилатерации, или триангуляции, или аналогичным образом определять свое местоположение в реальном пространстве,

камеру, выполненную с возможностью получать данные изображения реального окружающего пространства,

инерциальную навигационную систему, выполненную с возможностью получать данные об ориентации устройства визуализации;

блок отображения, выполненный с возможностью предоставлять пользователю изображения совмещенной реальности;

блок обработки на функциональной связи с блоком памяти, блоком отображения, камерой, приемником сигналов;

- блок памяти, выполненный с возможностью хранения данных об имеющем географическую привязку объекте виртуальной реальности, который необходимо отобразить пользователю;

причем блок обработки выполнен с возможностью получать данные изображения реального окружающего пространства, получать данные об имеющем географическую привязку объекте виртуальной реальности и совмещать данные об объекте виртуальной реальности и данные изображения реального окружающего пространства, используя данные о местоположении и об ориентации устройства визуализации так, чтобы поместить данные об объекте виртуальной реальности и данные изображения реального окружающего пространства в одну систему пространственных координат, получая тем самым изображения совмещенной реальности, и с возможностью предоставлять данные совмещенной реальности блоку отображения устройства визуализации.

Основной задачей, решаемой заявленным изобретением, является точное формирование изображений совмещенной реальности на основании определяемых координат устройства отображения, ориентации устройства отображения, данных о виртуальных объектах, хранящихся в памяти, изображений окружающей среды, полученных с камеры.

Сущность изобретения заключается в том, что устройство отображения определяет свое местоположение с помощью сверхширокополосных передатчиков, расположенных в известных местоположениях в реальном пространстве, определяет свою ориентацию в реальном пространстве с помощью инерциальной навигационной системы, передает эти данные в блок обработки, который на основании данных о местоположении и ориентации совмещает изображения имеющих географическую привязку с реальным пространством виртуальных объектов с изображениями реального пространства, передает совмещенные изображения в устройство отображения для предоставления пользователю изображений совмещенной реальности.

Технический результат, достигаемый решением, заключается в том, что обеспечивается качественное формирование изображений совмещенной реальности, в которой изображения реального пространства точно совмещаются с изображениями виртуальных объектов, привязанных к географическим координатам реального пространства.

Краткое описание чертежей.

Фиг.1 показывает схему определения местоположения пользователя.

Фиг.2 показывает блок-схему системы для формирования изображений совмещенной реальности.

Осуществление изобретения.

Для построения изображений совмещенной реальности необходимо определить местоположение пользователя, посредством определения местоположения шлема дополненной реальности, который он надел.

Определение местоположения шлема дополненной реальности возможно при помощи GPS, однако точность в таком случае может составлять около 6-8 метров, что недопустимо для большинства приложений.

Общим недостатком использования любой радионавигационной системы является то, что при определённых условиях сигнал может не доходить до приёмника, или приходить со значительными искажениями или задержками. Например, практически невозможно определить своё точное местонахождение в глубине квартиры внутри железобетонного здания, в подвале или в тоннеле даже профессиональными геодезическими приёмниками. Так как рабочая частота GPS лежит в дециметровом диапазоне радиоволн, уровень сигнала от спутников может серьёзно снизиться под плотной листвой деревьев или из-за очень большой облачности. Нормальному приёму сигналов GPS могут повредить помехи от многих наземных радиоисточников, а также от магнитных бурь.

Кроме методов на основе GPS, существует ряд методов определения местоположения более подходящих для реализации в помещении, часть из которых представлена ниже:

Определение местоположения по сотовым сетям – точность оставляет желать лучшего даже в районах с высокой плотностью базовых станций.

Определение местоположения с помощью инерциальных систем, где используется модель движения человека: если мы знаем, где были, в какую сторону и как быстро двигались, то можно рассчитать, где мы оказались через некоторое время. Сейчас это достигается с помощью гироскопов, акселерометров, датчика Холла или иных подходящих средств.

Определение местоположения с помощью оптических систем, которые основаны на предварительном сканировании помещения, а потом по картинке, например, потолка c фронтальной камеры смартфона, возможно определение местоположения.

Определение местоположения с помощью магнитометрии – определения местоположения по магнитному полю с помощью компаса смартфона. Решение требует предварительной калибровки в помещении и сильно подвержено влиянию металла и магнитов.

Определение местоположения на основе трилатерации на базе Wi-Fi/Bluetooth передатчиков. Для реализации применяется распространённое оборудование, как для инфраструктуры, так и для определения местоположения. Также существует возможность использования уже развернутых Wi-Fi/Bluetooth сетей.

Радиокарта или “цифровые отпечатки” сигналов Wi-Fi/Bluetooth – местоположение вычисляется путем сравнения измеряемых в реальном времени мощностей сигнала от окружающих Wi-Fi/BLE точек с заранее измеренными значениями, привязанными к карте помещения.

Для повышения точности определения местоположения было предложено размещать в реальном пространстве, где предполагается формировать изображения совмещенной реальности, станции, передающие радиосигналы (см. фиг.1). Используя радиосигналы этих станций, расположенных в заранее известных координатах, методом трилатерации можно с высокой точностью определять местоположение приемника. Для осуществления этого подхода необходимо по меньшей мере три передатчика, сигнал от которых уверенно принимается приемником.

В предложенном способе используется система радиолокации на основе сверхширокополосных сигналов для определения точного местоположения пользователя в реальном пространстве, а также инерциальная навигационная система для определения ориентации пользователя (система indoor-определения местоположения). В результате использования двух этих систем можно получить информацию о местоположении и ориентации пользователя в реальном пространстве, что позволяет разместить объекты виртуальной реальности, имеющие географическую привязку, с минимальной погрешностью, достаточной для использования последних в качестве ориентира при выполнении, например, строительных работ.

Также ниже рассматриваются варианты осуществления, в которых объединены возможности определения местоположения различных методов. Такие решения обеспечивают приемлемое качество для точного совмещения изображений реального мира и изображений виртуальной реальности.

В предложенном решении аппаратное и программное обеспечение для реализации функциональности по определению местоположения установлено в шлеме (или очках) виртуальной реальности, который также содержит по меньшей мере одну камеру (предпочтительно стереоскопическую камеру) для получения изображений реального мира вокруг пользователя, который надел шлем виртуальной реальности.

В целом аппаратное и программное обеспечение для определения местоположения является стандартным и широко известным в уровне техники, особенности, отличающие его от известных реализаций, будут описаны отдельно. В целом, шлем виртуальной реальности выполнен с возможностью определять свое местоположение при помощи блока GPS определения местоположения и/или блока indoor-определения местоположения, с возможностью получения изображений с камеры, передачи всех данных на блок обработки, с возможностью предоставления обработанных данных (данных совмещенной реальности) пользователю.

На фиг.2 показана система для формирования изображений совмещенной реальности, содержащая по меньшей мере три передатчика радиосигналов, блок обработки, блок памяти, устройство визуализации, содержащее приемник радиосигналов, камеру, навигационную систему.

Шлем виртуальной реальности передает на блок обработки данные о своем определенном местоположении, данные об ориентации и данные с камеры для формирования блоком обработки данных совмещенной реальности, посредством совмещения данных реального мира с камеры и имеющих географическую привязку данных виртуальных объектов из памяти.

Блоком обработки может быть сервер, компьютер, ноутбук или любое иное средство, функциональность которого позволяет принимать от шлема виртуальной реальности данные, обрабатывать их, совмещать с сохраненными изображениями виртуальной реальности и предоставлять для просмотра пользователю посредством дисплея шлема виртуальной реальности, в том числе портативный ПК, планшет, мобильный телефон, специализированная микросхема, процессор, контроллер. В некоторых вариантах блок обработки может быть конструктивно единым со шлемом блоком или может быть встроен в шлем.

Блок обработки имеет возможность считывать из блока памяти данные о визуализируемых объектах, в предпочтительном варианте осуществления данные о строительном объекте, которые могут быть представлены в формате CAD (система автоматического проектирования). Эти данные имеют географическую привязку, поэтому блоку обработки необходимы данные о местоположении пользователя, чтобы точно совместить данные о реальном мире, получаемые с камеры, и данные о виртуальной реальности, хранящиеся в памяти. Чем точнее будет определено местоположение и ориентация пользователя, тем точнее данные будут совмещены друг с другом.

Блок памяти может быть как внутренним, так и внешним блоком по отношению к блоку обработки. Сам блок обработки при этом может быть встроен в шлем виртуальной реальности, а может представлять собой отдельный блок, присоединяемый с возможностью связи к шлему виртуальной реальности.

Пользователь, наблюдающий совмещенную реальность, может наглядно увидеть будущую постройку в реальном местоположении, пройти по объекту, который еще планируется строить или уже частично строится, увидеть его с разных ракурсов. Таким объектом может быть, например, музей или здание, которое только в виртуальной реальности представляет собой музей. Также это может быть парк аттракционов как открытый, так и крытый.

Также пользователь может вносить изменения в объекты виртуальной реальности, для этого на руку пользователя устанавливают маркеры, которые считывает камера, в результате чего пользователю предоставляется графическое меню, с помощью которого можно управлять отображаемой реальностью, например, строительной моделью. Возможна также организация виртуального совещания, когда изображения двух пользователей передаются на их шлемы виртуальной реальности и обеспечивается возможность общения с передачей не только звука, но и видеоизображения собеседника.

В одном варианте осуществления функционально систему для формирования изображений совмещенной реальности можно разделить на две функциональных части:

1. Носимая часть.

2. Серверная часть.

Носимая часть представляет собой очки (шлем) виртуальной реальности и носимый компьютер.

Серверная часть состоит из сервера обработки и хранения данных о строительном объекте.

Носимая часть позволяет пользователю получать доступ к 3D-модели здания, совмещённой с реальным изображением, что даёт увеличение эффективности использования всех доступных визуальных возможностей технологии BIM (информационное моделирование здания): просмотр и изменение параметров объекта «на ходу», совмещение 3D-модели с реально существующей реализацией.

Серверная часть предпочтительно представляет собой платформу для облачных вычислений с помощью математического алгоритма, сопоставляющего изображение реального мира с изображением, получаемым из эталонной 3D-модели объекта. Для формирования эталонной 3D-модели объекта алгоритм собирает данные из разных источников: техническая документация (чертежи и спецификации), сметы и пр.

Результатом работы математического алгоритма является совмещение полученных данных в одном изображении с изображением реального вида. Совмещение может осуществлятьсякак в носимой части, так и в серверной, что не относится к сущности заявленного решения. Серверная часть в таком случае может хранить, например, данные о виртуальных объектах и только лишь передает их в носимую часть для дальнейшей обработки.

В одном из вариантов осуществления шлем виртуальной реальности отслеживает свое местоположение, используя либо сигналы от передатчиков радиосигналов базовых станций, либо используя данные системы indoor-определения местоположения.

В случае расположения в открытом пространстве, где нет препятствий для сигналов от передатчиков, точность определения местоположения на их основе является достаточно высокой, однако при нахождении в помещении точность ухудшается, что может привести к искажениям в отображении совмещенной реальности. Для уменьшения таких искажений было предложено оценивать точность определения местоположения с помощью радиосигналов, измеряя их интенсивность, если интенсивность радиосигналов (одного или средняя) ниже определенного порога, то местоположение определяется с помощью системы indoor-определения местоположения.

Как только интенсивность радиосигналов превышает порог, то местоположение снова определяется с помощьюрадиосигналов.

Если используются инерциальные системы, где используется модель движения человека, причем движение определяется с помощью гироскопов и акселерометров, то имеется эффект накопления ошибки, ошибка тем больше, чем длительнее осуществляется определение местоположения при помощи этой системы. Поэтому в варианте осуществления, в котором используется определение местоположения на основании указанной выше инерциальной системы и системы определения местоположения на основании радиосигналов от базовых станций, порог интенсивности для радиосигналов уменьшается в течение времени, чтобы нейтрализовать эффект накопления ошибки.

В одном из вариантов осуществления вводится порог для длительности определения местоположения с помощью инерциальной системы, при превышении этого порога определение местоположения с помощью инерциальной системы считается неточным. Таким образом, при превышении порога интенсивности радиосигналов или превышении порога длительности определения местоположения с помощью инерциальной системы определение местоположения осуществляется на основании радиосигналов, в ином случае определение местоположения осуществляется с помощью инерциальной системы.

В одном из вариантов осуществления при превышении порога длительности определения местоположения с помощью инерциальной системы определение местоположения осуществляется совместно с помощью инерциальной системы и системы определения местоположения с помощью радиосигналов, причем определенное двумя системами местоположение усредняется.

Варианты осуществления не ограничиваются описанными здесь вариантами осуществления, специалисту в области техники на основе информации, изложенной в описании, и знаний уровня техники станут очевидны и другие варианты осуществления изобретения, не выходящие за пределы сущности и объема данного изобретения.

Элементы, упомянутые в единственном числе, не исключают множественности элементов, если отдельно не указано иное.

Под функциональной связью элементов следует понимать связь, обеспечивающую корректное взаимодействие этих элементов друг с другом и реализацию той или иной функциональности элементов. Частными примерами функциональной связи может быть связь с возможностью обмена информацией, связь с возможностью передачи электрического тока, связь с возможностью передачи механического движения, связь с возможностью передачи света, звука, электро-магнитных или механических колебаний и т.д. Конкретный вид функциональной связи определяется характером взаимодействия упомянутых элементов, и, если не указано иное, обеспечивается широко известными средствами, используя широко известные в технике принципы.

Способы, раскрытые здесь, содержат один или несколько этапов или действий для достижения описанного способа. Этапы и/или действия способа могут заменять друг друга, не выходя за пределы объема формулы изобретения. Другими словами, если не определен конкретный порядок этапов или действий, порядок и/или использование конкретных этапов и/или действий может изменяться, не выходя за пределы объема формулы изобретения.

В заявке не указано конкретное программное и аппаратное обеспечение для реализации блоков на чертежах, но специалисту в области техники должно быть понятно, что сущность изобретения не ограничена конкретной программной или аппаратной реализацией, и поэтому для осуществления изобретения могут быть использованы любые программные и аппаратные средства известные в уровне техники. Так аппаратные средства могут быть реализованы в одной или нескольких специализированных интегральных схемах, цифровых сигнальных процессорах, устройствах цифровой обработки сигналов, программируемых логических устройствах, программируемых пользователем вентильных матрицах, процессорах, контроллерах, микроконтроллерах, микропроцессорах, электронных устройствах, других электронных модулях, выполненных с возможностью осуществлять описанные в данном документе функции, компьютер либо комбинации вышеозначенного.

Хотя отдельно не упомянуто, но очевидно, что, когда речь идет о хранении данных, программ и т.п., подразумевается наличие машиночитаемого носителя данных, примеры машиночитаемых носителей данных включают в себя постоянное запоминающее устройство, оперативное запоминающее устройство, регистр, кэш-память, полупроводниковые запоминающие устройства, магнитные носители, такие как внутренние жесткие диски и съемные диски, магнитооптические носители и оптические носители, такие как диски CD-ROM и цифровые универсальные диски (DVD), а также любые другие известные в уровне техники носители данных.

Несмотря на то, что примерные варианты осуществления были подробно описаны и показаны на сопроводительных чертежах, следует понимать, что такие варианты осуществления являются лишь иллюстративными и не предназначены ограничивать более широкое изобретение, и что данное изобретение не должно ограничиваться конкретными показанными и описанными компоновками и конструкциями, поскольку различные другие модификации могут быть очевидны специалистам в соответствующей области.

Признаки, упомянутые в различных зависимых пунктах формулы, а также реализации раскрытые в различных частях описания могут быть скомбинированы с достижением полезных эффектов, даже если возможность такого комбинирования не раскрыта явно.

1. Способ для формирования изображений совмещенной реальности, содержащий этапы, на которых:

определяют данные о местоположении устройства визуализации с помощью сигналов сверхширокополосных передатчиков, расположенных в известных местоположениях;

определяют данные об ориентации устройства визуализации с помощью инерциальной навигационной системы устройства визуализации;

получают с помощью камеры устройства визуализации данные изображения реального окружающего пространства пользователя;

загружают в блок обработки данные об имеющем географическую привязку объекте виртуальной реальности, который необходимо отобразить пользователю;

совмещают посредством блока обработки данные об имеющем географическую привязку объекте виртуальной реальности и данные изображения реального окружающего пространства, используя данные о местоположении и об ориентации устройства визуализации так, чтобы поместить данные об объекте виртуальной реальности и данные изображения реального окружающего пространства в одну систему пространственных координат, получая тем самым изображения совмещенной реальности;

отображают изображения совмещенной реальности пользователю при помощи устройства визуализации.

2. Способ по п.1, в котором устройство визуализации представляет собой очки или шлем виртуальной реальности.

3. Способ по п.1, в котором камера устройства визуализации является стереоскопической камерой.

4. Способ по п.1, в котором блок обработки является одним из: портативного ПК, мобильного телефона, специализированной микросхемы, процессора, контроллера.

5. Способ по п.1, в котором объектом виртуальной реальности, который необходимо отобразить пользователю, является по меньшей мере одно из строительного объекта, музея, зоопарка, парка аттракционов.

6. Способ по п.1, в котором данные о местоположении устройства визуализации дополнительно определяют с помощью инерциальной навигационной системы, причем если интенсивность сигналов сверхширокополосных передатчиков выше заданного порога интенсивности, то местоположение определяют с помощью сигналов сверхширокополосных передатчиков, а если интенсивность ниже заданного порога интенсивности, то местоположение определяют с помощью инерциальной навигационной системы.

7. Способ по п.6, в котором данные о местоположении устройства визуализации дополнительно определяют с помощью инерциальной навигационной системы на основе гироскопов и акселерометров, причем порог интенсивности для радиосигналов уменьшается в течение времени.

8. Система для формирования изображений совмещенной реальности, содержащая:

- по меньшей мере три передатчика, расположенных в заранее заданных местоположениях реального пространства, выполненных с возможностью передавать радиосигналы;

- устройство визуализации, выполненное с возможностью предоставления пользователю изображений совмещенной реальности, причем устройство визуализации содержит

приемник сигналов передатчиков, выполненный с возможностью принимать радиосигналы от по меньшей мере трех передатчиков и методом трилатерации определять свое местоположение в реальном пространстве,

камеру, выполненную с возможностью получать данные изображения реального окружающего пространства,

инерциальную навигационную систему, выполненную с возможностью получать данные об ориентации устройства визуализации;

блок отображения, выполненный с возможностью предоставлять пользователю изображения совмещенной реальности;

блок обработки на связи с блоком памяти, блоком отображения, камерой, приемником сигналов;

- блок памяти, выполненный с возможностью хранения данных об имеющем географическую привязку объекте виртуальной реальности, который необходимо отобразить пользователю;

причем блок обработки выполнен с возможностью получать данные изображения реального окружающего пространства, получать данные об имеющем географическую привязку объекте виртуальной реальности и совмещать данные об объекте виртуальной реальности и данные изображения реального окружающего пространства, используя данные о местоположении и об ориентации устройства визуализации так, чтобы поместить данные об объекте виртуальной реальности и данные изображения реального окружающего пространства в одну систему пространственных координат, получая тем самым изображения совмещенной реальности, и с возможностью предоставлять данные совмещенной реальности блоку отображения устройства визуализации.