Способ и устройство для аннотирования информации о точках интереса
Иллюстрации
Показать всеИзобретение относится к аннотированию информации о точках интереса. Техническим результатом является обеспечение аннотирования информации о точках интереса на основе разделения структур. Способ аннотирования информации о точке интереса на основе разделения структур, включающий определение с помощью процессора одного или более визуального представления по меньшей мере одной структуры, обнаружение одного или более визуального признака на упомянутом одном или более визуальном представлении по меньшей мере одной структуры, определение одного или более разделений упомянутой по меньшей мере одной структуры по меньшей мере частично на основе одного или более визуальных признаков, обнаруженных на одном или более визуальных представлений, определение одной или более точек интереса, связанных по меньшей мере с одной структурой, и принятие решения по отображению упомянутых одной или более точек интереса, по меньшей мере, частично на основе упомянутых одного или более разделений. 3 н. и 17 з.п. ф-лы, 8 ил.
Реферат
Предпосылки создания изобретения
[0001] Провайдеры услуг и производители устройств (например, беспроводных и сотовых) непрерывно стремятся повысить объем и качество услуг для потребителей, например, поставляя интересные сетевые услуги. Одной из представляющих интерес областей является разработка услуг на основе определения местоположения (например, службы навигации, службы отображения, приложения по созданию дополненной реальности и т.д.), популярность, функциональность и объем контента которых значительно растут. Приложения, относящиеся к дополненной реальности и смешанной реальности, позволяют пользователям видеть картины физического мира, объединенные с виртуальными объектами, в режиме реального времени. Приложения по отображению позволяют таким виртуальным объектам создавать комментарии к информации о местоположении. Однако в настоящий момент такие комментарии предоставляются пользователям в укрупненном виде (например, на основе адреса). Кроме того, провайдеры услуг и производители сталкиваются с серьезными техническими проблемами при попытке более эффективно представить пользователям комментарии к информации о местоположении.
Некоторые примеры вариантов выполнения изобретения
[0002] Поэтому имеется потребность в подходе, позволяющем аннотировать информацию о точке интереса на основе разделения структур.
[0003] Согласно одному из вариантов выполнения настоящего изобретения, способ включает определение одного или более представлений по меньшей мере одной структуры. Способ также включает определение одного или более разделения по меньшей мере одной структуры по меньшей мере частично на основе одного или более признаков одного или более представлений. Кроме того, способ включает определение одной или более точек интереса, ассоциированных по меньшей мере с одной структурой. Кроме того, способ включает принятие решения по отображению указанной одной или более точек интереса по меньшей мере частично на основе указанных одного или более разделений.
[0004] Согласно другому варианту выполнения настоящего изобретения, устройство содержит по меньшей мере один процессор и по меньшей мере одну память, содержащую компьютерный программный код, при этом указанные по меньшей мере одна память и компьютерный программный код взаимодействуют по меньшей мере с одним процессором, заставляя устройство по меньшей мере частично определять одно или более представлений по меньшей мере одной структуры. Кроме того, устройство заставляют определять одно или более разделений по меньшей мере для одной структуры по меньшей мере частично на основе одного или более признаков одного или более представлений. Кроме того, устройство заставляют определять одну или более точек интереса, ассоциированных по меньшей мере с одной структурой. Кроме того, устройство заставляют принимать решение по отображению одной или более точек интереса по меньшей мере частично на основе указанных одного или более разделений.
[0005] Согласно еще одному варианту выполнения настоящего изобретения, считываемый компьютером носитель переносит одну или более последовательностей из одной или более инструкций, которые при их выполнении одним или более процессоров заставляют устройство по меньшей мере частично определять одно или более представлений по меньшей мере одной структуры. Кроме того, устройство заставляют определять одно или более разделений по меньшей мере одной структуры по меньшей мере частично на основе одного или более признаков одного или более представлений. Кроме того, устройство заставляют определять одну или более точек интереса, ассоциированных по меньшей мере с одной структурой. Кроме того, устройство заставляет принять решение по отображению одной или более точек интереса по меньшей мере частично на основе указанных одного или более разделений.
[0006] Согласно еще одному варианту выполнения настоящего изобретения, устройство содержит средство для определения одного или более представлений по меньшей мере одной структуры. Кроме того, устройство содержит средство для определения одного или более разделений по меньшей мере для одной структуры по меньшей мере частично на основе одного или более признаков одного или более представлений. Кроме того, устройство содержит средство для определения одной или более точек интереса, ассоциированных по меньшей мере с одной структурой. Кроме того, устройство содержит средство для принятия решения по отображению одной или более точек интереса по меньшей мере частично на основе указанных одного или более разделений.
[0007] Дополнительные аспекты, признаки и преимущества изобретения будут очевидны из последующего подробного описания изобретения, иллюстрирующего множество конкретных вариантов его выполнения и реализаций, включая предпочтительный вариант выполнения изобретения. Кроме того, возможны и другие варианты выполнения настоящего изобретения, а некоторые детали можно модифицировать в различных очевидных отношениях без выхода из объема изобретения. Соответственно, чертежи и описание следует рассматривать как иллюстрации, а не ограничения.
Краткое описание чертежей
[0008] Варианты выполнения настоящего изобретения даны просто для примера, а не служат ограничениями, при этом на сопровождающих чертежах:
[0009] на фиг.1 схематично показана система, способная представлять информацию о точке интереса на основе разделения структур согласно одному из вариантов выполнения настоящего изобретения;
[0010] на фиг.2 схематично показаны компоненты пользовательского оборудования согласно еще одному варианту выполнения настоящего изобретения;
[0011] на фиг.3 показана последовательность операций для представления информации о точке интереса на основе разделения структур согласно одному из вариантов выполнения настоящего изобретения;
[0012] на фиг.4A-4B схематично показаны пользовательские интерфейсы, используемые в процессах, иллюстрируемых на фиг.3, согласно различным вариантам выполнения настоящего изобретения;
[0013] на фиг.5 схематично показаны аппаратные средства, которые могут использоваться для реализации варианта выполнения настоящего изобретения;
[0014] на фиг.6 схематично показан набор микросхем, который может использоваться для реализации варианта выполнения настоящего изобретения; и
[0015] на фиг.7 схематично показан мобильный терминал (например, телефон), который может использоваться для реализации варианта выполнения настоящего изобретения.
Описание некоторых вариантов выполнения изобретения
[0016] Ниже раскрыты примеры способа, устройства и компьютерной программы для представления информации о точке интереса на основе разделений структур. В последующем описании с целью пояснения сформулированы многочисленные конкретные детали для обеспечения полного понимания вариантов выполнения настоящего изобретения. Однако специалистам будет очевидно, что варианты выполнения настоящего изобретения могут быть осуществлены без этих конкретных деталей или в эквивалентной конфигурации. В других случаях известные структуры и устройства показаны в виде блок-схемы, чтобы избежать излишнего загромождения вариантов выполнения настоящего изобретения.
[0017] На фиг.1 схематично показана система, способная представлять информацию о точке интереса на основе разделения структур согласно одному из вариантов выполнения настоящего изобретения. Следует отметить, что мобильные устройства и вычислительные устройства сегодня распространены во всем мире, и с их помощью организовано множество служб. Эти службы могут включать службы и приложения дополненной реальности (AR), смешанной реальности (MR) и другие услуги на основе определения местоположения. Дополненная реальность позволяет пользователю видеть реальный мир при наложении дополнительной визуальной информации. Смешанная реальность обеспечивает слияние реального и виртуального миров, обеспечивая визуализацию и создание новой среды. В смешанной реальности физические и цифровые объекты могут сосуществовать и взаимодействовать в режиме реального времени. Таким образом, смешанная реальность может быть объединением физической реальности, дополненной реальности, виртуальной реальности или их комбинацией. Хотя различные варианты выполнения настоящего изобретения описаны относительно дополненной реальности, очевидно, что описанный здесь подход может использоваться в ситуациях с другими пользовательскими интерфейсами, включая, например, смешанную реальность, виртуальную реальность, отображение приложения, приложения по оказанию услуг на основе определения местоположения (например, локальный поиск точки интереса) и т.д.
[0018] Услуги и приложения на основе определения местоположения могут использоваться для представления одного или более изображений с аннотированным контентом (например, на основе дополненной реальности, смешанной реальности и т.д.). В стандартных системах используется двумерная динамика для создания и представления точек интереса (POI, point of interest). Однако люди видят мир по меньшей мере в трех измерениях (3D) (например, у зданий имеется высота и глубина). Например, небоскреб может предложить множество различных услуг и учреждений на различных этажах. Однако из-за двумерной функциональности систем, используемых для отображения таких точек интереса, пользователи часто остаются без средства, позволяющего выявлять информацию, ассоциированную с точками интереса. Например, отсутствие разделения точек интереса по вертикали приводит к проблемам при попытке отличить одну точку интереса от другой точки интереса.
[0019] Для решения этой проблемы система 100 на фиг.1 дает возможность представить информацию о точке интереса на основе разделений. В некоторых вариантах выполнения настоящего изобретения разделение представляет собой некое обособление, которое может быть использовано для распространения информации. Например, одно или более горизонтальных разделений можно использовать для вертикального обособления точек интереса, ассоциированных с некоторой структурой (например, зданием), или же вертикальные разделения можно использовать для горизонтального обособления точек интереса. Кроме того, комбинации вертикальных разделений, горизонтальных разделений и/или нерегулярных (например, искривленных) разделений можно использовать для распространения информации о точках интереса. Хотя различные варианты выполнения настоящего изобретения описаны в отношение горизонтальных разделений, очевидно, что подход, описанный здесь, может использоваться для других типов разделений. Эти разделения могут быть выявлены из одного или более источников (например, на основе анализа одного или более изображений, данных в схематическом виде и т.д.). Кроме того, разделения можно сравнивать с информацией, ассоциированной с точками интереса. Это сравнение можно использовать для генерации представлений точек интереса, которые будут выведены на одном или более изображений (например, в потоке изображений фотокамеры) пользовательского оборудования (UE) 101a-101n.
[0020] Пользовательское оборудование 101 может осуществлять связь с платформой 103 служб определения местоположения через систему 105 связи и использовать мировые данные 107 для генерации и представления местоположения на основе информации о пользователях пользовательского оборудования 101. Приложения 109, такие как «карта», «навигация», «дополненная реальность» и т.п., выполняющиеся в пользовательском оборудовании 101, могут быть использованы для обработки мировых данных 107 и представления мировых данных (например, панорамного изображения, информации о точках интереса и т.д.) пользователю. Платформа 103 служб определения местоположения может быть реализована с использованием одного или более компьютеров или серверов, например с использованием набора микросхем, показанного на фиг.6. Кроме того, платформа 103 служб определения местоположения может содержать одну или более платформ и может поддерживаться одним или более провайдеров услуг.
[0021] Модуль 111 сбора данных пользовательского оборудования 101 может собирать информацию о местоположении (например, информацию глобальной системы определения местоположения (GPS) на основе одного или более спутников 113 GPS, усовершенствованной системы GPS (A-GPS), ячейки источника (Cell of origin) и т.д.), информацию об ориентации (например, информацию магнитометра, информацию акселерометра и т.д.), их комбинацию и т.д. для определения информации, используемой для запрашивания мировых данных 107 из платформы 103 служб определения местоположения. В некоторых вариантах выполнения настоящего изобретения мировые данные 107 или поднаборы мировых данных 107 могут храниться в пользовательском оборудовании 101. Мировые данные 107 могут содержать картографическую информацию. Картографическая информация может содержать карты, изображения со спутников, информацию об улице или проходе, информацию об элементе, например информацию о точках интереса, подписанную информацию, ассоциированную с картами, объекты и структуры, ассоциированные с картами, информацию о людях и местоположении людей, координатную информацию, ассоциированную с указанной информацией, и т.д. или их комбинацию. Элемент может быть объектом (например, представлением физического объекта) или виртуальным объектом (например, изображением, аудиообъектом, видеообъектом, пиктограммой, рекламным объявлением и т.д.), который может быть ассоциирован с некоторым местоположением. Кроме того, мировые данные 107 могут содержать трехмерные детали для одного или более объектов или структур. В некоторых вариантах выполнения настоящего изобретения структура - это объект, который может быть соотнесен с физическим объектом (например, здание, мост или другая конструкция). Структуры могут быть дополнительно разделены на части для распространения информации. Информация о разделении на части может быть подвергнута предварительной обработке и сохранена в мировых данных 107 или быть обработана в пользовательском оборудовании 101, как подробно описано ниже. Трехмерные данные, хранящиеся в мировых данных 107, могут быть использованы для генерации виртуальной среды, включая одну или более грубых моделей структуры (например, модели здания), записанных точно в системе координат. Кроме того, одно или более панорамных изображений может быть связано с виртуальной средой. Кроме того, одна или более трехмерных моделей структур может быть ассоциирована с одним или более изображений (например, панорамных изображений). Панорамные изображения могут быть ассоциированы с моделями с использованием одной или более координатных систем (например, GPS-координат местоположения, в котором было получено панорамное изображение), а также с информацией об ориентации.
[0022] Точка интереса может быть конкретным местом, которое некий человек может, например, посчитать интересным или полезным. Примеры точек интереса могут включать аэропорт, пекарню, дамбу, архитектурный памятник, ресторан, отель, здание, парк, местонахождение человека или любую точку, интересную, полезную или значительную в своем роде. Кроме того, точки интереса могут включать движущиеся объекты или точки в зависимости от информации о местонахождении. Например, информация о местонахождении может включать местоположение определенного объекта (например, человека, группы и т.д.) на основе данных GPS или другой информации о местоположении. Пользовательское оборудование 101 объекта могут отправить информацию о местоположении в платформу 103 служб определения местоположения, которая может скоординировать информацию о местоположении объекта и обеспечить слежение за объектом.
[0023] Пользователь пользовательского оборудования 101 может выполнить приложение 109 для просмотра информации дополненной реальности или смешанной реальности, например на дисплее, с использованием устройства для проекции на стене или в воздухе и т.д., ассоциированного с пользовательским оборудованием 101. Пользователь может ввести критерии поиска для определения местоположения одной или более точек интереса. Критерии поиска могут быть обработаны в пользовательском оборудовании 101 или использованы для запроса платформы 103 служб определения местоположения на получение информации о точках интереса. Для получения информации о точках интереса можно использовать одну или более других платформ служб определения местоположения. Кроме того, информация о точках интереса может поступать из других баз данных (например, из списка контактов, ассоциированных с пользовательским оборудованием 101, почтового ящика для приема сообщений и т.д.). Кроме того, критерии поиска могут включать название здания или адрес, идентифицирующий здание или структуру, связанную с местоположением/точками интереса. Информация о структуре (например, количество этажей, связанных со структурой, другая информация о разделении и т.д.) может приниматься и кэшироваться в пользовательском оборудовании 101. Может кэшироваться и другая информация об одной или более точке интереса (например, о предприятии, магазине и т.д.) и/или метаданные, ассоциированные с точками интереса (например, имена, пиктограммы, картинки, этажи, номера телефонов, веб-адреса и т.д.). Такая информация может быть использована для предоставления дополненного контента пользователю.
[0024] Кроме того, производят идентификацию одной или более структур, ассоциированных с поиском. Структуры могут быть разделены согласно одному или более процессов. Один такой процесс должен производить анализ одного или более панорамных изображений структуры с использованием анализа изображения и/или алгоритмов обнаружения образов, которые позволяют идентифицировать один или более признаков, которые будут использоваться при разделении. Например, повторение горизонтальных признаков, таких как ряды окон, может быть использовано для определения этажа (то есть, например, горизонтальные разделения могут использоваться для обособления по вертикали). По результирующим признакам алгоритм обнаружения этажей позволяет обнаружить количество этажей. Результаты могут быть получены из выделения признаков, которые могут быть спроецированы на соответствующим стены структуры. Этот процесс выделения признаков можно использовать для уменьшения требований к обработке в рамках алгоритма обнаружения этажа. Можно сравнивать изображения, показывающие одно и то же здание при различных условиях освещения, чтобы сделать обнаружение этажа более точным. Например, изображения, полученные в ночное время, могут содержать освещенные окна, что делает визуальные признаки более четкими и способствует более точному выделению этих признаков.
[0025] Результаты обработки изображений для определения разделений можно сравнить с информацией о точках интереса и/или структурной информацией в одной или более баз мировых данных, что позволяет проверить количество разделений, ассоциированных со структурой. Это позволяет обеспечить большую точность обнаружения разделения (например, обнаружения этажа). Кроме того, приблизительную высоту структуры можно взять из модели структуры, хранящейся в мировых данных 107, и использовать ее для проверки достоверности результатов обнаружения этажа. Например, строительные нормы в некотором конкретном месте могут требовать, чтобы этаж здания был по меньшей мере определенной высоты или не больше определенной высоты. Это можно использовать при оценке значения возможного количества этажей в здании.
[0026] Затем местоположение точек интереса, полученное по информации о точках интереса (например, по адресу, включающему номер апартаментов, номер квартиры, номер этажа и т.д.), может быть отображено на часть структуры. Кроме того, результаты могут быть представлены пользователю (например, как показано на фиг.4B). Структура может быть разделена по вертикали с использованием горизонтальных разделений, а также в других направлениях с использованием других разделений. Кроме того, отдельные этажи структуры могут быть разделены на столько частей, сколько имеется точек интереса, адресов и т.д. Эта информация о структуре может приходить с поисковой информацией. В некоторых сценариях местоположения точек интереса не должны соответствовать точному этажу, но могут быть разбиты на части, соответствующие точному местоположению. Кроме того, в определенных вариантах выполнения настоящего изобретения, чтобы обеспечить дополнительную горизонтальную структуру в пределах этажа, нет необходимости разделять этажи. Кроме того, информация о точках интереса, ассоциированная с этажом, может быть представлена по-разному. Например, информацию о точках интереса можно показать статически, в виде анимации бегущей строки на стене структуры, в виде вращающихся пиктограмм и т.д. В некоторых вариантах выполнения настоящего изобретения может быть создана дополнительная структура (например, ассоциированием одной или более точек интереса с определенными местоположениями на этаже). В этих вариантах выполнения настоящего изобретения мировые данные 107 могут содержать информацию об общей топологической структуре, которая может быть использована для определения конкретных мест.
[0027] Как отмечено выше, различные приложения могут использовать вышеупомянутые подходы для аннотирования контента. Например, платформа 103 служб определения местоположения может предоставить услугу, которая использует изображения, трехмерные модели и т.д. среды реального мира. Например, приложение 109 пользовательского оборудования 101 может получить доступ к определенной услуге на основе определения местоположения, например локальному поиску для получения результатов поиска. Когда результаты поиска определены, ассоциированная информация может быть отправлена в пользовательское оборудование 101 с использованием мировых данных 107. Результаты поиска точек интереса могут затем быть использованы для получения одного или более изображений или других представлений (например, на основе трехмерной модели), ассоциированных с полученными в результате точками интереса. Эти изображения или представления, когда они представлены пользователю, могут включать представление точек интереса на основе описанного выше разделения. Таким образом, услуги на основе определения местоположения используют описанный выше подход для создания комментариев.
[0028] Например, система 105 связи системы 100 содержит одну или более сетей, таких как сеть передачи данных (не показана), беспроводная сеть (не показана), телефонная сеть (не показана) или любая их комбинация. Предусмотрено, что сеть передачи данных может быть любой локальной сетью (LAN), городской компьютерной сетью (MAN), региональной сетью (WAN), сетью передачи данных общего пользователя (например, Интернет), беспроводной сетью малой дальности или любой другой подходящей сетью с коммутацией пакетов, такой как коммерческие, частные сети с коммутацией пакетов, например частные кабельные сети или волоконно-оптические сети и т.п., или любой их комбинацией. Кроме того, беспроводная сеть может быть, например, сетью сотовой связи и может использовать различные технологии, включая протокол повышения скорости передачи данных для глобального развития (EDGE), общий сервис пакетной радиопередачи (GPRS), глобальную систему для мобильной связи (GSM), мультимедийную подсистему с использованием Интернет-протокола (IMS), универсальную систему мобильной связи (UMTS) и т.д., а также любую другую подходящую беспроводную среду, например сети стандарта общемировой совместимости широкополосного беспроводного доступа (WiMAX), сети стандарта долгосрочного развития (LTE), сети стандарта множественного доступа с кодовым разделением каналов (CDMA), сети стандарта широкополосного множественного доступа с кодовым разделением каналов (WCDMA), сети стандарта Wi-Fi, беспроводные локальные сети (WLAN), сети стандарта Bluetooth®, сети с преобразованием данных согласно протоколу Интернета (IP), сети для спутниковой связи, мобильные сети эпизодического доступа (MANET) и т.п.или любую их комбинацию.
[0029] Пользовательское оборудование 101 представляет собой любой тип мобильного терминала, стационарного терминала или портативного терминала, включая мобильный телефон, станцию, блок, устройство, мультимедийный компьютер, мультимедийный планшет, Интернет-узел, коммуникатор, настольный компьютер, ноутбук, персональный цифровой помощник (PDA), аудио/видеоплеер, цифровую камеру/видеокамеру, устройство позиционирования, телевизионный приемник, приемник радиотрансляционных передач, электронную книгу, игровое устройство или любую их комбинацию, включая аксессуары и периферийные устройства для этих устройств или любую их комбинацию. Кроме того, предусмотрено, что пользовательское оборудование может поддерживать любой тип пользовательского интерфейса (например, «носимые» схемы и т.д.).
[0030] Например, пользовательское оборудование 101 и платформа 103 служб определения местоположения осуществляют связь друг с другом и другими компонентами системы 105 связи с использованием известных, новых или находящихся в стадии разработки протоколов. В контексте данного изобретения протокол включает ряд правил, согласно которым узлы сети в пределах системы 105 связи взаимодействуют друг с другом на основе информации, посылаемой по линиям связи. Протоколы эффективны на различных уровнях функционирования в пределах каждого узла, от генерирования и приема физических сигналов различного типа до выбора линии связи для передачи этих сигналов, формата информации, задаваемого этими сигналами, идентификации, какое именно программное приложение посылает или принимает информацию. Концептуально различные уровни протоколов для обмена информацией по сети описаны в эталонной модели взаимодействия открытых систем (OSI).
[0031] Связь между узлами сети, как правило, осуществляется путем обмена дискретными пакетами данных. Каждый пакет, как правило, содержит (1) заголовочную информацию, ассоциированную с конкретным протоколом, и (2) информацию о полезной нагрузке, которая следует за заголовочной информацией и содержит информацию, которая может быть обработана независимо от указанного конкретного протокола. В некоторых протоколах пакет включает (3) хвостовую информацию, идущую после полезной нагрузки и указывающую конец полезной нагрузки. Заголовок содержит такую информацию как источник пакета, его назначение, длину полезной нагрузки и другие признаки, используемые протоколом. Часто данные в полезной нагрузке для конкретного протокола содержат заголовок и полезную нагрузку для некоторого другого протокола, ассоциированного с другим, более высоким уровнем эталонной модели OSI. В заголовке для конкретного протокола, как правило, указывается тип для последующего протокола, содержащегося в полезной нагрузке. Тогда говорят, что протокол более высокого уровня инкапсулирован в протокол более низкого уровня. Заголовки, входящие во множественные гетерогенные сети для передачи пакетов, такие как Интернет, как правило включают физический заголовок (уровень 1), заголовок (уровень 2) канала передачи данных, межсетевой заголовок (уровень 3), транспортный заголовок (уровень 4) и заголовки (уровень 5, уровень 6 и уровень 7) различных приложений, как определено в эталонной модели OSI.
[0032] В одном варианте выполнения настоящего изобретения платформа 103 служб определения местоположения может взаимодействовать с приложениями 109 пользовательского оборудования 101 согласно модели клиент-сервер. Согласно модели клиент-сервер, процесс клиента посылает сообщение, включающее запрос в процесс сервера, а процесс сервера реагирует, оказывая услугу (например, обработку изображений дополненной реальности, извлечение изображения дополненной реальности, извлечение данных о точках интереса, поиск точек интереса, поиск информации о структурах и т.д.). Процесс сервера может также возвратить сообщение с реакцией на процесс клиента. Часто процесс клиента и процесс сервера выполняются в различных компьютерных устройствах, называемых хостами, и общаются посредством сети с использованием одного или более протоколов для сетевой связи. Термин «сервер» традиционно используется для описания процесса, который оказывает услугу, или хоста, на котором осуществляется указанный процесс. Аналогично термин «клиент» традиционно используется для описания процесса, который обращается с запросом, или хоста, на котором осуществляется указанный процесс. В контексте настоящего описания термины «клиент» и «сервер» относятся к процессам, а не к хостам, если из контекста не следует противоположного. Кроме того, процесс, выполняемый сервером, может быть разбит на несколько процессов, осуществляемых в нескольких хостах (иногда называемых ярусами), помимо прочего, из соображений надежности, масштабируемости и избыточности.
[0033] На фиг.2 показана схема компонентов пользовательского оборудования согласно одному из вариантов выполнения настоящего изобретения. Например, пользовательское оборудование 101 содержит один или более компонентов для создания графического интерфейса пользователя в отношение услуг на основе определения местоположения (например, дополненная реальность, смешанная реальность и т.д.). Понятно, что функции этих компонентов могут быть объединены в одном или более компонентов или могут выполняться другими компонентами, выполняющими эквивалентные функции. В этом варианте выполнения настоящего изобретения пользовательское оборудование 101 содержит модуль 111 сбора данных, который может содержать один или более модулей 201 определения местоположения, модулей 203 магнитометра, модулей 205 акселерометра и модулей 207 захвата изображения. Пользовательское оборудование 101 может также содержать модуль 209 времени исполнения для координации использования других компонентов пользовательского оборудования 101, пользовательский интерфейс 211, интерфейс 213 связи, модуль 215 обработки изображений и память 217. Приложение 109 (например, приложение службы определения местоположения) пользовательского оборудования 101 может выполняться в модуле 209 времени исполнения с использованием компонентов пользовательского оборудования 101.
[0034] Модуль 201 определения местоположения может определять местоположение пользователя. Местоположение пользователя можно определить с помощью триангуляционной системы, такой как глобальная система определения местоположения (GPS), усовершенствованная система GPS (A-GPS), ячейка-источник (Cell of origin) или других технологий экстраполяции местоположения. Для точного определения местоположения пользовательского оборудования 101 стандартные системы GPS и A-GPS могут использовать спутники 113. Система ячейка-источник может использоваться для определения вышки сотовой антенны, с которой синхронизировано сотовое пользовательское оборудование 101. Эта информация дает грубое местоположение пользовательского оборудования 101, поскольку у вышки сотовой антенны может быть уникальный сотовый идентификатор (ID ячейки), который может быть отображен географически. Модуль 201 определения местоположения может также использовать несколько технологий для обнаружения местоположения пользовательского оборудования 101. Координаты местоположения (например, координаты GPS) могут дать более подробную информацию о местоположении пользовательского оборудования 101, когда получена медиа-картинка объекта (например, изображение, видеокартинка и т.д.). В еще одном варианте выполнения настоящего изобретения координаты GPS встраивают в метаданные полученных медиа-картинок (например, изображения видеокартинки и т.д.) или другим способом ассоциируют с пользовательским оборудованием 101 с помощью приложения 109. В других вариантах выполнения настоящего изобретения координаты местоположения могут быть сформатированы в файл (например, в виде вектора) и отправлены в платформу 103 служб определения местоположения независимо от каких-либо медиаданных. Кроме того, в некоторых вариантах выполнения настоящего изобретения координаты GPS могут включать высоту над уровнем моря. Эту высоту можно также определить с использованием высотомера другого типа. В некоторых сценариях модуль 201 определения местоположения может быть средством определения местоположения пользовательского оборудования 101, изображения или может использоваться для ассоциирования точек интереса или структур в поле зрения с местоположением. Дополнительно или альтернативно для определения места, представляющего интерес, можно использовать ввод данных пользователем.
[0035] Модуль 203 магнитометра может использоваться для обнаружения горизонтальной ориентации пользовательского оборудования 101. Магнитометр представляет собой прибор, который может измерять силу и/или направление магнитного поля. С помощью принципов, аналогичных применяемым в работе компаса, магнитометр способен определить направления пользовательского оборудования 101 с использованием магнитного поля Земли. Передняя панель устройства получения медиа-какртинки (например, фотокамеры) может быть отмечена как эталонная точка при определении направления. Таким образом, если магнитное поле указывает на север относительно эталонной точки, известен угол эталонной точки пользовательского оборудования 101 относительно магнитного поля. Можно провести вычисления и определить направление пользовательского оборудования 101. В еще одном варианте выполнения настоящего изобретения данные о горизонтальном направлении, полученные из магнитометра, встраивают в метаданные, идущие в виде потока или другим способом ассоциированные с пользовательским оборудованием 101 (например, включая информацию в запросе платформы 103 служб определения местоположения), приложением 109 службы, зависящей от определения местоположения. Например, запрос может быть использован для извлечения информации, ассоциированной с конкретным местоположением, одной или более точек интереса, одним или большим количество структур и т.д.
[0036] Модуль 205 акселерометра может использоваться для определения вертикальной ориентации пользовательского оборудования 101. Акселерометр представляет собой прибор, который может измерять ускорение. Использование акселерометра с тремя осями, X, Y, и Z, обеспечивает измерение ускорения в трех направлениях с известными углами. И вновь, передняя панель устройства получения медиа-картинки может быть отмечена в качестве эталонной точки при определении направления. Поскольку ускорение силы тяжести известно, когда пользовательское оборудование 101 стационарно, модуль 205 акселерометра может определить угол, который пользовательское оборудование 101 составляет относительно силы тяжести на Земле. В еще одном варианте выполнения настоящего изобретения данные о вертикальном направлении, полученные из акселерометра, встраивают в метаданные, полученные, идущие в виде потока или другим способом ассоциированные с пользовательским оборудованием 101, приложением 109 службы, зависящей от определения местоположения. В некоторых сценариях модуль 203 магнитометра и модуль 205 акселерометра могут быть средством установления ракурса пользователя. Кроме того, ориентация при ассоциации с местоположением пользователя, может быть использована для отображения местоположения пользовательского оборудования 101 на одно или более изображений (например, на панорамное изображение и/или обзорные изображения фотокамеры) и/или на трехмерный вид. При такой информации об ориентации приложение 109 служб местоположения может определить одну или более точек интереса, структур и т.д. относительно пользовательского оборудования 101. Кроме того, информация об ориентации может быть использована для индикации информации о точках интереса (например, комментариев) пользователю на пользовательский интерфейс 211 пользовательского оборудования 101.
[0037] В еще одном варианте выполнения настоящего изобретения для связи с платформой 103 служб определения местоположения или другим пользовательским оборудованием 101 может использоваться интерфейс 213 связи. Связь может осуществляться с помощью таких способов, как Интернет-протокол, обмен сообщениями (например, SMS,