Устройство обработки информации, способ обновления карты, программа и система обработки информации

Устройство обработки информации, способ обновления карты, программа и система обработки информации

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству обработки информации, способу обновления карты, программе и системе обработки изображений.

Уровень техники

Различные приложения для множества пользователей, обеспечивающие возможность совместного использования карты, представляющей положения физических объектов в реальном пространстве через сеть, находят практическое использование. Так, например, существует приложение, которое позволяет пользователю ассоциировать информацию, такую как комментарий или фотография, с определенным положением на карте и предоставлять эту информацию или карту в общее использование другими пользователями (см. выложенную заявку №2006-209784 на японский патент и "Google Maps" (Интернет URL: http://maps.google.com/)). Кроме того, существует приложение, которое ассоциирует виртуальную метку с определенным положением на карте и отображает изображение, снятое с использованием функции камеры терминала, с наложенной на нее меткой (см. "Sekai Camera Support Center" (интернет-URL: http://support. sekaicamera. com/en)).

Раскрытие изобретения

Однако в существующих приложениях совместного использования карт, хотя информация, ассоциированная с картой, может по желанию обновляться пользователем, сама карта не меняется, за исключением случая, когда провайдер услуги ее обновляет. Поэтому даже когда пользователь распознает изменение в положении физического объекта в реальном пространстве, ему трудно быстро отразить такое изменение на карте и совместно использовать ее с другими пользователями. Кроме того, в частном пространстве, когда провайдер услуги не предоставляет подробную карту, трудно совместно использовать карту или информацию, ассоциированную с этой картой, среди пользователей.

Учитывая описанное выше, желательно предоставить новое и улучшенное устройство обработки информации, способ обновления карты, программу и систему обработки изображений, которые обеспечивают возможность изменения положения физического объекта в реальном пространстве, которую можно быстро совместно использовать среди пользователей.

В соответствии с вариантом осуществления настоящего изобретения обеспечено устройство обработки информации, включающее в себя: модуль получения глобальной карты, который получает по меньшей мере часть глобальной карты, представляющей положения объектов в реальном пространстве, в котором действует множество пользователей; модуль генерирования локальной карты, который генерирует локальную карту, представляющую положения близлежащих объектов, обнаруживаемых устройством одного пользователя из множества пользователей; и модуль обновления, который обновляет глобальную карту на основе данных о положении объектов, включенных в локальную карту.

Устройство обработки информации может дополнительно включать в себя: вычислительный модуль, который вычисляет положение локальной карты относительно глобальной карты на основе данных о положении объектов, включенных в глобальную карту, и данных о положении объектов, включенных в локальную карту; и модуль преобразования, который выполняет преобразование координат из данных о положении объектов, включенных в локальную карту, в данные системы координат глобальной карты, в соответствии с относительным положением локальной карты, при этом модуль обновления обновляет глобальную карту, используя данные о положении объектов, включенных в локальную карту, после преобразования координат модулем преобразования.

Устройство обработки информации может представлять собой терминальное устройство, которым обладает один пользователь.

Модуль получения глобальной карты может получать по меньшей мере часть глобальной карты от серверного устройства, хранящего глобальную карту, и модуль обновления может обновлять глобальную карту серверного устройства путем передачи данных о положении объектов в серверное устройство.

Модуль получения глобальной карты может получать часть глобальной карты, соответствующую локальной области, содержащей положение терминального устройства в реальном пространстве.

Модуль получения глобальной карты может получать часть глобальной карты, представляющую положение заданного количества объектов, расположенных в непосредственной близости от устройства терминала.

Модуль генерирования локальной карты может генерировать локальную карту на основе входного изображения, получаемого путем формирования изображения реального пространства с помощью устройства формирования изображения, и данных о характерном элементе, указывающих характерный элемент во внешнем виде одного или более объектов.

Вычислительный модуль может вычислять относительное положение локальной карты на основе данных о положении неподвижного объекта, включенного и в глобальную карту, и в локальную карту.

Вычислительный модуль может вычислять относительное положение локальной карты так, чтобы при преобразовании данных о положения объектов, включенных в локальную карту, в данные системы координат глобальной карты, разница между данными после преобразования и данными о положении объектов, включенных в глобальную карту, в целом становилась меньше.

Глобальная карта может включать в себя данные о положении каждого объекта в реальном пространстве в системе координат глобальной карты и временную метку, относящуюся к указанным данным о положении.

Устройство обработки информации может дополнительно включать в себя: модуль управления отображением, который по меньшей мере частично отображает глобальную карту на экране в ответ на команду пользователя.

В соответствии с другим вариантом осуществления настоящего изобретения предложен способ обновления карты для обновления глобальной карты, представляющей положения объектов в реальном пространстве, в котором действует множество пользователей, выполняемый устройством обработки информации, способ включает в себя этапы, на которых: получают по меньшей мере часть глобальной карты; генерируют локальную карту, представляющую положение близлежащих объектов, обнаруживаемых устройством обработки информации; и обновляют глобальную карту на основе данных о положении объектов, включенных в локальную карту.

В соответствии с еще одним вариантом осуществления настоящего изобретения предложена программа, обеспечивающая выполнение компьютером, предназначенным для управления устройством обработки информации, функций: модуля получения глобальной карты, который получает по меньшей мере часть глобальной карты, представляющей положения объектов в реальном пространстве, в котором действует множество пользователей; модуля генерирования локальной карты, который генерирует локальную карту, представляющую положения близлежащих объектов, обнаруживаемых устройством одного пользователя из множества пользователей; и модуля обновления, который обновляет глобальную карту на основе данных о положении объектов, включенных в локальную карту.

В соответствии с еще одним вариантом осуществления настоящего изобретения предложена система обработки информации, включающая в себя: серверное устройство, которое хранит глобальную карту, представляющую положение объектов в реальном пространстве, в котором действует множество пользователей, при помощи носителя информации; и устройство обработки информации, которым обладает один пользователь из множества пользователей, причем устройство обработки информации включает в себя модуль получения глобальной карты, который получает по меньшей мере часть глобальной карты от серверного устройства, модуль генерирования локальной карты, который генерирует локальную карту, представляющую положения близлежащих объектов, обнаруживаемых устройством обработки информации, и модуль обновления, который обновляет глобальную карту на основе данных о положении объектов, включенных в локальную карту.

В соответствии с вариантами осуществления настоящего изобретения, описанными выше, можно обеспечить устройство обработки информации, способ обновления карты, программу и систему обработки изображений, которые позволяют быстро выполнять обмен между пользователями информацией об изменении положения физического объекта в реальном пространстве.

Краткое описание чертежей

На фиг.1 показана схема, иллюстрирующая общий вид системы в соответствии с вариантом осуществления;

на фиг.2 показана схема для иллюстрации данных о положении объектов, включенных в глобальную карту и в локальную карту;

на фиг.3 показана блок-схема, иллюстрирующая пример конфигурации сервера в соответствии с вариантом осуществления;

на фиг.4 показана схема для иллюстрации частичной глобальной карты;

на фиг.5 показана блок-схема, иллюстрирующая пример конфигурации терминального устройства в соответствии с вариантом осуществления;

на фиг.6А показана схема для иллюстрации первого примера процесса получения частичной глобальной карты;

на фиг.6В показана схема для иллюстрации второго примера процесса получения частичной глобальной карты;

на фиг.6С показана схема для иллюстрации третьего примера процесса получения частичной глобальной карты;

на фиг.7 показана блок-схема, иллюстрирующая пример детальной конфигурации модуля генерирования локальной карты в соответствии с вариантом осуществления;

на фиг.8 показана блок-схема последовательности операций, иллюстрирующая пример последовательности операций процесса детектирования собственного положения в соответствии с вариантом осуществления;

на фиг.9 показана схема для иллюстрации характерной точки, установленной на

объекте;

на фиг.10 показана схема для иллюстрации добавления характерной точки;

на фиг.11 показана схема для иллюстрации примера модели прогнозирования;

на фиг.12 показана схема для иллюстрации примера конфигурации данных о характерных точках;

на фиг.13 показана блок-схема последовательности операций, иллюстрирующая пример последовательности операций обработки распознавания объекта в соответствии с вариантом осуществления;

на фиг.14А показана схема для иллюстрации примера процесса согласования карт с помощью вычислительного модуля в соответствии с вариантом осуществления;

на фиг.14В показана схема для иллюстрации другого примера процесса согласования карт с помощью вычислительного модуля в соответствии с вариантом осуществления;

на фиг.15А показана схема для иллюстрации примера процесса обновления глобальной карты в соответствии с вариантом осуществления;

на фиг.15В показана представительная схема, предназначенная для иллюстрации другого примера процесса обновления глобальной карты в соответствии с вариантом осуществления;

на фиг.16 показана блок-схема последовательности операций, иллюстрирующая пример последовательности операции для обновления карты между сервером управления картой и терминальным устройством в соответствии с вариантом осуществления;

на фиг.17 показана блок-схема, иллюстрирующая пример конфигурации суперклиента в соответствии с вариантом осуществления; и

на фиг.18 показана схема, иллюстрирующая пример приложения для совместного использования дополнительной информации.

Осуществление изобретения

Ниже предпочтительные варианты осуществления настоящего изобретения будут подробно описаны со ссылкой на приложенные чертежи. Следует отметить, что в данном описании и на приложенных чертежах конструктивные элементы, которые имеют, по существу, одинаковую функцию и структуру, обозначены одинаковыми номерами ссылочных позиций, и повторное пояснение этих конструктивных элементов исключено.

Предпочтительные варианты осуществления настоящего изобретения будут описаны ниже в следующем порядке.

1. Общий обзор системы

1-1. Пример конфигурации системы

1-2. Пример данных о положении

2. Конфигурация сервера управления картой в соответствии с вариантом осуществления

3. Конфигурация терминального устройства в соответствии с вариантом осуществления

3-1. Интерфейс связи

3-2. Модуль формирования изображения

3-3. Модуль инициирования

3-4. Модуль получения глобальной карты

3-5. Модуль генерирования локальной карты

3-6. Вычислительный модуль

3-7. Модуль преобразования

3-8. Модуль обновления

3-9. Модуль управления отображением

4. Последовательность операций

5. Альтернативный пример

5-1. Суперклиент

5-2. Совместное использование дополнительной информации

6. Резюме

1. Общий обзор системы

1-1. Пример конфигурации системы

Общий обзор системы в соответствии с вариантом осуществления настоящего изобретения будет описан вначале со ссылкой на фиг.1 и 2. На фиг.1 показана схема, иллюстрирующая общий вид системы 1 обработки изображений в соответствии с вариантом осуществления настоящего изобретения. На фиг.1 показана система 1 обработки изображений в соответствии с вариантом осуществления, включающая в себя сервер 10 управления картой, терминальное устройство 100а и терминальное устройство 100b.

Сервер 10 управления картой представляет собой устройство обработки информации, которое обеспечивает услугу совместно использования ресурса карты для обеспечения совместного использования карты и информации, ассоциированной с этой картой, множеством пользователей. Сервер 10 управления картой имеет внутреннюю и внешнюю базу данных и содержит глобальную карту, которая будет описана ниже, в этой базе данных. Сервер 10 управления картой обычно реализован с использованием устройства обработки информации общего назначения, такого как персональный компьютер (ПК) или рабочая станция.

В данном описании карта, управляемая сервером 10 управления картой, называется глобальной картой. Глобальная карта представляет собой карту, которая представляет положения физических объектов в реальном пространстве во всей области A_G обслуживания службы совместного использования карты.

Терминальное устройство 100а представляет собой устройство обработки информации, находящиеся у пользователя Ua. Терминальное устройство 100 представляет собой устройство обработки информации, находящиеся у пользователя Ub. В данном описании, в случае когда нет особой нужды различать терминальное устройство 100а и терминальное устройство 100b, они обозначаются, в целом, как терминальное устройство 100 путем удаления буквы алфавита, прикрепленной к номеру ссылочной позиции. Терминальное устройство 100 может связываться с сервером 10 управления картой через соединение передачи данных по проводам или по беспроводному каналу. Терминальное устройство 100 может типично представлять собой устройство обработки информации любого типа, такое как ПК, смартфон, персональные карманные компьютеры (КПК), портативный музыкальный проигрыватель или игровой терминал.

Терминальное устройство 100 имеет функцию датчика, выполненного с возможностью детектировать положения расположенных рядом объектов. Затем терминальное устройство 100 генерирует локальную карту, которая представляет положения объектов, находящихся в непосредственной близости от их собственного устройства (например, в области A_La или в области A_Lb), используя функцию датчика. В данном варианте осуществления будет описан случай использования технологии одновременного определения местоположения и отображения на карте (SLAM), которая позволяет одновременно оценивать положение и ориентацию камеры и положение характерной точки объекта, представленного на входном изображении, используя монокулярную камеру, в качестве примера функции датчика.

Кроме того, терминальное устройство 100 имеет функцию обновления, которая обновляет глобальную карту, управляемую сервером 10 управления картой, с использованием сгенерированной локальной карты и функции отображения, которая отображает последнюю глобальную карту (или глобальную карту в определенный момент времени в прошлом). В частности, пользователь Ua может просматривать глобальную карту, обновленную терминальным устройством 100b, принадлежащим пользователю Ub, например, на экране терминального устройства 100а. Кроме того, пользователь Ub может просматривать глобальную карту, обновленную терминальным устройством 100а, принадлежащим пользователю Ua, например, на экране терминального устройства 100b.

1-2. Пример данных положения

На фиг.2 показана схема, предназначенная для иллюстрации данных о положении объектов, включенных в глобальную карту и в локальную карту.

На фиг.2 показаны четыре физических объекта В1-В4, присутствующих в реальном пространстве. Объект В1 представляет собой стол. Объект В2 представляет собой чашку с кофе. Объект В3 представляет собой ПК типа ноутбук. Объект В4 представляет собой окно. Положение объекта В4 обычно неподвижно. В этом описании объект, который неподвижен, называется неподвижным объектом или ориентиром. На фиг.2 дополнительно показаны данные R1-R4 положения для соответствующих объектов. Данные R1-R4 положения включают в себя ID объекта "Obj1"-"Obj4", положение "X1"-"Х4", ориентацию "Ω1"-"Ω4" и временную метку "YYYYMMDDhhmmss", указывающую момент времени, когда данные положения были сгенерированы, соответственно.

Глобальная карта представляет собой набор данных, который включает в себя данные о положении, как показано на фиг.2, для физических объектов, присутствующих в реальном пространстве во всей области A_G обслуживания. Например, когда все здание представляет собой область A_G обслуживания, глобальная карта может включать в себя данные о положении не только объектов в комнате, показанной на фиг.2, но также и объектов в другой комнате. Система координат для данных о положении глобальной карты установлена заранее фиксированным образом как система глобальных координат.

С другой стороны, локальная карта представляет собой набор данных, который включает в себя данные о положении, как показано на фиг.2, для физических объектов, присутствующих в реальном пространстве в непосредственной близости от терминального устройства 100. Например, локальная карта может включать в себя данные о положении объектов В1-В4, показанных на фиг.2. Положение начала координат и направление оси координат системы координат локальной карты зависят от положения и ориентации камеры терминального устройства 100. Поэтому система координат локальной карты обычно отличается от системы глобальных координат.

Следует отметить, что объекты, положения которых могут быть представлены глобальной картой или локальной картой, не ограничиваются примером, показанным на фиг.2. Например, данные о положении объектов, таких как здание или автомобиль, расположенных вне дома, вместо объектов, расположенных внутри помещения, могут быть включены в глобальную карту или локальную карту. В этом случае здание может использоваться как ориентир.

2. Конфигурация сервера управления картой в соответствии с вариантом осуществления

На фиг.3 показана блок-схема, иллюстрирующая пример конфигурации сервера 10 управления картой в соответствии с вариантом осуществления. На фиг.3 показан сервер 10 управления картой, включающий в себя интерфейс 20 связи, модуль 30 хранения глобальной карты, модуль 40 извлечения частичной глобальной карты, модуль 50 обновления и модуль 60 доставки глобальной карты.

Интерфейс 20 связи представляет собой интерфейс, который выступает посредником при осуществлении связи между сервером 10 управления картой и терминальным устройством 100. Интерфейс 20 связи может представлять собой интерфейс беспроводной связи или интерфейс проводной связи.

Модуль 30 хранения глобальной карты соответствует базе данных, которая построена с использованием носителя информации, такого как жесткий диск или полупроводниковое запоминающее устройство, и содержит описанную выше глобальную карту, представляющую положения физических объектов в реальном пространстве, где действует множество пользователей. Затем модуль 30 хранения глобальной карты выводит частичную глобальную карту, которая представляет собой поднабор глобальной карты, в ответ на запрос из модуля 40 извлечения частичной глобальной карты. Кроме того, глобальная карта, содержащаяся в модуле 30 хранения глобальной карты, обновляется с помощью модуля 50 обновления. Кроме того, модуль 30 сохранения глобальный карты выводит всю запрашиваемую часть глобальной карты в ответ на запрос из модуля 60 доставки глобальной карты.

Модуль 40 извлечения частичной глобальный карты принимает информацию, относящуюся к положению терминального устройства 100, через интерфейс 20 связи и извлекает частичную глобальную карту в соответствии с информацией. Затем модуль 40 извлечения частичной глобальной карты передает извлеченную частичную глобальную карту в терминальное устройство 100 через интерфейс 20 связи. Частичная глобальная карта представляет собой поднабор глобальной карты. Частичная глобальная карта представляет положения физических объектов, расположенных в пределах локальной области, находящейся в непосредственной близости от положения терминального устройства 100 в системе глобальных координат.

На фиг.4 показана схема для иллюстрации частичной глобальной карты. Глобальная карта M_G, которая содержит данные о положении 19 объектов с ID объекта "Obj1"-"Obj19", показана слева на фиг.4. 19 объектов рассеяны по области A_G обслуживания, показанной справа на фиг.4. Объекты, расстояние которых от положения терминального устройства 100а, принадлежащего пользователю Ua, составляет пороговое значение D или менее, представляют собой объекты В1-В9. В данном случае данные о положении объектов В1-В9 формируют, например, частичную глобальную карту M_G (Ua) для пользователя Ua. Кроме того, объекты, расстояние которых от положения терминального устройства 100b, принадлежащего пользователю Ub, составляет пороговое значение D или менее, представляют собой объекты В11-В19. В этом случае данные о положении объектов В11-В19 формируют, например, частичную глобальную карту M_G (Ub) для пользователя Ub. Пороговое значение D установлено на соответствующем уровне заранее так, что большая часть диапазона локальной карты, описанной ниже, включена в частичную глобальную карту. Следует отметить, что другой пример извлечения частичной глобальной карты дополнительно описан ниже.

Модуль 50 обновления обновляет глобальную карту, хранящуюся в модуле 30 хранения глобальной карты, на основе данных о положении объектов, принятых от терминального устройства 100 через интерфейс 20 связи. Изменение в положении объекта в реальном пространстве, таким образом, быстро отражается на глобальной карте. Процесс обновления глобальной карты, выполняемый модулем 50 обновления, дополнительно описан ниже.

Модуль 60 доставки глобальной карты доставляет глобальную карту, хранящуюся в модуле 30 хранения глобальной карты, в терминальное устройство 100 в ответ на запрос от терминального устройства 100. Глобальная карта, доставляемая из модуля 60 доставки глобальной карты, выводится на экран терминального устройства 100 с использованием функции отображения терминального устройства 100. Пользователь, таким образом, может просматривать последнюю глобальную карту (или глобальную карту в определенный момент времени в прошлом).

3. Конфигурация терминального устройства в соответствии с вариантом осуществления

На фиг.5 показана блок-схема, иллюстрирующая пример конфигурации терминального устройства 100 в соответствии с вариантом осуществления. На фиг.5 показано терминальное устройство 100, которое включает в себя интерфейс 102 связи, модуль 110 формирования изображения, модуль 120 инициирования, модуль 130 получения глобальной карты, модуль 132 хранения данных, модуль 140 генерирования локальной карты, вычислительный модуль 160, модуль 170 преобразования, модуль 180 обновления и модуль 190 управления отображением.

3-1. Интерфейс связи

Интерфейс 102 связи представляет собой интерфейс, который выступает посредником в соединении для осуществления связи между терминальным устройством 100 и сервером 10 управления картой. Интерфейс 102 связи может представлять собой беспроводный интерфейс связи или проводной интерфейс связи.

3-2. Модуль формирования изображения

Модуль 110 формирования изображения может быть реализован в виде камеры, имеющей элемент формирования изображения, такой как, например, прибор с зарядовой связью (CCD) или комплементарный металлооксидный полупроводник (CMOS). Модуль 110 формирования изображения может быть установлен снаружи терминального устройства 100. Модуль 110 формирования изображения выводит изображение, полученное в результате формирования изображения реального пространства, в котором присутствуют физические объекты, как показано на фиг.2, как входное изображение в модуль 120 инициирования и модуль 140 генерирования локальный карты.

3-3. Модуль инициирования

Модуль 120 инициирования определяет приблизительное положение терминального устройства 100 в системе глобальных координат, используя входное изображение, подаваемое из модуля 110 формирования изображения. Определение положения терминального устройства 100 на основе входного изображения может быть выполнено в соответствии с технологией, раскрытой, например, в выложенной заявке №2008-185417 на японский патент. В этом случае модуль 120 инициирования сопоставляет входное изображение с опорным изображением, заранее сохраненным в модуле 132 хранения данных, и устанавливает высокую отметку для опорного изображения с высокой степенью соответствия. Затем модуль 120 инициирования рассчитывает распределение вероятности кандидатов для положения терминального устройства 100 на основе отметки и определяет вероятное положение (положение с наибольшим значением вероятности в гипотетическом распределении вероятности) терминального устройства 100 на основе рассчитанного распределения вероятности. Затем модуль 120 инициирования выводит локализованное положение терминального устройства 100 в модуль 130 получения глобальной карты.

Следует отметить, что модуль 120 инициирования может локализовать положение терминального устройства 100, используя функции системы глобальной навигации (GPS), вместо технологии, описанной выше. Кроме того, модуль 120 инициирования может локализовать положение терминального устройства 100, используя такую технологию, как PlaceEngine, которая позволяет, например, измерять текущее положение на основе информации об интенсивности поля от беспроводной точки доступа, находящейся в непосредственной близости.

3-4. Модуль получения глобальной карты

Модуль 130 получения глобальной карты передает информацию, относящуюся к положению терминального устройства 100, в сервер 10 управления картой через интерфейс 102 связи и получает описанную выше частичную глобальную карту, извлеченную модулем 40 извлечения частичной глобальным карты из сервера 10 управления картой. Затем модуль 130 получения глобальной карты сохраняет полученную частичную глобальную карту в модуле 132 хранения данных.

На фиг.6А показана схема для иллюстрации первого примера процесса получения частичной глобальной карты. Как показано на фиг.6А, модуль 130 получения глобальной карты терминального устройства 100 передает координаты положения терминального устройства 100 в системе глобальных координат в сервер 10 управления картой. Затем модуль 40 извлечения частичной глобальной карты сервера 10 управления картой извлекает частичную глобальную карту, сформированную по данным о положении объектов, расположенных, например, в пределах радиуса D[m] от координат положения и передает извлеченную частичную глобальную карту обратно в терминальное устройство 100. Модуль 130 получения глобальной карты, таким образом, может получать частичную глобальную карту, соответствующую локальной области, имеющей заданную ширину. Локальная область может представлять собой область, имеющую ширину, которая непосредственно наблюдается, например, модулем 110 формирования изображения терминального устройства 100. Это позволяет уменьшить затраты на связь и затраты на обработку в терминальном устройстве 100 по сравнению со случаем получения всей глобальной карты.

На фиг.6В показана схема для иллюстрации второго примера процесса получения частичной глобальной карты. На фиг.6В модуль 130 получения глобальной карты терминального устройства 100 передает координаты положения терминального устройства 100 в системе глобальных координат в сервер 10 управления картой. Затем модуль 40 извлечения частичной глобальной карты сервера 10 управления картой извлекает частичную глобальную карту, сформированную данными о положении n объектов, например, в порядке уменьшения расстояния от координат положения, и передает извлеченную частичную глобальную карту обратно в терминальное устройство 100. Модуль 130 получения глобальной карты, таким образом, может получать частичную глобальную карту, соответствующую локальной области, содержащей определенное количество элементов данных. Обычно чем больше заданное количество n данных, тем с большей точностью может быть выполнено сопоставление частичной глобальной карты с локальной картой вычислительным модулем 160, который будет описан ниже. Значение n определяют с учетом баланса между точностью сопоставления и затратами на связь и затратами на обработку (например, значение n может быть n=100).

На фиг.6С показана схема для иллюстрации третьего примера процесса получения частичной глобальной карты. Как показано на фиг.6С, модуль 130 получения глобальной карты терминального устройства 100 передает идентификатор (ниже называется идентификатором области), предназначенный для идентификации области, где расположено терминальное устройство 100, в сервер 10 управления картой. Идентификатор области может представлять собой идентификатор точки доступа для точки беспроводного доступа, к которой может получить доступ, например, терминальное устройство 100. Кроме того, когда все здание представляет собой область A_G обслуживания, идентификатор области может представлять собой число, идентифицирующее этаж или комнату, где находится терминальное устройство 100. Приняв идентификатор области, модуль 40 извлечения частичной глобальный карты сервера 10 управления картой извлекает частичную глобальную карту, сформированную данными о положении объектов, содержащихся в области, обозначенной идентификатором области, и передает извлеченную частичную глобальную карту обратно в терминальное устройство 100. В этом случае также, по сравнению со случаем получения всей глобальной карты, можно снизить затраты на связь и затраты на обработку в терминальном устройстве 100.

3-5. Модуль генерирования локальной карты

Модуль 140 генерирования локальной карты генерирует описанную выше локальную карту и представляет положения близлежащих объектов, которые детектирует терминальное устройство 100, на основе входного изображения, подаваемого из модуля 110 формирования изображения, и характерных данных, которые описаны ниже, хранящихся в модуле 132 хранения данных. На фиг.7 показана блок-схема, иллюстрирующая пример подробной конфигурации модуля 140 генерирования локальной карты в соответствии с вариантом осуществления. На фиг.7 модуль 140 генерирования локальной карты включает в себя модуль 142 определения собственного положения, модуль 144 распознавания изображения и модуль 146 построения локальной карты.

(1) Модуль определения собственного положения

Модуль 142 определения собственного положения динамически определяет положение камеры, которая снимает входное изображение, на основе входного изображения, подаваемого из модуля 110 формирования изображения, и характерных данных, хранящихся в модуле 132 хранения данных. Например, даже когда камера модуля 110 формирования изображения представляет собой монокулярную камеру, модуль 142 определения собственного положения может динамически определять положение и ориентацию камеры и положение характерной точки на плоскости формирования изображения камеры для каждого кадра, применяя технологию SLAM, раскрытую в "Real-Time Simultaneous Localization and Mapping with a Single Camera" (Andrew J. Davison, Proceedings of the 9th IEEE International Conference on Computer Vision Volume 2, 2003, pp.1403-1410).

Вначале вся последовательность процесса определения собственного положения с помощью модуля 142 определения собственного положения с использованием технологии SLAM будет описана со ссылкой на фиг.8. Затем будет подробно описан процесс определения собственного положения со ссылкой на фиг.9-11.

На фиг.8 показана блок-схема последовательности операций, иллюстрирующая пример последовательности операций процесса определения собственного положения, выполняемого модулем 142 определения собственного положения, используя технологию SLAM. На фиг.8, когда начинается процесс определения собственного положения, модуль 142 определения собственного положения вначале инициализирует параметр состояния (этап S102). В данном варианте осуществления параметр состояния представляет собой вектор, включающий в себя в качестве элементов положение и ориентацию (угол поворота) камеры, скорость передвижения и угловую скорость камеры, и положения одной или более характерных точек. Модуль 142 определения собственного положения затем последовательно получает входное изображение из модуля 110 формирования изображения (этап S112). Процессы с этапа 112 по этап S118 могут повторяться для каждого входного изображения (то есть для каждого кадра).

На этапе S114 модуль 142 определения собственного положения отслеживает характерные точки, присутствующие во входном изображении. Например, модуль 142 определения собственного положения определяет фрагмент (малое изображение, например, размером 3×3=9 пикселей вокруг характерной точки) каждой характерной точки, заранее сохраненной в модуле 132 хранения данных, из входного изображения. Положение фрагмента, определенное таким образом, то есть положение характерной точки, используют позже при обновлении параметра состояния.

На этапе S116 модуль 142 определения собственного положения генерирует заданное значение параметра состояния для следующего кадра, например, на основе заданной модели прогнозирования. Кроме того, на этапе S118 модуль 142 определения собственного положения обновляет параметр состояния, используя прогнозируемое значение параметра состояния, генерируемое на этапе S116, и наблюдаемое значение в соответствии с положением характерной точки, определенным на этапе S114. Модуль 142 определения собственного положения выполняет процессы на этапах S116 и S118 на основе принципа расширенного фильтра Калмана.

В результате такой обработки выводят значение параметра состояния, обновляемое для каждого кадра. Конфигурация каждого процесса отслеживания характерной точки (этап S114), прогнозирование параметра состояния (этап S116) и обновление переменной состояния (этап S118) ниже описаны более конкретно.

(1-1) Отслеживание характерной точки

В данном варианте осуществления модуль 132 хранения данных сохраняет заранее данные о характерных точках, обозначающие характерные точки объекта, соответствующие физическим объектам, которые могут присутствовать в реальном пространстве. Данные характерной точки включают в себя малые изображения, то есть фрагменты, относящиеся, например, к одной или более характерным точкам, каждая из которых представляет характерную особенность внешнего вида каждого объекта. Фрагмент может быть малым изображением, состоящим, например, из 3×3=9 пикселей вокруг характерной точки.

На фиг.9 иллюстрируются два примера объектов и пример характерных точек (FP), а также фрагменты, установленные на каждом объекте. Левый объект на фиг.9 представляет собой объект, представляющий PC (см. фиг.5а). Множество характерных точек, включающих в себя особую точку FP1, установлены на объекте. Кроме того, фрагмент Pth1 определен для характерной точки FP1. С другой стороны, правый объект на фиг.9 представляет собой объект, представляющий календарь (см. фиг.9b). Множество характерных точек, включающих в себя особую точку FP2, установлены на объекте. Кроме того, фрагмент Pth2 определен для особой точки FP2.

После получения входного изображения из модуля 110 формирования изображения модуль 142 определения собственного положен