Устройство обработки информации, способ обработки информации и программа

Устройство обработки информации, способ обработки информации и программа

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству обработки информации, способу обработки информации и программе. Конкретнее, настоящее изобретение относится к устройству обработки информации, способу обработки информации и программе, которые выполняют обработку данных с помощью смешанной реальности (Mixed Reality, MR), которая объединяет реальный объект в реальном мире с электронным отображением.

Уровень техники

Например, в случае, когда пользователь выполняет обработку данных с помощью персонального компьютера (ПК) (PC), этот пользователь выполняет обработку данных, отображенных на дисплейной секции (дисплее) этого ПК. Однако, например, в случае выполнения создания документа, если дисплейный размер листа, примененного для создания документа, становится больше, нежели размер (к примеру, размер окна) дисплейной секции ПК, невозможно отобразить весь лист на экране ПК, что заставляет выполнять работу, отображая только часть этого листа на экране.

То есть информация, которая выходит за экран, больше не отображается на экране ПК. При отображении области, которая выходит за экран ПК, хотя и возможно отображать эту область, выполняя обработку прокрутки, возникает проблема в том, что область, которая отображена до этого, становится скрытой в результате прокрутки. Хотя и возможно для отображения всего листа выполнять такую обработку как уменьшение масштаба всего листа или разделение экрана на два, но когда выполняется такая обработка, возникает проблема в том, что становится малым размер знаков, затрудняя выполнение работы.

Настоящее изобретение разрешает такую проблему с помощью такой обработки данных, которая использует, например, смешанную реальность. Следует отметить, что в качестве известного источника, описывающего смешанную реальность, существует, например, PTL1 (публикация выложенной заявки на патент Японии №2008-304268) и PTL2 (публикация выложенной заявки на патент Японии №2008-304269). Эти источники описывают процесс создания трехмерной карты реального мира с помощью заснятого фотокамерой изображения.

Список ссылок

Патентная литература

PTL1: публикация выложенной заявки на патент Японии №2008-304268.

PTL2: публикация выложенной заявки на патент Японии №2008-304269.

Сущность изобретения

Техническая проблема

Цель настоящего изобретения состоит в обеспечении устройства обработки информации, способа обработки информации и программы, которые генерируют составное изображение, в котором различные порции данных электронным образом прикрепляются к областям вне дисплейной секции (дисплея) в ПК или тому подобному, например, посредством обработки данных с помощью смешанной реальности (MR) и делает это составное изображение наблюдаемым, благодаря чему обеспечивается эффективное использование пространственной области вне дисплейной секции, которая используется в качестве основной рабочей области.

Решение проблемы

Первый объект настоящего изобретения относится к устройству обработки информации, включающему в себя:

- исполняющую приложение секцию, которая сохраняет неотображаемые данные и позиционную информацию этих неотображаемых данных в памяти при обработке данных с помощью первой дисплейной секции, причем неотображаемые данные граничат с отображенными данными первой дисплейной секции;

- секцию анализа трехмерной информации, которая анализирует трехмерную позицию реального объекта, включающего в себя первую дисплейную секцию, включенную в заснятое фотокамерой изображение;

- секцию управления виртуальным объектом, которая принимает ввод неотображаемых данных и позиционную информацию этих неотображаемых данных, которые сохранены в памяти, и трехмерную позиционную информацию первой дисплейной секции, проанализированную секцией анализа трехмерной информации, генерирует составное изображение, образованное реальным объектом, включенным в заснятое фотокамерой изображение, и виртуальным объектом, образованным неотображаемыми данными, и отображает это составное изображение на второй дисплейной секции,

при этом секция управления виртуальным объектом устанавливает дисплейную позицию виртуального объекта на второй дисплейной секции в позицию, расположенную в направлении распространения от границы отображаемых данных первой дисплейной секции, отображенной на второй дисплейной секции, наружу от первой дисплейной секции.

Далее, в варианте осуществления устройства обработки информации согласно настоящему изобретению секция управления виртуальным объектом преобразует координатные данные, которые являются позиционной информацией неотображаемых данных, сохраненной в памяти, "в координатную систему фотокамеры, служащую в качестве индикатора дисплейной позиции в дисплейном изображении второй дисплейной секции, и находит дисплейную позицию виртуального объекта за счет применения преобразованных координатных данных.

Далее, в варианте осуществления устройства обработки информации согласно настоящему изобретению секция управления виртуальным объектом решает, происходит ли пересечение между дисплейной позицией виртуального объекта, преобразованной в координатную систему фотокамеры, и плоскостью, формирующей реальный объект, включенный в заснятое фотокамерой изображение, и если это пересечение происходит, исполняет процесс повторного преобразования, чтобы позиционировать преобразованные координатные данные в плоскость, формирующую реальный объект, и находит дисплейную позицию виртуального объекта за счет применения повторно преобразованных координатных данных.

Далее, в варианте осуществления устройства обработки информации согласно настоящему изобретению устройство обработки информации включает в себя первое устройство, имеющее исполняющую приложение секцию, и второе устройство, имеющее секцию анализа трехмерной информации и секцию управления виртуальным объектом, и данные, сохраненные в первой памяти в первом устройстве, исполняющей приложение секцией, передаются во второе устройство посредством секции связи, а во втором устройстве секция анализа трехмерной информации и секция управления виртуальным объектом выполняют обработку, используя принятые данные.

Далее второй объект настоящего изобретения относится к способу обработки информации, который исполняется в устройстве обработки информации и включает в себя:

- этап исполнения приложения исполняющей приложение секции, сохраняющей неотображаемые данные и позиционную информацию этих неотображаемых данных в памяти при обработке данных с помощью первой дисплейной секции, причем неотображаемые данные граничат с отображенными данными первой дисплейной секции;

- этап анализа трехмерной информации секции анализа трехмерной информации, анализирующей трехмерную позицию реального объекта, включающего в себя первую дисплейную секцию, включенную в заснятое фотокамерой изображение; и

- этап управления виртуальным объектом секции управления виртуальным объектом, принимающей ввод неотображаемых данных и позиционную информацию этих неотображаемых данных, которые сохранены в памяти, и трехмерную позиционную информацию первой дисплейной секции, проанализированную секцией анализа трехмерной информации, генерирующей составное изображение, образованное реальным объектом, включенным в заснятое фотокамерой изображение, и виртуальным объектом, образованным неотображаемыми данными, и отображающей это составное изображение на второй дисплейной секции,

при этом этап управления виртуальным объектом имеет этап установления дисплейной позиции виртуального объекта на второй дисплейной секции в позиции, расположенной в направлении распространения от границы отображаемых данных первой дисплейной секции, отображенной на второй дисплейной секции, наружу от первой дисплейной секции.

Далее, третий объект настоящего изобретения относится к программе, вызывающей исполнение обработки информации в устройстве обработки информации, включающей в себя:

- этап исполнения приложения, заставляющий исполняющую приложение секцию сохранять неотображаемые данные и позиционную информацию этих неотображаемых данных в памяти при обработке данных с помощью первой дисплейной секции, причем неотображаемые данные граничат с отображенными данными первой дисплейной секции;

- этап анализа трехмерной информации, заставляющий секцию анализа трехмерной информации анализировать трехмерную позицию реального объекта, включающего в себя первую дисплейную секцию, включенную в заснятое фотокамерой изображение; и

- этап управления виртуальным объектом, заставляющий секцию управления виртуальным объектом принимать ввод неотображаемых данных и позиционную информацию этих неотображаемых данных, которые сохранены в памяти, и трехмерную позиционную информацию первой дисплейной секции, проанализированную секцией анализа трехмерной информации, генерировать составное изображение, образованное реальным объектом, включенным в заснятое фотокамерой изображение, и виртуальным объектом, образованным неотображаемыми данными, и отображать это составное изображение на второй дисплейной секции,

при этом этап управления виртуальным объектом имеет этап, заставляющий устанавливать дисплейную позицию виртуального объекта на второй дисплейной секции в позиции, расположенной в направлении распространения от границы отображаемых данных первой дисплейной секции, отображенной на второй дисплейной секции, наружу от первой дисплейной секции.

Следует отметить, что программа согласно настоящему изобретению представляет собой, например, программу, которая может быть представлена носителем данных или сетью передачи данных и которая предоставляется в машиночитаемом формате в устройство обработки информации или компьютерную систему, способные исполнять различные программные коды. Благодаря предоставлению такой программы в машиночитаемом формате обработки по этой программе могут быть реализованы в устройстве обработки информации или компьютерной системе.

Прочие цели, признаки и преимущества настоящего изобретения станут понятны из нижеследующего подробного описания вариантов осуществления настоящего изобретения и сопровождающих чертежей. Следует отметить, что выражение «система», как используется в данном описании, относится к логическому соединению множества устройств и не ограничивается тем, что составляющие устройства расположены в одном и том же корпусе.

Преимущественные эффекты изобретения

Согласно конфигурации варианта осуществления настоящего изобретения реализуется выполнение, при котором в различных видах дисплейных устройств, таких как персональный компьютер (ПК) (PC) и портативный телефон с дисплейной секцией, неотображаемые данные, которые выходят за область дисплейной секции, отображаются как виртуальный объект в позиции, граничащей с отображенными данными первой дисплейной секции. Это выполнение позволяет пользователю всегда наблюдать и просматривать не только данные, отображенные в ограниченной дисплейной области ПК или тому подобного, но также и данные, которые вышли за дисплейную секцию, благодаря чему улучшается эффективность обработки.

Краткое описание чертежей

Фиг.1 является схемой, поясняющей конфигурацию варианта осуществления устройства обработки информации согласно настоящему изобретению.

Фиг.2 является схемой, поясняющей пример отображения виртуального объекта, исполняемого устройством обработки информации согласно настоящему изобретению.

Фиг.3 является схемой, поясняющей пример обработки, исполняемый устройством обработки информации согласно настоящему изобретению.

Фиг.4 является схемой, поясняющей пример конкретной обработки, иллюстрирующий пример обработки, исполняемой устройством обработки информации согласно настоящему изобретению.

Фиг.5 является схемой, поясняющей пример конкретной обработки, иллюстрирующий пример обработки, исполняемой устройством обработки информации согласно настоящему изобретению.

Фиг.6 является схемой, иллюстрирующей блок-схему алгоритма, поясняющую последовательность обработки, исполняемую устройством обработки информации согласно настоящему изобретению.

Фиг.7 является схемой, поясняющей пример конкретной обработки, иллюстрирующий пример обработки, исполняемой устройством обработки информации согласно настоящему изобретению.

Фиг.8 является схемой, поясняющей пример конкретной обработки, иллюстрирующий пример обработки, исполняемой устройством обработки информации согласно настоящему изобретению.

Фиг.9 является схемой, поясняющей пример конкретной обработки, иллюстрирующий пример обработки, исполняемой устройством обработки информации согласно настоящему изобретению.

Фиг.10 является схемой, поясняющей пример конкретной обработки, иллюстрирующий пример обработки, исполняемой устройством обработки информации согласно настоящему изобретению.

Фиг.11 является схемой, иллюстрирующей блок-схему алгоритма, поясняющую последовательность обработки, исполняемую устройством обработки информации согласно настоящему изобретению.

Фиг.12 является схемой, поясняющей пример конкретной обработки, иллюстрирующий пример обработки, исполняемой устройством обработки информации согласно настоящему изобретению.

Фиг.13 является схемой, поясняющей пример конкретной обработки, иллюстрирующий пример обработки, исполняемой устройством обработки информации согласно настоящему изобретению.

Фиг.14 является схемой, поясняющей пример конкретной обработки, иллюстрирующий пример обработки, исполняемой устройством обработки информации согласно настоящему изобретению.

Подробное описание изобретения

Ниже со ссылками на чертежи будут подробно описаны устройство обработки информации, способ обработки информации и программа согласно настоящему изобретению.

Настоящее изобретение будет описано по порядку в соответствии со следующими предметами:

1. В отношении примера выполнения и примера обработки устройства обработки информации согласно настоящему изобретению (Вариант осуществления 1).

2. Процесс отображения виртуального объекта, подогнанного к форме объекта в реальном мире (Вариант осуществления 2).

3. Пример обработки с помощью иного устройства отображения.

1. В отношении примера выполнения и примера обработки устройства обработки информации согласно настоящему изобретению

Пример выполнения и пример обработки устройства обработки информации согласно настоящему изобретению будут далее описаны со ссылкой на фиг.1. Фиг.1 является схемой, показывающей пример выполнения устройства обработки информации согласно настоящему изобретению.

Пользователь 100 выполняет различные виды обработки данных благодаря работе ПК (персонального компьютера) 120. Как показано на чертеже, ПК 120 имеет исполняющую приложение секцию 121, память 122 и секцию 123 связи. В исполняющей приложение секции 121 исполняется выбранная пользователем прикладная программа. Например, эта прикладная программа представляет собой создающее документ приложение или визуализирующее приложение. Память 122 образуется ОЗУ (RAM), ПЗУ (ROM) или тому подобным и используется в качестве области хранения или рабочей области для прикладной программы. Память 122 используется также, например, в качестве области хранения для неотображаемых данных, которые больше не отображаются на дисплейной секции (дисплее) ПК вследствие обработки прокрутки или тому подобного, что будет описано позже, и позиционной информации этих неотображаемых данных или тому подобного. Секция 123 связи выполняет обработку связи с внутренним устройством 130 генерирования смешанной реальности (MR).

Пользователь 100 носит очки 141, имеющие дисплей, который отображает виртуальный объект. Очки 1241 снабжены фотокамерой 142, которая снимает окружающую среду. Очки 141 и фотокамера 142 соединены с внутренним устройством 130 генерирования смешанной реальности. Пользователь 100 совершает работу, наблюдая изображение, отображенное на дисплее, предусмотренном на очках 141.

На дисплее очков 141 отображается изображение реального мира, которое представляет собой изображение, заснятое фотокамерой 141, а кроме того, виртуальный объект, генерируемый устройством 130 генерирования смешанной реальности, отображается вместе с изображением реального мира.

В примере по фиг.1 пользователь 100 работает на ПК (персональном компьютере) 120, и фотокамера 142 снимает ПК (персональный компьютер) 120, на котором работает пользователь 100, и отображаются разнообразные реальные объекты в его окружении. Далее, и виртуальный объект, генерируемый устройством 130 генерирования смешанной реальности, отображается наложенным на это изображение реального мира. По мере перемещения пользователя 100 изменяется и ориентация фотокамеры 142. Например, когда пользователь смотрит на свою собственную руку, изображение этой руки отображается как объект реального мира на дисплее очков 141, и вместе с изображением реального мира отображается виртуальный объект.

Когда пользователь 100 выполняет обработку, глядя на экран ПК 120, фотокамера 142 снимает изображение с центром на изображении экрана этого ПК 120. В результате, например, дисплейное изображение 150 дисплея, как показано на фиг.2, отображается на дисплее очков 141, которые носит пользователь 100. Дисплейное изображение 150 дисплея, показанное на фиг.2, является составным изображением реального объекта и виртуального объекта.

Перед тем как перейти к описанию фиг.2, будет описана конфигурация устройства 130 генерирования смешанной реальности (MR), показанного на фиг.1. Как показано на фиг.1, устройство 130 генерирования смешанной реальности (MR) имеет секцию 131 анализа трехмерной информации, модуль 132 управления виртуальным объектом, память 133 и секцию 134 связи.

Секция 131 анализа трехмерной информации выполняет процесс приема ввода изображения, заснятого фотокамерой 142, которую носит пользователь, и анализирования трехмерной позиции объекта, включенного в это заснятое изображение. Данный процесс анализирования трехмерной позиции исполняется как процесс, который применяет, например, SLAM (одновременная локализация и картографирование). SLAM представляет собой обработку, которая выбирает характерные точки из различных реальных объектов, включенных в заснятое фотокамерой изображение, и обнаруживает позиции выбранных характерных точек вместе с позицией (пространственным положением) фотокамеры. Следует отметить, что SLAM описана в PTL1 (публикация выложенной заявки на патент Японии №2008-304268) и PTL2 (публикация выложенной заявки на патент Японии №2008-304269), описанных выше. Следует отметить, что основная обработка SLAM описана в тезисах [Andrew J. Davidson, “Real-time simultaneous localization and mapping with a single camera” (Одновременная локализация и картографирование в реальном времени одной фотокамерой). Proceedings of the 9th International Conference on Computer Vision, Ninth, (2003)].

Секция 131 анализа трехмерной информации подсчитывает трехмерную позицию реального объекта, включенного в изображение, заснятое фотокамерой 142, которую носит пользователь, например, за счет применения вышеупомянутой SLAM. Следует, однако, отметить, что секция 131 анализа трехмерной информации может быть установлена для получения трехмерной позиции объекта, включенного в заснятое фотокамерой изображение, не только посредством вышеупомянутой SLAM, но также и иными способами.

Модуль 132 управления виртуальным объектом выполняет управление виртуальным объектом, подлежащим отображению на дисплее очков 141, которые носит пользователь. Виртуальный объект представляет собой данные, хранящиеся в памяти 133. Конкретно, например, дисплейное отображение 150 дисплея, показанное на фиг.2, отображается на дисплее очков 141, которые носит пользователь. Изображение 151 ПК, включенное в дисплейное изображение 150 дисплея, является реальным изображением, заснятым фотокамерой 142. Виртуальный объект 161, показанный на фиг.2, отображается вместе с реальным изображением (реальным объектом).

Пользователь 100, показанный на фиг.1, может наблюдать, например, составное изображение реального объекта и виртуального объекта, показанных на фиг.2, на дисплее очков 141. Изображение 151 ПК, показанное на фиг.2, представляет собой реальный объект, заснятый фотокамерой 142. Дисплейная секция 152 ПК в изображении 151 ПК также является реальным изображением. Часть документа, созданного пользователем, отображается на дисплейной секции 152 ПК.

С другой стороны, виртуальный объект, включенный в дисплейное изображение 150, показанное на фиг.2, не является объектом реального мира (реальным объектом). Виртуальный объект 161, показанный на фиг.2, является частью листа, обрабатываемого пользователем, который отображается в дисплейной секции 152 ПК в изображении 151 ПК.

Хотя пользователь оперирует ПК 120, показанным на фиг.1 для установления размера листа, и вводит знаки или тому подобное на лист установленного размера, размер листа такой большой, что лист выходит за дисплейную область ПК 120, и весь лист не отображается на дисплее этого ПК. Виртуальный объект 221, показанный на фиг.2, представляет собой неотображаемые данные, которые выходят за дисплейную область ПК 120. При обнаружении появления неотображаемых данных исполняющая приложение секция 121 в ПК 120 сохраняет эти неотображаемые данные и их позиционную информацию в памяти 122 внутри ПК 120.

Данные, сохраненные в памяти 122, передаются в устройство 130 генерирования смешанной реальности (MR) по связи между секцией 123 связи в ПК 120 и секцией 134 связи в устройстве 130 генерирования смешанной реальности (MR). Устройство 130 генерирования смешанной реальности (MR) сохраняет данные, принятые от ПК 120, память 133 внутри устройства 130 генерирования смешанной реальности (MR).

Модуль 132 управления виртуальным объектом устройства 130 генерирования смешанной реальности (MR) выполняет процесс отображения данных, сохраненных в памяти 133, в качестве виртуального объекта на дисплее очков 141, которые носит пользователь. Конкретно, например, модуль 132 управления виртуальным объектом выполняет процесс нахождения дисплейной позиции виртуального объекта и отображения виртуального объекта на найденной дисплейной позиции.

Пример, показанный на фиг.2, показывает случай, в котором виртуальный объект 161 отображается над дисплейной секцией 152 ПК в изображении 151 ПК, которое отображается в качестве реального объекта. Эта дисплейная позиция находится модулем 132 управления виртуальным объектом за счет применения позиционной информации, которая сохранена в памяти 122 вместе с неотображаемыми данными исполняющей приложение секцией 121 в ПК 120. Данная позиционная информация передается также из ПК 120 в устройство 130 генерирования смешанной реальности (MR) посредством связи.

Виртуальный объект 161, показанный на фиг.2, представляет собой неотображаемые данные, которые вышли за область дисплейной секции (дисплея) в ПК 120 вследствие режима работы пользователя 100 на ПК 120. Эти неотображаемые данные передаются в устройство 130 генерирования смешанной реальности (MR) посредством связи вместе с позиционной информацией и сохраняются в памяти 133 устройства 130 генерирования смешанной реальности (MR). С этими данными, сохраненными в памяти 133 в качестве виртуального объекта, устройство 130 генерирования смешанной реальности (MR) выполняет процесс нахождения дисплейной позиции виртуального объекта и отображает виртуальный объект на дисплее очков 141, которые носит пользователь.

Следует отметить, что в случае устройства, показанного на фиг.1, ПК 120 и устройство 130 генерирования смешанной реальности (MR) выполнены как два раздельных устройства, и передача данных выполняется между этими двумя устройствами. Однако возможно также выполнить ПК 120 и устройство 130 генерирования смешанной реальности (MR) как единое устройство, и в этом случае секцию связи каждого из устройств, показанных на фиг.1, можно опустить. Например, возможно также выполнить обработку в единственном ПК путем установки секции 131 анализа трехмерной информации и модуля 132 управления виртуальным объектом устройства 130 генерирования смешанной реальности (MR) в ПК 120.

То есть, хотя на фиг.1 ПК (персональный компьютер) 120 и устройство 130 генерирования смешанной реальности (MR) показаны как два отдельных устройства, устройство обработки информации согласно настоящему изобретению может быть устройством, выполненным исключительно посредством внутреннего устройства 130 генерирования смешанной реальности (MR) либо может быть устройством, выполненным двумя устройствами, составленными устройством 130 генерирования смешанной реальности (MR) и ПК 120. Альтернативно, устройство обработки информации может быть также выполнено посредством единственного устройства, которое объединяет функции этих двух устройств.

Далее со ссылкой на фиг.3 будет приведено описание примера конкретной обработки, к которому применено выполнение по фиг.1. Пользователь 100 исполняет создающее документ приложение в исполняющей приложение секции 121 в ПК 120 и создает документ с создаваемым документом, отображенным на дисплейной секции 201 в ПК 120, как показано на фиг.3(а). Лист 202а подлежащего созданию документа отображается на дисплейной секции 121 в ПК 120, и пользователь вводит символы или тому подобное в лист 202а. На дисплейной секции 201 отображается примерно половина листа 202а, а остальное скрыто.

По мере прохождения создания документа пользователь перемещает (прокручивает) лист 202а и продолжает работу по вводу, отображая нижнюю половину. То есть, как показано на фиг.3(b), отображается нижний край листа 202а подлежащего созданию документа, и пользователь может вводить символы или тому подобное в лист 202а документа. Однако в состоянии, показанном на фиг.3(b), на дисплейной секции 201 отображается только нижняя половина листа 202b, а остальная часть области на верхнем краю лежит вне области дисплейной секции 201 и не видна пользователю.

В устройстве согласно настоящему изобретению данные, которые выходят за область дисплейной секции 201, то есть неотображаемые данные, временно сохраняются в памяти 122 в ПК 120 вместе с позиционной информацией. Затем эти неотображаемые данные передаются в устройство 130 генерирования смешанной реальности (MR) посредством секции 123 связи вместе с позиционной информацией. Устройство 130 генерирования смешанной реальности (MR) сохраняет данные, принятые из ПК 120, то есть неотображаемые данные и позиционную информацию, в памяти 133 внутри устройства 130 генерирования смешанной реальности (MR).

Секция 131 анализа трехмерной информации в устройстве 130 генерирования смешанной реальности (MR) принимает ввод изображения, заснятого фотокамерой 142, которую носит пользователь 100, и вычисляет трехмерную позицию объекта, включенного в заснятое изображение путем применения, например, вышеописанной SLAM. Например, секция 131 анализа трехмерной информации выбирает маркеры 321а-321d, которые установлены в четырех углах дисплея ПК, показанного на фиг.3, в качестве характерных точек и подсчитывает трехмерные позиции этих характерных точек.

Следует отметить, что хотя пример, показанный на фиг.3, иллюстрирует пример, в котором маркеры 321а-321d установлены для идентификации характерных точек, устанавливать такие маркеры необязательно. Возможно также обнаруживать форму реального объекта, например угловую часть (угол) реального объекта, включенного в изображение, выбирать обнаруженную угловую часть (угол) в качестве характерной точки и оценивать трехмерную позицию этой характерной точки. Следует отметить, что процесс обнаружения угловой части (угла) может исполняться за счет процесса выделения характерных точек с помощью существующего детектора углов Харриса.

Следует отметить, что секция 131 анализа трехмерной информации может быть выполнена с возможностью иметь функцию обнаружения конкретного объекта из заснятого изображения. Конкретно, например, если форма ПК и информация признаков регистрируются заранее и экранная область ПК определяется применением этой зарегистрированной информации, экранную область ПК возможно определить из заснятого изображения точно и быстро.

Модуль 132 управления виртуальным объектом получает трехмерную позиционную информацию реального объекта, включенного в заснятое фотокамерой изображение, из секции 131 анализа трехмерной информации. Например, модуль 312 анализа трехмерной информации получает позиционную информацию четырех точек вокруг дисплейной секции ПК. Далее модель 132 управления виртуальным объектом получает неотображаемые данные, сохраненные в памяти 133, то есть неотображаемые данные, которые вышли за экран ПК во время работы ПК 120, и отображает полученные данные как виртуальный объект на дисплее очков 141 пользователя 100.

Дисплейная позиция виртуального объекта находится модулем 132 управления виртуальным объектом. Дисплейную позицию находят применением позиционной информации неотображаемых данных, принятых из ПК 120, и трехмерной позиционной информации реального объекта в заснятом фотокамерой изображении, полученном из секции 131 анализа трехмерной информации.

Модуль 132 управления виртуальным объектом устанавливает дисплейную позицию виртуального объекта по отношению к дисплею очков 141 пользователя 100 в направлении распространения от границы отображаемых данных дисплейной секции ПК, отображенной на дисплее очков 141, наружу от дисплейной секции ПК. То есть, модуль 312 управления виртуальным объектом генерирует и отображает составное изображение, в котором виртуальный объект 161 устанавливается в такой позиции, что и позиция в отображаемых данных 150 на фиг.2. За счет такого процесса отображения пользователь способен наблюдать весь подлежащий обработке лист без ощущения чувства диссонанса.

Со ссылкой на фиг.4 будет дано описание позиционной информации неотображаемых данных, которые сохранены в памяти 122 исполняющей приложение секцией 121 в ПК 120.

Когда появляются неотображаемые данные, которые больше не отображаются на экране вследствие, например, операции прокрутки, исполняющая приложение секция 121 в ПК 120 сохраняет эти неотображаемые в памяти 122. В примере по фиг.4 содержимое 330 данных в неотображаемых данных, обозначенное пунктирным прямоугольником, сохраняется в памяти 122 в ПК 120.

Далее, исполняющая приложение секция 121 в ПК 120 устанавливает конкретное положение в качестве исходного в плоскости, определяющей дисплейную секцию 201 ПК, принятой в качестве плоскости х-у. В примере, показанном на чертеже, точка вверху слева дисплейной секции 201 принята в качестве исходной точки 350.

Плоскость, параллельная дисплейной секции 201, устанавливается принятием горизонтального направления в качестве оси х и вертикального направления в качестве оси у. Эта система координат устанавливается в качестве системы координат, соответствующей дисплейной секции ПК. Исполняющая приложение секция 121 получает позицию неотображаемых данных 330 в этой системе координат, соответствующей дисплейной секции ПК.

Координаты четырех углов неотображаемых данных 330, показанных на фиг.4, являются, как показано на чертеже, координатами следующих четырех точек:

(х10, у10),

(x11, y11),

(х12, у12),

(х13, у13).

Следует отметить, что, хотя в примере, показанном на фиг.4, позиционная информация неотображаемых данных представлена координатами четырех углов неотображаемых данных, требуемая позиционная информация меняется с формой неотображаемых данных. Исполняющая приложение секция 121 исполняет процесс получения позиционной информации согласно форме неотображаемых данных, которая становится необходимой при отображении неотображаемых данных в качестве виртуальных данных, и сохранения позиционной информации в памяти 122.

В случае неотображаемых данных 330 в прямоугольной форме, как показано на фиг.4, координатные данные каждого из четырех углов получаются в качестве позиционной информации неотображаемых данных. Последующая обработка будет описана со ссылкой на фиг.5. Как показано на фиг.5, исполняющая приложение секция 121 сохраняет эти четыре фрагмента координатных данных в качестве позиционной информации неотображаемых данных в памяти 122 вместе с сущностными данными неотображаемых данных.

Неотображаемые данные, сохраненные в памяти 122 на стороне ПК 120, и их позиционная информация передаются в устройство 130 генерирования смешанной реальности (MR) через секцию связи и сохраняются в памяти 133 устройства 130 генерирования смешанной реальности (MR).

Модуль 132 управления виртуальным объектом в устройстве 130 генерирования смешанной реальности (MR) находит дисплейную позицию виртуального объекта (неотображаемых данных) за счет применения позиционной информации неотображаемых данных, принятой таким образом из ПК 120, и трехмерной позиционной информации реального объекта в заснятом фотокамерой изображении, полученном из секции 131 анализа трехмерной информации. Посредством этого процесса отображаемые данные 150, описанные ранее со ссылкой на фиг.2, генерируются и отображаются на дисплее, установленном в очках 141 пользователя 100.

Со ссылкой на блок-схему алгоритма, показанную на фиг.6, будет описана последовательность обработки в устройстве обработки информации согласно настоящему изобретению.

Процессы на этапах S101-S103 на блок-схеме алгоритма, показанной на фиг.6, являются процессами в ПК 120, показанном на фиг.1.

Процессы на этапах S104-S107 являются процессами в устройстве 130 генерирования смешанной реальности (MR), показанном на фиг.1.

Сначала, когда на этапе S101 исполняющая приложение секция 121 в ПК 120 обнаруживает появление неотображаемых данных, которые выходят за область дисплейной секции ПК, на этапе S102 исполняющая приложение секция 121 сохраняет сущностные данные неотображаемых данных и их позиционную информацию в памяти 122 в ПК 120. Этот процесс представляет собой процесс, описанный со ссылкой на фиг.4 и фиг.5. Позиционная информация неотображаемых данных представляет собой, например, координатные данные каждого из четырех углов неотображаемых данных в плоскости дисплейной секции ПК.

Затем на этапе S103 неотображаемые данные и позиционная информация, сохраненные в памяти, переносятся в устройство 130 генерирования смешанной реальности (MR) посредством секции связи.

Процессы на этапе S104 и далее выполняются как процессы в устройстве 130 генерирования смешанной реальности (MR).

Сначала на этапе S104 устройство 130 генерирования смешанной реальности (MR) сохраняет неотображаемые данные и их позиционную информацию, переданные из ПК 120, в памяти 133 на стороне устройства 130 генерирования смешанной реальности (MR).

Затем на этапе S105 модуль 132 управления виртуальным объектом в устройстве 130 генерирования смешанной реальности (MR) получает данные, сохраненные в памяти 133, то есть неотображаемые данные и их позиционную информацию.

На этапе S106 модуль 132 управления виртуальным объектом выполняет процесс передачи позиционной информации неотображаемых данных, полученных из памяти 133, в координатную систему фотокамеры, соответствующую заснятому фотокамерой изображению, полученному из секции 131 анализа трехмерной информации.

Этот процесс будет описан со ссылкой на фиг.7. Секция 131 анализа трехмерной информации имеет ранее полученную трехмерную позиционную информацию каждого из маркеров 321a-321d в четырех углах дисплейной секции ПК 120, включенной в заснятое фотокамерой изображение. Как показано на фиг.7, получены следующие фрагменты позиционной информации:

Маркер 321a=(Ха, Ya, Za),

Маркер 321b=(Xb, Yb, Zb),

Маркер 321с=(Хс, Yc, Zc),

Маркер 321d=(Xd, Yd, Zd).

На основе этой трехмерной информации модуль 132 управления виртуальным объектом вычисляет плоскость дисплейной секции ПК, которая является реальным объектом в координатной системе фотокамеры, и исполняет преобразование координат, чтобы установить неотображаемые данные 330, полученные из ПК 120, в вычисленной плоскости. Позиция листа в дисплейной секции ПК также включается в заснятое фотокамерой изображение, и преобразование координат исполняется так, чтобы установить неотображаемые данные 330, полученные из ПК 120, в соответст