Информационный процессор, способ обработки и программа

Информационный процессор, способ обработки и программа

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к информационному процессору, способу обработки и программе. Более конкретно, настоящее изобретение относится к информационному процессору, способу обработки и программе для обработки данных с использованием технологии смешанной реальности (MR), который объединяет реальные объекты реального мира и электронное отображение.

Уровень техники

Например, если пользователь обрабатывает данные, используя персональный компьютер (PC), он обрабатывает данные отображения в секции дисплея (на дисплее) PC. Однако обработка данных только в секции дисплея, то есть в ограниченной области, имеет следующую проблему.

(1) При работе с мышью курсор мыши, появляющийся в секции дисплея PC или другого устройства, останавливается на краю области экрана секции дисплея. Это делает невозможным перемещать объект или окно, расположенное в области дисплея, в область, расположенную вне секции дисплея, используя курсор мыши.

(2) Если окна и другие объекты, используемые пользователем, заполняют область экрана секции дисплея PC или другого устройства, многочисленные окна отображаются так, что накладываются друг на друга. Чтобы просмотреть нижележащее окно, пользователь должен, например, выбрать нижележащее окно, чтобы оно отображалось сверху, или превратить перекрывающиеся окна в значки. Однако первый процесс делает невозможным просматривать окна, которые были передвинуты за другие окна. С другой стороны, последний процесс делает невозможным просматривать подробности окон, превращенных в значки.

Указанное выше является проблемами. Следует заметить, что нижеследующий процесс может выполняться, чтобы использовать площадь, большую, чем размер секции дисплея PC или другого устройства.

(a) Можно иметь наготове новый физический дисплей и подключить дисплей к компьютеру, управляемому пользователем, так чтобы для использования было доступно множество дисплеев.

(b) Можно установить виртуальный рабочий стол на одном участке дисплея. Однако первое решение (а) требует не только затрат на добавление дисплея, но также и пространства. С другой стороны, второе решение (b) требует от пользователя вводить команду или манипулировать значком, появляющимся, например, в строке для доступа к области, отличной от той, которая фактически отображается в секции дисплея.

Настоящее изобретение предназначено решить эти проблемы, используя, например, обработки данных на основе смешанной реальности (MR). Следует заметить, что патентный документ 1 (японский выложенный патент №2008-304268) и патентный документ 2 (японский выложенный патент №2008-304269) являются примерами предшествующего уровня техники, описывающими смешанную реальность. Эти документы описывают процесс, адаптированный для подготовки трехмерной карты реального мира, используя изображения, полученные фотокамерой.

Документы предшествующего уровня изобретения

Патентные документы

Патентный документ 1: Японский выложенный патент №2008-304268

Патентный документ 2: Японский выложенный патент №2008-304269

Раскрытие изобретения

Техническая проблема

Задача настоящего изобретения состоит в обеспечении информационного процессора, способа и программы обработки информации, которые эффективно используют площадь пространства, отличную от секции дисплея (дисплея) PC или другого устройства вместо использования только секции дисплея для обработки данных благодаря обработке данных, основанной на смешанной реальности (MR).

Техническое решение

Первым вариантом настоящего изобретения является информационный процессор, содержащий модуль обработки координат, фотокамеру, секцию анализа трехмерной информации, вторую секцию дисплея и секцию управления виртуальными объектами. Модуль обработки координат определяет, находится ли положение курсора, то есть индикатора положения, отображаемого на первой секции дисплея, внутри или вне области первой секции дисплея и выводит информацию о положении курсора в секцию управления виртуальными объектами, если курсор располагается вне области первой секции дисплея. Фотокамера получает изображение реального объекта, в том числе первой секции дисплея. Секция анализа трехмерной информации анализирует трехмерное положение реального объекта, содержащегося в полученном фотокамерой изображении. Вторая секция дисплея отображает изображение, полученное фотокамерой. Секция управления виртуальными объектами создает виртуальный объект, отличный от реального объекта, содержащегося в изображении, полученном фотокамерой, и создает составное изображение, содержащее созданный виртуальный объект и реальный объект, чтобы отобразить составное изображение во второй секции дисплея. Секция управления виртуальными объектами вычисляет трехмерное положение курсора на основе информации о положении курсора, предоставленной модулем обработки координат, чтобы отобразить во второй секции дисплея составное изображение, в котором объект помещается в вычисленное положение в качестве виртуального объекта.

Дополнительно, в варианте осуществления информационного процессора, соответствующего настоящему изобретению, информационный процессор содержит секцию исполнения приложений, выполненную с возможностью обработки конкретного объекта, указанного индикатором положения. Секция исполнения приложений определяет, располагается ли указанный объект внутри или вне области первой секции дисплея, и выводит информацию о положении объекта в секцию управления виртуальными объектами, если указанный объект располагается вне области первой секции дисплея. Секция управления виртуальными объектами вычисляет трехмерное положение объекта на основе информации о положении объекта, предоставленной модулем обработки координат, чтобы отобразить во второй секции дисплея составное изображение, в котором объект размещается в вычисленном положении в качестве виртуального объекта.

Дополнительно, в другом варианте осуществления информационного процессора, соответствующего настоящему изобретению, если трехмерное положение объекта, вычисленное на основе информации о положении объекта, предоставленной модулем обработки координат, содержит область отображения первой секции дисплея, секция управления виртуальными объектами отображает во второй секции дисплея составное изображение с удаленным изображением области объекта, перекрывающим область отображения первой секции.

Дополнительно, еще в одном варианте осуществления информационного процессора, соответствующего настоящему изобретению, информационный процессор дополнительно содержит секцию получения информации об объекте. Секция получения информации об объекте получает данные изображения для реального объекта, указанного курсором, помещенным в качестве виртуального объекта, и ищет данные на основе полученных данных изображения для получения информации об объекте. Секция получения информации об объекте выводит полученную информацию об объекте в первую секцию дисплея в качестве данных отображения.

Дополнительно, в еще одном варианте осуществления информационного процессора, соответствующем настоящему изобретению, секция получения информации об объекте обращается к базе данных, в которой данные изображения реального объекта и информация об объекте связаны друг с другом, или к серверу для получения информации об объекте посредством поиска на основе данных изображения реального объекта.

Дополнительно, в еще одном варианте осуществления информационного процессора, соответствующего настоящему изобретению, секция управления виртуальными объектами вычисляет плоскость, содержащую поверхность отображения первой секции дисплея, на основе трехмерной информации о положении компонентов, составляющих первую секцию дисплея, содержащихся в изображении, полученном фотокамерой, и вычисляет трехмерное положение курсора, так чтобы положение курсора находилось на плоскости.

Дополнительно, в еще одном другом варианте осуществления информационного процессора, соответствующего настоящему изобретению, курсор является курсором мыши, который перемещается при операции с мышью. Модуль обработки координат принимает информацию о перемещении курсора мыши в результате операции с мышью и определяет, находится ли курсор мыши внутри или вне области первой секции дисплея.

Дополнительно, вторым вариантом настоящего изобретения является способ обработки информации, выполняемый информационным процессором. Способ обработки информации содержит этап обработки координат, выполняемый модулем обработки координат, определяющим, находится ли положение курсора, то есть, индикатора положения, выведенного на экран в первой секции дисплея, внутри или вне области первой секции дисплея, и выводящим информацию о положении курсора в секцию управления виртуальными объектами, если курсор располагается вне области первой секции дисплея. Способ обработки информации дополнительно содержит этап получения изображения камерой, получающей изображение реального объекта, содержащее первую секцию дисплея. Дополнительно способ обработки информации содержит этап анализа трехмерной информации секцией анализа трехмерной информации, анализирующей трехмерное положение реального объекта, содержащегося в изображении, полученном камерой. Способ обработки информации дополнительно содержит этап управления виртуальными объектами, выполняемый секцией управления виртуальными объектами, создающей виртуальный объект, отличающийся от реального объекта, содержащегося в изображении, полученном камерой, и создающей составное изображение, содержащее созданный виртуальный объект и реальный объект для отображения составного изображения на второй секции дисплея.

Этап управления виртуальными объектами является этапом вычисления трехмерного положения курсора на основе информации о положении курсора, поступающей от модуля обработки координат, для отображения на второй секции дисплея составного изображения, в котором курсор помещается в вычисленном положении в качестве виртуального объекта.

Дополнительно, третьим вариантом настоящего изобретения является программа, вызывающая обработку информации информационным процессором. Программа содержит этап обработки координат, на котором вызывает определение модулем обработки координат, находится ли положение курсора, то есть индикатора положения, отображаемого на первой секции дисплея, внутри или вне области первой секции дисплея, и вывод информации о положении курсора в секцию управления виртуальными объектами, если курсор располагается вне области первой секции дисплея. Дополнительно, программа содержит этап получения изображения, на котором вызывает получение камерой изображения реального объекта, содержащего первую секцию дисплея. Программа также дополнительно содержит этап анализа трехмерной информации, на котором вызывает анализ секцией анализа трехмерной информации трехмерного положения реального объекта, содержащегося в изображении, полученном камерой. Программа также дополнительно содержит этап управления виртуальными объектами, на котором вызывает создание секцией управления виртуальными объектами виртуального объекта, отличающегося от реального объекта, содержащегося в изображении, полученном камерой, и создание составного изображения, содержащего созданный виртуальный объект и реальный объект, для отображения составного изображения на второй секции дисплея.

Этап управления виртуальными объектами является этапом, на котором вызывают вычисление секцией управления виртуальными объектами трехмерного положения курсора на основе информации о положении курсора, предоставленной модулем обработки координат, для отображения на второй секции дисплея составного изображения, в котором курсор размещается в вычисленном положении в качестве виртуального объекта.

Следует заметить, что программа, соответствующая настоящему изобретению, может быть предоставлена, например, через носитель записи или среду связи, выполненную с возможностью предоставления программы в машиночитаемом виде, процессору изображений или компьютерной системе, выполненным с возможностью исполнения множества управляющих программ. Если такая программа предоставляется в машиночитаемом виде, процессы, соответствующие программе, осуществляются в процессоре изображений или в компьютерной системе.

Другие объекты, признаки и преимущества настоящего изобретения станут очевидны из подробного описания, основанного на вариантах осуществления, которые будут описаны позже, и на сопроводительных чертежах. Следует заметить, что термин "система" в настоящем описании относится к логическому набору множества устройств и что входящие устройства не обязательно обеспечиваются в общем корпусе.

Полезный результат

В конфигурации, соответствующей варианту осуществления настоящего изобретения, курсор или объект, лежащий внутри области, находящейся за пределами области секции дисплея PC или другого устройства, отображается как виртуальный объект. Например, дисплей в виде очков, которые носит пользователь, отображает дисплей, такой как PC, и область вне дисплея. Трехмерное положение курсора или объекта, который, вероятно, перемещается в ответ на действия пользователя, вычисляется, после чего курсор или объект выводится на экран в качестве виртуального объекта в вычисленном положении. Дополнительно, информация об объекте для объекта, определенного курсором, получается и представляется. Настоящая конфигурация позволяет постоянно наблюдать и проверять данные, которые переместились за пределы секции дисплея, обеспечивая, таким образом, повышенную эффективность обработки данных.

Краткое описание чертежей

Фиг.1 - пример процесса, выполняемого информационным процессором, соответствующим настоящему изобретению.

Фиг.2 - пример процесса, выполняемого информационным процессором, соответствующим настоящему изобретению.

Фиг.3 - пример процесса, выполняемого информационным процессором, соответствующим настоящему изобретению.

Фиг.4 - пример конфигурации информационного процессора, соответствующего настоящему изобретению.

Фиг.5 - пример данных дисплея, отображаемых на дисплее очков, которые носит пользователь, в результате процесса, выполняемого информационным процессором, соответствующим настоящему изобретению.

Фиг.6 - блок-схема последовательности выполнения операций процесса, выполняемого информационным процессором, соответствующим настоящему изобретению.

Фиг.7 - конкретный пример процесса, демонстрирующего пример процесса, выполняемого информационным процессором, соответствующим настоящему изобретению.

Фиг.8 - пример данных дисплея, отображаемых на дисплее очков, которые носит пользователь, в результате процесса, выполняемого информационным процессором, соответствующим настоящему изобретению.

Фиг.9 - блок-схема последовательности выполнения операций процесса, выполняемого информационным процессором, соответствующим настоящему изобретению.

Фиг.10 - конкретный пример процесса, демонстрирующего пример процесса, выполняемого информационным процессором, соответствующим настоящему изобретению.

Фиг.11 - конкретный пример процесса, демонстрирующего пример процесса, выполняемого информационным процессором, соответствующим настоящему изобретению.

Фиг.12 - пример конфигурации информационного процессора, соответствующего настоящему изобретению.

Фиг.13 - пример данных дисплея, отображаемых на дисплее очков, которые носит пользователь, в результате процесса, выполняемого информационным процессором, соответствующим настоящему изобретению.

Фиг.14 - блок-схема последовательности выполнения операций процесса, выполняемого информационным процессором, соответствующим настоящему изобретению.

Осуществление изобретения

Ниже будет дано подробное описание информационного процессора, способа обработки и программы, соответствующих настоящему изобретению, со ссылкой на сопроводительные чертежи.

Настоящее изобретение будет описано последовательно по следующим позициям:

1. Краткое содержание процессов, выполняемых информационным процессором, соответствующим настоящему изобретению.

2. Конфигурация и процессы, выполняемые в соответствии с первым вариантом осуществления информационного процессора, соответствующего первому варианту осуществления настоящего изобретения.

3. Конфигурация и процессы, выполняемые информационным процессором, соответствующим второму варианту осуществления настоящего изобретения.

4. Конфигурация и процессы, выполняемые информационным процессором, соответствующим третьему варианту осуществления настоящего изобретения.

1. Краткое содержание процессов, выполняемых информационным процессором, соответствующим настоящему изобретению

Сначала, со ссылкой на фиг.1-3, будет приведено краткое содержание процессов, выполняемых информационным процессором, соответствующим настоящему изобретению. Настоящее изобретение предназначено для эффективного использования области пространства, отличной от секции дисплея (дисплея) PC или другого устройства обработки данных, благодаря процессу обработки данных, основанному на смешанной реальности (MR).

На фиг.1 представлено несколько рисунков, демонстрирующих пример процесса, выполняемого информационным процессором, соответствующим настоящему изобретению. На фиг.1 показана секция 10 дисплея персонального компьютера или другого устройства, используемого пользователем. Следует заметить, хотя подробная конфигурация будет описана позже, пользователь работает с персональным компьютером в очках. Очки имеют дисплей, выполненный с возможностью отображения изображения, созданного формирователем смешанной реальности (MR).

Очки имеют фотокамеру, выполненную с возможностью получения изображения окружающей среды. Дисплей очков отображает составное изображение, состоящее из полученного камерой изображения и виртуального объекта, созданного формирователем смешанной реальности (MR). На каждом из фиг.1(а) и (b) показано изображение, появляющееся на дисплее очков, которые носит пользователь для наблюдения.

Пользователь готовит документ путем отображения документа на секции 10 дисплея, как показано, например, на фиг.1(а). Этот процесс является обычной работой с PC. Секция 10 дисплея, показанная на фиг.1(а), отображает курсор 11 мыши в качестве индикатора положения, выполненного с возможностью перемещения в ответ на перемещение мыши, управляемой пользователем.

Пользователь может перемещать курсор 11 мыши, управляя мышью. В обычном информационном процессоре курсор мыши перемещается в пределах области отображения секции 10 дисплея. Однако при применении настоящего изобретения перемещение курсора мыши не ограничивается пределами области дисплея секции 10 дисплея.

Например, если за счет действия пользователя движение происходит вдоль линии 12 перемещения, показанной на фиг.1(а), курсор мыши может перемещаться в пространство за пределами секции 10 дисплея, как показано на фиг.1(b). Это тот курсор 11b мыши, который показан на фиг.1(b). Курсор 11b мыши, показанный на фиг.1(b), является виртуальным объектом, созданным формирователем смешанной реальности (MR). Пользователь наблюдает курсор 11b мыши, который является виртуальным объектом, отображаемым на дисплее очков, которые носит пользователь. Как описано выше, конфигурация, соответствующая настоящему изобретению, позволяет перемещать курсор 11 мыши по желанию вне или внутри секции 10 дисплея.

На фиг.2 также представлено несколько схем, демонстрирующих пример процесса, выполняемого информационным процессором, соответствующим настоящему изобретению. Как и на фиг.1, на фиг.2 также показана секция 10 дисплея PC или другого устройства, с которым работает пользователь. Пользователь носит очки, имеющие дисплей, выполненный с возможностью отображения изображения, созданного формирователем смешанной реальности (MR). Каждый из фиг.2(а) и 2(b) показывает изображение, появляющееся на дисплее очков, которые носит пользователь для наблюдения.

Секция 10 дисплея, показанная на фиг.2(а), отображает курсор 11 мыши и объект 21 а, указанный курсором 11 мыши. В этом примере объект 21 а является объектом, отображаемым на секции 10 дисплея в результате выполнения в PC приложения с изображением часов.

Пользователь помещает курсор 11 мыши на объект 21а, указывает объект, управляя мышью, и дополнительно перемещает курсор 11 мыши вдоль линии 22 перемещения, показанный на фиг.2(а).

Этот процесс позволяет курсору мыши и указанному объекту 21 перемещаться в пространстве за пределами секции 10 дисплея. Объект 21 является объектом 21b, показанным на фиг.2(b). Объект 21b, показанный на фиг.2(b), является виртуальным объектом, созданным формирователем смешанной реальности (MR). Пользователь наблюдает объект 21b, отображаемый на дисплее очков, которые носит пользователь. Как описано выше, конфигурация, соответствующая настоящему изобретению, позволяет по желанию перемещать не только курсор мыши, но также и объект, отображаемый на секции 10 дисплея.

На фиг.3 представлен набор рисунков, демонстрирующих пример процесса, выполняемого информационным процессором, соответствующим настоящему изобретению. Как и на фиг.1 и фиг.2, на фиг.3 также показана секция 10 дисплея PC или другого устройства, с которым работает пользователь. Пользователь носит очки, имеющие дисплей, выполненный с возможностью отображения изображения, созданного формирователем смешанной реальности (MR). Каждая из фиг.3(а) и 3(b) показывает изображение, появляющееся на дисплее очков, которые носит пользователь для наблюдения.

На фиг.3(а) показаны курсор 11 мыши, помещенный за пределами секции 10 дисплея за счет операции, описанной ранее со ссылкой на фиг.1, и реальный объект 31а, указанный курсором 11 мыши. В этом примере объект 31а является реальным объектом, фактически существующим в пространстве. В этом примере объектом 31а является фотография конверта для компакт-диска, то есть диска, на котором хранятся музыкальные данные.

Пользователь помещает курсор 11 мыши на объекте 31 а за счет операции с мышью и указывает объект за счет операции с мышью Информацию об указанном объекте, то есть информацию об объекте, получают из базы данных или от сервера, указывая объект. Полученная информация об объекте отображается на секции 10 дисплея. Изображение 31b объекта и информация 31 с об объекте, показанные на фиг.3 (b), являются информацией об объекте.

Как описано выше, конфигурация, соответствующая настоящему изобретению, позволяет указать множество реальных объектов в реальном пространстве с помощью курсора мыши, то есть виртуального объекта, чтобы получить информацию, связанную с указанным объектом, загрузить полученные данные в информационный процессор, такой как PC, для обработки и отобразить полученные данные на секции 10 дисплея в результате исполнения приложения на персональном компьютере.

2. Конфигурация и процессы, выполняемые информационным процессором, соответствующим первому варианту осуществления настоящего изобретения

Далее будет представлено подробное описание конфигурации и процессов, осуществляемых информационным процессором, выполненным с возможностью реализации процесса, описанного со ссылкой на фиг.1, в качестве первого варианта осуществления настоящего изобретения. Как показано на фиг.1, вариант 1 осуществления является примером конфигурации, в котором курсор мыши перемещается в пространство за пределами секции 10 дисплея, как показано на фиг.1(b), перемещая курсор 11 мыши вдоль линии 12 перемещения, показанной на фиг.1(а), в результате операции с мышью, выполняемой пользователем.

На фиг.4 представлена диаграмма, демонстрирующая конфигурацию информационного процессора, соответствующего варианту осуществления настоящего изобретения, выполненного с возможностью реализации описанного выше процесса. Пользователь 100 обрабатывает множество данных, управляя PC (персональным компьютером) 120. PC 120 содержит драйвер 121 мыши, модуль 122 обработки координат мыши, секцию графического интерфейса пользователя (GUI) 123, секцию 124 связи, секцию 125 исполнения приложений, секцию 126 управления, память 127 и секцию 128 дисплея, как показано на фиг.4. PC 120 дополнительно содержит мышь 129, показанную в верхней части на фиг.4.

Драйвер 121 мыши принимает информацию о положении и информацию об операции от мыши 129 в качестве входной информации. Модуль 122 обработки координат мыши определяет положение отображения курсора мыши в соответствии с информацией о положении мыши 129, принятой через драйвер 121 мыши. Следует заметить, что положение отображения курсора мыши не ограничивается областью отображения секции 128 дисплея в конфигурации, соответствующей настоящему изобретению.

Секция 123 GUI является интерфейсом пользователя, выполненным, например, с возможностью обработки информации, принятой от пользователя, и вывода информации пользователю. Секция 124 связи осуществляет связь с формирователем 130 смешанной реальности (MR).

Секция 125 исполнения приложений исполняет приложение, соответствующее обработке данных, выполняемой PC 120. Секция 126 управления осуществляет управление процессами, выполняемыми PC 120. Память 127 содержит RAM, ROM и другие устройства хранения, выполненные с возможностью хранения, например, программ, и параметры обработки данных. Секция 128 дисплея является секцией отображения, содержащей, например, жидкокристаллический дисплей.

Пользователь 100 носит очки 141, имеющие дисплей, выполненный с возможностью отображения виртуальных объектов. Очки 141 имеют фотокамеру 142, выполненную с возможностью получения изображения окружающей среды. Очки 141 и фотокамера 142 соединяются с формирователем 30 смешанной реальности (MR). Пользователь 100 выполняет свои задачи, наблюдая изображение, появляющееся на дисплее, обеспеченном на очках 141.

Дисплей очков 141 отображает реальное изображение, то есть, изображение, полученное фотокамерой 142. Дисплей очков 141 дополнительно отображает виртуальный объект, созданный формирователем 130 смешанной реальности (MR), вместе с реальным изображением.

В примере, показанном на фиг.4, пользователь 100 управляет PC (персональным компьютером) 120, и фотокамера 142 получает изображение PC (персонального компьютера) 120, управляемого пользователем 100. Поэтому дисплей очков 141 отображает в качестве реального изображения такое изображение, которое содержит, например, дисплей (секцию 128 дисплея) PC (персонального компьютера) 120, управляемого пользователем 100, и множество реальных объектов вокруг дисплея PC 120. Дополнительно, на реальном изображении появляется наложенный виртуальный объект, созданный формирователем 130 смешанной реальности (MR). Ориентация фотокамеры 142 изменяется в соответствии с перемещением пользователя 100.

Если пользователь 100 обращен лицом к экрану PC 120, когда выполняет свои задачи, фотокамера 142 получает изображение, центрованное вокруг изображения на экране PC 120. В результате, данные 150 дисплея, как показано, например, на фиг.5, показываются на дисплее 141 очков, которые носит пользователь 100. Данные 150 дисплея, показанные на фиг.5, являются составным изображением, содержащим изображение реального и виртуального объектов.

Далее будет приведено описание конфигурации формирователя 130 смешанной реальности (MR), показанного на фиг.4. Формирователь 130 смешанной реальности (MR) содержит секцию 131 анализа трехмерной информации, модуль 132 управления виртуальными объектами, память 133 и секцию 134 связи, как показано на фиг.4.

Секция 131 анализа трехмерной информации принимает изображение, полученное фотокамерой 142, которую носит пользователем, и анализирует трехмерные положения объектов, содержащихся в полученном изображении. Этот анализ трехмерного положения выполняется, например, используя процесс SLAM (одновременные локализация и отображение). SLAM предназначен выбирать характерные точки множества реальных объектов, содержащихся в полученном фотокамерой изображении, и обнаруживать положения выбранных характерных точек и местоположение и положение фотокамеры. Следует заметить, что SLAM описывается в патентном документе 1 (японский выложенный патент №2008-304268) и в патентном документе 2 (японский выложенный патент №2008-304269), упомянутых ранее. Следует заметить, что базовый процесс SLAM описывается в документе Andrew J. Davison, "Real-time simultaneous localisation and mapping with a single camera," Proceedings of the 9th International Conference on Computer Vision, Ninth, (2003).

Секция 131 анализа трехмерной информации вычисляет трехмерные положения реальных объектов, содержащихся в изображении, полученном фотокамерой 142, которую носит пользователь, используя, например, процесс SLAM, описанный выше. Следует заметить, однако, что секция 131 анализа трехмерной информации может обнаруживать трехмерные положения реальных объектов, содержащихся в полученном фотокамерой изображении, при использовании способа, отличного от процесса SLAM, описанного выше.

Модуль 132 управления виртуальными объектами управляет виртуальными объектами, появляющимися на дисплее очков 141, которые носит пользователь. Виртуальные объекты являются данными, хранящимися в памяти 133. Более конкретно, дисплей 141 очков, которые носит пользователь, отображает, например, данные 150 дисплея, показанные на фиг.5. Изображение 151 PC, содержащееся в данных 150 дисплея, является реальным изображением (реальным объектом), полученным фотокамерой 142.

Например, если пользователь перемещает мышь 129 PC 120, курсор 152а мыши, появляющийся на изображении 151 PC, показанном на фиг.5, перемещается за пределы изображения 151 PC, отображая, таким образом, курсор 152b мыши как виртуальный объект.

Пользователь 100, показанный на фиг.4, может наблюдать составное изображение, содержащее, например, реальный и виртуальный объекты, показанные на фиг.5, на дисплее очков 141. Изображение 151 PC, показанное на фиг.5, является реальным объектом, полученным фотокамерой 142. Курсор 152а мыши в изображении 151 PC также является информацией, то есть реальным объектом, фактически появляющимся в изображении 151 PC. Следует заметить, что объект, который существует в реальности как полученный фотокамерой 142 и чье изображение может быть получено фотокамерой, описывается здесь как реальный объект.

Курсор 152b мыши вне изображения 151 PC, показанный на фиг.5, не является объектом реального мира (реальным объектом). Курсор 152b мыши является виртуальным объектом, созданным формирователем 130 смешанной реальности (MR). Курсор 152b мыши является объектом, который не существует в реальном мире, но появляется на дисплее очков 141, которые носит пользователь.

Ниже будет дано описание последовательности процесса, выполняемого с возможностью отображения курсоров мыши, как описано выше со ссылкой на блок-схему последовательности выполнения операций, показанную на фиг.6. Следует заметить, что мы предполагаем, что пользователь управляет мышью 129, соединенной с PC 120, показанным на фиг.4. Информация об операции подается на драйвер мыши. Далее после этого процесса выполняется процесс, начинающийся с этапа S101 блок-схемы последовательности выполнения операций, показанной на фиг.6.

Этапы процесса от этапа S101 до этапа S105 на блок-схеме последовательности выполнения операций, показанной на фиг.6, выполняет PC 120, показанный на фиг.4.

Этапы процесса от этапа S106 до этапа S109 выполняются с помощью формирователя 130 смешанной реальности (MR), показанного на фиг.4.

На этапе S101 модуль 122 обработки координат мыши PC 120 принимает информацию перемещения (dX, dY) мыши от драйвера 121 мыши.

На этапе S102 модуль 122 обработки координат мыши вычисляет обновленное положение (XQ, YQ) курсора мыши относительно информации о предыдущем положении (ХР, YP) курсора мыши и смещении (dX, dY) мыши.

На этапе S103 модуль 122 обработки координат мыши определяет, находится ли обновленное положение (XQ, YQ) курсора мыши за пределами секции дисплея. Процесс переходит к этапу S104, когда обновленное положение (XQ, YQ) курсора мыши находится в области секции дисплея. В этом случае PC обновляет дисплей курсора мыши, как это делается обычно. Процесс переходит к этапу S105, если обновленное положение (XQ, YQ) курсора мыши находится за пределами области секции дисплея.

На этапе S105 информация о положении (XQ, YQ) курсора мыши, хранящаяся в памяти, передается формирователю 130 смешанной реальности (MR) через секцию связи. Следует заметить, что в настоящем варианте осуществления информация о положении, переданная от PC 120 к формирователю 130 смешанной реальности (MR), является только информацией о положении курсора мыши и что формирователь 130 смешанной реальности (MR) подтверждает заранее, что переданная информация о положении является информацией о положении курсора мыши. Чтобы передать информацию о положении или другую информацию других объектов, необходимо передать идентификационную информацию каждого объекта или данных чертежа объекта.

Этапы процесса от этапа S106 и далее выполняются формирователем 130 смешанной реальности (MR).

Сначала, на этапе S106, формирователь 130 смешанной реальности (MR) сохраняет информацию о положении (XQ, YQ) курсора мыши, переданной от PC 120 в его память 133. Если формирователь 130 смешанной реальности (MR) принимает данные, не относящиеся к отображению, (данные чертежа курсора мыши) или его идентификатор от PC 120, принятые данные также сохраняются в памяти 133 формирователя 130 смешанной реальности (MR).

Затем, на этапе S107, модуль 132 управления виртуальными объектами формирователя 130 смешанной реальности (MR) получает данные, хранящиеся в памяти 133, то есть данные, не относящиеся к отображению (данные чертежа курсора мыши), и информацию о положении (XQ, YQ).

На этапе S108 модуль 132 управления виртуальными объектами преобразует информацию о положении неотображаемых данных (курсора мыши) в систему координат фотокамеры для изображения, полученного фотокамерой, полученного от секции 131 анализа трехмерной информации.

Описание этого процесса будет дано со ссылкой на фиг.7. Секция 131 анализа трехмерной информации уже получила информацию о трехмерном положении маркеров 201a-201d в четырех углах секции 200 дисплея PC, введенную в изображение, полученное фотокамерой. Как показано на фиг.7, получены следующие фрагменты информации о положении:

Маркер 201a=(xa, ya, za)

Маркер 201b=(xb, yb, zb)

Маркер 201с=(xc, ус, zc)

Маркер 201d=(xd, yd, zd)

Следует заметить, что эти фрагменты информации о положении находятся в системе (x, y, z) координат фотокамеры.

С другой стороны, информация о положении (XQ, YQ) курсора мыши, принятая от PC 120, находится в системе координат плоскости секции дисплея PC. Как показано на фиг.7, информация о положении курсора мыши является той, которая имеет, например, верхний левый угол секции дисплея в качестве его начала координат (X, Y)=(0, 0) с горизонтальным направлением, обозначенным X, и вертикальным направлением, обозначенным Y.

Модуль 132 отображения управления виртуальными объектами вычисляет плоскость секции дисплея в системе координат фотокамеры, основываясь на информации о трехмерном положении маркеров 201a-201d, определяя положение, в котором неотображаемые данные (данные чертежа курсора мыши), полученные от PC 120, должны быть помещены на вычисленной плоскости. Чтобы выполнить этот процесс, информация (XQ, YQ) о положении, представленная в системе координат (X, Y) плоскости секции дисплея, полученная от PC 120, преобразуется, вычисляя, таким образом, положение отображения (xq, yq, zq) курсора 211q мыши (x, y, z) в системе координат фотокамеры (х, y.z).

Положение (xq, yq, zq) отображения курсора 211q мыши устанавливается на плоскости поверхности отображения, образованной маркерами 201a-201d, в четырех углах секции 200 дисплея, показанных на фиг.7. Сначала находится поверхность отображения, образованная маркерами 201a-201d в четырех углах секции 200 дисплея.

Эта поверхность отображения может быть определена, используя произвольные трех из четырех координат маркеров 201a-201d в четырех углах секции 100 дисплея. Например, поверхность отображения может определяться, используя координаты следующих трех точек:

Маркер 201a=(xa, ya, za)

Маркер 201b=(xb, yb, zb)

Маркер 201с=(xc, yс, zc)

Плоскость xyz (плоскость в си