Устройство обработки информации, способ управления отображением и программа

Устройство обработки информации, способ управления отображением и программа

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству обработки информации, способу управления отображением и программе, кодированной на энергонезависимом компьютерном носителе записи.

Уровень техники

В последние годы объем информации, предоставляемой пользователям информационными устройствами, становится все более чудовищным в результате развития информационных технологий. Кроме того, пользователи тратят все больше времени при взаимодействии с информацией. Например, в литературе PTL 1 ниже рассмотрена технология, представляющая биологическую информацию пользователя на экране устанавливаемого на голове устройства отображения (HMD) с такой целью, как, например, охрана здоровья. В соответствии с технологией, предлагаемой в литературе PTL 1, сообщения, относящиеся к биологической информации пользователя, можно прокручивать на экране. Сообщения представляют на устройстве отображения даже в то время, когда пользователь выполняет физические упражнения, такие как бег трусцой.

Список литературы

Патентная литература

PTL 1 - JP 2008-99834 А

Раскрытие изобретения

Техническая проблема

Однако в случае предоставления информации через обычное информационное устройство пользователь активизирует экран, когда хочет получить информацию. Напротив, в случае предоставления информации через носимое устройство, такое как устройство отображения HMD, экран работает непрерывно, независимо от того, наблюдает ли пользователь в этот момент активно за экраном. Кроме того, разнообразная информация может быть представлена на устройстве отображения даже тогда, когда пользователь занят каким-либо делом. По этой причине, в случае предоставления информации через носимое устройство имеется большая вероятность, что моменты, когда пользователь захочет получить информацию, не будут синхронизированы с моментами, когда интересующая пользователя информация бывает представлена на устройстве отображения.

Следовательно, желательно разработать механизм, решающий эту проблему асинхронности и позволяющий пользователю эффективно получать информацию.

Решение проблемы

Настоящее изобретение в широком смысле содержит устройство, способ и программу, кодированную на энергонезависимом компьютерном носителе записи. В одном из вариантов устройство содержит схему управления отображением для управления представлением контента на устройстве отображения; и схему ввода пользователем для приема команд от пользователя. Схема управления отображением выполнена с возможностью изменения прокрутки контента, автоматически прокручиваемого в первом направлении, на основе команды от пользователя.

Преимущества изобретения

Согласно технологии, предлагаемой в настоящем изобретении, в случае предоставления информации через носимое устройство становится возможным для пользователя эффективно получать интересующую его информацию в моменты, когда он хочет получить эту информацию.

Краткое описание чертежей

Фиг. 1 представляет пояснительную схему, иллюстрирующую первый пример внешнего вида устройства обработки информации.

Фиг. 2А представляет первую пояснительную схему для объяснения первого примера прокручиваемого объекта.

Фиг. 2В представляет вторую пояснительную схему для объяснения первого примера прокручиваемого объекта.

Фиг. 3 представляет пояснительную схему для объяснения второго примера прокручиваемого объекта.

Фиг. 4 представляет пояснительную схему для объяснения третьего примера прокручиваемого объекта.

Фиг. 5 представляет блок-схему, иллюстрирующую пример конфигурации аппаратуры устройства обработки информации согласно одному из вариантов.

Фиг. 6 представляет блок-схему, иллюстрирующую пример логической функциональной конфигурации аппаратуры устройства обработки информации согласно одному из вариантов.

Фиг. 7 представляет пояснительную схему для объяснения первого способа определения операции пользователя.

Фиг. 8 представляет пояснительную схему для объяснения второго способа определения операции пользователя.

Фиг. 9 представляет пояснительную схему для объяснения примера перемещения позиции прокрутки в обратном направлении в соответствии с операцией пользователя.

Фиг. 10 представляет пояснительную схему для объяснения примера ускоренного перемещения позиции прокрутки в прямом направлении в соответствии с операцией пользователя.

Фиг. 11 представляет пояснительную схему для объяснения другого примера перемещения позиции прокрутки в обратном направлении в соответствии с операцией пользователя.

Фиг. 12 представляет логическую схему, иллюстрирующую первый пример последовательности операций процедуры управления отображением согласно одному из вариантов.

Фиг. 13 представляет логическую схему, иллюстрирующую второй пример последовательности операций процедуры управления отображением согласно одному из вариантов.

Фиг. 14А представляет логическую схему, иллюстрирующую первый пример подробной последовательности операций процедуры выбора цели.

Фиг. 14В представляет логическую схему, иллюстрирующую второй пример подробной последовательности операций процедуры выбора цели.

Фиг. 15 представляет пояснительную схему для объяснения выбора целевого объекта операции на основе определения жеста.

Фиг. 16 представляет первую пояснительную схему для объяснения первого примера дополнительного управления отображением в соответствии с операцией пользователя.

Фиг. 17 представляет первую пояснительную схему для объяснения второго примера дополнительного управления отображением в соответствии с операцией пользователя.

Фиг. 18 представляет пояснительную схему для объяснения примера связи устройства обработки информации и внешнего устройства.

Фиг. 19 представляет пояснительную схему для объяснения третьего способа обнаружения операции пользователя.

Описание вариантов

Специалисты в рассматриваемой области должны понимать, что возможны различные модификации, сочетания и изменения в зависимости от конкретных проектных требований и других факторов до тех пор, пока такие модификации, сочетания и изменения остаются в пределах объема прилагаемой Формулы изобретения или ее эквивалентов.

Далее предпочтительные варианты настоящего изобретения будут рассмотрены подробно и со ссылками на прилагаемые чертежи. Отметим, что в настоящем описании и на чертежах структурным элементам, имеющим по существу одинаковые функции и структуру, присвоены одни и те же цифровые позиционные обозначения, а повторное объяснение таких структурных элементов опущено.

Описание будет дано в следующем порядке.

1. Общий обзор

2. Конфигурация устройства согласно варианту

2-1. Конфигурация аппаратуры

2-2. Функциональная конфигурация

3. Последовательность операций

3-1. Общая последовательность операций

3-2. Процедура выбора цели операции

3-3. Дополнительное управление отображением

4. Связь с внешним устройством

5. Заключение

1. Общий обзор

Технология согласно настоящему изобретению применима к разнообразным формам устройства обработки информации, типовым примером которого является носимое устройство, такое как устанавливаемое на голове устройство отображения (head-mounted display (HMD)).

Фиг. 1 представляет пояснительную схему, иллюстрирующую первый пример внешнего вида устройства обработки информации, к которому может быть применена технология согласно настоящему изобретению. В примере, показанном на фиг. 1, устройство 100 обработки информации представляет собой носимое устройство в виде очков, надеваемое на голову пользователя. Это устройство 100 обработки информации содержит пару экранов SCa и SCb, корпус HS, входной объектив LN считывания изображения и сенсорную поверхность TS. Экраны SCa и SCb представляют собой просвечивающие экраны (сквозь которые можно смотреть) или непросвечивающие экраны (сквозь которые нельзя смотреть), расположенные перед левым глазом и перед правым глазом пользователя, соответственно. Отметим, что вместо экранов SCa и SCb, может быть также применен единственный экран, расположенный перед обоими глазами пользователя. Корпус HS содержит раму, служащую опорой для экранов SCa и SCb, и именуемые дужками очков детали, расположенные по бокам головы пользователя. Внутри этих «дужек» находятся разнообразные модули обработки информации. Входной объектив LN расположен таким образом, что его оптическая ось приблизительно параллельна линии взгляда пользователя, и предназначен для считывания изображений. Сенсорная поверхность TS представляет собой поверхность, воспринимающую прикосновения пользователя, и используется для того, чтобы устройство 100 обработки информации принимало входные операции от пользователя. Вместо сенсорной поверхности TS в корпусе HS могут быть также установлены операционные механизмы, такие как кнопки, переключатель или колесико.

Как показано на фиг. 1, экраны SCa и SCb устройства 100 обработки информации постоянно присутствуют в поле зрения пользователя. Кроме того, разнообразная информация может быть представлена на экранах SCa и SCb независимо от того, чем занят пользователь. Информация, представляемая пользователю, может быть в текстовом формате или в графическом формате. Информация может автоматически прокручиваться на экране, если индивидуальные сегменты (объекты) информации не малы. В настоящем описании информационный объект, автоматически прокручиваемый на экране, называется прокручиваемым объектом.

Фиг. 2А и 2В являются пояснительными схемами для объяснения первого примера прокручиваемого объекта. Как показано на фиг. 2А, прокручиваемый объект SI01, выражающий информацию, принадлежащую к новостной информации, представлен на экране отображения устройства 100 обработки информации. Размер представления прокручиваемого объекта SI01 на устройстве отображения недостаточно велик, чтобы сразу показать полное содержание (контент) новости. По этой причине устройство 100 обработки информации автоматически прокручивает строку, содержащую контент новости, в направлении D01 прокрутки внутри прокручиваемого объекта SI01. Как показано на фиг. 2А, прокручиваемый объект SI01 представляет первую половину содержания новости, тогда как на фиг. 2В, прокручиваемый объект SI01 представляет вторую половину содержания новости.

Фиг. 3 представляет пояснительную схему для объяснения второго примера прокручиваемого объекта. Как показано на фиг. 3, прокручиваемый объект SI02, выражающий содержание изображения, представлен на экране устройства 100 обработки информации. Размер прокручиваемого объекта SI02 на экране отображения недостаточно велик, чтобы представить все изображение сразу. По этой причине устройство 100 обработки информации автоматически прокручивает контент изображения в направлении D02 прокрутки внутри прокручиваемого объекта SI02.

Прокручиваемые объекты, обсуждавшиеся выше, представляют собой информационные объекты, виртуально генерируемые устройством 100 обработки информации. Напротив, технология согласно настоящему изобретению также работает с информацией, представляемой прокручиваемым объектом в реальном пространстве. Фиг. 4 представляет пояснительную схему для объяснения третьего примера прокручиваемого объекта. В примере, показанном на фиг. 4, экран устройства 100 обработки информации обращен в сторону электронного табло в реальном пространстве RS1. Это электронное табло представляет собой устройство отображения, установленное в таком месте, как, например, железнодорожная станция, и автоматически прокручивающее информацию о расписании поездов в направлении D03 прокрутки. Устройство 100 обработки информации работает с информационным объектом, представленным на электронном табло и появляющимся в составе считываемого изображения, как с прокручиваемым объектом SI03. Информационное содержание прокручиваемого объекта SI03 может быть получено через модуль связи устройства 100 обработки информации.

Эти прокручиваемые объекты предоставляют пользователю много информации без каких-либо операций со стороны пользователя. Однако автоматическая прокрутка приводит к тому, что моменты времени, когда пользователь хочет ознакомиться с информацией, оказываются несинхронизированы с моментами, когда на экране отображения представлена информация, интересующая пользователя. Например, когда пользователь смотрит на расписание поездов, есть вероятность, что название линии, где поезд опаздывает, уже ушло в результате прокрутки из поля зрения. Кроме того, даже хотя пользователь может хотеть быстро узнать результат спортивного матча, есть вероятность, что ему придется ждать несколько секунд, пока этот результат не появится на устройстве отображения. Таким образом, в варианте, подробно рассматриваемом в следующем разделе, предложен интерфейс пользователя, позволяющий решить проблему такой асинхронности и дающий возможность пользователю эффективно получать информацию.

2. Конфигурация устройства согласно варианту

2-1. Конфигурация аппаратуры

Фиг. 5 представляет блок-схему, иллюстрирующую пример конфигурации аппаратуры устройства 100 обработки информации согласно одному из вариантов. Как показано на фиг. 5, устройство 100 обработки информации содержит модуль 102 считывания изображения, модуль 104 датчиков, модуль 106 оперирования, запоминающее устройство 108, устройство 110 отображения, модуль связи 112, шину 116 и контроллер 118.

(1) Модуль считывания изображений

Модуль 102 считывания изображений представляет собой модуль видеокамеры считывания изображений. Этот модуль 102 считывания изображений содержит объектив LN, как показано в примере на фиг. 1, формирователь сигналов изображения на основе приборов с зарядовой связью (CCD), КМОП-структур (CMOS) или элементов другого типа и схему обработки изображения. Модуль 102 считывания изображения считывает изображение реального пространства, находящегося в поле зрения пользователя, и генерирует считываемое изображение. Последовательность таких считываемых изображений, генерируемых модулем 102 считывания изображения, может составить видео программу.

(2) Модуль датчиков

Модуль 104 датчиков может иметь датчик местоположения для измерения характеристик (координат) местоположения устройства 100 обработки информации. Датчик местоположения может представлять собой, например, датчик системы глобального местоопределения (Global Positioning System (GPS)), который принимает сигналы GPS и измеряет широту, долготу и высоту устройства. В другом варианте датчик местоположения может представлять собой датчик, определяющий местоположение на основе уровней радиосигналов, принимаемых от точек радиодоступа. Модуль 104 датчиков передает выходные данные о местоположении от указанного датчика местоположения контроллеру 118.

(3) Модуль оперирования

Модуль 106 оперирования представляет собой интерфейс оперирования, используемый, чтобы пользователь мог оперировать с устройством 100 обработки информации или вводить информацию в устройство 100 обработки информации. Этот модуль 106 оперирования может принимать операции пользователя через сенсорную поверхность TS сенсорного датчика, показанного на фиг. 1, например. Вместо (или в дополнение к) сенсорного датчика операционный модуль 106 может также содержать операционные интерфейсы других типов, такие как кнопки, переключатели, клавишная панель или интерфейс голосового ввода. Отметим, что как будет описано позднее, операции пользователя могут быть также обнаружены путем распознавания операционного объекта, появившегося в считываемом изображении, а не через перечисленные операционные интерфейсы.

(4) Запоминающее устройство

Запоминающее устройство 108 реализовано с использованием носителя записи, такого как полупроводниковая память или жесткий диск, и хранит программы и данные, используемые в процессе работы в устройстве 100 обработки информации. Отметим, что некоторые программы и данные, рассматриваемые в настоящем описании, могут быть получены от внешнего источника данных (такого, как сервер данных, сетевое хранилище информации или присоединенное извне запоминающее устройство, например), а не храниться в запоминающем устройстве 108.

(5) Устройство отображения

Устройство 110 отображения представляет собой модуль отображения, содержащий экран, расположенный так, чтобы находиться в поле зрения пользователя, (такой, как пара экранов SCa и SCb, показанных на фиг. 1, например) и схему отображения. Устройство 110 отображения представляет на экране выходные изображения, генерируемые контроллером 150 отображения, который будет рассмотрен позднее.

(6) Модуль связи

Модуль 112 связи представляет собой интерфейс связи, служащий посредником для связи между устройством 100 обработки информации и другим устройством. Модуль 112 связи поддерживает произвольный протокол радиосвязи или протокол проводной связи и устанавливает соединение для связи с другим устройством.

(7) Шина

Шина 116 соединяет модуль 102 считывания изображения, модуль 104 датчиков, операционный модуль 106, запоминающее устройство 108, устройство 110 отображения, модуль 112 связи и контроллер 118 одно с другим.

(8) Контроллер

Контроллер 118 соответствует процессору, такому как центральный процессор (CPU) или цифровой процессор сигнала (DSP). Контроллер осуществляет различные функции устройства 100 обработки информации, которые будут описаны позднее, путем выполнения программы, хранящейся в запоминающем устройстве 108 или на другом носителе записи.

2-2. Функциональная конфигурация

Фиг. 6 представляет блок-схему, иллюстрирующую пример конфигурации логических функций, реализуемых запоминающим устройством 108 и контроллером 118 в устройстве 100 обработки информации, показанном на фиг. 5. Как показано на фиг. 6, устройство 100 обработки информации содержит модуль 120 распознавания изображения, модуль 130 обнаружения, модуль 140 сбора информации, и контроллер 150 отображения.

(1) Модуль распознавания изображения

Модуль 120 распознавания изображения осуществляет распознавание оперирующего объекта, появившегося в считываемом изображении. В качестве оперирующего объекта может быть использован, например, палец пользователя, палочка или какой-либо стержнеподобный объект, который держит пользователь. Способы распознавания такого оперирующего объекта, появившегося в считываемом изображении, описаны, например, в публикации нерассмотренной Заявки на выдачу патента Японии No. 2011-203823 и публикации нерассмотренной Заявки на выдачу патента Японии No. 2011-227649. После распознавания оперирующего объекта, появившегося в считываемом изображении, модуль 120 распознавания изображения передает устройству 130 обнаружения информацию о результатах распознавания, такую как позиция распознанного операционного объекта в изображении (позиция кончика операционного объекта, например) и форма объекта.

Модуль 120 распознавания изображения может также распознать объект или человека, появившегося в считываемом изображении. Например, этот модуль 120 распознавания изображения потенциально может распознать объект, появившийся в считываемом изображении, с использованием общепринятой технологии распознавания объектов, такой как сопоставление с образцом. Кроме того, модуль 120 распознавания изображения потенциально может распознать человека, появившегося в считываемом изображении, с использованием общепринятой технологии распознавания лиц. Результаты такого распознавания изображения, выполненного посредством модуля 120 распознавания изображения, могут быть использованы при выборе информации, какую нужно предоставить пользователю, или для расположения информационных объектов на экране. Модуль 120 распознавания изображения может также не производить распознавания объектов или распознавания людей в случае предоставления информации независимо от считываемого изображения.

(2) Модуль обнаружения

Модуль 130 обнаружения определяет операции пользователя. Например, в качестве первого способа, модуль 130 обнаружения может определить движение оперирующего объекта, распознанного посредством модуля 120 распознавания изображения, в качестве операции пользователя. Если целевым объектом операции является прокручиваемый объект, движение оперирующего объекта в направлении прокрутки для прокручиваемого объекта или в противоположном направлении может быть определено в качестве операции пользователя для перемещения позиции прокрутки прокручиваемого объекта. Указанный целевой объект операции может представлять собой объект, находящийся в позиции, наложенной на оперирующий объект в составе считываемого изображения. Может быть также определен жест, которым пользователь задает целевой объект операции. Например, таким жестом для задания целевого объекта операции может быть форма пальца или движение, выполняемое, чтобы взять объект в руку, или движение пальца с целью нажать на объект. Публикация нерассмотренной Заявки на выдачу патента Японии No. 2011-209965 предлагает способ определения жеста, выполняемого, чтобы нажать на объект, на основе изменения размера пальца на изображении.

Фиг. 7 представляет пояснительную схему для объяснения первого способа определения операции пользователя. На фиг. 7 показано, как происходит распознавание операционного объекта МВ1 в считываемом изображении от момента Т до момента Т+dT. В момент Т оперирующий объект МВ1 направлен в точку (указательную позицию) Р1. После этого оперирующий объект МВ1 перемещается влево и в момент Т+dT этот оперирующий объект МВ1 направлен в точку (указательную позицию) Р2. Если вектор V1 от точки Р1 к точке Р2 ориентирован в направлении прокрутки прокручиваемого объекта, может произойти ускоренная прокрутка этого прокручиваемого объекта на величину, зависящую от размера вектора V1. Если вектор V1 ориентирован в направлении, противоположном направлению прокрутки прокручиваемого объекта, этот прокручиваемый объект может быть прокручен («отмотан» назад) на величину прокрутки, зависящую от размера вектора V1.

Кроме того, в качестве второго способа модуль 130 обнаружения может определить прикосновение пользователя к сенсорной поверхности TS, установленной на корпусе HS, служащем опорой для экрана, как показано на фиг. 1, в качестве операции пользователь посредством модуля 106 оперирования. Двумерная система координат считываемого изображения ассоциирована с двумерной системой координат сенсорной поверхности TS в соответствии с коэффициентом преобразования координат, который может быть настроен заранее. Когда целевым объектом операции является прокручиваемый объект, жест в направлении прокрутки этого прокручиваемого объекта или в направлении, противоположном направлению прокрутки, (такой как перетаскивание или постукивание, например) может быть определен в качестве операции пользователя для перемещения позиции прокрутки прокручиваемого объекта. Целевой объект операции может представлять собой объект, находящийся в позиции, накладывающейся на указательную позицию (позицию в считываемом изображении, соответствующую позиции прикосновения), например. Жест прикосновения, которым пользователь задает целевой объект операции, (такой как легкий удар или двойной удар) также может быть определен.

Фиг. 8 представляет пояснительную схему для объяснения второго способа определения операции пользователя. Фиг. 8 иллюстрирует, как пользователь прикасается к сенсорной поверхности TS своим пальцем. Когда палец перемещается, происходит распознавание вектора V2, выражающего направление движения и величину перемещения. Если ориентация вектора V2 соответствует направлению прокрутки прокручиваемого объекта, этот прокручиваемый объект может быть быстро прокручен вперед, в прямом направлении на величину, зависящую от размера вектора V2. Если ориентация вектора V1 соответствует направлению, противоположному направлению прокрутки прокручиваемого объекта, этот прокручиваемый объект может быть прокручен в обратном направлении (назад) на величину, зависящую от размера вектора V2.

Отметим, что способы определения операций пользователя не ограничиваются рассмотренными здесь примерами. Например, модуль 130 обнаружения может также определить операцию пользователя для перемещения позиции прокрутки прокручиваемого объекта с использованием физического операционного механизма, такого как навигационные клавиши, колесико, наборный диск или переключатель, установленные на корпусе HS. Другие способы определения операций пользователя будут дополнительно рассмотрены позднее.

После определения операции пользователя модуль 130 обнаружения передает информацию о событии операции пользователя модулю 140 сбора информации и контроллеру 150 отображения. Событие операции пользователя может содержать данные, сообщающие подробности операции, такие как указательная позиция, вектор операции (такой как вектор V1 или V2, рассмотренный выше, например) и тип операции (такой как жест, например).

(3) Модуль сбора информации

Модуль 140 сбора информации получает информацию для предоставления ее пользователю. Например, модуль 140 сбора информации обращается к серверу данных через модуль 112 связи и получает информацию от этого сервера данных. В противном случае, модуль 140 сбора информации может также получить информацию, хранящуюся в запоминающем устройстве 108. Этот модуль 140 сбора информации может также получить информацию, уникальную для некоторого места, используя данные, поступающие от модуля 104 датчиков. Модуль 140 сбора информации может также получить дополнительную информацию, ассоциированную с объектом или человеком, появившимся на считываемом изображении, распознаваемом посредством модуля 120 распознавания изображения. Дополнительная информация может содержать такую информацию, как имя и атрибуты, объекта или человека, связанное с ним сообщение или связанную с ним рекламу.

Модуль 140 сбора информации может также периодически получать информацию через фиксированные интервалы. Кроме того, модуль 140 сбора информации может также получать информацию в ответ на запускающее событие, такое как определение некой заданной конкретной операции пользователя или активизация приложения, предоставляющего информацию. Например, в ситуации, показанной на фиг. 4, модуль 120 распознавания изображения осуществляет распознавание электронного табло, появившегося на считываемом изображении. После этого, если обнаружена операция пользователя, указывающая на прокручиваемый объект SI03 распознанного электронного табло, модуль 140 сбора информации дает команду модулю 112 связи принять, от сервера данных, информационный объект, представляемый на дисплее прокручиваемым объектом SI03.

Модуль 140 сбора информации передает информацию, которая может быть получена различными способами, обсуждавшимися выше, контроллеру 150 отображения.

(4) Контроллер отображения

Контроллер 150 инициирует представление на экране устройства 110 отображения разнообразных информационных объектов с целью предоставления пользователю информации, поступающей от модуля 140 сбора информации. Среди информационных объектов, представляемых контроллером 150 отображения, могут быть прокручиваемые объекты и непрокручиваемые объекты. Прокручиваемый объект представляет собой объект, информационное содержание которого автоматически прокручивается в заданном направлении прокрутки. Контроллер 150 отображения управляет представлением на устройстве отображения прокручиваемых объектов и непрокручиваемых объектов в соответствии с операциями пользователя, определяемыми устройством 130 обнаружения.

В ответ на конкретную операцию пользователя контроллер 150 отображения перемещает позицию прокрутки прокручиваемого объекта в направлении прокрутки или в направлении, противоположном направлению прокрутки. Например, в случае обнаружения первой операции пользователя контроллер 150 отображения осуществляет обратную прокрутку (обратную «перемотку») прокручиваемого объекта путем перемещения позиции прокрутки прокручиваемого объекта в направлении, противоположном направлению прокрутки. Таким образом, становится возможным для пользователя еще раз посмотреть информацию, которая уже ушла из поля зрения в результате прокрутки в прямом направлении. Кроме того, в случае определения второй операции пользователя контроллер 150 отображения осуществляет ускоренную прокрутку прокручиваемого объекта в прямом направлении путем перемещения позиции прокрутки прокручиваемого объекта в направлении прокрутки. Таким образом, становится возможным для пользователя быстро просмотреть информацию, которая еще не была представлена прокручиваемым объектом. Более того, в случае, когда на экране представлены несколько информационных объектов, контроллер 150 отображения может также выбрать объект для управления из этих нескольких информационных объектов в соответствии с третьей операцией пользователя. В качестве примера, первая операция пользователя и вторая операция пользователя могут быть перемещениями операционного объекта, как описано с использованием фиг. 7, или жестом прикосновения, как это описано с использованием фиг. 8. Третья операция пользователя может представлять конкретную форму (траекторию) перемещения операционного объекта или конкретный жест прикосновения.

Фиг. 9 представляет пояснительную схему для объяснения примера перемещения позиции прокрутки в обратном направлении в соответствии с операцией пользователя. Как показано в верхней части фиг. 9, на экране отображения устройства 100 обработки информации представлен прокручиваемый объект SI1. Контроллер 150 отображения автоматически прокручивает влево строку, содержащую новостной контент, внутри прокручиваемого объекта SI1. Оперирующий объект МВ1 направлен на прокручиваемый объект SI1. После этого, если пользователь переместил оперирующий объект MB1 в направлении D11, контроллер 150 отображения прокручивает указанный прокручиваемый объект SI1 в обратном направлении, как показано в нижней части фиг. 9. Позиция прокрутки прокручиваемого объекта SI1 перемещается вправо в направлении D11. Например, фиг. 9 показывает, как слово "brink" движется вправо. Теперь пользователь может увидеть первую половину новостного контента, которую он пропустил.

Фиг. 10 представляет пояснительную схему для объяснения примера ускоренного перемещения позиции прокрутки в прямом направлении в соответствии с операцией пользователя. В верхней части фиг. 10 показан прокручиваемый объект SI1, представленный на экране устройства 100 обработки информации. Контроллер 150 отображения автоматически прокручивает влево строку, содержащую новостной контент внутри прокручиваемого объекта SI1. Оперирующий объект МВ1 указывает на прокручиваемый объект SI1. После этого, если пользователь перемещает оперирующий объект МВ1 в направлении D12, контроллер 150 отображения быстро перемещает позицию прокрутки в прокручиваемом объекте SI1 вперед, как показано в нижней части фиг. 10. Позиция прокрутки прокручиваемого объекта SI1 перемещается влево в направлении D12. Например, на фиг. 10 показано, как фраза "grand slam" перемещается влево. Затем пользователь может быстро посмотреть вторую половину новостного контента, с которым он хотел быстро ознакомиться.

Фиг. 11 представляет пояснительную схему для объяснения другого примера перемещения позиции прокрутки в обратном направлении в соответствии с операцией пользователя. В верхней части фиг. 11 прокручиваемый объект SI2, представленный на табло в реальном пространстве, появляется на экране устройства 100 обработки информации. Когда модуль 120 распознавания изображения успешно распознает прокручиваемый объект SI2, контроллер 150 накладывает индекс IT1, сообщающий об успешном распознавании, поверх прокручиваемого объекта SI2 на экране. Оперирующий объект МВ1 указывает на прокручиваемый объект SI2. После этого пользователь перемещает оперирующий объект МВ1 в направлении D13, как показано в нижней части фиг. 11. Когда устройство 130 обнаружения определит такую операцию пользователя, модуль 140 сбора информации получает информационный объект, представленный прокручиваемым объектом SI2, от сервера данных через модуль 112 связи. Затем контроллер 150 отображения генерирует прокручиваемый объект SI3, представляющий полученную информацию, помещает сформированный им прокручиваемый объект SI3 на экран и осуществляет прокрутку этого прокручиваемого объекта SI3 в обратном направлении. Позиция прокрутки указанного прокручиваемого объекта SI3 перемещается вправо в направлении D13. Например, фиг. 11 демонстрирует, как слово "delayed" перемещается вправо. В результате пользователь может посмотреть первую половину информации, прокручиваемой в реальном пространстве (в примере, показанном на фиг. 11, информацию расписания поездов). Таким образом, по команде пользователя осуществляется прокрутка на устройстве отображения первой половины информации в обратном хронологическом порядке.

3. Последовательность операций

3-1. Общая последовательность операций

(1) Первый пример

Фиг. 12 представляет логическую схему, иллюстрирующую первый пример последовательности операций процедуры управления отображением, выполняемой устройством 100 обработки информации. В этом первом примере информацию пользователю предоставляют посредством информационного объекта, виртуально генерируемого контроллером 150 отображения.

Как показано на фиг. 12, сначала контроллер 150 получает считываемое изображение, генерируемое модулем 102 считывания изображений (этап S10). Затем этот контроллер 150 отображения помещает на экране один или более информационных объектов, выражающих информацию, полученную модулем 140 сбора информации (этап S12). В совокупность из этих одного или более информационных объектов, помещаемых на экран в этот момент, могут входить объекты по меньшей мере одного вида - прокручиваемые объекты и/или непрокручиваемые объекты. Контроллер 150 отображения может также располагать информационные объекты в позициях, ассоциированных с объектами или людьми, распознанными посредством модуля 120 распознавания изображения, или помещать информационные объекты в позиции, не зависящие от распознавания изображения.

Устройство 130 обнаружения контролирует результаты распознавания оперирующего объекта, выполненного модулем 120 распознавания изображения, или ввод от модуля 106 оперирования и определяет операцию пользователя (этап S14). Затем, когда устройство 130 обнаружения определит операцию пользователя (этап S16), процедура переходит к этапу S18. В то же время, если операция пользователя не определена, процедура переходит к этапу S50.

Когда устройство 130 обнаружения определяет операцию пользователя, контроллер 150 отображения определяет, продолжается ли эта операция из предыдущего кадра (этап S18). Если операция не продолжается из предыдущего кадра, контроллер 150 отображения выбирает целевой объект операции посредством выполнения процедуры выбора цели операции, рассматриваемой позднее (этап S20). Если операция продолжается, сохраняется целевой объект операции из предыдущего кадра.

Затем контроллер 150 отображения определяет, является ли целевой объект операции прокручиваемым объектом (этап S44). Если целевой объект операции является прокручиваемым объектом, контроллер 150 отображения перемещает позицию прокрутки целевого объекта операции в соответствии с направлением (направления операции) и размером (величина (размах) операции) вектора операции (этап S46). Если целевой объект операции является непрокручиваемым объектом, контроллер 150 отображения управляет этим непрокручиваемым объектом в соответствии с подробностями операции, обозначенными событием операции пользователя (этап S48).

Далее, контроллер 150 отображения определяет конец операции (этап S50). Например, если операция пользователя не была обнаружена на этапе S16, контроллер 150 отображения может определить, что операция, продолжающаяся из предыдущего кадра, завершена. Контроллер отображения может также определить, что продолжавшаяся операция завершена в том случае, когда истек заданный промежуток времени с момента начала этой операции. Кроме того, контроллер 150 отображения может т