Способ и устройство компактного графического интерфейса пользователя

Способ и устройство компактного графического интерфейса пользователя

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение относится к устройству ввода, которое получает входные данные операции от руки пользователя, устройству обработки информации и способу получения входных значений, используемому в этом устройстве.

ОПИСАНИЕ ИЗВЕСТНОГО УРОВНЯ ТЕХНИКИ

За последние годы широкое распространение получили малогабаритные информационные устройства, предполагающие возможность их переноса, такие как мобильные игровые устройства, мобильные телефоны, PDA (персональные электронные секретари) и прочие. Подобные малогабаритные устройства имеют и в значительной мере ограниченные средства ввода данных, что следует из ограниченности размеров этих устройств. В результате этого были разработаны специфические функции и средства ввода, ориентированные на такие малогабаритные устройства. Например, покрывая поверхность дисплея сенсорной панелью и предоставляя пользователю возможность вводить пальцем или сенсорным пером входные данные, можно создать у пользователя впечатление непосредственного манипулирования объектами, которые отображаются на экране дисплея.

С другой стороны, к использованию подобных малогабаритных устройств полностью применимы также среды, в которых проводится обработка информации в консольных игровых машинах, персональных компьютерах и алогичных стационарных устройствах. Например, предоставив пользователю возможность работать на малогабаритном устройстве и подсоединив при этом малогабаритное устройство через сеть к стационарному устройству, которое будет в действительности вести обработку информации, становится возможным получать все особенности игры высокого уровня безотносительно к местонахождению пользователя. Кроме того, эмуляцией игры для устройства стационарного типа становится также возможно исполнение игры на малогабаритном устройстве.

Таким образом, в последние годы появилось технологическое направление, которое позволяет устройству проводить обработку информации, такую как игра, безотносительно к размеру устройства или к среде, в которой используется это устройство. Однако при попытке проведения такой хорошо развитой обработки информации, используя для этого устройство небольших размеров, возникает проблема недостаточного удобства и простоты использования, которая является следствием ограниченности средств ввода данных, как это было описано выше.

КРАТКОЕ ИЗЛОЖЕНИЕ ИЗОБРЕТЕНИЯ

Настоящее изобретение позволяет решать упомянутую выше проблему, а целью изобретения является создание технологии, которая обеспечивает реализацию средства ввода данных, предоставляющего достаточное удобство и простоту использования даже при ограниченных размерах средства ввода данных.

В соответствии с примером осуществления настоящего изобретения предлагается устройство ввода данных. Предлагаемое устройство ввода данных содержит: блок генерации изображения GUI, который генерирует изображение GUI (Graphical User Interface - графический интерфейс пользователя); дисплей, который воспроизводит изображение GUI, генерируемое блоком генерации изображения GUI; сенсорную панель, которая покрывает экран дисплея и распознает то положение, в котором пользователь касается этого дисплея; блок преобразования информации операции, который идентифицирует содержание операции, осуществляемой пользователем, базируясь на отношении соответствия между точкой контакта, распознанной сенсорной панелью, и изображением выведенного GUI, при этом блок генерации изображения GUI создает комбинированную область GUI в изображении GUI, а комбинированная область GUI объединяет несколько таких GUI комбинированием графических изображений, которые составляются из объединения по меньшей мере части графических изображений нескольких GUI, и когда пользователь впервые контактирует с таким комбинированным GUI, блок преобразования информации операции идентифицирует из многих упомянутых GUI, которые объединены в таком комбинированном GUI, один из GUI, соответствующий графическому изображению, содержащему ту точку, от которой начинается этот контакт, а блок генерации изображения GUI обеспечивает совместное использование несколькими GUI одной и той же области распознавания на сенсорной панели, переключая для этого комбинированный GUI на один из GUI, который идентифицирован блоком преобразования информации операции.

В соответствии с другим примером осуществления настоящего изобретения, предлагается устройство обработки информации. Это устройство обработки информации содержит: блок генерации изображения GUI, которое генерирует изображение GUI (графический интерфейс пользователя); блок обработки информации, который выполняет обработку информации в соответствии с операцией пользователя, соответствующей этому GUI; дисплей, который воспроизводит на экране изображение GUI, сгенерированное блоком генерации изображения GUI, на выходном изображении, которое сгенерировано в результате обработки информации, выполненной устройством обработки информации; сенсорную панель, которая покрывает экран дисплея и распознает то положение, в котором пользователь касается этого дисплея; блок преобразования информации операции, который идентифицирует содержание операции, выполняемой пользователем, базируясь на отношении соответствия между точкой контакта, распознанной сенсорной панелью, и выведенным на экран изображением GUI, при этом блок генерации изображения GUI создает комбинированную область GUI в изображении GUI, комбинированная область GUI объединяет несколько GUI комбинированием графических изображений, которые являются комбинациями по меньшей мере части графических изображений нескольких GUI, и когда пользователь впервые контактирует с таким комбинированным GUI, блок преобразования информации операции идентифицирует среди нескольких GUI, которые объединены в этом комбинированном GUI, один из GUI, соответствующий графическому изображению, содержащему ту точку, от которой начинается этот контакт, и блок генерации изображения GUI обеспечивает совместное использование несколькими GUI одной и той же области распознавания на сенсорной панели переключением комбинированного GUI на один из GUI, идентифицированный блоком преобразования информации операции.

В соответствии с еще одним примером осуществления настоящего изобретения, предлагается способ получения входной величины. Этот способ получения входной величины содержит: этап, на котором генерируется изображение GUI (графический интерфейс пользователя), этап, на котором воспроизводится на экране дисплея изображение GUI, являющееся выходным изображением, которое сгенерировано в результате обработки информации, этап, на котором распознается положение, где пользователь касается сенсорной панели, которая покрывает экран упомянутого дисплея, этап, на котором идентифицируется содержание операции, выполняемой пользователем, базируясь на отношении соответствия между обнаруженной точкой контакта и изображением GUI на экране, при этом на этапе, на котором генерируется изображение GUI, создается область комбинированного GUI в изображении GUI, и эта область комбинированного GUI является объединением нескольких таких GUI, полученного скомбинированными графическими изображениями, которые являются комбинациями по меньшей мере части графических изображений многих GUI, и когда пользователь впервые касается такого комбинированного GUI, то на этапе, на котором идентифицируется содержание операции, из многих упомянутых GUI, которые объединены в таком комбинированном GUI, идентифицируется один из GUI, соответствующий графическому изображению, содержащему точку, с которой начинается этот контакт, а на этапе, на котором генерируется изображение GUI, обеспечивается совместное использование многими GUI общей области распознавания на сенсорной панели переключением комбинированного GUI на один идентифицированный GUI.

На практике, в качестве дополнительных форм реализации настоящего изобретения могут также использоваться произвольно выбранные комбинации и реализации описанных выше составляющих компонентов изобретения в виде способов, устройств, систем, компьютерных программ и тому подобного.

В соответствии с настоящим изобретением, может быть реализован широкий диапазон операций, обеспечивая при этом удобство использования даже при работе на устройстве небольшого размера.

КРАТКОЕ ОПИСАНИЕ ФИГУР ЧЕРТЕЖЕЙ

Далее будут описаны примеры осуществления изобретения со ссылками на прилагаемые фигуры чертежей, которые являются только примерными, не ограничивающими изобретение, при этом подобные элементы на различных чертежах будут обозначаться одинаковыми цифрами, где:

Фиг.1 - рисунок, который иллюстрирует пример структуры обычно используемого пульта управления;

Фиг.2 - рисунок, который иллюстрирует пример внешнего вида устройства обработки информации, использующего устройство ввода данных, в соответствии с примером осуществления;

Фиг.3 - рисунок, который иллюстрирует подробную структуру устройства обработки информации, в соответствии с примером осуществления;

Фиг.4 - рисунок, который иллюстрирует пример расположения нескольких GUI на изображении экрана GUI, в соответствии с примером осуществления;

Фиг.5 - рисунок, который иллюстрирует изображение, воспроизводимое в первой области комбинированного GUI, и область распознавания на сенсорной панели, в соответствии с примером осуществления;

Фиг.6 - рисунок, который иллюстрирует изображение, воспроизводимое в области ввода джойстиком, и способ манипулирования джойстиком, в соответствии с примером осуществления;

Фиг.7 - рисунок, который иллюстрирует пример изменения изображения экрана GUI, в соответствии с примером осуществления;

Фиг.8 - рисунок, который иллюстрирует пример изменения области ввода кнопками L1/L2, в соответствии с примером осуществления;

Фиг.9 - рисунок, который иллюстрирует другой пример расположения изображения экрана GUI и контента изображения, в соответствии с примером осуществления;

Фиг.10 - рисунок, который иллюстрирует пример сконфигурированного изображения режима вывода GUI, в соответствии с примером осуществления.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

В соответствии с примером осуществления, реализовано устройство ввода данных в малогабаритном устройстве обработки информации, таком как мобильный телефон, мобильный терминал или подобное устройство. Это устройство ввода обеспечивает удобство манипулирования, аналогичное тому, что, например, у пульта управления игровой консоли. Сначала будет дано описание на примере традиционного пульта управления. На Фиг.1 показан пример структуры обычно используемого пульта управления. Пульт управления 120 содержит крестообразный переключатель направления 121, джойстики 127а и 127b, группу кнопок четырех типов операций 126, кнопку L1/L2 130а и кнопку R1/R2 130b, являющиеся теми рабочими компонентами, которые предоставляют пользователю возможность манипулирования. Группа кнопок четырех типов операций 126 состоит из кнопки с кругом 122, кнопки с крестом 123, кнопки с квадратом 124 и кнопки с треугольников 125.

Крестообразный переключатель направления 121 организован таким образом, что предоставляет пользователю возможность переключения в одном из четырех направлений (вверх, вниз, вправо и влево), или в одном из восьми направлений (вверх, вниз, влево и вправо и четыре направления между упомянутыми четырьмя направлениями), или же переключения в произвольном направлении. Например, крестообразный переключатель направления 121 используется для перемещения курсора на изображении экрана дисплея или для прокрутки различных типов информации на экранном изображении. На группу кнопок четырех типов работы 126 соответственно назначаются прикладной программой различные функции.

Джойстики 127а и 127b содержат стержни, которые закреплены с возможностью наклона в произвольном направлении, и сенсор, который считывает величину этого наклона. Стержни смещены смещающим приспособлением (например, пружиной) к нейтральному положению и возвращаются к нейтральному положению, когда ими не манипулируют. Сенсор содержит переменный резистор, величина сопротивления которого изменяется в соответствии с наклоном стержня, и схему аналого-цифрового преобразователя, который преобразует величину сопротивления в цифровую величину. Если стержень наклонен, то значения наклонов по нескольким базовым направлениям преобразуются в соответствующие цифровые значения, и эти значения передаются на игровое устройство в качестве управляющих сигналов.

Кнопка L1/L2 130а и кнопка R1/R2 130b составлены из двух кнопок, а именно, соответственно из кнопки L1 и кнопки L2 и из кнопки R1 и кнопки R2. В обеих комбинациях две кнопки расположены соответственно вверху и внизу на боковой поверхности пульта управления 120. Например, кнопка используется для изменения направления линии взгляда в игре или используется для добавления другого движения, когда пользователь манипулирует этой кнопкой совместно с другой кнопкой. Однако на эти кнопки прикладной программой могут также назначаться самые различные функции.

Пользователь держит левой рукой левую рукоятку 128а, а правой рукой - правую рукоятку 128b и манипулирует на пульте управления 120. Крестообразный переключатель направления 121, джойстики 127а и 127b и группа кнопок четырех типов операций 126 расположены на верхней поверхности пульта управления 120, так что пользователь может манипулировать ими, держа при этом левую рукоятку 128а и правую рукоятку 128b левой и правой рукой соответственно. Кнопка L1/L2 130а и кнопка R1/R2 130b установлены на поверхностях, находящихся соответственно на обратной стороне левой рукоятки 128а и правой рукоятки 128b, так что этими кнопками можно манипулировать указательными пальцами левой руки и правой руки.

В соответствии с примером осуществления, каждое средство манипулирования, входящее в состав пульта управления, который показан на Фиг.1, воспроизводится на плоской поверхности в виде GUI. Объяснение будет дано далее на примере устройства ввода, в соответствии с примером осуществления. На Фиг.2 показан пример внешнего вида устройства обработки информации, использующего устройство ввода, в соответствии с данным примером осуществления. Это устройство обработки информации 10 является устройством небольшого размера, которое может носиться пользователем, и может быть любым из устройств, таких как мобильный телефон, PDA, игровое устройство портативного типа и прочим. В альтернативном варианте, устройство обработки информации 10 может обладать функцией, которая является комбинацией функций этих устройств. Поэтому устройство обработки информации 10 может содержать различные механизмы обработки, соответствующие этими функциям, однако надлежащее объяснение будет опущено, поскольку в этом случае можно применять традиционно используемые технологии.

Устройство обработки информации 10 имеет такую конфигурацию, в которой дисплей 14 находится на лицевой поверхности корпуса, а на его боковой поверхности находится клавиша включения 40. На обратной поверхности дисплея 14 встроены механизмы, необходимые для различных типов обработки информации, такие как ЦП, графический процессор, процессор звука, память или аналогичные компоненты (не показаны). Дисплей 14 может быть одним из традиционно используемых типов дисплеев, таких как жидкокристаллический дисплей, плазменный дисплей, ЭЛ (электролюминесцентный) дисплей и другим типом. Верхняя поверхность дисплея 14 покрыта сенсорной панелью 12. Сенсорная панель 12 реализована любым способом, нашедшим практическое применение, таким как панель резистивного типа, оптического типа или емкостного типа.

Кроме того, устройство обработки информации 10 может содержать громкоговоритель для выдачи звуковых сигналов, порт для подсоединения наушников, инфракрасный порт или механизм беспроводной локальной сети (LAN) для обмена данными с другими устройствами, отсек аккумуляторной батареи или другого источника питания. Однако эти элементы не показаны на Фиг.2.

На дисплее 14 воспроизводится изображение экрана, которое, в соответствии с назначенной функцией, необходимо пользователю для ввода операции (например, изображение экранного меню, пиктограммы и прочее), изображение экрана, создаваемое в результате обработки информации (например, изображение выведенной на экран игры, изображение, воспроизводящее на экране движущееся изображение, изображение выведенного на экран текста, изображение выведенной на экран фотографии и прочее). Кроме того, воспроизводится, как экранный дисплей, GUI (графический интерфейс пользователя), предоставляющий пользователю возможность вводить операции, глядя на изображение на экране.

Пользователь осуществляет ввод операции в устройство обработки информации 10, касаясь пальцем руки сенсорной панели 12, или же скользя пальцем руки по сенсорной панели 12, как если бы он/она манипулирует таким GUI. На Фиг.2 на GUI представлены область ввода крестообразного переключателя направления 42, которая представляет собой графическое изображение переключателя направления, и область ввода кнопками 44, которая представляет собой графическое изображение кнопок четырех типов операций (то есть, кнопка с кругом, кнопка с крестом, кнопка с квадратом и кнопка с треугольником). Пунктирные линии на Фиг.2, окружающие область ввода крестообразного переключателя направления 42, и область ввода кнопками 44 представлены только для иллюстрации границ этих областей и потому не связаны с реальными выводимыми изображениями или функциями. То же самое справедливо и для последующих фигур.

Например, при выборе желаемого пункта экранного меню пользователь сначала из показанного на экране списка пунктов меню или пиктограмм перемещает пункт, который он хочет вывести на экран, касанием одного из ключей направления в области ввода крестообразного переключателя направления 42, а затем подтверждает выбор этого пункта меню или пиктограммы касанием кнопки с кругом в области ввода кнопками 44. Затем пользователь изменяет направление движения знака, появляющегося в игре, касанием одного из ключей направления в области ввода крестообразного переключателя направления 42. В другом варианте, в игре интерактивного типа, пользователь высказывает намерение, например, "да", касанием кнопки с кругом или "нет", касанием кнопки с крестом.

Таким образом, ввод операции, который можно реализовать созданием области ввода крестообразного переключателя направления 42 и/или области ввода кнопками 44, может быть изменен самыми различными способами посредством назначения кнопкам функций в соответствии с функциями, реализуемыми устройством обработки информации 10. В соответствии с примером осуществления, воспроизведением средства ввода данных игровой консоли или персонального компьютера в виде сенсорной панели, может быть обеспечено большое разнообразие вариантов операций ввода в информационных устройствах небольшого размера, даже в устройстве такого типа, как игровая консоль.

Кроме того, на информационном устройстве небольшого размера можно будет также играть в игру, в которую пользователь привык играть на игровой консоли, с таким же удобством использования и без создания дискомфорта для пользователя. Проиллюстрированные формы или знаки области ввода крестообразного переключателя направления 42 или области ввода кнопками 44 показаны только в качестве примеров, поэтому формы и знаки не предполагается ограничивать тем, что показаны на Фиг.2. Область ввода крестообразного переключателя направления 42 или область ввода кнопками 44 может быть заменена другими средствами ввода, которые будут соответствовать тому пульту управления, который предполагается воспроизвести.

На Фиг.3 показана подробная структура устройства обработки информации 10. Помимо сенсорной панели 12 и дисплея 14, описанных выше, устройство обработки информации 10 содержит память контента 16, память изображений GUI 18, блок управления вводом/выводом 20, блок преобразования информации операции 22, блок обработки контента 24, блок генерации изображений GUI 26, буферную память изображений GUI 28, блок генерации изображений контента 30, буферную память изображений контента 32 и блок синтеза изображений 34. В памяти контента 16 хранятся программы контентов и/или различные типы данных. В памяти изображений GUI 18 хранятся графические изображения аппликаций, которые используются при создании GUI. Блок управления вводом/выводом 20 управляет получением входных сигналов от сенсорной панели 12 и/или вводом/выводом данных изображений. Блок преобразования информации операции 22 преобразует входные сигналы от сенсорной панели 12 в информацию о содержании операции. Блок обработки контента 24 обрабатывает контент в соответствии с информацией о содержании операции. Блок генерации изображений GUI 26 генерирует изображение GUI. В буферной памяти изображений GUI 28 временно хранятся сгенерированные изображения GUI. Блок генерации изображений контента 30 генерирует изображения контентов. В буферной памяти изображений контента 32 временно хранятся сгенерированные изображения контентов. Блок синтеза изображений 34 генерирует изображения, при этом изображение GUI отображается как экранный дисплей на изображении контента.

Элементы, показанные на Фиг.3 как функциональные блоки выполнения различного типа операций обработки, реализованы аппаратными средствами, таким как ЦП, запоминающие устройства или другие СБИС, и программными средствами, такими как программы, которые обрабатывают контенты или выполняют обработку изображений и прочие операции. Следовательно, специалисту в данной области техники будет понятно, что эти функциональные блоки могут быть реализованы различными путями, только аппаратно, только программно или же комбинацией того и другого способов реализации.

Блок управления вводом/выводом 20 соединен с сенсорной панелью 12, дисплеем 14, памятью контента 16 и памятью изображений GUI с использованием существующих способов и управляет вводом/выводом данных. Входной сигнал, получаемый от сенсорной панели 12, представляет собой координату точки контакта, к которой касается пользователь на сенсорной панели 12, координаты траектории движения, когда точка контакта движется непрерывно и прочее. Поскольку способ распознавания точек касания на сенсорной панели 12 различен для различных типов панелей, то конкретный способ здесь не упоминается. Кроме того, блок управления вводом/выводом 20 выдает также видеосигналы выводимого на дисплей 14 изображения.

Далее, блок управления вводом/выводом 20 обращается к памяти контента 16 и считывает из нее программу или различные типы данных, требуемых для обработки этого контента. Кроме того, блок управления вводом/выводом 20 обращается к памяти изображений GUI 18 и считывает из нее графические изображения аппликаций крестообразного переключателя направления, кнопок или аналогичных компонентов, которые были описаны выше. Что касается "контента", то он не ограничивается теми типами контента, которые могли бы быть обработаны и представлены компьютером, такими как компьютерная игра, кинофильм, музыкальный фрагмент, маленький рассказ, фотография или прочее. Этот пример осуществления, помимо обычного "контента", может быть применен к самой общей обработке информации, такой как передача данных, управление расписанием, адресная книга, электронная таблица и прочее, при этом в последующем объяснении подразумевается, что "контент" может содержать все упомянутые выше типы контента.

В случае, когда контентом является игра, память контента 16 хранит информацию о программе этой игры, информацию об игроке, достигнутом уровне, когда игра игралась последний раз, и другие данные. В случае, когда контентом является кинофильм или музыка, память контента 16 хранит сжатые и закодированные видеоданные, аудиоданные, программу декодирования и воспроизведения этих данных и прочее. Памятью контента 16 может быть дисковод жесткого диска или эта память может быть комбинацией стираемого носителя записи (например, карта памяти, диск ПЗУ, оптический диск, магнитооптический диск и прочее) и устройства его считывания.

Память изображений GUI 18 является памятью (например, дисководом жесткого диска и т.п.), хранящей данные изображений, которые могут быть использованы как графические данные аппликаций изображения GUI, таких как крестообразный переключатель направления, различные типы кнопок и прочее. Как будет описано позднее, само изображение GUI может быть изменено в результате операции на GUI, в соответствии с примером осуществления. Поэтому в памяти изображений GUI 18 хранятся данные изображений, соответствующих такому широкому диапазону вариантов GUI.

Блок преобразования информации операции 22 получает входной сигнал через сенсорную панель 12 от блока управления вводом/выводом 20 и преобразует координаты точки контакта или другие данные, содержащиеся в сигнале, в информацию о содержании операции. Как было описано выше, в соответствии с этим примером осуществления, сам GUI может быть изменен, как результат некоторой операции над этим GUI. Поэтому в памяти предварительно записывается соответствие между типом GUI и его положением при воспроизведении на экране. Далее, базируясь на полученных координатах точки контакта и типе GUI, который воспроизводится в текущий момент, идентифицируется содержание операции, выполняемой пользователем (например, тип нажимаемой кнопки, уровень и/или направление операции и прочее).

Эта информация о содержании операции предоставляется соответственно блоку обработки контента 24 и устройству генерации изображений GUI. Блок обработки контента 24 в соответствии с программой, которая хранится в памяти контента 16, исполняет процесс, необходимый для того, чтобы приступить к игре, или процесс, необходимый для воспроизведения движущихся изображений и/или музыки в соответствии с содержанием операции. Реальная процедура обработки является подобной той процедуре, что исполнялась в соответствии с содержанием контента.

Блок генерации изображений GUI 26 генерирует новое изображение GUI, когда такая необходимость возникает, исходя из содержания операции, и хранит сгенерированное изображение в буферной памяти изображений GUI 28. Хотя конкретные примеры изменения изображения GUI будут даны позднее, однако заметим, что помимо того, что пользователь может, например, видеть изменение цвета, как будто он касается сенсорной панели, или видеть, что кнопка как будто нажата, можно также и сами ключи и/или кнопки заменять ключами и/или кнопками другого GUI.

Поэтому блок генерации изображений GUI 26 хранит внутри информацию, которая связывает содержание операции и изменения, которые должны быть сделаны с изображением, информацию идентификации изображения, которое будет заново использоваться, и другую информацию. Далее, блок генерации изображений GUI 26 считывает надлежащие данные изображения необходимого GUI из памяти изображений GUI 18 и генерирует данные нового экранного изображения таким образом, что на этом изображении представляются изменения, которые связаны с содержанием операции и которые производятся с GUI, выведенном на экран в текущий момент времени.

В случае, когда не требуется изменения GUI, что зависит от содержания операции, блок генерации изображений GUI 26 может и не выполнять процесс генерации нового изображения. Блок генерации изображений контента 30 генерирует данные изображения, которое должно быть выведено на экран, как результат обработки, выполняемой блоком обработки контента 24, и сохраняет соответствующие данные в буферной памяти изображений контента 32.

Блок синтеза изображений 34, исполнением процесса рендеринга с использованием данных изображений, хранимых в буферной памяти изображений GUI 28, и данных изображений, хранимых в буферной памяти изображений контента 32, генерирует изображение, при этом изображение GUI воспроизводится как экранный дисплей на изображении контента, и это изображение соответственно сохраняется во внутренней буферной памяти кадров. За счет того, что видеосигнал, соответствующий изображению, которое хранится в буферной памяти кадров, передается на дисплей 14 под управлением устройства управления вводом/выводом 20, на дисплее 14 воспроизводится изображение, соответствующее операции на GUI, выполненной пользователем.

Далее будет представлен конкретный пример изображения экрана GUI в соответствии с настоящим примером осуществления. В соответствии с настоящим примером осуществления, изображение экрана GUI воспроизводится как экранный дисплей на изображении контента, такого, например, как игра. Поэтому важно обеспечить такую же простоту и удобство использования, как и в пульте управления игровой консоли или аналогичного устройства, не создавая при этом помех для изображения контента, представленного на экране.

В соответствии с настоящим примером осуществления, в дополнение к крестообразному переключателю направления и кнопкам четырех типов операций воспроизводится также в качестве GUI и джойстик. При этом пользователю предоставляется возможность вводить данные воспроизведенным джойстиком таким же образом, как и реальным джойстиком, в том числе произвольное направление и произвольную величину, или же в соответствии с обстоятельствами выдавать команды направления таким же образом, что и в реальном пульте управления, манипулированием крестообразным переключателем направления. Этот GUI позволяет вводить произвольное направление и произвольную величину и может использоваться для управления направлением движения и/или скоростью движения объектов, появляющихся в игре, для поворота поля зрения и прочих операций. В последующем объяснении ввод, производимый посредством такого псевдоджойстика, который представляется как GUI, будет также называться "ввод джойстиком".

Если на изображении экрана GUI будут непосредственно располагаться три типа описанных выше GUI или даже более трех GUI, то все эти GUI будут затруднять обозримость изображения контента на экране. Поэтому, в соответствии с настоящим примером осуществления, создается комбинированная область GUI, которая является комбинацией нескольких GUI, что позволяет этим нескольким GUI совместно использовать одну и ту же область распознавания. Когда пользователь впервые контактирует с этой областью, то во всей целиком комбинированной области GUI определяется, что зависит от положения точки контакта в комбинированной области GUI, тот из них, который будет использоваться в качестве GUI.

На Фиг.4 показан пример расположения нескольких GUI в экранном изображении GUI. Каждое из изображений GUI 50a, 50b, 50с, 50d и 50е являются изображением, которое воспроизводится как экранный дисплей на изображении контента на дисплее 14. Операцией, выполняемой пользователем, производится переключение изображения GUI 50a на одно из изображений GUI 50b, 50с, 50d и 50е. Изображение экрана GUI 50a является стандартным изображением экрана и содержит первую комбинированную область GUI 52 и вторую комбинированную область GUI 56 соответственно внизу слева и внизу справа на изображении экрана.

Первая комбинированная область GUI 52 представляет собой область GUI, которая является комбинацией GUI крестообразного переключателя направления и GUI джойстика, и имеет ту же самую конфигурацию, что и конфигурация области ввода крестообразного переключателя направления 42, показанная на Фиг.2. Эта первая комбинированная область GUI 52 образована графическим изображением крестообразного переключателя направления 51, который является по меньшей мере частью графического символа GUI крестообразного переключателя направления, и графическим изображением джойстика 53, который представлен символом (например, кругом или аналогичным символом) в центре всего этого графического изображения крестообразного переключателя направления 51, и который является по меньшей мере частью графического изображения GUI джойстика.

Вторая комбинированная область GUI 56, таким же образом, что и первая комбинированная область GUI, представляет собой область GUI, которая является комбинацией GUI кнопок четырех типов операций, и GUI джойстика, и имеет ту же самую конфигурацию, что и конфигурация области ввода кнопками 44, показанной на Фиг.2. Конфигурация второй комбинированной области GUI 56 представляет собой комбинацию графического изображения кнопок операции 55, которое является по меньшей мере частью графического изображения GUI кнопок четырех типов операций, и графического изображения джойстика 57, которое представлено фигурами (например, кругом или аналогичным символом) в центре всего графического изображения кнопок операций 55, и который является по меньшей мере частью графического изображения GUI джойстика.

Если на экранном изображении GUI 50a, которое является стандартным изображением, пользователь сначала коснется графического изображения джойстика 53 первой комбинированной области GUI 52, то запустится процесс получения входных данных через джойстик, и первая комбинированная область GUI 52 переключится на область ввода джойстиком 58, которая не содержит графического изображения крестообразного переключателя направления 51 (изображение GUI 50b). Более подробно, если пользователь ставит палец на графическое изображение джойстика 53 первой комбинированной области GUI 52, то эта область переключается на область ввода джойстика 58, и дальнейшим скольжением пальца по сенсорной панели без отрыва от нее будет получено в качестве входных данных направление движения пальца и расстояние, на которое перемещается палец.

В течение того периода времени, пока палец непрерывно контактирует с сенсорной панелью, эта область представляет собой область ввода джойстика 58, и обеспечивается последовательное получение входных данных от движения пальца. Далее, когда пользователь отрывает палец, то эта область возвращается обратно в первую комбинированную область GUI 52 (изображение GUI 50a).

С другой стороны, если на изображении GUI 50a пользователь сначала касается графического изображения крестообразного переключателя направления 51 первой комбинированной области GUI 52, то запускается процесс получения входных данных через крестообразный переключатель направления, и первая комбинированная область GUI 52 переключается на область ввода крестообразного переключателя направления 42 (изображение GUI 50с). В этом случае, также в тот период времени, пока палец продолжает непрерывно касаться сенсорной панели, эта область работает как область ввода крестообразного переключателя направления 42 и обеспечивает ввод данных через крестообразный переключатель направления, и когда пользователь отрывает палец, эта область возвращается обратно в первую комбинированную область GUI 52 (изображение GUI 50a).

Однако графическое изображение джойстика 53 может оставаться выведенным на экран также в области ввода крестообразного переключателя направления 42, при этом первая комбинированная область GUI 52 и область ввода крестообразного переключателя направления 42 будут иметь тот вид, что представлен на Фиг.4. Это исключает неудобство исчезновения и повторного появления графического изображения джойстика 53 даже при прерывистом касании крестообразного переключателя направления для ввода данных через крестообразный переключатель направления.

Вторая комбинированная область GUI 56 также работает аналогичным образом, то есть, если пользователь сначала касается графического изображения джойстика 57, то запускается процесс получения входных данных через джойстик, и эта область переключается на область ввода джойстиком 58, которая не содержит графического изображения кнопок четырех типов операций 55 (изображение GUI 50d), и если палец отрывается от сенсорной панели, то эта область возвращается обратно во вторую комбинированную область GUI (изображение 50a). В том интервале времени, пока палец продолжает касаться, эта область работает как область ввода джойстиком 58 и отслеживает движения пальца.

С другой стороны, если пользователь сначала касается графического изображения кнопок четырех типов операций 55 на второй комбинированной области GUI 56, то запускается процесс получения входных данных через эти кнопки, и вторая комбинированная область GUI 56 переключа