Рабочие интерфейсы сенсорного экрана

Рабочие интерфейсы сенсорного экрана

Иллюстрации

Показать все

Реферат

Уровень техники

Многие устройства, такие как персональные цифровые помощники (PDA), гибриды мобильных телефонов с PDA и сверхмобильные персональные компьютеры (UMPC) используют ввод на основе пера, чтобы помочь пользователю четко определить точку выбора на экране, и кроме того, они также поддерживают сенсорный ввод. Перо или стилус обычно является тонким и также позволяет создать вертикальное смещение между рукой пользователя и экраном так, что цели, появляющиеся на экране, не загорожены пальцем или рукой пользователя. Однако извлечение стилуса занимает время и может быть неудобным, например, в контексте работы одной рукой, или может быть неэффективным, например, в контексте коротких/прерывистых взаимодействий.

Когда использование стилуса неэффективно или неудобно, пользователи иногда используют свой палец или другое "устройство сенсорного ввода", чтобы выбрать объекты, отображенные на экране устройства. Например, это происходит часто при прерывистых или коротких взаимодействиях, таких как подтверждение времени встречи, навигация по карте или управление мультимедийным проигрывателем.

Сущность изобретения

Предоставляется методика смещения указания, которая предназначена, чтобы помочь пользователям работать с пользовательским интерфейсом с помощью объекта выбора, такого как пальцы, предотвращая загораживания и определяя четкую точку выбора, когда пользователь использует прикосновение для работы с устройством с сенсорным экраном. Когда пользователь пытается выбрать небольшую цель, отображенную на экране устройства с дисплеем, чувствительным к прикосновению, методика смещения указания создает и отображает выноску, показывающую представление загороженной экранной области, и помещает представление загороженной экранной области в незагороженное местоположение на экране. Загороженной областью является область сенсорного экрана, загороженная пальцем пользователя или другим объектом выбора. Выноска также показывает указатель, представляющий текущую точку выбора пальцем пользователя или другим объектом выбора. С помощью визуальной обратной связи, обеспеченной посредством выноски, пользователь может направлять указатель в цель, перемещая (например, перетаскивая или перекатывая) свой палец или другой объект выбора по поверхности экрана. Пользователь может затем подтвердить захват цели (например, выбрать небольшую цель), подняв свой палец или другой объект выбора с экрана устройства. Наоборот, когда пользователь пытается выбрать более крупную цель на экране устройства с сенсорным экраном, выноска не создается, и пользователи имеют полную функциональность неизмененного сенсорного экрана.

Таким образом, в дополнение к смещению указателя методика смещения указания смещает содержимое экрана, чтобы предоставить значительно более лучшую эффективность указания цели. Эти методики могут позволить выбирать небольшие цели с гораздо более низкой частотой ошибок, чем на лишенном помощи сенсорном экране, и могут снизить число ошибок, вызванных загораживанием цели пальцем пользователя (или другим объектом выбора) и неопределенностью того, какая часть пальца (или другого объекта выбора) задает точку выбора на дисплее или экране. По существу, частота ошибок может быть уменьшена при использовании сенсорного ввода в устройстве с сенсорным экраном.

Эта сущность изобретения предоставлена, чтобы представить выбор концепций в упрощенной форме, которые дополнительно описаны ниже в подробном описании. Эта сущность не предназначена для того, чтобы идентифицировать ключевые признаки или существенные признаки заявляемого объекта изобретения, а также не предназначена для того, чтобы быть использованной в качестве помощи при определении объема заявляемого объекта изобретения.

Краткое описание чертежей

Более полное понимание примерного варианта осуществления может быть получено посредством ссылки на подробное описание и формулу изобретения, когда рассматривается вместе со следующими чертежами, на которых одинаковые номера ссылок ссылаются на похожие элементы на всех чертежах.

Фиг.1 является упрощенным схематическим представлением примерной вычислительной системы согласно одному примерному осуществлению.

Фиг.2 является упрощенным схематическим представлением вида спереди устройства с сенсорным экраном согласно одному примерному осуществлению.

Фиг.3 является примерной блок-схемой технологий выбора требуемой цели, отображенной на экране устройства с сенсорным экраном, с помощью сенсорного ввода согласно одному примерному осуществлению.

Фиг.4(a)-4(e) являются последовательностью примерных схем, иллюстрирующих технологию расширения или "смещения указания" для выбора относительно небольшой цели, отображенной на экране устройства с сенсорным экраном, с помощью сенсорного ввода согласно одному примерному осуществлению.

Фиг.5(a)-5(b) являются последовательностью примерных схем, показывающих обычную технологию выбора более крупной цели, отображенной на экране устройства с сенсорным экраном, с помощью сенсорного ввода согласно другому примерному осуществлению.

Фиг.6(a) является схемой, которая иллюстрирует область контакта пальца пользователя, когда пользователь пытается выбрать цель.

Фиг.6(b) является графиком, показывающим, как соотношение S_F/S_T может быть сопоставлено с тайм-аутом задержки с помощью логистической функции.

Фиг.7(a)-(d) являются схемами, которые иллюстрируют примерное размещение выноски и указателя относительно других местоположений пальца пользователя на экране устройства с сенсорным экраном.

Фиг.8(a) является схемой, показывающей цель, палец пользователя и точку ввода с позиции пользователя.

Фиг.8(b) является схемой, показывающей цель, область соприкосновения пальца пользователя и точку ввода с позиции аппаратных средств; и

фиг.9 является схемой, иллюстрирующей увеличение масштаба, которое может быть применено к выноске, когда пользователь пытается выбрать небольшую цель.

Подробное описание

Следующее подробное описание является просто примерным по своему характеру и не предназначено, чтобы ограничивать изобретение или применение и использование изобретения. Когда используется в данном документе, слово "примерный" обозначает "служащий в качестве примера, отдельного случая или иллюстрации". Любое осуществление, описанное в данном документе как "примерное", необязательно должно быть истолковано как предпочтительное или выгодное по сравнению с другими осуществлениями. Все осуществления, описанные ниже, являются примерными осуществлениями, предоставленными, чтобы позволить специалистам в данной области техники сделать или использовать изобретение, и не предназначены, чтобы ограничивать рамки изобретения, которые определены формулой изобретения.

Примерные варианты осуществления могут быть описаны в данном документе в терминах компонентов функциональных и/или логических блоков и различных этапов обработки. Должно быть понятно, что такие компоненты блоков могут быть реализованы любым числом аппаратных, программных и/или программно-аппаратных компонентов, сконфигурированных, чтобы выполнять конкретные функции. Например, вариант осуществления может применять различные компоненты интегральных схем, например элементы памяти, элементы цифровой обработки сигналов, логические элементы, поисковые таблицы или т.п., которые могут выполнять множество функций под управлением одного или более микропроцессоров или других устройств управления. Кроме того, специалисты в данной области техники поймут, что практические варианты осуществления могут быть применены на практике вместе с любым числом протоколов передачи данных, и что система, описанная в данном документе, является просто одним примерным вариантом осуществления.

Ради краткости, традиционные технологии, связанные с работой вычислительного устройства, работой сенсорного экрана, визуализацией графики на элементе отображения и другими функциональными аспектами систем (и отдельными рабочими компонентами систем), могут быть не описаны подробно в данном документе. Кроме того, соединяющие линии, показанные на различных чертежах, содержащихся в данном документе, предназначены, чтобы представлять примерные функциональные связи и/или физические соединения между различными элементами. Следует отметить, что многие альтернативные или дополнительные функциональные связи или физические соединения могут быть представлены в примерном варианте осуществления.

Фиг.1 является упрощенным схематическим представлением примерной вычислительной системы 100 для осуществления устройства с сенсорным экраном. Вычислительная система 100 является только одним примером подходящего операционного окружения и не предназначена для того, чтобы предлагать какое-либо ограничение относительно рамок использования или функциональности осуществлений, описанных в данном документе. Другие хорошо известные вычислительные системы, окружения и/или конфигурации, которые могут быть подходящими для использования с такими осуществлениями, включают в себя, но не только, персональные компьютеры, серверные компьютеры, карманные или портативные устройства, персональные цифровые помощники, мобильные телефоны, компьютеры на основе общественного терминала, такие как банкоматы (ATM) и системы бортового окружения, системы предоставления информации о продуктах розничной торговли, навигационные устройства системы глобального позиционирования (GPS), схемы расположения, справочники сооружений, переносные мультимедийные проигрыватели, электронные книги, общественные терминалы городского транспорта, дисплеи с музейной информацией, многопроцессорные системы, микропроцессорные системы, программируемую бытовую электронную аппаратуру, сетевые PC, миникомпьютеры, универсальные компьютеры, распределенные вычислительные среды, которые включают в себя любые из вышеуказанных систем или устройств, и т.п.

Вычислительная система 100 может быть описана в общем контексте машиноисполняемых инструкций, таких как программные модули, исполняемые одним или более компьютерами или другими устройствами. Как правило, программные модули включают в себя процедуры, программы, объекты, компоненты, структуры данных и/или другие элементы, которые выполняют конкретные задачи или реализуют конкретные абстрактные типы данных. Типично, функциональность программных модулей может быть объединена или распределена, как требуется в различных вариантах осуществления.

Вычислительная система 100 типично включает в себя, по меньшей мере, некую форму машиночитаемых носителей. Машиночитаемые носители могут быть любыми доступными носителями, к которым можно обратиться посредством вычислительной системы 100 и/или приложений, исполняемых вычислительной системой 100. В качестве примера, а не ограничения, машиночитаемые носители могут содержать компьютерные носители хранения и среду передачи. Компьютерные носители хранения включают в себя энергозависимые, энергонезависимые, съемные и несъемные носители, реализованные любым способом или технологией хранения информации, такой как машиночитаемые инструкции, структуры данных, программные модули или другие данные. Носитель хранения данных компьютера включает в себя, но не только, RAM, ROM, EEPROM, флэш-память или другую технологию памяти, CD-ROM, универсальные цифровые диски (DVD) или другое оптическое запоминающее устройство, магнитные кассеты, магнитную ленту, запоминающее устройство на магнитном диске или другие магнитные устройства хранения, или любой другой носитель, который может быть использован для сохранения требуемой информации и который может быть доступен посредством вычислительной системы 100. Среда передачи данных типично реализует машиночитаемые инструкции, структуры данных, программные модули или другие данные в модулированных сигналах данных, таких как волновая несущая или другой механизм передачи, и включает в себя любую среду доставки информации. Термин "модулированный сигнал данных" означает сигнал, который имеет одну или более из его характеристик, установленных или изменяемых таким образом, чтобы кодировать информацию в сигнале. В качестве примера, но не в качестве ограничения, среда связи включает в себя проводную среду, такую как проводная сеть или прямое проводное соединение, и беспроводную среду, такую как акустическая среда, RF, инфракрасное излучение и другая беспроводная среда. Сочетания любого из вышеперечисленного также следует включить в число машиночитаемых носителей.

Обращаясь опять к фиг.1, в своей самой базовой конфигурации вычислительная система 100 типично включает в себя, по меньшей мере, один процессор 102 и подходящий объем памяти 104. В зависимости от точной конфигурации и типа вычислительной системы 100 память 104 может быть энергозависимой (такой как RAM), энергонезависимой (такой как ROM, флеш-память и т.д.) или некоторой комбинацией обеих. Эта самая базовая конфигурация идентифицирована на фиг.1 ссылочным номером 106. Дополнительно, вычислительная система 100 может также иметь дополнительные признаки/функциональность. Например, вычислительная система 100 может также включать в себя дополнительное запоминающее устройство (съемное и/или несъемное), включающее в себя, но не только, магнитные или оптические диски или ленту. Такое дополнительное запоминающее устройство иллюстрировано на фиг.1 посредством съемного запоминающего устройства 108 и несъемного запоминающего устройства 110. Память 104, съемное запоминающее устройство 108 и несъемное запоминающее устройство 110 - все являются примерами компьютерных носителей хранения, которые определены выше.

Вычислительная система 100 может также содержать соединение(я) 112 связи, которые позволяют системе связываться с другими устройствами. Соединение(я) 112 связи может быть ассоциативно связано с управлением средой связи, которая определена выше.

Вычислительная система 100 может также включать в себя или связываться с устройством(ми) 114 ввода, такими как клавиатура, мышь или другое указывающее устройство, устройство голосового ввода, перо, стилус или другое устройство ввода и т.д. В примерном варианте осуществления, описанном ниже со ссылкой на фиг.2, вычислительная система 100 включает в себя экран, дисплей или другой пользовательский интерфейс (UI), который может принимать сенсорный ввод и позволяет пользователю выбрать определенные объекты, отображенные на экране. Хотя примерный вариант осуществления, описанный в данном документе, использует сенсорный ввод, варианты осуществления, описанные в данном документе, могут быть эквивалентно выполнены с возможностью также поддерживать любой эквивалентный ввод на основе прикосновения, такой как тот, который происходит с помощью пера или стилуса. Вычислительная система 100 может также включать в себя или связываться с устройством(ми) 115 вывода, такими как дисплей, динамики, принтер или т.п. Все эти устройства хорошо известны в области техники, и нет необходимости обсуждать их долго здесь.

Обзор

Хотя и является удобным, использование сенсорного ввода может увеличить время указания цели и частоту ошибок. К несчастью, пользовательские интерфейсы, предназначенные для ввода пером или стилусом, часто содержат небольшие цели, и в таких случаях выбор с помощью пальца может стать медленным и подверженным ошибкам. Например, использование пальца или другой формы "сенсорного ввода" загораживает небольшие цели, заставляя делать выбор цели и захват без визуальной обратной связи. Это сопровождает выбор и захват с ошибками.

В то время как пальцы являются отчасти менее точными, чем стилус в терминах точного управления, не только точность является причиной высокой частоты ошибок, связанных с сенсорным вводом. Другие причины высокой частоты ошибок, связанных с сенсорным вводом, возникают из-за неопределенной точки выбора, созданной областью соприкосновения пальца в комбинации с загораживанием цели. Например, пользователи с трудом определяют, захватили ли они цель, при выборе целей, меньших чем размер области соприкосновения пальца. К несчастью, палец пользователя также загораживает цели, меньшие чем область соприкосновения пальца, таким образом, мешая пользователям увидеть визуальную обратную связь.

В широком смысле предоставлены технические приемы и технологии, которые могут улучшить работу устройств с пером или сенсорным экраном, таких как PDA или UMPC. Эти технические приемы и технологии могут предоставить возможность сенсорного ввода, когда палец пользователя или другой объект выбора (например, другая часть тела) прикасается к экрану устройства с сенсорным экраном, чтобы попытаться выбрать объект, отображенный на экране. Когда пользователь пытается выбрать цель, может быть визуализирована выноска в незагороженной области экрана. Выноска включает в себя представление области экрана, которая загорожена пальцем пользователя (или другим объектом выбора). В некоторых вариантах осуществления "представление области экрана, которая загорожена" может содержать копию области экрана, которая загорожена пальцем пользователя (или другим объектом выбора).

В последующем описании технологии расширения или "смещения указания" будут описаны со ссылкой на сценарии, в которых пользователь пытается выбрать цель с помощью своего пальца. Однако будет понятно, что технологии расширения или "смещения указания" могут также, в целом, применяться всякий раз, когда пользователь пытается выбрать цель с помощью любого "объекта выбора". Когда используется в данном документе, термин "объект выбора" может заключать в себе часть тела, такую как палец или ноготь пальца, или другой инструмент для выбора, который блокирует или загораживает область устройства с сенсорным экраном, когда пользователь пытается выбрать цель, которая отображена в загороженной области, с помощью объекта выбора.

Фиг.2 является упрощенным схематическим представлением вида спереди устройства 200 с сенсорным экраном. Устройство 200 с сенсорным экраном может быть осуществлено в любом соответствующим образом сконфигурированном вычислительном устройстве или системе, например вычислительной системе 100.

Устройство 200 с сенсорным экраном содержит сенсорный экран 202 для отображения информации, включающей в себя требуемую цель, которую пользователь хочет выбрать. Когда используется в данном документе, термин "сенсорный экран" ссылается на экран, дисплей или другой UI, который выполнен с возможностью или сконструирован так, чтобы предоставить возможность сенсорного ввода посредством нажатия на область экрана, дисплея или другого UI, чтобы выбрать объект, отображенный на экране, дисплее или другом UI. Например, пользователь может нажать на экран с помощью устройства, такого как стилус или перо, или прикоснуться к экрану с помощью пальца пользователя или другой конечности. Устройство с сенсорным экраном может быть осуществлено в любом числе электронных устройств, включающих в себя, например, портативные приборы, такие как сотовые телефоны, PDA, переносные компьютеры, видеоигры, электронные игрушки, клавишные панели электронного управления для любого числа других применений, фиксированные киоски для распространения информации, такие как ATM.

Когда пользователь пытается выбрать требуемую цель (не показана на фиг.2), отображенную на сенсорном экране 202, пользователь может поместить его или ее палец поверх требуемой цели на сенсорном экране 202. Область сенсорного экрана 202, которая закрыта пальцем пользователя, может называться загороженной экранной областью 204 сенсорного экрана 202. Эта загороженная экранная область 204 содержит область экрана 202, которая закрыта пальцем пользователя и которая включает в себя требуемую цель, которую пользователь пытается выбрать. Требуемая цель занимает первую площадь на экране 202, которая находится в загороженной экранной области 204.

Когда палец пользователя прикасается к поверхности сенсорного экрана 202 в попытке выбрать требуемую цель, отображенную на экране 202, модуль или модули в устройстве 200 с сенсорным экраном работают во взаимодействии с процессором 102, чтобы определить, является ли загораживание проблемой для требуемой цели (под пальцем пользователя).

Когда определено, что загораживание вероятно должно быть проблемой относительно требуемой цели под пальцем пользователя, может быть отображена или визуализирована выноска 206 или указатель 208. Решение отобразить или визуализировать выноску 206 и указатель 208 может называться "расширением". Примерные технологии определения того, отображать или нет или визуализировать ли выноску 206 и указатель 208 (или "расширять"), могут включать в себя, но не только, например, триггер на основе пользовательского ввода, триггер на основе таймера задержки или триггер на основе размера цели. Эти технологии определения того, выполнять ли расширение, будут описаны более подробно ниже.

Когда используется в данном документе, термин "выноска" ссылается на смещенное представление загороженной экранной области (что типично включает в себя представление требуемой цели). В некоторых вариантах осуществления "представление области экрана, которая загорожена" может содержать копию области экрана, которая загорожена пальцем пользователя (или другим объектом выбора). В некоторых осуществлениях выноска может двигаться в ответ на перемещение ввода, обновления экрана или по другим причинам, и, таким образом, необязательно должна располагаться статически. Выноска, как правило, может быть любого подходящего размера и любой подходящей формы. В отдельном примере, показанном на фиг.2, показана скопированная часть выноски 206, имеющей круглую форму или рамку, однако, скопированная часть может иметь прямоугольную форму или рамку, квадратную форму или рамку, эллиптическую форму или рамку, форму или рамку анимированного пузырька или любую их комбинацию. Выноска 206 также может быть помещена или располагаться в (или транслироваться) в любое подходящее местоположение в незагороженной экранной области (показанной штриховкой на фиг.2). Примеры размещения выноски будут предоставлены ниже относительно фиг.7. Более того, выноска 206 может иметь такой же размер, что и загороженная область, меньший, чем загороженная область, или больший, чем загороженная область, в зависимости от осуществления. В одном примерном варианте осуществления "масштабирования", описанном ниже со ссылкой на фиг.9, выноска 206 больше, чем загороженная область. Это осуществление особенно полезно в ситуациях, где требуемая цель очень мала, и ее трудно выбрать.

Когда используется в данном документе, термин "указатель" ссылается на текущую координату системного ввода, определенную устройством ввода, таким как палец пользователя, и представляет точку фактического соприкосновения или выбора на экране. В одном осуществлении смещенный указатель 208 и точка фактического соприкосновения под пальцем соединены штриховой линией, как показано на фиг.2. Точка фактического соприкосновения представляет точку фактического текущего соприкосновения или точку выбора пальцем пользователя в загороженной экранной области 204. Таким образом, в дополнение к смещению указателя 208 выноска 206 смещает представление загороженного экранного содержимого, что может привести к значительно более лучшему выполнению указания цели.

Когда решение о расширении принято, модуль или модули в устройстве 200 с сенсорным экраном работают во взаимодействии с процессором 102, чтобы выполнить компьютерные инструкции для отображения или визуализации выноски 206 и указателя 208 в незагороженной экранной области (показанной штриховкой на фиг.2) сенсорного экрана 202.

Указатель 208 движется, когда пользователь пытается выбрать требуемую цель, так, что указатель 208 может двигаться посредством перемещения пальца по поверхности экрана 202. Визуальная обратная связь, обеспеченная пользователю с помощью выноски 206, позволяет пользователю двигать указатель 208 поверх представления требуемой цели, отображенной в выноске 206. Например, пользователь может направлять указатель 208 поверх представления требуемой цели, отображенной в выноске 206, удерживая свой палец на загороженной экранной области 204 сенсорного экрана 202, и направляя указатель 208, двигая или прокатывая свой палец по поверхности сенсорного экрана 202 (в загороженной экранной области 204) до тех пор, пока указатель 208 не будет находиться поверх представления требуемой цели.

Чтобы выбрать требуемую цель, пользователь совершает захват цели, поднимая свой палец с поверхности экрана 202, когда указатель 208 находится над представлением требуемой цели, отображенной в выноске 206. В одном осуществлении успешный захват цели может быть подтвержден звуковым щелчком, в то время как неудачные попытки захвата цели могут закончиться звуком ошибки. Модуль или модули в устройстве 200 с сенсорным экраном работают во взаимодействии с процессором 102, чтобы перемещать выноску 206 и указатель 208, когда пользователь поднимает свой палец с поверхности сенсорного экрана 202.

Фиг.3 является примерной блок-схемой 300 последовательности операций технологий выбора требуемой цели, отображенной на экране устройства с сенсорным экраном, с помощью сенсорного ввода согласно одному примерному осуществлению. Фиг.3 будет описана со ссылкой на фиг.4(a)-4(e) и фиг.5(a)-5(b), чтобы проиллюстрировать то, как технологии на фиг.3 могут быть применены в одном примерном осуществлении. Фиг.4(a)-4(e) являются последовательностью примерных схем 400, иллюстрирующих технологию расширения или "смещения указания" для выбора относительно небольшой цели, отображенной на экране устройства с сенсорным экраном, с помощью сенсорного ввода согласно одному примерному осуществлению. Фиг.5(a)-5(b) являются последовательностью примерных схем 500, показывающих обычную технологию выбора более крупной цели, отображенной на экране устройства с сенсорным экраном, с помощью сенсорного ввода согласно другому примерному осуществлению.

На этапе 310 пользователь пытается захватить или выбрать требуемую цель, отображенную на дисплее или экране устройства с сенсорным экраном, посредством прикосновения к поверхности устройства отображения (например, поверхности устройства) с помощью своего пальца. Например, как показано на фиг.4(a) и фиг.5(a), пользователь нажимает на поверхность экрана с помощью своего пальца 401, 501 (или другого объекта, включающего в себя другие части тела или устройства), чтобы попытаться выбрать требуемую цель 410, 510. На фиг.4(a) требуемая цель 410 занимает первую, небольшую область, отображенную на экране под пальцем 401 пользователя. Требуемая цель 410 находится близко с некоторым числом других возможных целей (показанных как маленькие прямоугольники). Область экрана, которая закрыта пальцем 401 пользователя (и включает в себя требуемую цель 410 и другие возможные цели), ниже называется "загороженной" областью, которую пользователь не может видеть. На фиг.5(a) требуемая цель 510 занимает относительно большую область, отображенную на экране, которая не полностью закрыта пальцем 501 пользователя. Другими словами, на фиг.5(a) требуемая цель 510 только частично загорожена, тогда как некоторые части требуемой цели 510 все еще видимы.

Условное расширение преодолевает проблемы загораживания и позволяет пользователям легко выбирать небольшие цели. Технология расширения или смещения указания может гарантировать то, что дополнительные усилия по взаимодействию ограничены ситуацией, в которой они реально необходимы (например, небольшие цели), что может сэкономить значительное количество времени. На этапе 320 процессор или другой модуль в устройстве с сенсорным экраном определяет, необходимо ли "расширение" относительно отдельной требуемой цели. Вообще, процессор или другой модуль в устройстве с сенсорным экраном определяет, является ли загораживание проблемой для данных возможных целей, отображенных в загороженной экранной области под пальцем пользователя. Любое число различных технологий может быть использовано, чтобы определить, должно или нет выполняться расширение (например, чтобы определить, отображать ли или визуализировать или нет выноску и указатель). Эти технологии могут включать в себя, но не только, например, триггер на основе пользовательского ввода, триггер на основе таймера задержки или триггер на основе размера цели. Эти технологии будут описаны ниже.

Если определено, что расширение не нужно (например, загораживание не является проблемой для требуемой цели под пальцем пользователя), тогда на этапе 325 устройство с сенсорным экраном продолжает работать в своей обычной или нормальной манере подобно немодифицированному сенсорному экрану (например, без вызова расширения). Процесс 300 ожидает следующую требуемую цель и возвращается к этапу 310. В примерном сценарии, изображенном на фиг.5(a) и 5(b), выноска не создается или не отображается, когда пользователь пытается выбрать более крупную цель на экране устройства с сенсорным экраном. Поднимая свой палец немедленно, пользователь делает выбор как при использовании сенсорного экрана, лишенного помощи. Здесь простота ввода на сенсорном экране, лишенном помощи, делает его адекватным для цели более крупного размера.

Технология расширения или смещения указания также работает, как ожидают пользователи сенсорного экрана, в том, что она позволяет пользователям прицелиться в саму фактическую цель. Предоставляя возможность пользователям прицелиться в фактическую цель, технология расширения или смещения указания остается совместимой с обычным пером и сенсорным вводом. Эта совместимость сохраняет согласующееся взаимодействие при переключении назад и вперед между вводом с помощью пера и сенсорным вводом. Это также делает легким применение технологии расширения или смещения указания в сценариях ношения или для того, чтобы модернизировать существующие системы.

Если определено, что расширение необходимо (например, загораживание является проблемой для требуемой цели под пальцем пользователя), то на этапе 330 выноски и указатель могут быть визуализированы или отображены в незагороженной области экрана.

Технология расширения или смещения указания также работает, как ожидают пользователи сенсорного экрана, в том, что она позволяет пользователям прицелиться в саму фактическую цель. Предоставляя возможность пользователям прицелиться в фактическую цель, технология расширения или смещения указания остается совместимой с обычным пером и сенсорным вводом. Эта совместимость сохраняет согласующееся взаимодействие при переключении назад и вперед между вводом с помощью пера и сенсорным вводом. Это также делает легким применение технологии расширения или смещения указания в сценариях ношения или для того, чтобы модернизировать существующие системы.

Выноска и указатель могут помочь устранить проблемы, связанные с загораживанием, и могут также помочь уменьшить проблемы, связанные с неопределенностью точки фактического соприкосновения или выбора. Например, как показано на фиг.4(b), выноска 406 и указатель 408 могут быть предоставлены или визуализированы в незагороженной области экрана. Выноска 406 отображает представление загороженной экранной области (например, области, закрытой пальцем 410 пользователя) в незагороженной области экрана. Это представление загороженной экранной области может включать в себя, например, копию 401' требуемой цели 401. Указатель 408 представляет точку фактического соприкосновения или выбора пальца пользователя на экране. При первоначальном отображении указателя 408 указатель 408 не совпадает с копией 401' требуемой цели 401.

Более того, должно быть понятно, что в то время как позиция выноски 406 показана отображаемой выше цели и пальца пользователя, как будет описано ниже со ссылкой на фиг.6, выноска 406 может быть расположена в любом удобном местоположении в незагороженной области экрана относительно либо цели, либо пальца пользователя. Размещение выноски и указателя должно быть сделано способом, который может помочь минимизировать загораживание и максимизировать предсказуемость, чтобы ускорить визуальную переориентацию.

На этапе 340 пользователь направляет указатель поверх представления требуемой цели, чтобы выбрать требуемую цель. Например, как показано на фиг.4(c), сохраняя свой палец 410 в соприкосновении с экраном, пользователь в то же время может направлять позицию указателя 408 на основе визуальной обратной связи, обеспеченной с помощью выноски 406. Пользователь может сделать корректирующие движения и точную настройку позиции указателя, перемещая свой палец по поверхности экрана до тех пор, пока указатель 408 не будет находиться над копией 401' требуемой цели 401, отображенной в незагороженной экранной области экрана.

Когда указатель находится поверх представления требуемой цели, на этапе 350 пользователь совершает захват требуемой цели. Например, как показано на фиг.4(d), чтобы выбрать требуемую цель, пользователь совершает захват требуемой цели 401, поднимая свой палец 410 с поверхности экрана (например, выбор по поднятию), в то время как указатель 408 находится поверх копии 401' требуемой цели 401, которая отображена в незагороженной экранной области. В одном осуществлении успешный захват цели может быть подтвержден звуком щелчка, в то время как неудачные попытки захвата цели могут заканчиваться звуком ошибки. В другом осуществлении, после того как правильная позиция визуально подтверждена, поднятие пальца 410 выбирает цель 401, вызывает краткую вспышку и завершает выбор.

На этапе 360 выноска и указатель удаляются, когда пользователь поднимает свой палец с поверхности экрана. Например, как показано на фиг.4(e), выноска 406 и указатель 408 удаляются, когда пользователь поднимает свой палец (не показан) с поверхности экрана, и требуемая цель выбрана.

Технологии определения того, должно ли быть выполнено расширение

В одном варианте осуществления триггер на основе пользовательского ввода может использоваться, чтобы запустить расширение или "технологию смещения указания". Например, пользователь может нажать кнопку или выбрать другое устройство ввода, чтобы запустить расширение.

В другом варианте осуществления может использоваться триггер на основе размера цели, чтобы запустить расширение или "технологию смещения указания". Процессор или другой модуль может определить, является ли загораживание проблемой для требуемой цели, на основе размера требуемой цели относительно области соприкосновения объекта выбора (например, пальца пользователя). Например, так как загораживание может быть проблемой, когда самый маленький размер требуемой цели меньше, чем диаметр соприкосновения типичного пальца, процессор или другой модуль может определить, присутствуют ли цели, которые являются достаточно небольшими, чтобы быть загороженными пальцем (например, требуемая цель содержит небольшую цель относительно области соприкосновения объекта выбора (например, пальца пользователя)). В одном варианте осуществления существует приблизительный пороговый размер или "порог загораживания", где загораживание делает выбор более маленьких целей подверженным ошибкам. Когда пользователь нажимает на поверхность экрана с помощью своего пальца, чтобы попытаться выбрать требуемую цель (например, касается или применяет нажатие на загороженную экранную область), процессор или модуль в устройстве с сенсорным экраном определяет, является ли требуемая цель меньшей, чем порог загораживания. Если требуемая цель меньше, чем порог загораживания, выполняется технология расширения или смещения указания. Наоборот, загораживание, как правило, не будет проблемой, когда пользователь пытается выбрать более крупную цель на экране. По существу, для целей, больших чем порог загораживания, технология расширения или смещения указания не визуализирует или не отображает выноску на экране, а вместо этого работает подобно немодифицированному сенсорному экрану.

Еще в одном варианте осуществления может использоваться триггер на основе таймера задержки, чтобы запустить расшир