Краевой жест

Краевой жест

Иллюстрации

Показать все

Реферат

УРОВЕНЬ ТЕХНИКИ

Обычные методы выбора пользовательского интерфейса, который в настоящий момент не является видимым на дисплее, часто смущают, занимают ценное пространство дисплея, не могут везде применяться на разных устройствах или обеспечивают плохой опыт взаимодействия пользователя.

Некоторые обычные методы, например, позволяют выполнять выбор пользовательского интерфейса посредством экранных элементов управления на панели задач, в пределах плавающего окна или на кадре окна. Эти экранные элементы управления, однако, занимают ценное доступное на дисплее пространство и могут раздражать пользователей тем, что требуют, чтобы пользователи находили и выбирали правильный элемент управления.

Некоторые другие обычные методы позволяют выполнять выбор пользовательского интерфейса посредством аппаратных средств, таких как быстрые клавиши и кнопки. В лучшем случае, эти методы требуют, чтобы пользователи помнили, какую клавишу, комбинацию клавиш или аппаратную кнопку выбрать. Даже в этом наилучшем случае пользователи часто случайно выбирают клавиши или кнопки. Кроме того, во многих случаях не могут везде применяться методы выбора аппаратных средств, так как аппаратные средства на вычислительных устройствах могут изменяться в соответствии с моделью, поколением, поставщиком или производителем устройства. В таких случаях, любые методы не будут работать или будут работать по-разному на разных вычислительных устройствах. Осложняет проблему то, что пользователям необходимо помнить правильные аппаратные средства, так как многие пользователи имеют многочисленные устройства, и, поэтому, им может быть необходимо помнить разные выборы аппаратных средств для разных устройств. Кроме того, для многих вычислительных устройств выбор аппаратных средств заставляет пользователей заниматься вычислительным устройством вне нормального хода взаимодействия пользователя, например, когда устройство с сенсорным экраном требует, чтобы пользователь сменил его или ее ментальную и физическую ориентацию с взаимодействий на основе дисплея на взаимодействия на основе аппаратных средств.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Данный документ описывает методики и устройства, позволяющие выполнять краевой жест. В некоторых вариантах осуществления эти методики и устройства позволяют выполнять выбор пользовательского интерфейса, не видимого в настоящий момент на дисплее, посредством краевого жеста, который легко использовать и запомнить.

Это краткое изложение сущности изобретения обеспечивается для введения упрощенных принципов, делающих возможным краевой жест, который дополнительно описывается ниже в разделе «Подробное описание». Это краткое изложение сущности изобретения не предназначено ни для определения существенных признаков заявленного изобретения, ни для использования при определении объема заявленного изобретения. Методики и/или устройства, позволяющие выполнять краевой жест, также упоминаются в данном документе отдельно или вместе в качестве «методик», разрешенных контекстом.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Варианты осуществления, позволяющие выполнять краевой жест, описываются с ссылкой на нижеследующие чертежи. Одинаковые позиции используются на чертежах для ссылки на подобные признаки и компоненты:

Фиг.1 иллюстрирует примерную систему, в которой могут быть реализованы методики, позволяющие выполнять краевой жест.

Фиг.2 иллюстрирует примерный способ, позволяющий выполнять краевые жесты, основанный на том, что краевой жест приблизительно перпендикулярен краю, у которого жест начинается.

Фиг.3 иллюстрирует примерное планшетное вычислительное устройство, имеющее сенсорный дисплей, представляющий иммерсивный интерфейс.

Фиг.4 иллюстрирует примерный иммерсивный интерфейс по фиг.3 вместе с примерными краями.

Фиг.5 иллюстрирует примерный иммерсивный интерфейс по фиг.3 и 4 вместе с линиями углового отклонения от перпендикулярной линии и линии от начальной точки до более поздней точки жеста.

Фиг.6 иллюстрирует края иммерсивного интерфейса, показанного на фиг.4, вместе с двумя зонами на правом краю.

Фиг.7 иллюстрирует интерфейс выбора приложения, представленный модулем системного интерфейса в ответ на краевой жест и над иммерсивным интерфейсом и веб-страницей по фиг.3.

Фиг.8 иллюстрирует примерный способ, позволяющий выполнять краевые жесты, включающий в себя определение интерфейса для представления, основываясь на некотором факторе жеста.

Фиг.9 иллюстрирует примерный способ, позволяющий выполнять расширение представления или прекращение представления пользовательского интерфейса, представленного в ответ на краевой жест, или представление другого пользовательского интерфейса.

Фиг.10 иллюстрирует портативный компьютер, имеющий сенсорный дисплей, имеющий оконный интерфейс электронной почты и два иммерсивных интерфейса.

Фиг.11 иллюстрирует интерфейсы по фиг.10 вместе с двумя жестами, имеющими начальную точку, более поздние точки и одну или несколько последующих точек.

Фиг.12 иллюстрирует оконный интерфейс электронной почты по фиг.10 и 11 вместе с интерфейсом обработки электронной почты в ответ на краевой жест.

Фиг.13 иллюстрирует интерфейсы по фиг.12 вместе с интерфейсом дополнительных вариантов выбора электронной почты, представленным в ответ на жест, определенный, что он имеет последующую точку на заданном расстоянии от края.

Фиг.14 иллюстрирует примерное устройство, в котором могут быть реализованы методики, позволяющие выполнять краевые жесты.

ПОДРОБНОЕ ОПИСАНИЕ

Обзор

Данный документ описывает методики и устройства, позволяющие выполнять краевой жест. Эти методики позволяют пользователю быстро и легко выбрать интерфейс, не видимый в настоящий момент на устройстве пользователя, а также другие операции.

Рассмотрим случай, когда пользователь просматривает фильм на планшетном вычислительном устройстве. Предположим, что фильм воспроизводится на иммерсивном интерфейсе, занимающем весь дисплей, и что пользователь хотел бы проверить свою веб-страницу социальной сети без остановки фильма. Описанные методики и устройства позволяют ей выбрать другие интерфейсы посредством простого жеста проведения пальцем, начинаемого на краю ее дисплея. Она может провести пальцем с одного края ее дисплея и вытащить пользовательский интерфейс, позволяющий ей выбрать свой веб-сайт социальной сети. Или, вместо этого, предположим, что она хотела бы взаимодействовать с мультимедийным приложением, воспроизводящим фильм таким образом, который не разрешается иммерсивным интерфейсом, например, отобразить меню, делающее возможным субтитры или комментарии режиссера. Она может провести пальцем с другого края дисплея ее планшета и извлечь меню управления для иммерсивного интерфейса и быстро и легко выбрать элементы и/или команды из этого меню.

В обоих этих случаях, ценное доступное пространство, используемое для воспроизведения фильма, не занималось экранными элементами управления, и пользователю не требовалось запоминать и находить аппаратную кнопку. Кроме того, ни один жест, кроме одного, начинающегося от края, не используется предлагаемыми методиками в данном примере, тем самым позволяя иммерсивному интерфейсу использовать почти все обычно доступные жесты. Кроме того, рассматривая краевые жесты или части их, предлагаемые методики не оказывают влияние на рабочие характеристики жеста или систему сенсорного ввода, так как краевые жесты могут быть обработаны перед тем, как весь жест будет завершен, избегая задержки, связанной с обработкой всех жестов, начатых где-то в другом месте.

Это только два примера из многочисленных путей, в которых предложенные здесь методики делают возможными и используют краевые жесты, прочие из которых описываются ниже.

Примерная система

Фиг.1 иллюстрирует примерную систему 100, в которой могут быть воплощены методики, позволяющие выполнять краевой жест. Система 100 включает в себя вычислительное устройство 102, которое изображено с шестью примерами: портативный компьютер 104, планшетный компьютер 106, смартфон 108, телевизионная абонентская приставка 110, настольный компьютер 112 и игровое устройство 114, хотя также могут использоваться другие вычислительные устройства и системы, такие как серверы и нетбуки.

Вычислительное устройство 102 включает в себя процессор(-ы) 116 компьютера и считываемые компьютером носители 118 данных (носители 118). Носители 118 включают в себя операционную систему 120, модуль 122 оконного режима, модуль 124 иммерсивного режима, модуль 126 системного интерфейса, обработчик 128 жестов и одно или несколько приложений 130, причем каждое имеет одно или несколько пользовательских интерфейсов 132 приложения.

Вычислительное устройство 102 также включает в себя или имеет доступ к одному или нескольким дисплеям 134 и механизмам 136 ввода. Четыре примерных дисплея показаны на фиг.1. Механизмы 136 ввода могут включать в себя, например, чувствительные к жестам датчики и устройства, такие как сенсорные датчики и датчики отслеживания движения (например, на основе камеры), а также мыши (автономные или интегральные с клавиатурой), сенсорные площадки и микрофоны с сопровождающим программным обеспечением распознавания голоса. Механизмы 136 ввода могут быть отдельными или интегральными с дисплеями 134; интегральные примеры включают в себя чувствительные к жестам дисплеи с интегрированными чувствительными к касанию или чувствительными к движению датчиками.

Модуль 122 оконного режима представляет пользовательские интерфейсы 132 приложения посредством окон, имеющих фреймы. Эти фреймы могут обеспечивать элементы управления, посредством которых можно взаимодействовать с приложением, и/или элементы управления, позволяющие пользователю перемещать и изменять размер окна.

Модуль 124 иммерсивного режима обеспечивает окружение, посредством которого пользователь может просматривать и взаимодействовать с одним или несколькими приложениями 130 при помощи пользовательских интерфейсов 132 приложения. В некоторых вариантах осуществления это окружение представляет содержимое приложений и делает возможным взаимодействие с приложениями с малым фреймом окна или без фрейма окна и/или без необходимости для пользователя уметь обращаться с компоновкой фрейма окна или первичностью относительно других окон (например, какое окно является активным или находится впереди) или вручную изменять размер или располагать пользовательские интерфейсы 132 приложения.

Это окружение, но это не требуется, может размещаться и/или возникать без использования оконного окружения, реализующей концепцию рабочего стола. Таким образом, в некоторых случаях модуль 124 иммерсивного режима представляет иммерсивную среду, которая не является окном (даже без реального фрейма) и предотвращает использование дисплеев, подобных рабочему столу (например, панель задач). Кроме того, в некоторых вариантах осуществления эта иммерсивная среда подобна операционной системе в том, что она не является закрываемой или способной деинсталлироваться. Когда она не требуется, в некоторых случаях эта иммерсивная среда дает возможность использовать все или почти все пиксели дисплея приложениями. Примеры иммерсивных сред приводятся ниже как часть описания предлагаемых методик, хотя они не являются исчерпывающими или они не предназначены для ограничения методик, описанных в данном документе.

Модуль 126 системного интерфейса обеспечивает один или несколько интерфейсов, посредством которых делается возможным взаимодействие с операционной системой 120, такие как, например, запускающий приложение интерфейс, меню запуска или системные инструментальные средства или меню вариантов выбора.

Операционная система 120, модули 122, 124 и 126, а также обработчик 128 жестов могут быть отдельными друг от друга или объединенными или интегрированными в любую подходящую форму.

Примерные способы

Фиг.2 описывает способ 200, позволяющий выполнять краевые жесты, основываясь на том, что краевой жест приблизительно перпендикулярен краю, на котором начинается жест. В частях последующего описания ссылка может делаться на систему 100 по фиг.1, ссылка на которую делается только для примера.

На этапе 202 принимают жест. Этот жест может приниматься в различных частях дисплея, таких как над оконным интерфейсом, иммерсивным интерфейсом или без интерфейса. Кроме того, этот жест может выполняться и приниматься различным образом, таким как указатель, отслеживающий перемещение, принимаемое посредством сенсорной панели, мыши или перекатываемого шарика, или физическое движение, выполненное рукой(-ами), пальцем(-ами) или стилусом, принятое посредством чувствительного к движению или чувствительного к касанию механизма. В некоторых случаях, жест принимается вне или близко к физическому краю дисплея (например, когда палец или стилус встречается с краем дисплея) посредством, например, сенсорного цифрового преобразователя, емкостного сенсорного экрана или емкостного датчика.

В качестве примера рассмотрим фиг.3, которая иллюстрирует планшетное вычислительное устройство 106. Планшет 106 включает в себя сенсорный дисплей 302, показанный отображающим иммерсивный интерфейс 304, который включает в себя веб-страницу 306. В качестве части текущего примера, на этапе 202 обработчик 128 жестов принимает жест 308, как показано на фиг.3.

На этапе 204 определяют, находится ли начальная точка жеста на краю. Как отмечено выше, рассматриваемым краем может быть край пользовательского интерфейса, или иммерсивного, или оконного, и/или дисплея. В некоторых случаях, конечно, краем пользовательского интерфейса также является край дисплея. Размер края может изменяться, основываясь на различных факторах касаемо дисплея или интерфейса. Малый дисплей или интерфейс может иметь меньший размер в абсолютных или пиксельных выражениях, чем большой дисплей или интерфейс. Высокочувствительный механизм ввода также допускает меньший край. В некоторых случаях, край может простираться за край дисплея или экрана, когда механизм ввода способен принимать часть жеста за пределами дисплея или экрана. Примерные края являются прямоугольником и изменяются от одного до двадцати пикселей по одной размерности и границей интерфейса в интерфейсе или дисплее по другой размерности, хотя вместо этого могут использоваться другие размеры и формы, включая выпуклые и вогнутые края.

Продолжая текущий пример, рассмотрим фиг.4, которая иллюстрирует иммерсивный интерфейс 304 и жест 308 по фиг.3, а также левый край 402, верхний край 404, правый край 406 и нижний край 408. Для визуальной ясности веб-страница 306 не показана. В данном примере размерности интерфейса и дисплея имеют умеренные размеры, между размерами смартфонов и размерами многочисленных портативных и настольных дисплеев. Края 402, 404, 406 и 408 имеют малую размерность в двадцать пикселей или около 10-15 мм в абсолютных выражениях, причем область каждого показана ограниченной пунктирными линиями на двадцати пикселях от границы дисплея на границах 410, 412, 414 и 416 края соответственно.

Обработчик 128 жестов определяет, что жест 308 имеет начальную точку 418 и что эта начальная точка 418 находится в пределах левого края 402. Обработчик 128 жестов определяет начальную точку в данном случае посредством приема данных, указывающих координаты [X, Y] в пикселях, на которых жест 308 начинается, и сравнения первой из этих координат с теми пикселями, которые содержатся в пределах каждого края 402-408. Обработчик 128 жестов часто может определять начальную точку и то, находится ли она на краю, быстрее частоты дискретизации, таким образом вызывая малое или отсутствие снижения рабочих характеристик, по сравнению с методами, которые просто передают жесты непосредственно на видимый интерфейс, над которым выполняется жест.

Возвращаясь, в целом, к способу 200, если на этапе 204 определено, что начальная точка жеста не находится на краю, способ 200 переходит по пути «Нет» на этап 206. На этапе 206 передают жесты на видимый пользовательский интерфейс, такой как расположенный снизу интерфейс, над которым принимается жест. Изменяя текущий пример, предположим, что было определено, что жест 308 не имеет начальной точки в пределах края. В таком случае обработчик 128 жестов передает буферизованные данные для жеста 308 на иммерсивный пользовательский интерфейс 304. После передачи жеста способ 200 завершается.

Если на этапе 204 определено, что начальная точка жеста находится на краю, способ 200 переходит по пути «Да» на этап 208. В необязательном порядке, на этапе 204 может быть определена длина части жеста перед переходом способа на этап 208. В некоторых случаях определение длины части жеста позволяет выполнять определение начальной точки перед завершением жеста. Этап 208 реагирует на положительное определение по этапу 204 определением того, является ли линия от начальной точки до более поздней точки жеста приблизительно перпендикулярной краю.

На этапе 208 в некоторых вариантах осуществления определяют используемую более позднюю точку. Обработчик 128 жестов, например, может определить более позднюю точку жеста, основываясь на том, что более поздняя точка принимается на заранее заданном расстоянии от края или начальной точки, такой как вне границы 410 края для края 402, или через двадцать пикселей от начальной точки 418, все на фиг.4. В некоторых других вариантах осуществления обработчик 128 жестов определяет более позднюю точку, основываясь на том, что она принимается через заранее заданное время после приема начальной точки, такая величина времени несколько больше, чем используемая, как правило, вычислительным устройством 102 для определения того, что жестом является жест касания и удержания или парящий жест.

Для текущего варианта осуществления обработчик 128 жестов использует принятую позже точку жеста 308, принятую вне края 402, если только принятая позже точка принимается в течение заранее заданного времени. Если не принимается никакая точка вне края в течение заранее заданного времени, обработчик 128 жестов переходит на этап 206 и передает жест 308 иммерсивному интерфейсу 304.

Используя начальную точку, на этапе 208 определяют, является ли линия от начальной точки до более поздней точки жеста приблизительно перпендикулярной краю. Различные углы отклонения могут использоваться при данном определении по этапу 208, такие как пять, десять, двадцать или тридцать градусов.

В качестве примера, рассмотрим угол отклонения в тридцать градусов от перпендикуляра. Фиг.5 иллюстрирует это примерное отклонение, изображая иммерсивный интерфейс 304, жест 308, левый край 402, левую границу 410 края и начальную точку 418 по фиг.3 и 4 вместе с линиями 502 отклонения в тридцать градусов от линии 504 перпендикуляра. Таким образом, обработчик 128 жестов определяет, что линия 506 от начальной точки 418 до более поздней точки 508 (которая находится на примерно двадцати градусах от перпендикуляра) является приблизительно перпендикулярной, основываясь на нахождении в пределах линии 502 примерного отклонения в тридцать градусов.

Как правило, если на этапе 208 определено, что линия не является приблизительно перпендикулярной краю, способ 200 переходит по пути «Нет» на этап 206 (например, траектория пальца изогнута). Как отмечено частично выше, на этапе 208 также может быть определено, что более поздняя точка или другой аспект жеста дисквалифицирует жест. Примеры включают в себя то, что, когда более поздняя точка находится в пределах края, например, из-за жеста парения, касания, нажатия и удержания или вверх и вниз (например, для прокрутки содержимого в пользовательском интерфейсе), когда, как установлено, жестом является жест единственного ввода и принимается второй ввод (например, первый палец начинает на краю, но второй палец затем соприкасается где-нибудь еще), или если событие касания происходит во время или перед жестом (например, палец уже выполняет соприкосновение где-то в другом месте, или соприкосновение принимается где-то в другом месте во время жеста).

Если на этапе 208 определено, что линия является приблизительно перпендикулярной, на основе более поздней точки вне края, способ 200 переходит по пути «Да» на этап 210.

Этап 210 реагирует на положительное определение по этапу 208 посредством передачи жеста на объект, отличающийся от видимого пользовательского интерфейса. Этим объектом не является пользовательский интерфейс, над которым был принят жест, предполагая, что он вообще был принят над пользовательским интерфейсом. На этапе 210 может быть определено, какому объекту также передать жест, например, основываясь на крае или зоне края, в которой принимается начальная точка жеста. Рассмотрим фиг.6, например, которая иллюстрирует иммерсивный интерфейс 304 и края 402, 404, 406 и 408 на фиг.4, но добавляет верхнюю зону 602 и нижнюю зону 604 к правому краю 406. Начальная точка в верхней зоне 602 может приводить к другому объекту (или даже этому же объекту, но другому пользовательскому интерфейсу, обеспечиваемому в ответ), чем начальная точка, принятая нижней зоной 604. Аналогично, начальная точка на верхнем краю 404 может приводить к другому объекту или интерфейсу, чем левый край 402 или нижний край 408.

В некоторых случаях, этим объектом является приложение, ассоциированное с пользовательским интерфейсом. В таком случае, передача жеста объекту может быть действующей для того, чтобы вызвать представление приложением второго пользовательского интерфейса, позволяющего выполнять взаимодействие с приложением. В вышеприведенном примере с фильмом объектом может быть медиаплеер, воспроизводящий фильм, но не иммерсивный интерфейс, отображающий фильм. Медиаплеер может затем представить второй пользовательский интерфейс, позволяющий выполнять выбор субтитров или комментарий режиссера, а не выбор, предоставляемый интерфейсом, отображающим фильм, такой как «пауза», «воспроизведение» и «останов». Эта возможность разрешается на фиг.1, где одно из приложений 130 может включать в себя или быть способным выполнять представление более одного пользовательского интерфейса 132 приложения. Таким образом, на этапе 210 может передаваться жест модулю 126 системного интерфейса, одному из приложений 130, представляющему в настоящий момент пользовательский интерфейс, или другому из приложений 130, не ограничиваясь перечисленными тремя возможностями.

Завершая текущий вариант осуществления, на этапе 210 обработчик 128 жестов передает жест 308 модулю 126 системного интерфейса. Модуль 126 системного интерфейса принимает буферизованную часть жеста 308 и продолжает принимать остальную часть жеста 308, когда он выполняется пользователем. Фиг.7 иллюстрирует возможную реакцию на прием жеста 308, изображая интерфейс 702 выбора приложения, представленный модулем 126 системного интерфейса, и над иммерсивным интерфейсом 304 и веб-страницей 306 с фиг.3. Интерфейс 702 выбора приложения позволяет выполнять выбор различных других приложений и их соответствующих интерфейсов в выбираемых плитках (tile) 704, 706, 708 и 710 приложения.

Примерный интерфейс 702 выбора приложения представляет собой иммерсивный пользовательский интерфейс, представляемый с использованием модуля 124 иммерсивного режима, хотя это не является жестким требованием. Представленными интерфейсами, или списком их, могут быть, вместо этого, оконные и представленные с использованием модуля 122 на основе окон. Оба этих модуля показаны на фиг.1.

На этапе 210 может, также или вместо этого, быть определено передать жест другим объектам и/или интерфейсам, основываясь на других факторах касаемо принятого жеста. Примерные факторы более подробно описаны в способе 800 ниже.

Отметьте, что способ 200 и другие способы, описанные в данном документе ниже, могут выполняться в реальном времени, например, когда выполняется и принимается жест. Это позволяет, среди прочего, пользовательскому интерфейсу, представляемому в ответ на жест, представляться до завершения жеста. Кроме того, пользовательский интерфейс может представляться постепенно, по мере приема жеста. Это позволяет осуществлять взаимодействие пользователя по вытягиванию пользовательского интерфейса из края в виде жеста с пользовательским интерфейсом, имеющим вид «прилипнувшего» к жесту (например, к точке мыши или пальцу человека, выполняющему жест).

Фиг.8 изображает способ 800, позволяющий выполнять краевые жесты, включая определение интерфейса для представления, основываясь на некоторых факторах жеста. В частях последующего описания ссылка может делаться на систему 100 по фиг.1, ссылка на которую сделана только для примера. Способ 800 может действовать полностью или частично отдельно от других способов, описанных в данном документе, или совместно с ними.

На этапе 802 определяют, что жест, выполненный над пользовательским интерфейсом, имеет начальную точку на краю пользовательского интерфейса и более позднюю точку не в пределах края. Этап 802 может функционировать аналогично способу 200 или использовать его аспекты, такие как определение более поздней точки, на которой основать определение по этапу 802. Этап 802 может осуществляться также по-другому.

В одном случае, например, на этапе 802 определяют, что жестом является жест проведения одним пальцем, начинающийся на краю видимого иммерсивного пользовательского интерфейса и имеющий более позднюю точку не на краю, но не основанную на угле жеста. Основываясь на этом определении, этап 802 переходит к этапу 804, а не передает жест видимому иммерсивному пользовательскому интерфейсу.

На этапе 804 определяют, какой интерфейс представлять, основываясь на одном или нескольких факторах жеста. Этап 804 может делать это, основываясь на окончательной или промежуточной длине жеста, того, является ли жест с единственной точкой или с многими точками (например, одним пальцем или многими пальцами), или скорости жеста. В некоторых случаях, два или более факторов жеста определяют, какой интерфейс представить, такого как жест перетаскивания и удержания, имеющий длину перетаскивания и время удержания, или жест перетаскивания и размещения, имеющий длину перетаскивания и позицию размещения. Таким образом, на этапе 804 может быть определено представить меню запуска в ответ на жест многими пальцами, интерфейс выбора приложения в ответ на относительно короткий жест одним пальцем или, например, интерфейс управления системой, позволяющий выполнять выбор для отключения вычислительного устройства 102 в ответ на относительно длинный жест одним пальцем. Чтобы это сделать, обработчик 128 жестов может определять длину жеста, скорость или число вводов (например, пальцев).

В ответ, на этапе 806 представляют определенный пользовательский интерфейс. Определенным пользовательским интерфейсом может быть любой из этих упомянутых в данном документе, а также полностью новый визуальный объект, такой как новая страница электронной книги, дополнительный визуальный объект (например, панель инструментов или навигационная панель) или модифицированный вид текущего пользовательского интерфейса (представляющего текст текущего пользовательского интерфейса с другим шрифтом, цветом или подсвечиванием). В некоторых случаях, могут представляться визуальные или невизуальные эффекты, такие как действия, относящиеся к видеоигре, или звуковые эффекты, ассоциированные с текущим или представленным пользовательским интерфейсом.

Предположим, в качестве примера, что обработчик 128 жестов определяет, основываясь на факторе жеста, представить пользовательский интерфейс, позволяющий выполнять взаимодействие с операционной системой 120. В ответ модуль 126 системного интерфейса представляет данный пользовательский интерфейс. Представление пользовательского интерфейса может осуществляться подобным образом, описанным в других способах, например, с постепенным отображением пользовательского интерфейса 702 выбора приложения на фиг.7.

После способа 200 и/или способа 800 в целом или частично, предложенные методики могут переходить на выполнение способа 900 по фиг.9. Способ 900 позволяет выполнять расширение пользовательского интерфейса, представление другого интерфейса или прекращение представления пользовательского интерфейса, представленного в ответ на краевой жест.

На этапе 902 принимают последующую точку жеста и после представления по меньшей мере некоторой части второго пользовательского интерфейса. Как отмечено частично выше, способы 200 и/или 800 могут представлять или вызывать представление второго пользовательского интерфейса, такого как второй пользовательский интерфейс для этого же приложения, ассоциированного с текущим пользовательским интерфейсом, другого приложения или системного пользовательского интерфейса.

В качестве примера, рассмотрим фиг.10, которая иллюстрирует портативный компьютер 104, имеющий сенсорный дисплей 1002, отображающий оконный интерфейс 1004 электронной почты и два иммерсивных интерфейса 1006 и 1008. Оконный интерфейс 1004 электронной почты ассоциирован с приложением, которое управляет электронной почтой, которое может быть удаленным или локальным для портативного компьютера 104. Фиг.10 также иллюстрирует два жеста 1010 и 1012. Жест 1010 выполняется прямой линией, тогда как жест 1012 изменяет направление на обратное (показан двумя стрелками, чтобы показать два направления).

Фиг.11 иллюстрирует жест 1010, имеющий начальную точку 1102, более позднюю точку 1104 и последующую точку 1106, и жест 1012, имеющий эту же начальную точку 1102, более позднюю точку 1108 и первую последующую точку 1110 и вторую последующую точку 1112. Фиг.11 также изображает нижний край 1114, область 1116 более поздней точки и область 1118 добавления интерфейса.

На этапе 904 определяют, основываясь на последующей точке, включает ли в себя жест изменение направления на обратное, удлинение или ничего. На этапе 904 может быть определено изменение направления на обратное в направлении жеста посредством определения того, что последующая точка находится на краю или ближе к краю, чем предшествующая точка жеста. На этапе 904 может быть определено, что жест удлиняется, основываясь на том, что последующая точка находится на заранее заданном расстоянии от края или более поздней точки. Если ни одно из перечисленного не определено как истинное, способ 900 может повторять этапы 902 и 904 для приема и анализа дополнительных последующих точек до тех пор, пока не завершится жест. Если на этапе 904 определено, что имеется изменение направления на обратное, способ 900 переходит по пути «Изменение направления на обратное» на этап 906. Если на этапе 904 определено, что жест удлиняется, способ 900 переходит по пути «Удлинение» на этап 908.

В контексте настоящего примера, предположим, что обработчик 128 жестов принимает первую последующую точку 1110 жеста 1012. Обработчик 128 жестов затем определяет, что первая последующая точка 1110 не находится на краю 1114, не находится ближе, чем предшествующая точка жеста к краю 1114 (например, не находится ближе, чем более поздняя точка 1108), и не находится на заранее заданном расстоянии от края или более поздней точки посредством того, что не находится в пределах зоны 1118 добавления интерфейса. В таком случае, способ 900 возвращается на этап 902.

При второй итерации этапа 902 предположим, что обработчик 128 жестов принимает вторую последующую точку 1112. В таком случае, обработчик 128 жестов определяет, что вторая последующая точка 112 находится ближе к краю 1114, чем первая последующая точка 1110 и, таким образом, жест 1012 включает в себя изменение направления на обратное. Обработчик 128 жестов затем переходит на этап 906 для прекращения представления второго пользовательского интерфейса, ранее представленного в ответ на жест. В качестве примера, рассмотрим фиг.12, которая иллюстрирует интерфейс 1202 обработки электронной почты. В данном примерном случае этапа 906 обработчик 128 жестов вызывает прекращение представления приложением электронной почты интерфейса 1202 в ответ на изменение направления на обратное жеста 1012 (не показан удаленным).

На этапе 908, однако, представляют или вызывают представление третьего пользовательского интерфейса или расширение второго пользовательского интерфейса. В некоторых случаях, представление третьего пользовательского интерфейса вызывает прекращение представления второго пользовательского интерфейса посредством либо аннулирования представления, либо скрытия второго пользовательского интерфейса (например, представление третьего пользовательского интерфейса поверх второго пользовательского интерфейса). Продолжая текущий пример, рассмотрим фиг.13, которая иллюстрирует интерфейс 1302 дополнительных опций электронной почты в ответ на определение того, что жест 1010 имеет последующую точку 1106 на заранее заданном расстоянии от края 1104, в данном случае в пределах зоны 1118 добавления интерфейса по фиг.11. Эти зона и заранее заданное расстояние могут устанавливаться на основе размера пользовательского интерфейса, ранее представленного в ответ на жест. Таким образом, пользователь, желающий добавить дополнительные элементы управления, может просто продлить жест за пользовательский интерфейс, представленный в ответ на более раннюю часть жеста.

Способ 900 может повторяться для добавления дополнительных пользовательских интерфейсов или расширения представленного пользовательского интерфейса. Возвращаясь к примерному интерфейсу 702 по фиг.7, например, обработчик 128 жестов может продолжать добавлять интерфейсы или элементы управления к интерфейсу 702, по мере того жест 308 проходит за пределы интерфейса 702, например, посредством представления дополнительного набора выбираемых плиток приложения. Если жест 308 проходит за эти дополнительные плитки, обработчик 128 жестов может вызвать представление модулем 124 системного интерфейса другого интерфейса, рядом с плитками, чтобы дать возможность пользователю выбрать элементы управления, такие как приостановить, ожидать, переключить режимы (иммерсивный на оконный и наоборот) или отключить вычислительное устройство 102.

Хотя вышеприведенные примерные пользовательские интерфейсы, представленные в качестве реакции на краевой жест, являются непрозрачными, они также могут быть частично прозрачными. Это может быть полезным тем, что не загораживает содержимое. В примере с фильмом, описанном выше, представляемый пользовательский интерфейс может быть частично прозрачным, тем самым позволяя то, что фильм только частично загораживается во время использования пользовательского интерфейса. Аналогично, в примере по фиг.12 и 13, интерфейсы 1202 и 1302 могут быть частично прозрачными, тем самым позволяя пользователю видеть текст электронной почты, в тоже время также выбирать элемент управления в одном из интерфейсов.

Предшествующее описание описывает способы, в которых предложенным подходом делаются возможными и используются краевые жесты. Эти способы показаны в виде наборов этапов, которые задают операции, выполняемые, но необязательно ограниченные порядком, показанным для выполнения операций соответствующими блоками.

Аспекты этих способов могут быть реализованы аппаратными средствами (например, неизменяемыми логическими схемами), программно-аппаратными средствами, системой на кристалле (SoC), программными средствами (firmware), ручной обработкой или любой их комбинацией. Программная реализация представляет программный код, который выполняет заданные задачи при его исполнении процессором компьютера, такой как программное обеспечение, приложения, подпрограммы, программы, объекты, компоненты, структуры данных, процедуры, модули, функции и т.п. Программный код может сохраняться на одном или нескольких считываемых компьютером устройствах памяти, как локальных, так и/или удаленных от процессора компьютера. Способы также могут практически использоваться в распределенной вычислительной среде посредством многочисленных вычислительных устройств.

Примерное устройство

Фиг.14 иллюстрирует различные компоненты примерного устройства 1400, которое может быть реализовано в виде любого типа клиента, сервера и/или вычислительного устройства, как описано с ссылкой на предыдущие фиг.1-13, для реализации методик, позволяющих выполнять краевые жесты. В вариантах осуществления устройство 1400 мо