Навигация по пользовательскому интерфейсу

Навигация по пользовательскому интерфейсу

Иллюстрации

Показать все

Реферат

Уровень техники

[0001] Навигация по электронному контенту для того, чтобы выполнять поиск и выбирать релевантные части контента, представляет собой стандартную задачу. Во многих примерах, контент отображается пользователю через дисплей, ассоциированный с вычислительным устройством. Для крупных совокупностей контента, полный диапазон и охват контента не может быть просмотрен одновременно в ограниченном пространстве дисплея пользователя. В этих примерах, пользователь типично осуществляет навигацию по контенту посредством прокрутки или панорамирования, чтобы раскрывать новый контент. В некоторых примерах, технологии слежения за движениями глаз могут быть использованы для того, чтобы отслеживать местоположение взгляда пользователя относительно дисплея и использовать такое местоположение взгляда для того, чтобы двигать или прокручивать контент.

[0002] Тем не менее, типичные интерфейсы слежения за движениями глаз могут не предоставлять интуитивное и приятное взаимодействие с пользователем при навигации по контенту через дисплей. В частности, когда контент включает в себя обширную иерархию информации, такие интерфейсы слежения за движениями глаз типично неспособны к предоставлению приемлемого взаимодействия с пользователем для навигации по полному диапазону и охвату иерархии информации. Этот недостаток может быть особенно очевидным, если дисплей имеет ограниченный размер, к примеру, в смартфоне.

Сущность изобретения

[0003] В данном документе раскрыты различные варианты осуществления, которые связаны с системами и способами для навигации по иерархии визуальных элементов. Например, один раскрытый вариант осуществления предоставляет способ для навигации по иерархии визуальных элементов, причем иерархия содержит двумерную плоскость, включающую в себя первую ось и вторую ось, ортогональную к первой оси. Способ включает в себя представление одного или более визуальных элементов через систему отображения устройства отображения, которое включает в себя систему слежения за взглядом, причем устройство отображения функционально соединено с вычислительным устройством.

[0004] Исходное местоположение устанавливается внутри просматриваемой области устройства отображения. Также устанавливается пропорциональное соотношение размеров между каждым из визуальных элементов и каждым из других визуальных элементов в плоскости. Способ включает в себя прием данных слежения за взглядом из системы слежения за взглядом и, с использованием данных слежения за взглядом, определение местоположения взгляда, на которое пользователь смотрит внутри просматриваемой области. Способ дополнительно включает в себя сопоставление местоположения взгляда с целевым местоположением в двумерной плоскости, причем целевое местоположение отстоит от исходного местоположения вдоль первой оси.

[0005] Способ включает в себя инициирование движения целевого местоположения к исходному местоположению, причем движение содержит первый компонент вдоль первой оси. По мере того, как целевое местоположение приближается к исходному местоположению вдоль первой оси, способ включает в себя постепенное увеличение каждого из визуальных элементов, которые являются просматриваемыми внутри просматриваемой области, при одновременном поддержании пропорционального соотношения размеров между каждым из визуальных элементов и каждым из других визуальных элементов.

[0006] Данная сущность изобретения предоставлена для того, чтобы представлять в упрощенной форме выбор концепций, которые дополнительно описаны ниже в подробном описании. Эта сущность изобретения не имеет намерением ни то, чтобы идентифицировать ключевые признаки или существенные признаки заявленного объекта изобретения, ни то, чтобы использоваться таким образом, что она ограничивает объем заявленного объекта изобретения. Кроме того, заявленный объект изобретения не ограничен реализациями, которые устраняют какие-либо или все недостатки, отмеченные в любой части данного раскрытия сущности.

Краткое описание чертежей

[0007] Фиг. 1 является схематичным видом системы пользовательского интерфейса для навигации по иерархии визуальных элементов согласно варианту осуществления настоящего раскрытия сущности.

[0008] Фиг. 2 показывает пример устройства со шлемом-дисплеем согласно варианту осуществления настоящего раскрытия сущности.

[0009] Фиг. 3 является схематичным видом в перспективе комнаты, включающей в себя пользователя, носящего устройство со шлемом-дисплеем по фиг. 2, настенный дисплей и другого пользователя, держащего планшетный компьютер.

[0010] Фиг. 4 является схематичным видом просматриваемой области устройства отображения, который отображает часть визуальных элементов из двумерной плоскости, и соответствующим схематичным видом иерархии визуальных элементов, расположенных в двумерной плоскости.

[0011] Фиг. 5 является схематичным видом просматриваемой области устройства отображения по фиг. 4, отображающим часть иерархии визуальных элементов и показывающим исходное местоположение и местоположение взгляда.

[0012] Фиг. 6 является схематичным видом просматриваемой области устройства отображения по фиг. 5, показывающим плоскость визуальных элементов, перемещающихся в пространстве относительно просматриваемой области, и визуальных элементов, увеличенных соответствующим образом.

[0013] Фиг. 7 является схематичным видом просматриваемой области устройства отображения по фиг. 6 показывающим плоскость визуальных элементов, дополнительно перемещающихся в пространстве относительно просматриваемой области, и визуальных элементов, дополнительно увеличенных соответствующим образом.

[0014] Фиг. 8 является схематичным видом просматриваемой области устройства отображения, показывающим местоположение взгляда выше исходного местоположения в просматриваемой области.

[0015] Фиг. 9 является схематичным видом просматриваемой области устройства отображения по фиг. 8, показывающим плоскость визуальных элементов, перемещающихся в пространстве вниз относительно просматриваемой области, и визуальных элементов, соответственно, с немодифицированным размером.

[0016] Фиг. 10A и 10B являются блок-схемами последовательности операций способа для навигации по иерархии визуальных элементов согласно варианту осуществления настоящего раскрытия сущности.

[0017] Фиг. 11 является упрощенной схематичной иллюстрацией варианта осуществления вычислительного устройства.

Подробное описание изобретения

[0018] Фиг. 1 показывает схематичный вид одного варианта осуществления системы 10 пользовательского интерфейса для навигации по иерархии визуальных элементов. Система 10 пользовательского интерфейса включает в себя навигационный модуль 14, который может сохраняться в устройстве 18 хранения данных большой емкости вычислительного устройства 22. Навигационный модуль 14 может загружаться в запоминающее устройство 26 и выполняться посредством процессора 30 вычислительного устройства 22 для того, чтобы осуществлять один или более способов и процессов, подробнее описанных ниже.

[0019] Система 10 пользовательского интерфейса может включать в себя устройство отображения, которое функционально соединено с вычислительным устройством 22. В одном примере, устройство отображения может содержать отдельный дисплей 34, такой как, автономный монитор, например, который функционально соединен с вычислительным устройством 22 через проводное или беспроводное соединение. Как подробнее описано ниже, дисплей 34 может включать в себя систему 36 отображения для представления одного или более визуальных элементов пользователю и систему 60 слежения за взглядом.

[0020] В других примерах вычислительное устройство 22 может быть интегрировано в дисплей 34, так что формируется одно устройство. Такие устройства могут включать в себя, например, карманные смартфоны, электронные устройства чтения, переносные компьютеры, ноутбуки и планшетные компьютеры и т.д. Следует принимать во внимание, что множество других типов и конфигураций устройств отображения, имеющих различные форм-факторы, независимо от того, отдельных или интегрированных с вычислительным устройством 22, также могут использоваться и находятся в пределах объема настоящего раскрытия сущности.

[0021] Вычислительное устройство 22 может принимать форму настольного вычислительного устройства, мобильного вычислительного устройства, такого как смартфон, переносного компьютера, ноутбука или планшетного компьютера, сетевого компьютера, домашнего мультимедийного компьютера, интерактивного телевизионного приемника, игровой системы или другого подходящего типа вычислительного устройства. Ниже подробнее описаны дополнительные подробности относительно компонентов и вычислительных аспектов вычислительного устройства 22 со ссылкой на фиг. 11.

[0022] В других примерах устройство отображения может принимать форму устройства с поддержкой виртуальной или смешанной реальности, такого как устройство 38 со шлемом-дисплеем (HMD), которое может создавать окружение 58 смешанной реальности. В этих примерах, система 10 пользовательского интерфейса может включать в себя программу 40 отображения смешанной реальности, которая может генерировать виртуальное окружение 42 для отображения через HMD-устройство 38. Виртуальное окружение 42 может включать в себя одно или более виртуальных изображений, таких как трехмерные (3D) голографические объекты и двумерные (2D) виртуальные изображения, которые генерируются и отображаются через HMD-устройство 38.

[0023] Вычислительное устройство 22 может функционально соединяться с HMD-устройством 38 с использованием проводного соединения или может использовать беспроводное соединение через Wi-Fi, Bluetooth или любой другой подходящий протокол беспроводной связи. Например, вычислительное устройство 22 может коммуникативно подсоединяться к сети 44. Сеть 44 может принимать форму локальной вычислительной сети (LAN), глобальной вычислительной сети (WAN), проводной сети, беспроводной сети, персональной вычислительной сети или комбинации вышеперечисленного и может включать в себя Интернет. Дополнительно, пример, проиллюстрированный на фиг. 1, показывает вычислительное устройство 22 в качестве отдельного компонента от HMD-устройства 38. Следует принимать во внимание, что в других примерах вычислительное устройство 22 может быть интегрировано в HMD-устройство 38.

[0024] Со ссылкой теперь также на фиг. 2 предоставляется один пример HMD-устройства 200 в форме пары носимых очков с прозрачным дисплеем 52. Следует принимать во внимание, что в других примерах, HMD-устройство 200 может принимать другие подходящие формы, в которых прозрачный, полупрозрачный или непрозрачный дисплей поддерживается перед глазом или глазами смотрящего. Также следует принимать во внимание, что HMD-устройство 38, показанное на фиг. 1, может принимать форму HMD-устройства 200, как подробнее описано ниже, или любого другого подходящего HMD-устройства.

[0025] Со ссылкой на фиг. 1 и 2, HMD-устройство 38 включает в себя систему 48 с HMD-дисплеем и прозрачный дисплей 52, который предоставляет возможность доставки таких изображений, как голографические объекты, к глазам пользователя 46. Прозрачный дисплей 52 может быть выполнен с возможностью визуально дополнять внешний вид физического окружения 56 для пользователя 46, просматривающего физическое окружение через прозрачный дисплей. Например, внешний вид физического окружения 56 может дополняться посредством графического контента (например, одного или более пикселов, имеющих соответствующий цвет и яркость), который представляется через прозрачный дисплей 52, чтобы создавать окружение 58 смешанной реальности.

[0026] Прозрачный дисплей 52 также может быть выполнен с возможностью позволять пользователю просматривать физический объект реального мира в физическом окружении 56 через один или более частично прозрачных пикселов, которые отображают представление виртуального объекта. Как показано на фиг. 2, в одном примере, прозрачный дисплей 52 может включать в себя элементы формирования изображений, расположенные внутри линз 204 (такой как, например, просвечивающий дисплей на органических светодиодах (OLED)). В качестве другого примера, прозрачный дисплей 52 может включать в себя светомодулятор на крае линз 204. В этом примере линзы 204 могут служить в качестве световода для доставки света из светомодулятора к глазам пользователя. Такой световод может позволять пользователю воспринимать 3D голографическое изображение, расположенное в физическом окружении 56, которое просматривает пользователь, при одновременном предоставлении возможности пользователю просматривать физические объекты в физическом окружении, таким образом создавая окружение смешанной реальности.

[0027] HMD-устройство 38 также может включать в себя различные датчики и связанные системы. Например, HMD-устройство 38 может включать в себя систему 60 слежения за взглядом, которая использует, по меньшей мере, один обращенный внутрь датчик 212. Обращенный внутрь датчик 212 может представлять собой датчик изображений, который выполнен с возможностью получать данные изображений в форме данных 64 слежения за взглядом от глаз пользователя. Если пользователь соглашается на получение и использование этой информации, система 60 слежения за взглядом может использовать эту информацию, чтобы отслеживать позицию и/или движение глаз пользователя.

[0028] В одном примере система 60 слежения за взглядом включает в себя подсистему обнаружения взгляда, выполненную с возможностью обнаруживать направление взгляда каждого глаза пользователя. Подсистема обнаружения взгляда может быть выполнена с возможностью определять направления взгляда каждого из глаз пользователя любым подходящим способом. Например, подсистема обнаружения взгляда может содержать один или более источников света, таких как источники инфракрасного света, выполненных с возможностью заставлять отблеск света отражаться от роговой оболочки каждого глаза пользователя. Один или более датчиков изображений в таком случае могут быть выполнены с возможностью захватывать изображение глаз пользователя.

[0029] Изображения отблесков и зрачков, как определено из данных изображений, собранных из датчиков изображений, могут использоваться для того, чтобы определять оптическую ось каждого глаза. С использованием этой информации система 60 слежения за взглядом затем может определять направление и/или то, на какой физический объект или виртуальный объект смотрит пользователь. Система 60 слежения за взглядом дополнительно может определять то, на какую точку на физическом или виртуальном объекте смотрит пользователь. Такие данные 64 слежения за взглядом затем могут предоставляться в вычислительное устройство 22. Следует понимать, что подсистема обнаружения взгляда может иметь любое подходящее число и компоновку источников света и датчиков изображений.

[0030] HMD-устройство 38 также может включать в себя системы датчиков, которые принимают данные 66 физического окружения из физического окружения 56. Например, HMD-устройство 38 может включать в себя систему 68 оптических датчиков, которая использует, по меньшей мере, один обращенный наружу датчик 216, к примеру, оптический датчик, чтобы захватывать данные изображений. Обращенный наружу датчик 216 может обнаруживать движения в своем поле зрения, к примеру, вводы на основе жестов или другие движения, выполняемые пользователем 46 либо человеком или физическим объектом в поле зрения. Обращенный наружу датчик 216 также может захватывать информацию двумерных изображений и информацию глубины из физического окружения 56 и физических объектов в окружении. Например, обращенный наружу датчик 216 может включать в себя камеру глубины, камеру для съемки в видимом диапазоне, камеру для съемки в инфракрасном диапазоне и/или камеру для слежения за позицией.

[0031] HMD-устройство 38 может включать в себя считывание глубины через одну или более камер глубины. В одном примере, каждая камера глубины может включать в себя левую и правую камеры системы стереоскопического зрения. Изображения с разрешением по времени из одной или более этих камер глубины могут быть совмещены между собой и/или с изображениями из другого оптического датчика, такого как камера для съемки в видимом спектре, и могут быть комбинированы для того, чтобы давать в результате видео с разрешением по глубине.

[0032] В других примерах камера глубины структурированного света может быть выполнена с возможностью проецировать структурированное инфракрасное освещение и изображать освещение, отражаемое от сцены, на которую проецируется освещение. Карта глубины сцены может быть составлена на основе интервалов между смежными признаками в различных областях изображаемой сцены. В еще одних других примерах камера глубины может принимать форму времяпролетной камеры глубины, выполненной с возможностью проецировать импульсное инфракрасное освещение на сцену и обнаруживать освещение, отражаемое от сцены. Следует принимать во внимание, что любая другая подходящая камера глубины может использоваться в пределах объема настоящего раскрытия сущности.

[0033] Обращенный наружу датчик 216 может захватывать изображения физического окружения 56, в котором расположен пользователь 46. В одном примере, программа 40 отображения смешанной реальности может включать в себя 3D систему моделирования, которая использует такой ввод, чтобы генерировать виртуальное окружение 42, которое моделирует физическое окружение 56, окружающее пользователя 46.

[0034] HMD-устройство 38 также может включать в себя систему 72 датчиков положения, которая использует один или более датчиков 220 движения для того, чтобы захватывать позиционные данные 76 и за счет этого обеспечивать обнаружение движения, слежение за позицией и/или считывание ориентации HMD-устройства. Например, система 72 датчиков положения может быть использована для того, чтобы определять направление, скорость и ускорение головы пользователя. Система 72 датчиков положения также может быть использована для того, чтобы определять ориентацию позы головы для головы пользователя. В одном примере, система 72 датчиков положения может содержать блок инерциальных измерений, сконфигурированный в качестве системы датчиков положения с шестью степенями свободы или с шестью осями. Эта примерная система датчиков положения, например, может включать в себя три акселерометра и три гироскопа, чтобы указывать или измерять изменение местоположения HMD-устройства 38 в трехмерном пространстве вдоль трех ортогональных осей (например, X, Y, Z) и изменение ориентации HMD-устройства относительно трех ортогональных осей (например, наклон в поперечном направлении, наклон в продольном направлении, наклон относительно вертикальной оси).

[0035] Система 72 датчиков положения также может поддерживать другие подходящие технологии позиционирования, такие как GPS или другие глобальные навигационные системы. Дополнительно, хотя описаны конкретные примеры систем датчиков положения, следует принимать во внимание, что могут использоваться другие подходящие системы датчиков положения. В некоторых примерах, датчики 220 движения также могут использоваться в качестве устройств пользовательского ввода, так что пользователь может взаимодействовать с HMD-устройством 38 через жесты шеи и головы или даже тела. HMD-устройство 38 также может включать в себя микрофонную систему 80, которая включает в себя один или более микрофонов 224, которые захватывают аудиоданные. В других примерах, аудио может быть представлено пользователю через один или более динамиков 228 на HMD-устройстве 38.

[0036] HMD-устройство 38 также может включать в себя процессор 230, имеющий логическую подсистему и подсистему хранения данных, как подробнее описано ниже относительно фиг. 11, которые поддерживают связь с различными датчиками и системами HMD-устройства. В одном примере, подсистема хранения данных может включать в себя инструкции, которые выполняются посредством логической подсистемы, чтобы принимать входные сигналы из датчиков и направлять такие входные данные в вычислительное устройство 22 (в необработанной или обработанной форме) и представлять изображения пользователю через прозрачный дисплей 52.

[0037] Следует принимать во внимание, что HMD-устройство 38 и связанные датчики и другие компоненты, описанные выше и проиллюстрированные на фиг. 1 и 2, предоставляются в качестве примера. Эти примеры не имеют намерение быть ограниченными любым способом, поскольку могут быть использованы любые другие подходящие датчики, компоненты и/или комбинации датчиков и компонентов. Поэтому следует понимать, что HMD-устройство 38 может включать в себя дополнительные и/или альтернативные датчики, камеры, микрофоны, устройства ввода, устройства вывода и т.д. без отступления от объема данного раскрытия сущности. Дополнительно, физическая конфигурация HMD-устройства 38 и его различных датчиков и субкомпонентов может принимать множество различных форм без отступления от объема данного раскрытия сущности.

[0038] Со ссылкой теперь на фиг. 3-9, ниже предоставляются описания примерных случаев использования и вариантов осуществления системы 10 пользовательского интерфейса. Фиг. 3 предоставляет схематичную иллюстрацию пользователя 304, расположенного в физическом окружении, которое содержит гостиную 308, причем пользователь взаимодействует с окружением 58 смешанной реальности через HMD-устройство 38 в форме HMD-устройства 200. Как подробнее описано ниже, навигационный модуль 14 может быть выполнен с возможностью отображать иерархию визуальных элементов через HMD-устройство 200 и позволять пользователю 304 осуществлять навигацию по иерархии посредством слежения за взглядом.

[0039] Другой пользователь 312 может держать планшетный компьютер 316, который включает в себя систему 10 пользовательского интерфейса и включает в себя систему слежения за взглядом, как описано выше. Гостиная 308 также может включать в себя настенный дисплей 320, который может функционально соединяться с игровой системой 324. Игровая система 324 и/или дисплей 320 также может включать в себя систему 10 пользовательского интерфейса и систему слежения за взглядом, как описано выше. Для целей нижеприведенного описания варианты использования системы 10 пользовательского интерфейса поясняются в связи с планшетным компьютером 316. Также следует принимать во внимание, что также может использоваться любое подходящее устройство отображения.

[0040] Как показано на фиг. 1, навигационный модуль 14 может принимать или может генерировать иерархию визуальных элементов 70, в которых элементы располагаются по всей 2D плоскости 74. Со ссылкой теперь на фиг. 4 предоставляется схематичный вид одного примера иерархии визуальных элементов 70, расположенных в 2D плоскости 74. Фиг. 4 также иллюстрирует соответствующий схематичный вид просматриваемой области 404 устройства 408 отображения, такого как планшетный компьютер 316, который отображает часть визуальных элементов 70 в 2D плоскости 74. Как подробнее описано ниже, навигационный модуль 14 позволяет пользователю естественно и интуитивно осуществлять навигацию между визуальными элементами 70 в 2D плоскости 74 посредством вытаскивания одного или более желаемых элементов в просматриваемую область 404 посредством взгляда.

[0041] В этом примере, визуальные элементы 70 связаны с программой-будильником 78 и содержат обозначения AM, PM и MIL (для армии), вместе со столбцом чисел, представляющих настройку часов, и столбцом чисел, представляющих настройку минут для будильника. Местоположения и направления движения в 2D плоскости 74 могут ссылаться на горизонтальную ось X и вертикальную ось Y. Следует принимать во внимание, что в других примерах, по любой подходящей иерархии данных, представленных посредством визуальных элементов, может осуществляться навигация с использованием системы 10 пользовательского интерфейса, как описано в данном документе.

[0042] Как показано на фиг. 4, визуальные элементы 70 в 2D плоскости 74 скомпонованы в иерархическим виде, так что каждый из элементов непосредственно подчинен не более чем еще одному элементу. В этом примере, иерархия визуальных элементов 70 включает в себя три уровня или столбца A, B и C. Визуальные элементы PM, AM и MIL могут описываться как элементы-вершины, которым подчиняются все другие визуальные элементы, прямо или косвенно. Например, число 5 непосредственно подчинено элементу-вершине AM и косвенно подчинено элементам-вершинам PM и MIL. Дополнительно, в этом примере, некоторые визуальные элементы 70, к примеру, число 12, не подчинены непосредственно родительскому визуальному элементу.

[0043] Дополнительно, в этом примере, иерархия не более трех дочерних визуальных элементов предоставляется для каждого родительского визуального элемента. Например, числа 1, 2 и 3 являются дочерними визуальными элементами относительно родительского визуального элемента PM. Следует принимать во внимание, что множество других вариаций и различных компоновок иерархий визуальных элементов могут использоваться в связи с системой 10 пользовательского интерфейса, описанной в данном документе. Такие другие иерархии могут включать в себя меньшее или большее число уровней визуальных элементов 70.

[0044] Как отмечено выше, фиг. 4 показывает схематичный вид просматриваемой области 404 устройства 408 отображения, который отображает часть визуальных элементов 70 в 2D плоскости 74, проиллюстрированной ниже устройства отображения. Чтобы упростить описание, предоставляются индикация 404' просматриваемой области 404 и индикация 408' устройства 408 отображения с перекрытием 2D плоскости 74, чтобы указывать соответствующую часть 2D плоскости, которая отображается внутри просматриваемой области.

[0045] Чтобы упростить навигацию, навигационный модуль 14 может устанавливать пропорциональное соотношение размеров между каждым визуальным элементом 70 в 2D плоскости 74 и каждым из других визуальных элементов в плоскости. Для целей этого раскрытия сущности, "пропорциональное соотношение размеров" между двумя визуальными элементами 70 задается как первый визуальный элемент, имеющий первый размер, который является пропорциональным второму размеру второго визуального элемента при просмотре в просматриваемой области 404.

[0046] Например, и в примерах, показанных на фиг. 4-7, число 7 в столбце B имеет пропорциональное соотношение размеров относительно других чисел в столбце B. В этом пропорциональном соотношении размеров, число 7 и другие числа в столбце B имеют идентичный размер. Дополнительно, это пропорциональное соотношение размеров между визуальными элементами 70 в столбце B поддерживается независимо от их положения или фактического отображаемого размера внутри просматриваемой области 404 дисплея 408. Другими словами, визуальные элементы 70 в столбце B поддерживают идентичный размер относительно друг друга независимо от их положения внутри просматриваемой области 404. В настоящем примере, это пропорциональное соотношение размеров также справедливо для визуальных элементов 70 в столбцах A и C.

[0047] Визуальные элементы 70 в столбце B также имеют пропорциональное соотношение размеров относительно визуальных элементов 70 в столбцах A и C. В другом примере, и как показано на фиг. 4-7, каждый из визуальных элементов PM, AM и MIL в столбце A может быть на 150% больше каждого из визуальных элементов в столбце B. Это пропорциональное соотношение размеров также поддерживается независимо от положения или фактического размера этих визуальных элементов 70 внутри просматриваемой области 404.

[0048] Например, визуальный элемент AM может отображаться с размером, на 150% превышающим размер числа 7, независимо от положения или фактического размера этих визуальных элементов внутри просматриваемой области 404. Аналогичным образом, каждый из визуальных элементов 70 в столбце B может быть на 120% крупнее каждого из визуальных элементов в столбце C, независимо от положения или отображаемого размера этих визуальных элементов внутри просматриваемой области 404.

[0049] Следует принимать во внимание, что также могут использоваться различные другие пропорциональные соотношения размеров, имеющие другие разности размеров между визуальными элементами 70 различных столбцов. Также следует принимать во внимание, что в раскрытых примерах, показанных на фиг. 4-7, пропорциональные соотношения размеров варьируются относительно горизонтального направления или направления по оси X. В других примерах, пропорциональные соотношения размеров могут варьироваться относительно вертикального направления или направления по оси Y. Также следует принимать во внимание, что фиг. 4-7 являются схематичными иллюстрациями и могут визуализироваться не в масштабе.

[0050] В других примерах навигационный модуль 14 может иметь такую конфигурацию, в которой все визуальные элементы 70, отображаемые в центре просматриваемой области 404, могут отображаться с идентичным размером. В этих примерах пропорциональные соотношения размеров между визуальными элементами могут масштабироваться соответствующим образом. В одном примере сумма геометрических рядов может использоваться для того, чтобы обеспечивать, что постепенное увеличение визуальных элементов 70, подробнее описанных ниже, равномерно приводит к согласованному размеру визуального элемента в центре просматриваемой области 404.

[0051] Как схематично проиллюстрировано на фиг. 4-7 и при просмотре справа налево вдоль оси X, размер визуальных элементов 70 увеличивается от одного столбца к другому. Дополнительно, как отмечено выше и подробнее пояснено ниже, пропорциональные соотношения размеров поддерживаются по мере того, как пользователь осуществляет навигацию через иерархию визуальных элементов 70, и по мере того, как различные элементы изменяют размер, когда они двигаются через просматриваемую область 404 дисплея 408. Преимущественно, поддержание пропорционального соотношения размеров между визуальными элементами 70 в силу этого предоставляет пользователю согласованное и естественное визуальное взаимодействие навигации через несколько уровней иерархии визуальных элементов.

[0052] Ниже предоставляются примеры упрощения навигации в двумерной плоскости 74 визуальных элементов 70 посредством слежения за взглядом. Со ссылкой теперь на фиг. 5, предоставляется схематичный вид просматриваемой области 404 устройства 408 отображения. Просматриваемая область 404 отображает часть иерархии визуальных элементов 70 в 2D плоскости 74, показанной на фиг 4. Фиг. 5 также показывает исходное местоположение H, которое устанавливается посредством навигационного модуля 14 и расположено, в этом примере, в центре просматриваемой области 404. В других примерах исходное местоположение H может быть расположено в другом месте в просматриваемой области 404. Как показано на фиг. 4, исходное местоположение H также сопоставляется с соответствующим местоположением в 2D плоскости 74.

[0053] Как подробнее пояснено ниже и проиллюстрировано на фиг. 6 и 7, исходное местоположение H остается фиксированным в местоположении, показанном относительно просматриваемой области 404, в то время как иерархия визуальных элементов 70 может прокручивать или панорамировать просматриваемую область 404 по мере того, как пользователь осуществляет навигацию по иерархии. В некоторых примерах, исходное местоположение H может отображаться для пользователя, смотрящего на устройство 408 отображения, и может указываться посредством H в окружности, как показано, или любым другим подходящим способом. В других примерах, исходное местоположение может не отображаться пользователю.

[0054] Система слежения за взглядом устройства 408 отображения может предоставлять данные 64 слежения за взглядом в навигационный модуль 14. С использованием этих данных слежения за взглядом, навигационный модуль 14 может определять местоположение взгляда, на которое пользователь 312 смотрит внутри просматриваемой области 408 устройства 408 отображения. На фиг. 5-7, местоположение 504 взгляда указывается посредством звезды, которая может отображаться или не отображаться пользователю 312. Как показано на фиг. 4, местоположение 504 взгляда также сопоставляется с соответствующим целевым местоположением 504' в двумерной плоскости 74.

[0055] В этом примере, местоположение 504 взгляда и соответствующее целевое местоположение 504' отстоят от исходного местоположения H вдоль горизонтальной оси X и вертикальной оси Y. Следует принимать во внимание, что в других примерах, местоположение 504 взгляда и соответствующее целевое местоположение 504' могут отстоять от исходного местоположения H исключительно вдоль горизонтальной оси X (т.е. вертикально совмещаться с исходным местоположением H). В других примерах, местоположение 504 взгляда и соответствующее целевое местоположение 504' могут отстоять от исходного местоположения H исключительно вдоль вертикальной оси Y (т.е. горизонтально совмещаться с исходным местоположением H).

[0056] На основе определения местоположения 504 взгляда и соответствующего целевого местоположения 504' в 2D плоскости 74, навигационный модуль 14 выполнен с возможностью инициировать движение целевого местоположения 504' к исходному местоположению H, причем такое движение, в общем, указывается посредством стрелки M действия. Дополнительно, целевое местоположение 504' в 2D плоскости 74 является «фиксированным» для 2D плоскости, так что движение целевого местоположения вызывает соответствующее движение 2D плоскости. Альтернативно выражаясь, и со ссылкой на фиг. 4, по мере того, как целевое местоположение 504' двигается к исходному местоположению H, все визуальные элементы 70 в двумерной плоскости 74, соответственно, двигаются вместе с двумерной плоскостью.

[0057] Навигационный модуль 14 выполнен с возможностью определять местоположение взгляда пользователя с периодическими интервалами, соответствующими конкретной частоте дискретизации, к примеру, 30 Гц, 60 Гц, 120 Гц или любой другой подходящей частоте. Для каждой выборки, если местоположение взгляда пользователя изменено относительно предыдущей выборки, навигационный модуль 14 обновляет местоположение 504 взгляда и соответствующее целевое местоположение 504'. Навигационный модуль 14 затем инициирует движение целевого местоположения 504' к исходному местоположению. Таким образом, следует принимать во внимание, что система 10 пользовательского интерфейса создает взаимодействие на основе навигации, в котором 2D плоскость 74 и визуальные элементы 70 в или около местоположения 504 взгляда пользователя воспринимаются как движущиеся к исходному местоположению H.

[0058] В одном примере и со ссылкой на фиг. 4 и 5 пользователь может быть заинтересован в выборе числа 7 из 2D плоскости 74. Пользователь может первоначально смотреть на местоположение 504 взгляда, соответствующее целевому местоположению 504'. По мере того, как целевое местоположение 504' и соответствующее положение на 2D плоскости 74 затем двигаются к исходному местоположению H, взгляд пользователя может следовать за этим положением на 2D плоскости до тех пор, пока местоположение 504 взгляда пользователя не встретится с исходным местоположением H, как проиллюстрировано на фиг. 7. Таким образом, система 10 пользовательского интерфейса позволяет пользователю направлять или вести число 7 в исходное местоположение H в центре просматриваемой области. Также следует принимать во внимание, что фиг. 6 иллюстрирует положение 2D плоскости 74 и местоположения 504 взгляда между начальным положением, показанным на фиг. 5, и положением в исходном местоположении H, показанным на фиг. 7.

[0059] Дополнительно, как проиллюстрировано на фиг. 5-7, по мере того, как целевое местоположение 504' двигается к исходному местоположению H, каждый из визуальных элементов 70, которые являются просматриваемыми внутри просматриваемой области 404, постепенно увеличивается, при этом также поддерживается пропорциональное соотношение размеров между каждым элементом и каждым другим элементом. Например, следует принимать во внимание, что размер числа 7 увеличивается по мере того, как оно двигается из положения, показанного на фиг. 5, в положение, показанное на фиг. 7. В качестве другого примера, размер буквы M в визуальном элементе AM ув