Использование второго экрана в качестве персонального проекционного дисплея на очках

Использование второго экрана в качестве персонального проекционного дисплея на очках

Иллюстрации

Показать все

Реферат

Предпосылки создания изобретения

1. Область техники

[0001] Настоящее изобретение относится к способам и системам обеспечения дополнительной экранной области для представления интерактивных приложений.

2. Уровень техники

[0002] Компьютерный мир был свидетелем множества достижений за последние годы. В связи с увеличением вычислительной мощности возникло стремление к многозадачности. В качестве одного из видов многозадачности обеспечена возможность для пользователей открывать множество окон приложений на мониторе, подключенном к вычислительному устройству, и работать с различными приложениями одновременно. По мере того, как все больше и больше приложений открывается в различных окнах, становится все более очевидно, что дисплейной области на мониторе недостаточно для одновременного отображения всех окон.

[0003] С увеличением вычислительной мощности мобильных вычислительных устройств и повышением популярности этих устройств, мобильные вычислительные устройства на практике все чаще и чаще выбираются в качестве устройств для доступа и интерактивного взаимодействия с различными приложениями, такими как интерактивные социально-сетевые приложения, интерактивные игровые приложения, поисковые приложения, приложения для электронной почты и т.д.

[0004] Еще одной усиливающейся тенденцией является применение в индустрии видеоигр. С увеличением вычислительной мощности разработчиками видеоигр было создано игровое программное обеспечение, в котором соответствующим образом используются преимущества этого роста вычислительной мощности. В этой связи разработчиками видеоигр были написаны игры, которые включают сложные операции и математические вычисления для обеспечения весьма реалистичного игрового опыта.

[0005] С развитием индустрии видеоигр и увеличением вычислительной мощности различных вычислительных устройств, включая мобильные устройства, пользователи получают возможность все более широкого использования мобильных вычислительных устройств для интерактивного взаимодействия с видеоиграми. В связи с этим разработчики видеоигр все в более и более расширяют масштабы разработки игрового программного обеспечения или игровых интерфейсов, которые используют преимущества повышения вычислительной мощности в мобильных вычислительных устройствах (или, для простоты, "мобильных устройствах"), чтобы обеспечить возможность для пользователей осуществлять доступ и интерактивное взаимодействие с видеоиграми, выполняемыми локально на игровой консоли, или выполняемыми дистанционно на игровом сервере, доступном через облачную игровую систему. Современные мобильные устройства включают множество различных типов аппаратных средств, интегрированных в едином устройстве для того, чтобы пользователи имели возможность интерактивного взаимодействия с различными приложениями. Например, многие из мобильных устройств содержат цветной дисплей, камеру, громкоговорители и механизм ввода, такой как клавиши, сенсорный экран, перо и т.п.для обеспечения возможности указанного интерактивного взаимодействия.

[0006] В связи с тенденцией к росту индустрии видеоигр и/или к расширению использования вычислительных/мобильных устройств, желательно расширение ограниченной экранной области, имеющейся в вычислительных устройствах, мобильных устройствах и т.п. Таким образом, технический результат заявленного изобретения заключается в расширении ограниченной экранной области, имеющейся в вычислительных устройствах, в целях обеспечения возможности работы в многозадачном режиме для пользователей чтобы обеспечить возможность работы в многозадачном режиме для пользователей.

[0007] Именно в данном контексте лежат варианты осуществления настоящего изобретения.

Сущность изобретения

[0008] В вариантах реализации настоящего изобретения обеспечены способы расширения области обзора дисплейного устройства для отображения контента, выбранного в вычислительном устройстве. Следует понимать, что настоящее изобретение может быть реализовано в различных формах, таких как процесс, аппаратура, система, устройство или способ, записанный на машиночитаемом носителе записи. Ниже описано несколько вариантов реализации настоящего изобретения.

[0009] В одном варианте раскрыт способ. Этот способ включает этап, на котором обнаруживают наличие окулярного вычислительного устройства вблизи первичного

вычислительного устройства, имеющего первичный дисплей. Первичный дисплей первичного вычислительного устройства выполнен с возможностью отображения контента. Окулярное вычислительное устройство включает вторичный дисплей. Соединяют окулярное вычислительное устройство с первичным вычислительным устройством. Определяют направление обзора для окулярного вычислительного устройства относительно первичного дисплея. В дополнение к контенту, отображаемому на первичном дисплее, отображают дополнительный контент на вторичном дисплее. Вторичный дисплей действует как расширение первичного дисплея для обзора контента, находящегося за пределами контента, отображаемого на первичном дисплее.

[0010] В одном варианте обнаруживают изменения направления обзора и используют их для определения количества дополнительного контента, который должен быть представлен на вторичном дисплее.

[0011] В одном варианте обновляют направление обзора путем слежения за окулярным вычислительным устройством с помощью камеры первичного вычислительного устройства.

[0012] В одном варианте окулярное вычислительное устройство выполняют с возможностью ношения на голове пользователя и обновляют направление обзора путем слежения за головой с помощью камеры первичного вычислительного устройства.

[0013] В одном варианте увеличение или уменьшение дополнительного контента приводит к динамическому расширению или сокращению вторичного дисплея для размещения виртуального дисплея дополнительного контента. Результирующий вторичный дисплей расширяют таким образом, чтобы он вместе с первичным дисплеем образовал круговую область обзора для отображения контента и дополнительного контента.

[0014] В одном варианте увеличение или уменьшение виртуального дисплея осуществляют на основе величины смещения обзора, задаваемой направлением обзора.

[0015] В одном варианте раскрыт способ. Этот способ включает этап, на котором обнаруживают очки, имеющие идентификатор, связанный с аккаунтом пользователя. Указанные очки включает процессор для обеспечения возможности беспроводной связи с вычислительным устройством и дисплейный экран очков. Связывают точку обзора с очками, когда эти очки направлены на главный дисплейный экран вычислительного устройства. Связывают точку обзора для очков с эталонной точкой, заданной относительно главного дисплейного экрана. Определяют направление обзора для очков относительно эталонной точки. Отображают дополнительный контент на дисплейном экране очков на основе обнаруженного направления наблюдения. Дисплейный экран очков представляет собой виртуальное расширение главного дисплейного экрана.

[0016] В одном варианте раскрыт способ расширения области обзора дисплейного устройства для отображения контента. Согласно этому способу, синхронизируют очки с вычислительным устройством. Вычислительное устройство выполняют с возможностью выполнения множества приложений и выбора множества значков, которые отображаются в отдельных окнах главного дисплейного экрана вычислительного устройства. Синхронизация обеспечивает возможность сопряжения главного дисплейного экрана вычислительного устройства с вторичным дисплейным экраном, расположенным в очках. Обнаруживают перемещение одного или более окон приложений за пределы главного дисплейного экрана вычислительного устройства. В ответ на обнаружение автоматически отображают окна, перемещенные за пределы главного дисплейного экрана вычислительного устройства, на вторичном дисплейном экране очков.

[0017] В одном варианте вычислительное устройство представляет собой базовое вычислительное устройство, которое выполняет приложение локально в пределах этого вычислительного устройства.

[0018] В одном варианте выполняют вычислительное устройство с возможностью выполнения приложений на облачном сервере в пределах облачной системы.

[0019] В одном варианте очки включают процессор и сетевой соединительный интерфейс для интерактивного взаимодействия с вычислительным устройством.

[0020] В одном варианте сетевой соединительный интерфейс очков использует протокол беспроводного соединения для интерактивного взаимодействия с вычислительным устройством.

[0021] В одном варианте синхронизация обеспечивает возможность использования устройств ввода и вывода, относящихся к вычислительному устройству, для интерактивного взаимодействия с окнами, перемещенными на вторичный дисплейный экран.

[0022] В одном варианте обнаружение включает идентификацию направления и последовательности перемещения одного или более окон за пределы главного дисплейного экрана. Указанные направление и последовательность задают положение соответствующих окон на вторичном дисплейном экране, при этом данное положение связано с идентификатором положения.

[0023] В одном варианте, окна, перемещенные за пределы главного дисплейного экрана, представляют на вторичном дисплейном экране в хронологическом порядке перемещения.

[0024] В одном варианте, окна приложений, перемещенные за пределы главного дисплейного экрана, представляют на вторичном дисплейном экране в обратном хронологическом порядке перемещения.

[0025] В одном варианте обнаруживают выбор окна, отображаемого на вторичном дисплейном экране, и в ответ перемещают выбранное окно за пределы вторичного дисплейного экрана обратно на главный дисплейный экран вычислительного устройства для интерактивного взаимодействия с пользователем.

[0026] В одном варианте обнаруживают выбор окна, представленного на вторичном дисплейном экране. В ответ на обнаружение обеспечивают возможность интерактивного взаимодействия с приложением, отображаемым в выбранном окне, продолжая при этом отображать выбранное окно на вторичном дисплейном экране.

[0027] В одном варианте вторичный дисплейный экран занимает часть площади или всю площадь одного или обоих окуляров очков.

[0028] В другом варианте раскрыт способ. Этот способ включает этап, на котором обнаруживают очки, имеющие идентификатор, связанный с аккаунтом пользователя. Эти очки имеют процессор для обеспечения возможности беспроводной связи с вычислительным устройством, а также имеют дисплейный экран. Связывают точку обзора очков, когда эти очки направлены на главный дисплейный экран вычислительного устройства, с эталонной точкой, заданной относительно главного дисплейного экрана. Отображают контент на главном дисплейном экране и отображают дополнительный контент на дисплейном экране очков. Дополнительный контент на дисплейном экране очков отображают при обнаружении того факта, что точка обзора для очков изменилась с выходом за пределы главного дисплейного экрана. Дисплейный экран очков действует как виртуальное расширение главного дисплейного экрана.

[0029] В одном варианте используют сопряжение очков с вычислительным устройством для обеспечения возможности обнаружения очков.

[0030] В одном варианте определяют эталонную точку посредством одного или более виртуальных маркеров положения, заданных для главного дисплейного экрана вычислительного устройства. Определяют точку обзора с помощью относительных координат указанных виртуальных маркеров положения.

[0031] В одном варианте сопряжение обеспечивает возможность использования устройств ввода и вывода, относящихся к вычислительному устройству, для интерактивного взаимодействия с контентом, отображаемым на вторичном дисплейном экране.

[0032] В одном варианте контент включает значок или контент приложения, выполняемого в окне, при этом данный контент отображают в отдельных окнах.

[0033] В одном варианте дополнительный контент, отображаемый на дисплейном экране очков, перемещают с главного дисплейного экрана.

[0034] В одном варианте дополнительный контент организуют на дисплейном экране очков в последовательности и в направлении перемещения с главного дисплейного экрана.

[0035] В одном варианте размер вторичного дисплейного экрана динамически регулируют на основе количества дополнительного контента, отображаемого на вторичном дисплейном экране.

[0036] Другие аспекты настоящего изобретения будут ясны из последующего подробного описания в сочетании с сопроводительными чертежами, иллюстрирующими, в виде примеров, принципы настоящего изобретения.

Краткое описание чертежей

[0037] Настоящее изобретение может быть лучше понято из нижеследующего описания, приведенного в сочетании с сопроводительными чертежами, где:

[0038] На фиг. 1 показана простая блок-схема вычислительной системы, используемой для обеспечения дополнительного дисплея для отображения окон приложений, согласно варианту реализации настоящего изобретения.

[0039] На фиг. 1А-1D показано положение вторичного дисплейного экрана в пределах очков согласно различным вариантам реализации настоящего изобретения.

[0040] На фиг. 1-1 и 1-2 показан угол обзора для пользователем и соответствующая линия обзора согласно варианту реализации настоящего изобретения.

[0041] На фиг. 2А-2С показаны варианты отображения окон приложений на главном дисплейном экране и вторичном дисплейном экране согласно варианту реализации настоящего изобретения.

[0042] На фиг. 3 показаны различные компоненты процессора области отображения, который установлен в вычислительном устройстве и используется для обеспечения дополнительной экранной области в очках, соединенных с возможностью связи с вычислительным устройством для расширения области обзора дисплейного устройства, связанного с вычислительным устройством, согласно варианту реализации настоящего изобретения.

[0043] На фиг. 4А-1 и 4А-2 показана схема вычисления угла обзора в процессе сопряжения очков с вычислительным устройством для расширения области обзора дисплея для отображения контента в окнах приложений, согласно варианту реализации настоящего изобретения. На фиг. 4А-3 показан вторичный дисплейный экран, динамически регулируемый на основе контента, перемещенного внутрь и за пределы виртуальной экранной области, в одном варианте реализации настоящего изобретения.

[0044] На фиг. 4 В-4С показан контент, отображаемый в соответствии с углом обзора для пользователя, на котором надеты очки, согласно одному варианту реализации настоящего изобретения.

[0045] На фиг. 5 показана блок-схема применяемого в системе способа обеспечения дополнительной области отображения окон приложений, согласно варианту реализации настоящего изобретения.

[0046] На фиг. 6 показана блок-схема применяемого в системе способа обеспечения виртуальной экранной области для отображения окон приложений, перемещенных за пределы области дисплея вычислительного устройства, согласно альтернативному варианту реализации настоящего изобретения.

[0047] На фиг. 7 схематично показаны общая архитектура развлекательного устройства Sony® Playstation 3®, консоль, которая может быть совместима для обеспечения связи с устройством управления, и манипулируемое устройство с компьютерной программой, выполняемой в базовом вычислительном устройстве, согласно вариантам реализации настоящего изобретения.

Осуществление изобретения

[0048] В нижеследующих вариантах описаны способы и система для расширения области обзора в устройстве индикации путем обеспечения дополнительной области обзора в пределах очков для отображения контента приложений и значков в отдельных окнах, выбранных для отображения вычислительным устройством. В одном варианте реализации настоящего изобретения очки оснащены процессором и средствами сетевого подключения для подключения к вычислительному устройству. Вычислительное устройство включает монитор, имеющий главный дисплейный экран для отображения контента приложений/значков, выбранных для выполнения/отображения пользователем вычислительного устройства. Контент отображают в отдельных окнах. Соединение обеспечивает возможность синхронизации главного дисплейного экрана монитора, связанного с вычислительным устройством, с вторичным дисплейным экраном, расположенным в очках. Когда одно выбранное окно перемещено за пределы главного дисплейного экрана вычислительного устройства, обнаруживают это перемещение с помощью вычислительного устройства, и в ответ вычислительное устройство прекращает отображение этого выбранного окна на главном дисплейном экране монитора. Очки обнаруживают перемещение окна за пределы области дисплея монитора и отображают переместившееся окно в дисплейной области очков. Вторичный дисплейный экран, расположенный в пределах очков, действует как виртуальное расширение главного дисплейного экрана благодаря обеспечению дополнительной области обзора и интерактивного взаимодействия для пользователя. Соответственно, далее будут описаны способы и аппаратура согласно вариантам реализации настоящего изобретения со ссылками на чертежи.

[0049] Тем не менее, специалистам в данной области техники должно быть очевидно, что настоящее изобретение может быть реализовано на практике без некоторых или без всех этих конкретных деталей. В других примерах хорошо известные операции обработки не описаны подробно, чтобы излишне не загромождать описание настоящего изобретения.

[0050] На фиг. 1 показана простая блок-схема системы для обеспечения дополнительной области отображения окон приложений/значков для главного устройства индикации, в одном варианте реализации настоящего изобретения. Эта система включает вычислительное устройство 10, которое выполнено с возможностью выбора и выполнения множества интерактивных приложений. Вычислительное устройство 10 может представлять собой вычислительное устройство, такое как настольное вычислительное устройство, портативное вычислительное устройство, планшетное вычислительное устройство или мобильное вычислительное устройство. В данном варианте вычислительное устройство может выбирать значки и выбирать или выполнять интерактивные приложения локально в пределах этого вычислительного устройства. В другом варианте вычислительное устройство 10, выполненное с возможностью выбора значков или выполнения приложений, доступно на облачном сервере 300 через сеть, такую как Интернет 200, с использованием интерфейса приложения. В одном варианте обеспечена возможность доступа к облачному серверу 300 посредством вычислительного устройства 10, использующего точку доступа к Интернету, такую как роутер (не показан). В одном варианте облачный сервер 300 может включать множество серверов, таких как игровые серверы 300а, серверы 300b приложений, серверы 300с контента и т.п., выполняющих множество приложений и обеспечивающих множество значков. Дисплейный монитор 100 соединен с возможностью связи с вычислительным устройством 10 посредством проводного или беспроводного соединения и действует как главный дисплейный экран. Монитор 100 может представлять собой любой из различных типов дисплейных устройств, таких как телевизор, проектор или любой другой вид дисплейного экрана, который может быть использован для визуального отображения интерактивных приложений в отдельных окнах.

[0051] Очки 102 со встроенным процессором (не показан) и средствами беспроводного соединения подключают с возможностью связи к вычислительному устройству 10 путем сопряжения. Указанные очки включают дисплейная область, такую как вторичный дисплейный экран 102А. Очки оснащены также камерой для съемки окружающей среды снаружи очков. В одном варианте очки могут представлять собой проекционный дисплей (HUD). В другом варианте очки могут представлять собой надеваемый на голову дисплей (HMD). Еще в одном варианте вместо очков может использоваться окулярное вычислительное устройство для обеспечения тех же самых функциональных возможностей, что и в различных вариантах, описанных в данной заявке. Дисплейная область очков может занимать часть одного или обоих окуляров очков. В некоторых вариантах часть окуляра может занимать всю площадь этого окуляра. На фиг. 1A-1D показаны различные варианты расположения вторичного дисплейного экрана 102А в пределах очков 102. Например, как показано на фиг. 1А, вторичный дисплейный экран 102А расположен в верхнем правом углу окуляра, закрывающего правый глаз, когда очки надеты пользователем. В качестве альтернативы, дисплейная область 102А может быть расположена в центре окуляра, закрывающего один глаз (например, правый глаз), как показано на фиг. 1В, в верхнем левом углу правого и левого окуляров, как показано на фиг. 1С, или в верхнем левом углу правого и левого окуляров (не показано), или занимать всю поверхность окуляров очков 102, как показано на фиг. 1D. В случае, показанном на фиг. 1D, дисплейная область может представлять собой прозрачный дисплей, который в первом режиме отображает данные без необходимости для пользователя отвлекаться от обозреваемой точки и переключается на второй режим для того, чтобы обеспечить возможность обзора изображений из других окон приложений/значков. В этом случае для пользователей будет обеспечена возможность перехода между реальным миром и виртуальны миром для обзора надлежащих данных, проецируемых процессором очков. Очки могут включать одно или более устройств ввода, таких как сенсорная панель, закрепленная с боковой стороны очков, чтобы обеспечить для пользователя возможность переключения/перехода из одного режима в другой. Сенсорная панель может также использоваться для других интерактивных взаимодействий с пользователем. Например, сенсорная панель может использоваться для сопряжения очков с вычислительным устройством и для синхронизации очков с вычислительным устройством 10. В одном варианте синхронизация включает сопряжение вычислительного устройства окуляра или очков с первичным вычислительным устройством таким образом, чтобы синхронизировать главный дисплейный экран монитора 100 с вторичным дисплейным экраном 102А, расположенным в очках. В дополнение к синхронизации дисплейных экранов, в одном варианте синхронизация может обеспечивать возможность использования устройств ввода, относящихся к вычислительному устройству 10, для интерактивного взаимодействия с контентом, отображаемым на вторичном дисплейном экране очков. В другом варианте синхронизация может включать синхронизацию устройств ввода, относящихся к вычислительному устройству 10, с устройствами ввода, относящимися к очкам.

[0052] Устройства ввода, связанные с вычислительным устройством 10, используют для выбора одного или более интерактивных приложений для выполнения или выбора значков для отображения. В ответ на выбор/выполнение приложения, обеспечивают возможность отображения одного или более приложений или значков в отдельных окнах "приложений" на главном дисплейном экране монитора 100, чтобы обеспечить возможность интерактивного взаимодействия пользователя с любым из приложений/значков, отображаемых в окнах приложений. Каждое окно приложения спроектировано с возможностью отображения значка или контента приложения, выбранного для выполнения в вычислительном устройстве 10. Интерактивные приложения/значки могут быть доступны локально в вычислительном устройстве 10 или они могут быть доступны на облачном сервере. В случае, если приложение доступно на облачном сервере, обеспечена возможность получения вычислительным устройством 10 копии этого приложения и его выполнения локально в пределах вычислительного устройства. В качестве альтернативы, обеспечена возможность выполнения приложения в облачной среде и отображения окна приложения на главном дисплейном экране монитора с помощью вычислительного устройства для того, чтобы отобразить контент и обеспечить возможность интерактивного взаимодействия с приложением с использованием интерфейса приложения. Аналогичным образом, обеспечена возможность получения вычислительным устройством копий значков и их отображения их на главном дисплейном экране монитора.

[0053] В качестве этапа интерактивного взаимодействия, пользователь может выбрать окно приложения, отображаемое на мониторе 100, и переместить это окно за пределы дисплейного экрана монитора. Вычислительное устройство обнаруживает это перемещение и автоматически удаляет окно приложения, относящееся к выбранному интерактивному приложению, с главного дисплейного экрана монитора 100. Одновременно с этим, очки обнаруживают перемещение окна приложения в дисплейную область (т.е. на вторичный дисплейный экран) очков. Вторичный дисплейный экран действует как расширение области обзора монитора благодаря обеспечению дополнительной дисплейной области для отображения окон приложений.

[0054] Дисплейный экран отображает окна приложений, которые представлены пользователю, на основе пользовательской точки обзора как показано на фиг. 1-1 и 1-2. Когда пользовательская точка обзора лежит на нормали (т.е. когда пользователь смотрит прямо вперед, как показано линией 'А1'), дисплейная область, задаваемая главным дисплейным экраном 100А монитора 100, связанного с вычислительным устройством, занимает нормальный угол 'α' обзора, охватывающий область между пунктирными линиями А1' и А1'', как показано на фиг. 1-1. Когда пользовательская точка обзора смещена вверх, как показано линией А2 на фиг. 1-2, и угол 'β' обзора охватывает область между пунктирными линиями А2' и А2'', для пользователя отображают вторичный дисплейный экран 102А, задаваемый в дисплейной области очков 102. Таким образом, обеспечена возможность для пользователя использовать дисплейную область 102А очков 102 в качестве вспомогательного вторичного дисплейного экрана, в дополнение к главной дисплейной области 100А монитора 100. В варианте, показанном на фиг. 1-1 и 1-2, вычислительное устройство сопряжено с очками, и направление взгляда пользователя используют для представления надлежащей дисплейной экранной области, которой является главная дисплейная экранная область монитора или вторичная дисплейная экранная область очков.

[0055] Главная дисплейная экранная область монитора используется, в первую очередь, для представления отдельных окон приложений для отображения значков и контента приложений, выбранных для выполнения пользователем или для пользователя, на котором надеты очки. Пользователь выполняет все большее и большее количество приложений и выбирает множество значков, контент каждого из приложений и/или значки, представленные в отдельном окне на главной дисплейной экранной области монитора, в результате чего возникает теснота на главной дисплейной экранной области монитора. Пользователь имеет возможность, с целью уменьшения тесноты, перемещать выбранные одно или более окон за пределы главной дисплейной экранной области. В ответ на это перемещение, вычислительное устройство прекращает отображение выбранных одного или более окон в главной дисплейной экранной области монитора и инициирует сопряжение с очками для обнаружения перемещения и отображения окон на вторичном дисплейном экране, задаваемом в дисплейной части очков. Пользователь имеет также возможность интерактивного взаимодействия с окнами приложения, смещенными на вторичный дисплейный экран очков, с использованием устройств ввода, связанных с вычислительным устройством, аналогично интерактивному взаимодействию, осуществлявшемуся в состоянии, когда окна приложений отображались на главной дисплейной экранной области монитора.

[0056] На фиг. 2А-2С показаны упрощенные иллюстративные примеры организации экрана для главной дисплейной экранной области монитора и вторичного дисплейного экрана очков в одном варианте реализации настоящего изобретения. Как показано на фиг. 2А, множество окон 120а, 120b, 120с и т.д. отображают в главной дисплейной экранной области 100А монитора 100 вычислительного устройства 10. Каждое окно отображает контент приложения, которое выбрано для выполнения локально в вычислительном устройстве 10 или дистанционно на облачном сервере с помощью вычислительного устройства или контента значка. В случае дистанционного выполнения приложений, вычислительное устройство подключают с возможностью связи к облачному серверу через сеть, такую как Интернет, с помощью средств сетевого подключения. Вычислительное устройство 10 подключают также с возможностью связи к очкам, которые используются пользователем и на которых размещен вторичный дисплейный экран, при этом очки включают процессор и средства сетевого подключения для сопряжения с вычислительным устройством 10. В качестве этапа соединения с возможностью связи, вторичный дисплейный экран, расположенный в дисплейной части очков, синхронизируют с главной дисплейной экранной областью монитора вычислительного устройства, чтобы обеспечить возможность интерактивного взаимодействия пользователя с соответствующими дисплейными экранными областями.

[0057] В качестве этапа интерактивного взаимодействия с пользователем, перемещают окно 120b за пределы главной дисплейной экранной области 100А монитора 100, как показано на фиг. 2А. Логика программирования, выполняемая в вычислительном устройстве 10, обнаруживает перемещение окна 120b за пределы главной дисплейной экранной области монитора и в ответ на это автоматически начинает перемещение части окна 120b из главной дисплейной экранной области 100А монитора 100, как показано на фиг. 2В. Одновременно с этим, часть окна, которая была перемещена за пределы главной дисплейной экранной области, захватывают с помощью логики для отображения на вторичном дисплейном экране в пределах очков, как показано на фиг. 2В. На фиг. 2С показано окончание перемещения окна 120b за пределы области монитора путем прекращения отображения окна 120b в главной дисплейной экранной области 100А с одновременным отображением окна 120b на вторичном дисплейном экране 102А. Остальные окна 120а и 120с по-прежнему отображают в главной дисплейной экранной области 100А монитора 100.

[0058] В одном варианте, в качестве этапа непрерывного интерактивного взаимодействия с пользователем, пользователь выбирает конкретное окно, отображаемое на вторичном дисплейном экране очков. В данном варианте выбор пользователя приводит к прекращению отображения выбранного окна на вторичном дисплейном экране, и вместо этого начинается отображение в главной дисплейной экранной области монитора. После перемещения окна в главную дисплейную экранную область монитора, последующие интерактивные взаимодействия с пользователем используют в качестве входных воздействий на выполнение приложения в выбранном окне или на значок, что приводит к изменениям контента и/или индикации. В другом варианте, в качестве этапа непрерывного интерактивного взаимодействия с пользователем, выбор пользователем конкретного окна приложения или значка приводит к тому, что выбранное окно остается на вторичном дисплейном экране очков, и интерактивное взаимодействие с пользователем используют в качестве входного воздействия на выполнение приложения или на значок, чтобы представить изменения контента и/или индикации в выбранном окне.

[0059] В различных вариантах, показанных на фиг. 1, 1-1, 1-2, 2А и 2В, вычислительное устройство синхронизируют с очками, и используют перемещение глаз пользователя (вверх, в соответствии с положением вторичного дисплейного экрана на очках, или прямо перед собой) для обзора надлежащей экранной области - главной дисплейной экранной области монитора или вторичной дисплейной экранной области очков.

[0060] В одном варианте перемещение головы пользователя в различных направлениях может использоваться вместо перемещения глаз пользователя для представления пользователю надлежащих окон приложений или значков с части главного дисплейного экрана монитора или части вторичного дисплейного экрана, образованного на очках. Очки сначала сопрягают с вычислительным устройством. Очки имеют идентификатор, связанный с аккаунтом пользователя. Очки включают процессор, который выполнен с возможностью обеспечения беспроводной связи с вычислительным устройством. Дисплейный экран очков образован по меньшей мере на части очков. После сопряжения вычислительного устройства и очков пользователя определяют точку обзора для очков. Точка обзора показывает нормальный угол обзора для пользователя, когда на пользователе надеты очки. Эту точку обзора и, следовательно, нормальный угол обзора для пользователя, на котором надеты очки, определяют с помощью эталонной точки, заданной относительно главного дисплейного экрана. Эталонная точка может быть задана посредством одного или более виртуальных маркеров положения, заданных с привязкой к главному дисплейному экрану, и координаты эталонной точки относительно главного дисплейного экрана используют для определения точки обзора для очков. Затем этот нормальный угол обзора используют для вычисления смещений обзора в соответствии со смещением пользовательского угла обзора, когда голова пользователя удаляется от главного дисплейного экрана. На основе вычисленных смещений обзора представляют надлежащий контент из главной экранной области дисплейной части монитора или из виртуальной экранной области, задаваемой вторичным дисплейным экраном.

[0061] На фиг. 3 показано вычислительное устройство, в котором процессорный модуль 150 области отображения действует таким образом, чтобы представить главную дисплейную экранную область для отображения контента или значков, или приложения, выбранные для выполнения, на вторичном дисплейном экране в определенных окнах приложений, согласно одному варианту реализации настоящего изобретения. В других вариантах процессорный модуль 150 области отображения может быть размещен в пределах очков для расширения области обзора дисплейного устройства, связанного с вычислительным устройством. Процессор 150 области обзора включает дополнительные модули, такие как модуль 152 синхронизатора устройства, модуль 158 обнаружения интерактивного взаимодействия и модуль 166 вычисления угла обзора.

[0062] Синхронизатор 152 устройства включает синхронизатор 154 дисплейного экрана и модуль 156 синхронизатора устройств ввода. Синхронизатор 152 устройства используют, в первую очередь, для синхронизации вычислительного устройства с очками, при этом процессор и средства сетевого подключения в очках используют для сопряжения с вычислительным устройством для обеспечения возможности беспроводного соединения. Очки включают дисплейную область (например, вторичную дисплейную область), расположенную в части области одного или обоих окуляров. Синхронизатор 152 дисплейного экрана обеспечивает необходимую конфигурационную логику для синхронизации вторичной дисплейной экранной области, расположенной на очках, с главной дисплейной экранной областью монитора, связанного с вычислительным устройством. Аналогичным образом, синхронизатор 156 устройств ввода включает конфигурационную логику для синхронизации/сопряжения устройств ввода, относящихся к вычислительному устройству, с очками. В качестве этапа синхронизации устройств ввода, в одном варианте устройства ввода, относящиеся к вычислительному устройству, могут использоваться для интерактивного взаимодействия с окнами, отображаемыми на вторичной дисплейной экранной области очков. В другом варианте, в качестве этапа синхронизации/сопряжения, синхронизируют/сопрягают устройства ввода, относящиеся к очкам, с устройствами ввода, относящимися к вычислительному устройству. Когда очки и вычислительное устройство синхронизированы/сопряжены, процессор области отображения определяет нормальный угол обзора для пользователя, на котором надеты очки, путем вычисления точки обзора для очков относительно главного дисплейного экрана вычислительного устройства.

[0063] В одном варианте модуль 166 вычисления обзора определяет точку обзора с помощью модуля 168 вычисления угла обзора на основе одной или более эталонных точек, задаваемых виртуальными мар