Управление виртуальными портами

Управление виртуальными портами

Иллюстрации

Показать все

Реферат

2420-180584RU/20

УПРАВЛЕНИЕ ВИРТУАЛЬНЫМИ ПОРТАМИ

УРОВЕНЬ ТЕХНИКИ

В типичной вычислительной среде пользователь имеет устройство ввода данных, такое как клавиатура, мышь, джойстик и т.п., которое может быть соединено с вычислительной средой кабелем, проводом, посредством беспроводного соединения или некоторыми другими средствами соединения. Если управление вычислительной среды должно быть перенесено с присоединенного контроллера на управление на основе жестов, у пользователя может больше не быть присоединенного устройства для информирования вычислительной среды о порте, с которым пользователь ассоциирован. Кроме того, если в области захвата основанной на жестах среды находятся несколько пользователей, система должна определить, жесты какого пользователя следует игнорировать, на кого следует обращать внимание, или кто с каким портом ассоциирован. Наконец, если несколько пользователей одновременно обеспечивают вычислительной среде жестовый ввод, системе может потребоваться различать нескольких пользователей и определять для них приоритет или протокол.

Взаимодействие с пользователем в теоретической основанной на жестах системе также может представлять несколько проблем. Например, когда вычислительная среда имеет установленный ввод, такой как контроллер или клавиатура, пользователь может определить, что он имеет контроллер с портом, что он нажимает клавиши или кнопки, и что система отвечает. Когда управление вычислительной средой перенесено на жесты пользователя, пользователю может требоваться обратная связь, которая позволит ему знать, что он обнаруживается, что он привязан в качестве контроллера к системе и т.п.

В соответствии с этим необходимы системы и способы, посредством которых вычислительная среда может выбирать основного пользователя для вычислительной среды. Также есть потребность иметь способы и системы для назначения или отмены назначения пользователя в системе, позволяющие передавать или иным образом получать, терять или перемещать управление вычислительной средой, когда управление основано на жестах.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Здесь описаны методики для управления виртуальными портами. Также здесь описаны методики для привязки пользователей к основанной на жестах системе и обеспечения обратной связи пользователям.

В варианте воплощения определены несколько состояний, которые представляют уровень взаимодействия пользователя с виртуальными портами системы. Эти состояния могут включать в себя, например, состояние без привязки и без выполненного обнаружения, когда пользователь не обнаружен в области захвата и устройство захвата не привязано к пользователю. Состояния также могут включать в себя состояние без привязки и с выполненным обнаружением, когда пользователь может быть обнаружен в области, но система еще не выполнила привязку к пользователю. Состояния также могут включать в себя состояние с привязкой и с выполненным обнаружением, когда пользователь обнаружен устройством захвата и привязан к нему, и в этом состоянии пользователь может предоставлять жестовые команды основанной на жестах системе. Система также может находиться в состоянии с привязкой и без выполненного обнаружения, когда пользователь, к которому выполнена привязка, выходит из области обнаружения устройства захвата.

Пользователю может быть предоставлена обратная связь для указания текущего состояния порта и указания изменения состояния. Такая обратная связь, например, может принимать вид визуального представления, которое может представлять собой включение или выключение света, изменение цветов или мигание. Также могут использоваться другие подходящие типы обратной связи, например, звуковая обратная связь.

Другой вариант воплощения представляет системы и способы для ассоциирования пользователей с виртуальными портами в основанной на жестах системе. Первый пользователь, выполняющий вход в компьютерный сеанс, делает жест входа. Когда основанная на жестах система обнаруживает этот жест входа, система может ассоциировать первого пользователя с первичным виртуальным портом. Если второй пользователь входит в область захвата и делает жест входа, система может ассоциировать второго пользователя со вторичным виртуальным портом. Если третий пользователь входит в область захвата и делает жест входа, система может присвоить третьему пользователю третичный порт. Этот шаблон присваивания пользователей к соответствующим виртуальным портам может быть повторен для любого количества дополнительных пользователей. Каждый виртуальный порт может иметь свое собственное множество соответствующих признаков, включающих в себя, например, преимущественные права, права или дополнительные возможности. Например, первичный порт может, хотя не обязательно должен иметь дополнительные признаки, которые не доступны другим портам.

В другом варианте воплощения два или более пользователей могут решить изменить виртуальные порты. Например, если имеется два пользователя, причем один имеет первичный порт, а другой имеет вторичный порт, пользователи могут сделать жест, например, рукопожатие, после которого компьютер выполнит взаимный обмен виртуальных портов этих двух пользователей.

В другом варианте воплощения первый пользователь может выполнить жест выхода, чтобы выйти из основанной на жестах системы. В одном аспекте этого варианта воплощения, если имеются другие пользователи, ассоциированные с виртуальными портами в вычислительной среде, система может переназначить ассоциацию виртуальных портов после выхода первого пользователя.

В другом варианте воплощения прикладная программа может иметь специфические жесты, которые дают пользователю возможность входа, выхода, передачи, приостановки системы и т.п. Некоторые прикладные программы также могут запрашивать желающих для выполнения отдельных задач. В таких обстоятельствах один или более пользователей могут сделать жест желающего, который может заставить систему переназначить виртуальные порты по меньшей мере на время продолжительности конкретной задачи.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1A, 1B и 1C показывают иллюстративный вариант воплощения основанной на жестах системы с пользователем, играющим в игру.

Фиг. 2 показывает иллюстративный вариант воплощения устройства захвата, которое может использоваться в основанной на жестах системе.

Фиг. 3 показывает иллюстративный вариант воплощения вычислительной среды, которая может использоваться для интерпретации одного или более жестов пользователя, привязанного к основанной на жестах системе и ассоциированного с виртуальным портом.

Фиг. 4 показывает другой иллюстративный вариант воплощения вычислительной среды, которая может использоваться для интерпретации одного или более жестов пользователя, привязанного к основанной на жестах системе и ассоциированного с виртуальным портом.

Фиг. 5 иллюстрирует пример среды управления для игровой системы предшествующего уровня техники, в которой контроллеры, соединенные с помощью кабеля или беспроводного соединения, могут использоваться для управления вычислительной средой.

Фиг. 6 показывает нескольких пользователей в области захвата основанной на жестах системы, которая может выполнять привязку пользователей, предоставлять им обратную связь и ассоциировать их с виртуальным портом.

Фиг. 7 показывает один пример пользователя, смоделированного основанной на жестах системой, пользователь смоделирован в виде суставов и конечностей, и движение этих суставов и конечностей может использоваться для интерпретации жестов для основанной на жестах вычислительной среды.

Фиг. 8 показывает последовательность жестов, которые пользователь может сделать в основанной на жестах системе, такие жесты могут использоваться для ассоциирования одного или более пользователей с виртуальными портами, выполнения передачи, выхода, паузы, выбора, перемещения и т.п.

Фиг. 9 изображает блок-схему последовательности операций для изменения состояния основанной на жестах системы из состояния без привязки в состояние с привязкой и предоставления пользователю обратной связи о его состоянии.

Фиг. 10 изображает блок-схему последовательности операций для предоставления пользователю обратной связи о его состоянии, когда он выходит из области захвата.

Фиг. 11 изображает блок-схему последовательности операций для ассоциирования виртуальных портов с пользователями.

Фиг. 12 изображает блок-схему последовательности операций для ассоциирования виртуальных портов с двумя или более пользователями на основе запроса желающего от основанной на жестах системы.

Фиг. 13 изображает блок-схему последовательности операций для создания передачи виртуальных портов между двумя или более пользователями.

ПОДРОБНОЕ ОПИСАНИЕ ИЛЛЮСТРАТИВНЫХ ВАРИАНТОВ ВОПЛОЩЕНИЯ

Как будет описано здесь, основанная на жестах система может выполнять привязку к людям и ассоциировать их с виртуальными портами, обеспечивая обратную связь о состоянии привязки и ассоциациях виртуальных портов. Другие аспекты вычислительной среды могут быть выполнены с возможностью выполнять привязку к пользователю или информировать пользователя, ассоциировать его с виртуальным портом или поддерживать непротиворечивое взаимодействие с пользователем.

Фиг. 1A и 1B показывают иллюстративный вариант воплощения конфигурации основанной на жестах системы 10 с пользователем 18, играющим в игру с имитацией бокса. В иллюстративном варианте воплощения основанная на жестах система 10 может использоваться для привязки, распознавания, анализа, отслеживания, ассоциирования с человеческой целью, обеспечения обратной связи и/или адаптации к аспектам человеческой цели, такой как пользователь 18.

Как показано на фиг. 1A, основанная на жестах система 10 может включать в себя вычислительную среду 12. Вычислительная среда 12 может представлять собой компьютер, игровую систему или консоль и т.п. В соответствии с иллюстративным вариантом воплощения вычислительная среда 12 может включать в себя такие аппаратные компоненты и/или программные компоненты, чтобы вычислительная среда 12 могла использоваться для исполнения прикладных программ, таких как игровые прикладные программы, не игровые прикладные программы и т.п.

Как показано на фиг. 1A, основанная на жестах система 10 может дополнительно включать в себя устройство 20 захвата. Устройство 20 захвата может представлять собой, например, детектор, который может использоваться для отслеживания одного или более пользователей, таких как пользователь 18, таким образом, чтобы жесты, выполняемые одним или более пользователей, могли быть захвачены, проанализированы и отслежены для выполнения одного или более управляющий действий или действий в прикладной программе, как будет описано более подробно ниже.

В соответствии с одним вариантом воплощения основанная на жестах система 10 может быть соединена с аудиовизуальным устройством 16, таким как телевизор, монитор, телевизор высокой четкости (HDTV) и т.п. который может обеспечивать пользователю 18 обратную связь о виртуальных портах и привязке, видео и аудиоинформацию игры или прикладной программы. Например, вычислительная среда 12 может включать в себя видеоадаптер, такой как видеокарта, и/или звуковой адаптер, такой как звуковая карта, которые могут обеспечивать аудиовизуальные сигналы, относящиеся к обратной связи о виртуальных портах и привязке, к игровой прикладной программе, к не игровой прикладной программе и т.п. Аудиовизуальное устройство 16 может принимать аудиовизуальные сигналы от вычислительной среды 12 и затем может выдавать видео и аудиоинформацию игры или прикладной программы, относящуюся к аудиовизуальным сигналам, пользователю 18. В соответствии с одним вариантом воплощения аудиовизуальное устройство 16 может быть соединено с вычислительной средой 12, например, через кабель S-Video, коаксиальный кабель, кабель HDMI, кабель DVI, кабель VGA, беспроводное соединение и т.п.

Как показано на фиг. 1A и 1B, основанная на жестах система 10 может использоваться для распознавания, анализа и/или отслеживания человеческой цели, такую как пользователь 18. Например, пользователь 18 может быть отслежен с использованием устройства захвата 20, таким образом позиция, движение и размер пользователя 18 могут быть интерпретированы как управляющие действия, которые могут использоваться для воздействия на прикладную программу, исполняемую компьютерной средой 12. Таким образом, в соответствии с одним вариантом воплощения пользователь 18 может выполнять движения своим телом для управления прикладной программой.

Когда пользователь не находится в области захвата устройства 20 захвата, основанная на жестах система 10 может обеспечить обратную связь об этом состоянии без привязки и без обнаружения системы 10. Когда пользователь 18 входит в область захвата устройства 20 захвата, состояние обратной связи может измениться из состояния без привязки и без обнаружения в состояние обратной связи без привязки и с выполняющимся обнаружением. Затем система 10 может выполнить привязку к пользователю 18, что может изменить состояние обратной связи из состояния без привязки и с выполняющимся обнаружением в состояние с привязкой. После того, как пользователь 18 привязан к основанной на жестах вычислительной среде 12, он может сделать жест, который включит остальную часть системы 10. Пользователь 18 может также сделать второй жест, который введет его в ассоциацию с виртуальным портом. Состояние обратной связи может измениться таким образом, что пользователь 18 знает о том, что он ассоциирован с виртуальным портом. Пользователь 18 затем может обеспечить последовательность жестов для управления основанной на жестах системой 10. Например, если пользователь 18 хочет открыть одно или более меню или приостановить один или более процессов системы 10, он может сделать жест паузы или меню. После окончания компьютерного сеанса пользователь может сделать жест выхода, который может заставить основанную на жестах систему 10 отменить ассоциацию пользователя 18 с виртуальным портом. Это может заставить состояние обратной связи измениться c состояния с ассоциацией с виртуальным портом на состояние с привязкой и с выполненным обнаружением. Затем пользователь 18 может выйти из диапазона датчиков, что может заставить состояние обратной связи измениться с состояния с привязкой и с выполненным обнаружением на состояние без обнаружения. Если система 10 отменяет привязку к пользователю 18, состояние обратной связи может измениться на состояние без привязки.

Как показано на фиг. 1A и 1B, в иллюстративном варианте воплощения прикладная программа, исполняющаяся в вычислительной среде 12, может представлять собой игру с имитацией бокса, в которую может играть пользователь 18. Например, вычислительная среда 12 может использовать аудиовизуальное устройство 16 для обеспечения визуального представления боксирующего противника 22 пользователю 18. Вычислительная среда 12 также может использовать аудиовизуальное устройство 16 для обеспечения визуального представления видеообраза 24 пользователя, которым пользователь 18 может управлять своими движениями на экране 14. Например, как показано на фиг. 1B, пользователь 18 может нанести удар в физическом пространстве, чтобы заставить видеообраз 24 пользователя нанести удар в игровом пространстве. Таким образом, в соответствии с иллюстративным вариантом воплощения компьютерная среда 12 и устройство 20 захвата основанной на жестах системы 10 могут использоваться для распознавания и анализа удара пользователя 18 в физическом пространстве, с тем чтобы удар мог быть интерпретирован как игровое управляющее действие видеообраза 24 пользователя в игровом пространстве.

Пользователь 18 может быть ассоциирован с виртуальным портом в вычислительной среде 12. Обратная связь состояния виртуального порта в вычислительной среде 12 может быть дана пользователю 18 в форме звука или отображения на аудиовизуальном устройстве 16, на дисплее, таком как светодиод (LED) или лампа, через динамик или через любые другие средства обеспечения обратной связи пользователю. Обратная связь может использоваться для сообщения пользователю 18, когда он находится в области захвата устройства 20 захвата, привязан ли он к основанной на жестах системе 10, с каким виртуальным портом он ассоциирован, и когда он управляет видеообразом, таким как видеообраз 24. Жесты пользователя 18 могут изменить состояние системы 10, и, таким образом, обратную связь, которую пользователь 18 принимает от системы 10.

Другие движения пользователя 18 также могут быть интерпретированы как другие управляющие действия или действия, такие как управляющие действия для подскока, покачивания, уклона, блока, удара по корпусу или нанесения различных по мощности ударов. Кроме того, некоторые движения могут быть интерпретированы как управляющие действия, которые могут соответствовать действиям, отличающимся от управления видеообразом 24 пользователя. Например, пользователь 18 может использовать движения для входа, выхода, включения или выключения системы, приостановки, выражения желания выполнять задачу, переключения виртуальных портов, сохранения игры, выбора уровня, профиля или меню, просмотра таблицы рекордов, общения с другом и т.д. Кроме того, весь спектр движений пользователя 18 может являться доступным, использованным и проанализированным любым подходящим способом для взаимодействия с прикладной программой.

На фиг. 1C человеческая цель, такая как пользователь 18, может иметь объект, такой как ракетка 21. В таких вариантах воплощения пользователь электронной игры может держать объект, с тем чтобы движения пользователя и объекта могли использоваться для коррекции и/или управления параметрами игры, например, ударом по экранному мячу 23. Движение пользователя, держащего ракетку 21, может быть отслежено и использовано для управления экранной ракеткой в электронной спортивной игре. В другом иллюстративном варианте воплощения движение пользователя, держащего объект, может быть отслежено и использовано для управления экранным оружием в электронной боевой игре. Может быть использован любой другой объект, такой как одна или более перчаток, мячи, биты, клюшки, гитары, микрофоны, палки, домашние животные, животные, барабаны и т.п.

В соответствии с другими иллюстративными вариантами воплощения основанная на жестах система 10 также может использоваться для интерпретации целевых движений в качестве управляющих действий операционной системы и/или прикладной программы, которые находятся вне области игр. Например, фактически любым управляемым аспектом операционной системы и/или прикладной программы можно управлять посредством перемещения цели, такой как пользователь 18.

Как показано на фиг. 2, в соответствии с иллюстративным вариантом воплощения компонент 25 камеры изображения может включать в себя компонент 26 инфракрасного (IR) освещения, трехмерную (3D) камеру 27 и RGB-камеру 28, которые могут использоваться для захвата изображения глубины сцены. Например, при анализе по методике времени прохождения компонент 26 инфракрасного освещения устройства 20 захвата может испускать на сцену инфракрасный свет и затем может использовать датчики (не показаны) для обнаружения отраженного света от поверхности одной или более целей и объектов в сцене с использованием, например, трехмерной камеры 27 и/или RGB-камеры 28. В некоторых вариантах воплощения может использоваться импульсный инфракрасный свет, с тем чтобы время между импульсом уходящим исходящего света и соответствующим импульсом входящего света могло быть измерено и использовано для определения физического расстояния от устройства 20 захвата до конкретного местоположения на целях или объектах в сцене. Кроме того, в других иллюстративных вариантах воплощения фаза исходящей световой волны может быть сравнена с фазой входящей световой волны для определения сдвига фазы. Сдвиг фазы может затем использоваться для определения физического расстояния от устройства захвата до конкретного местоположения на целях или объектах.

В соответствии с другим иллюстративным вариантом воплощения анализ по методике времени прохождения может использоваться для косвенного определения физического расстояния от устройства 20 захвата до конкретного местоположения на целях или объектах посредством анализа интенсивности отраженного луча света в течение времени посредством различных методик, в том числе, например, формирования изображений с помощью прерывистых световых импульсов.

В другом иллюстративном варианте воплощения устройство 20 захвата может использовать структурированный свет для захвата информацию глубины. При таком анализе структурированный свет (то есть, свет, отображаемый с известным рисунком, таким как сетчатый рисунок или рисунок в полоску) может быть спроецирован на сцену, например, через компонент 26 инфракрасного освещения. После столкновения с поверхностью одной или более целей или объектов в сцене рисунок может в ответ стать деформированным. Такая деформация рисунка может быть захвачена, например, трехмерной камерой 27 и/или RGB-камерой 28 и затем может быть проанализирована для определения физического расстояния от устройства захвата до конкретного местоположения на целях или объектах.

В соответствии с другим вариантом воплощения устройство 20 захвата может включать в себя две или более физически разнесенных камеры, которые могут обозревать сцену с разных углов, для получения визуальные стереоскопических данных, которые могут быть проанализированы для формирования информации глубины.

Устройство 20 захвата может также включать в себя микрофон 30. Микрофон 30 может включать в себя преобразователь или датчик, который может принимать и преобразовывать звук в электрический сигнал. В соответствии с одним вариантом воплощения микрофон 30 может использоваться для уменьшения обратной связи между устройством 20 захвата и вычислительной средой 12 в основанной на жестах системе 10. Кроме того, микрофон 30 может использоваться для приема аудиосигналов, которые также могут быть выданы пользователем для управления прикладными программами, такими как игровые прикладные программы, не игровые прикладные программы и т.п., которые могут исполняться вычислительной средой 12.

Устройство 20 захвата также может включать в себя компонент 31 обратной связи. Компонент 31 обратной связи может содержать световой источник, такой как жидкокристаллический дисплей (LED) или лампа, динамик и т.п. Устройство обратной связи может выполнять по меньшей мере одно действие из множества, содержащего изменение цвета, включения или выключения, увеличения или уменьшения яркости и мигания с изменяющейся скоростью. Компонент 31 обратной связи также может содержать динамик, который может обеспечить один или более звуков или шумов в качестве обратной связи одного или более состояний. Компонент обратной связи также может работать в комбинации с вычислительной средой 12 или процессором 32 для обеспечения пользователю одной или более форм обратной связи посредством любого другого элемента устройства захвата, основанной на жестах системы и т.п.

В иллюстративном варианте воплощения устройство 20 захвата может также включать в себя процессор 32, который может быть связан с возможностью взаимодействия с компонентом 25 камеры изображения. Процессор 32 может включать в себя стандартизированный процессор, специализированный процессор, микропроцессор и т.п., которые могут исполнять команды, которые могут включать в себя команды для приема изображения глубины, определения, может ли подходящая цель быть включена в изображение глубины, преобразования подходящей цели в скелетное представление или модель цели, или любую другую подходящую команду.

Устройство 20 захвата может также включать в себя компонент 34 памяти, который может хранить команды, которые могут быть исполнены процессором 32, изображения или кадры изображений, захваченных трехмерной камерой или RGB-камерой, профили пользователей или любую другую подходящую информацию, изображения и т.п. В соответствии с иллюстративным вариантом воплощения компонент 34 памяти может включать в себя оперативное запоминающее устройство (ОЗУ; RAM), постоянное запоминающее устройство (ПЗУ; ROM), кэш-память, флэш-память, жесткий диск или любой другой подходящий компонент памяти. Как показано на фиг. 2, в одном варианте воплощения компонент 34 памяти может представлять собой отдельный компонент, соединенный с компонентом 25 захвата изображения и процессором 32. В соответствии с другим вариантом воплощения компонент 34 памяти может быть интегрирован в процессор 32 и/или компонент 25 захвата изображения.

Как показано на фиг. 2, устройство 20 захвата может взаимодействовать с вычислительной средой 12 через линию 36 связи. Линия 36 связи может представлять собой проводное соединение, в том числе, например, соединение USB, соединение шины FireWire, кабельное соединение Ethernet и т.п. и/или беспроводное соединение, такое как беспроводное соединение стандартов 802.11b, g, a или n. В соответствии с одним вариантом воплощения вычислительная среда 12 может обеспечить устройству 20 захвата отсчет времени, который может использоваться для определения, например, когда следует выполнять захват сцены через линию 36 связи.

Кроме того, устройство 20 захвата может предоставлять информацию глубины и изображения, захваченные, например, посредством трехмерной камеры 27 и/или RGB-камеры 28, и скелетную модель, которая может быть сформирована устройством 20 захвата, вычислительной среде 12 через линию 36 связи. Вычислительная среда 12 затем может использовать скелетную модель, информацию глубины и захваченные изображения, например, для создания виртуального экрана, адаптации пользовательского интерфейса и управления прикладной программой, такой как игра или текстовой процессор. Например, как показано, на фиг. 2, вычислительная среда 12 может включать в себя библиотеку 290 жестов. Библиотека 190 жестов может включать в себя коллекцию фильтров жестов, каждый из которых содержит информацию относительно жеста, который может быть выполнен посредством скелетной модели (по мере движения пользователя). Данные, захваченные камерами 26, 27 и устройством 20, в виде скелетной модели и относящиеся к ней движения могут быть сравнены с фильтрами жестов в библиотеке 190 жестов, чтобы идентифицировать, когда пользователь (представленный скелетной моделью) выполнил один или более жестов. Эти жесты могут относиться к различным управляющим действиям прикладной программы. Таким образом, вычислительная среда 12 может использовать библиотеку 190 жестов для интерпретации движений скелетной модели и управления прикладной программой на основе движений.

Фиг. 3 показывает иллюстративный вариант воплощения вычислительной среды, которая может использоваться для интерпретации одного или более жестов в системе распознавания, анализа и отслеживания цели. Вычислительная среда, такая как вычислительная среда 12, описанная выше со ссылкой на фиг. 1A-2, может представлять собой мультимедийную консоль 100, такую как игровая консоль. Как показано в рис. 3, мультимедийная консоль 100 имеет центральный процессор (CPU) 101, имеющий кэш 102 уровня 1, кэш 104 уровня 2 и перепрограммируемое постоянное запоминающее устройство (ROM) 106. Кэш 102 уровня 1 и кэш 104 уровня 2 временно хранят данные и поэтому сокращают количество циклов доступа к памяти, тем самым увеличивая скорость и пропускную способность обработки. Может быть обеспечен центральный процессор 101, имеющий более одного ядра и, таким образом, дополнительные кэши 102 и 104 уровня 1 и уровня 2. Перепрограммируемое запоминающее устройство 106 может хранить исполняемый код, который загружается во время начальной фазы процесса загрузки, когда мультимедийная консоль 100 включается.

Графический процессор (GPU) 108 и видео-кодер / видео-кодек (кодер/декодер) 114 образуют конвейер обработки видеоинформации для высокоскоростной обработки графики с высоким разрешением. Данные переносятся от графического процессора 108 на видео-кодер/видео-кодек (кодер/декодер) 114 через шину. Конвейер обработки видеоинформации выдает данные на аудио/видео (A/V) порт 140 для передачи на телевизор или другой дисплей. Контроллер 110 памяти соединен с графическим процессором 108 для обеспечения доступа процессора к памяти 112 различных типов, такой как, но без ограничения, оперативное запоминающее устройство (ОЗУ; RAM).

Мультимедийная консоль 100 включает в себя контроллер 120 ввода-вывода (I/O), контроллер 122 управления системой, блок 123 обработки аудиоинформации, контроллер 124 сетевого интерфейса, первый ведущий контроллер 126 USB, второй контроллер 128 USB и подсистему 130 ввода-вывода передней панели, которые предпочтительно реализованы на модуле 118. Контроллеры 126 и 128 USB служат хостами для контроллеров 142(1)-142(2) ввода-вывода, адаптера 148 беспроводной связи и внешнего устройства 146 памяти (например, флэш-памяти, внешнего диска CD/DVD ROM, сменного носителя и т.д.). Сетевой интерфейс 124 и/или адаптер 148 беспроводной связи обеспечивает доступ к сети (например, сети Интернет, домашней сети и т.д.) и может представлять собой любой из широкого разнообразия компонентов различных проводных или беспроводных адаптеров, в том числе карту Ethernet, модем, модуль технологии Bluetooth, кабельный модем и т.п.

Системная память 143 обеспечена для хранения данных прикладных программ, которые загружаются во время процесса загрузки. Обеспечен дисковод 144, который может содержать дисковод DVD/CD дисков, накопитель на жестком диске или другой дисковод для сменных носителей и т.д. Дисковод 144 может быть внутренним или внешним по отношению к мультимедийной консоли 100. Посредством мультимедийной консоли 100 через дисковод 144 можно получить доступ к данным прикладной программы для исполнения, воспроизведения и т.д. Дисковод 144 соединен с контроллером 120 ввода-вывода через шину, такую как шина интерфейса Serial ATA или другое высокоскоростное соединение (например, соединение стандарта IEEE 1394).

Контроллер 122 управления системой обеспечивает множество служебных функций, связанных с гарантией доступности мультимедийной консоли 100. Блок 123 обработки аудиоинформации и аудио-кодек 132 образуют соответствующий конвейер обработки аудиоинформации с высокой точностью и обработкой стерео. Звуковые данные переносятся между блоком 123 обработки аудиоинформации и аудио-кодеком 132 через линию связи. Конвейер обработки аудиоинформации выдает данные на порту 140 A/V для воспроизведения посредством внешнего аудиопроигрывателя или устройства, имеющего возможности воспроизведения звука.

Подсистема 130 ввода-вывода передней панели поддерживает функциональные возможности кнопки 150 включения питания и кнопки 152 выброса, а также любые светодиоды (LED) или другие индикаторы, представленные на внешней поверхности мультимедийной консоли 100. Системный модуль 136 источника питания обеспечивает электропитание компонентам мультимедийной консоли 100. Вентилятор 138 охлаждает схемы в пределах мультимедийной консоли 100.

Подсистема 130 ввода-вывода передней панели может включать в себя светодиоды (LED), экран визуального отображения, лампы, динамик или любые другие средства, которые могут обеспечить звуковую или визуальную обратную связь состояния управления мультимедийной консоли 100 пользователю 18. Например, если система находится в состоянии, когда пользователи не обнаружены устройством захвата 20, такое состояние может быть отражено на подсистеме 130 ввода-вывода передней панели. Если состояние системы изменяется, например, пользователь привязывается к системе, состояние обратной связи может быть обновлено в подсистеме ввода-вывода передней панели для отражения изменения состояний.

Центральный процессор 101, графический процессор 108, контроллер 110 памяти и различные другие компоненты в пределах мультимедийной консоли 100 связаны между собой через одну или более шин, в том числе последовательные и параллельные шины, шину памяти, шину периферийных устройств и процессорную или локальную шину с использованием любой из множества шинных архитектур. В качестве примера такая архитектура может включать в себя шину соединения периферийных устройств (стандарт PCI), шину стандарта PCI-Express и т.д.

Когда мультимедийная консоль 100 включается, данные прикладной программы могут быть загружены из системной памяти 143 в память 112 и/или кэши 102, 104 и исполнены на центральном процессоре 101. Прикладная программа может предоставить графический пользовательский интерфейс, который обеспечивает непротиворечивое взаимодействие с пользователем при навигации по информационному содержанию различных видов, доступному на мультимедийной консоли 100. При работе прикладные программы и/или другое информационное содержание, содержащиеся в дисководе 144, могут быть запущены или воспроизведены с дисковода 144 для обеспечения дополнительных функциональных возможностей мультимедийной консоли 100.

Мультимедийную консоль 100 можно использовать как автономной системой посредством простого соединения системы с телевизором или другим дисплеем. В этом автономном режиме мультимедийная консоль 100 позволяет одному или более пользователям взаимодействовать с системой, смотреть кино или слушать музыку. Однако при интеграции широкополосной связи, доступной через сетевой интерфейс 124 или адаптер 148 беспроводной связи, мультимедийную консоль 100 также можно использовать в качестве компонента большего сетевого сообщества.

Когда мультимедийная консоль 100 включается, установленное количество аппаратных ресурсов резервируется для системного использования операционной системой мультимедийной консоли. Эти ресурсы могут включать в себя резервирование памяти (например, 16 МБ), циклы центрального процессора и графического процессора (например, 5 %), ширину сетевой полосы пропускания (например, 8 КБ) и т.д. Поскольку эти ресурсы резервируются во время загрузки системы, зарезервированные ресурсы не существуют с точки зрения прикладной программы.

В частности, резервирование памяти предпочтительно является достаточно большим, чтобы содержать ядро запуска, параллельные системные прикладные программы и драйверы. Резервирование центрального процессора является предпочтительно постоянным, поэтому если зарезервированная загрузка центрального процессора не используется системными прикладными программами, неактивный поток будет потреблять любые неиспользованные циклы.

Что касается резервирования графического процессора, простые сообщения, сформированные системными прикладными программами (например, всплывающие окна), отображаются посредством использования прерывания графического процессора, чтобы запланировать код для реализации всплывающего окна в оверлей. Объем памяти, требуемый для оверлея, зависит от размера области оверлея, и оверлей предпочтительно масштабируется в зависимости от разрешающей способности экрана. Когда параллельной системной прикладной программой используется полный пользовательский интерфейс, предпочтительно использовать разрешающую способность, независимую от разрешающей способности прикладной программы. Делитель частоты может использоваться для установления этой разрешающую способность таким образом, чтобы избавиться от необходимости изменять частоту и вызывать ресинхронизацию телевизионного сигнала.

После того, как мультимедийная консоль 100 загружена и системные ресурсы зарезервированы, исполняются параллельные системные прикладные программы для обеспечения системных функциональных возможностей. Системные функциональные возможности инкапсулированы во множестве системных прикладных программ, которые исполняются в зарезервированных системных ресурсах, описанных выше. Ядро операционной системы идентифицирует потоки, которые представляют собой системные потоки прикладных программ и потоки игровых прикладных программ. Системные прикладные программы предпочтительно планируются для выполнения на центральном процессоре 101 в предопределенные моменты времени и интервалы для обеспечения согласова