Жестовые сокращения

Жестовые сокращения

Иллюстрации

Показать все

Реферат

УРОВЕНЬ ТЕХНИКИ

Многие компьютерные приложения, такие как компьютерные игры, мультимедийные приложения, офисные приложения или подобные им, используют элементы управления, чтобы позволить пользователям манипулировать игровыми характеристиками или другими аспектами приложения. Обычно такие элементы управления являются устройствами ввода, использующими, например, контроллеры, пульты дистанционного управления, клавиатуры, мыши или подобные устройства. К сожалению, такие элементы управления могут быть сложны для изучения, создавая, таким образом, барьер между пользователем и подобными играми и приложениями. Кроме того, подобные элементы управления могут отличаться от реальных игровых действий или других действий приложения, для которых используются элементы управления. Например, элемент управления игры, который изменяет игровую характеристику для взмаха бейсбольной биты, может не соответствовать реальному движению поднимающейся бейсбольной биты.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Раскрытыми в настоящем документе являются системы и способы для жестовых сокращений.

В одном варианте осуществления изобретения вычислительное устройство принимает серии данных изображения от камеры. Данная камера может содержать цветную камеру (в частности красно-зелено-синей системы цветопередачи или RGB), камеру глубины и трехмерную (3D) камеру. Эти данные могут включать в себя отдельные изображения глубины и цвета, комбинированное изображение, которое объединяет информацию о глубине и о цвете, или проанализированное изображение, в котором объекты идентифицируются, например, люди, которые отображаются в виде скелета. Эти данные фиксируют движения или позы, сделанные, по меньшей мере, одним пользователем. Указанные движения или позы могут быть распознаны вычислительным устройством в качестве типа входных данных - входные данные жеста. Для данного жеста (например, навигации вверх) могут существовать полная версия жеста, который пользователь может делать, и сокращение жеста, который пользователь может делать, сокращение жеста в основном требует меньше времени, движения или сложности движения от пользователя.

В случае, если вычислительное устройство распознает, что пользователем выполнено или сокращение жеста или полная версия жеста, оно посылает сигнал об этом приложению, которое использует жесты в качестве ввода.

В варианте осуществления изобретения, в котором сокращение включает в себя подмножество полной версии жеста, и сокращенная и полная версия жеста распознаются как выполненная пользователем полная версия жеста, вычислительное устройство распознает, что произошло только единичное исполнение жеста и соответственно указывает приложению.

Вышесказанное является кратким описанием и, таким образом, включает в себя, по необходимости, упрощения, обобщения и опущение деталей. Следует понимать, что указанное краткое описание является только иллюстративным и не направлено на ограничения в каком-либо виде.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Системы, способы и машиночитаемый носитель информации для жестовых сокращений в соответствии с данной спецификацией описываются дополнительно со ссылкой на прилагаемые чертежи, на которых:

фиг.1A и 1B иллюстрируют пример осуществления системы распознавания цели, анализа и слежения пользователем, играющим в игру.

Фиг.2 иллюстрирует пример осуществления устройства захвата, которое может быть использовано в системе распознавания цели, анализа и слежения.

Фиг.3A иллюстрирует пример осуществления вычислительной среды, которая может быть использована для интерпретации одного или более жестов в системе распознавания цели, анализа и слежения.

Фиг.3B иллюстрирует другой пример осуществления вычислительной среды, которая может быть использована для интерпретации одного или более жестов в системе распознавания цели, анализа и слежения.

Фиг.4A иллюстрирует скелетное отображение пользователя, которое было сформировано на основании системы распознавания цели, анализа и слежения на фиг.2.

Фиг.4B иллюстрирует дополнительные детали жеста архитектуры устройства распознавания, показанного на фиг.2.

Фиг.5A и 5B иллюстрируют, каким образом жестовые фильтры могут быть помещены в стек с целью создания более сложных жестовых фильтров.

Фиг.6A, 6B, 6C, 6D и 6E иллюстрируют пример жеста, который пользователь может выполнить для подачи сигнала о "честном захвате" в видеоигре в американский футбол.

Фиг.7A, 7B, 7C, 7D и 7E иллюстрируют примеры жеста "честного захвата" фиг.6A-E в состоянии после того, как каждый кадр данных изображения был проанализирован для создания скелетного отображения пользователя.

Фиг.8A иллюстрирует пользователя, выполняющего движение бега в полном объеме.

Фиг.8B иллюстрирует пользователя, выполняющего движение бега в сокращенном объеме, сокращенный жест включает в себя подмножество движения полного объема жеста фиг.8A.

Фиг.8C иллюстрирует пользователя, выполняющего второй тип сокращенного объема жеста, второй тип сокращенного объема жеста включает в себя движение, независимое от полного объема жеста фиг.8A.

Фиг.9 изображает пример последовательности операций для жестовых сокращений.

ПОДРОБНОЕ ОПИСАНИЕ ИЛЛЮСТРАТИВНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Как будет описано в настоящем документе, пользователь может управлять приложением, выполняемым в вычислительной среде, такой как игровая приставка, компьютер или подобное устройство, путем выполнения одного или более жестов. Согласно одному варианту осуществления изобретения, жесты могут быть приняты, например, с помощью устройства захвата. Например, устройство захвата может захватить глубину изображения сцены. В одном варианте осуществления изобретения устройство захвата может определить, соответствует ли одна или больше целей или объектов в сцене человеческому объекту, такому как пользователь. Для определения, соответствует ли цель или объект в сцене человеческому объекту, каждую из целей можно закрасить заливкой и сравнить с шаблоном модели человеческого тела. Каждая цель или объект, который совпадает с моделью человеческого тела, затем может быть отсканирован для создания скелетной модели, ассоциированной с ним. Скелетная модель может затем быть предоставлена вычислительной среде, так что вычислительная среда может отслеживать скелетную модель, представлять аватар, ассоциированный со скелетной моделью, и может определять, какие элементы управления исполнять в приложении, выполняемом на основе компьютерной среды, например, жесты пользователя, которые были распознаны, исходя из скелетной модели. Процессор распознавания жестов, архитектура которой описана более полно ниже, используется для определения, когда конкретный жест был выполнен пользователем.

Фиг.1A и 1B иллюстрируют вариант осуществления конфигурации системы распознавание цели, анализа и слежения 10 с пользователем 18, играющим в игру «бокс». В варианте осуществления изобретения системы распознавания цели, анализа и слежения 10 могут быть использованы для распознавания, анализа и/или слежения за человеческим объектом, таким как пользователь 18.

Как показано на фиг.1A, система распознавания цели, анализа и слежения 10 может включать в себя вычислительную среду 12. Вычислительная среда 12 может быть компьютером, игровой системой, или приставкой, или подобным устройством. Согласно варианту осуществления изобретения, вычислительная среда 12 может включать в себя аппаратные компоненты и/или программные компоненты, так что вычислительная среда 12 может быть использована для выполнения приложений, таких как игровые приложения, не игровые приложения или подобные им.

Как показано на фиг.1A, система распознавания цели, анализа и слежения 10 может дополнительно включать в себя устройство захвата 20. Устройство захвата 20 может быть, например, камерой, которая может быть использована для визуального мониторинга одного или более пользователей, такого как пользователь 18, так что жесты, выполненные одним или более пользователями, могут быть захвачены, проанализированы и прослежены для выполнения одного или более элементов управления или действий внутри приложения, как будет описано более подробно ниже.

Согласно одному варианту осуществления изобретения, система распознавания цели, анализа и слежения 10 может быть соединена с аудиовизуальным устройством 16, таким как телевизор, монитор, телевизор высокой четкости (HDTV) или подобными устройствами, которое может предоставить игру или визуальное и/или аудиоприложение пользователю, такому как пользователь 18. Например, вычислительная среда 12 может включать в себя видеоадаптер, такой как видеокарта и/или аудиоадаптер, такой как звуковая карта, которая может обеспечить аудиовизуальные сигналы, ассоциированные с игровым приложением, не игровым приложением или подобным им. Аудиовизуальное устройство 16 может принимать аудиовизуальные сигналы от вычислительной среды 12 и может затем выводить игру, визуальное и/или аудиоприложение, ассоциированное с аудиовизуальными сигналами игры, или приложения пользователю 18. Согласно одному варианту осуществления изобретения аудиовизуальное устройство 16 может быть соединено с вычислительной средой 12, например, через кабель S-видео, коаксиальный кабель, кабель HDMI, кабель DVI, кабель VGA или подобные им.

Как показано на фиг.1A и 1B, система распознавания цели, анализа и слежения 10 может быть использована для распознавания, анализа и/или слежения за человеческим объектом, таким как пользователь 18. Например, пользователь 18 может быть отслежен с использованием устройства захвата 20, так что движения пользователя 18 могут быть интерпретированы как элементы управления, что может быть использовано для воздействия на приложение, исполняемое компьютерной средой 12. Таким образом, согласно одному варианту осуществления изобретения, пользователь 18 может переместить свое тело для управления приложением.

Как показано на фиг.1A и 1B, в варианте осуществления изобретения приложение, исполняемое в вычислительной среде 12, может быть игрой в бокс, в которую может играть пользователь 18. Например, вычислительная среда 12 может использовать аудиовизуальное устройство 16 для предоставления визуального представления боксирующего соперника 22 пользователю 18. Вычислительная среда 12 также может использовать аудиовизуальное устройство 16 для предоставления визуального представления аватара игрока 24, которым пользователь 18 может управлять с помощью своих движений. Например, как показано на фиг.1B, пользователь 18 может нанести удар в физическом пространстве, что заставит аватар игрока 24 нанести удар в игровом пространстве. Таким образом, согласно варианту осуществления изобретения, компьютерная среда 12 и устройство захвата 20 системы распознавания цели, анализа и слежения 10 может быть использована для распознавания и анализа удара пользователя 18 в физическом пространстве так, что удар может быть интерпретирован как игровой элемент управления аватаром игрока 24 в игровом пространстве.

Другие движения пользователя 18 также могут быть интерпретированы как другие элементы управления или действия, такие как элементы управления бобслейными санями, катанием, тасованием, блокированием, ударом в боксе, джебом или размахом множества ударов кулаком различной силы. Кроме того, некоторые движения могут интерпретироваться как элементы управления, что может соответствовать действиям, отличным от управления аватаром игрока 24. Например, игрок может использовать движения для окончания игры, паузы или сохранения игры, чтобы выбрать уровень, посмотреть лучшие результаты, общаться с друзьями и так дополнительно.

В вариантах осуществления изобретений человеческий объект, такой как пользователь 18, может обладать объектом. В таких вариантах осуществления изобретения пользователь электронной игры может держать объект так, что движения игрока и данный объект могут быть использованы для корректировки и/или управления параметрами игры. Например, движение игрока, держащего ракетку, может быть отслежено и применено для управления виртуальной ракеткой в электронной спортивной игре. В другом варианте осуществления изобретения движение игрока, удерживающего объект, может быть отслежено и использовано для управления виртуальным оружием в электронной боевой игре.

Согласно другим вариантам осуществления изобретений, система распознавания цели, анализа и слежения 10, кроме того, может быть использована для интерпретации движений цели в качестве операционной системы и/или элементов управления приложением, которые находятся вне области действия игр. Например, в сущности, любой управляемый аспект операционной системы и/или приложения может быть управляем движениями цели, такой как пользователь 18.

Фиг.2 иллюстрирует вариант осуществления устройства захвата 20, которое может быть использовано в системе распознавания цели, анализа и слежения 10. Согласно варианту осуществления изобретения, устройство захвата 20 может быть сконфигурировано для захвата видеоизображения с информацией о глубине, включая глубину изображения, которая может включать значения глубины с помощью любой подходящей техники, включая, например, время движения, структурированное освещение, стереоизображение или подобное им. Согласно одному варианту осуществления изобретения, устройство захвата 20 может группировать вычисленную информацию глубины в "Z-слои" или слои, которые могут быть перпендикулярны Z-оси, распространяясь от камеры глубины вдоль ее линии наблюдения.

Как показано на фиг.2, устройство захвата 20 может включать в себя компонент камеры изображения 22. Согласно варианту осуществления изобретения, компонент камеры изображения 22 может быть камерой глубины, которая может захватить глубину изображения сцены. Глубина изображения может включать двухмерную (2-D) растровую область захваченной сцены, где каждый пиксель в 2-D растровой области может представлять дальность, например, в сантиметрах, миллиметрах или т.п. объекта в захваченной сцене от камеры.

Как показано на фиг.2, согласно варианту осуществления изобретения, компонент камеры изображения 22 может включать в себя компонент ИК света 24, трехмерную (3-D) камеру 26 и RGB-камеру 28, которая может быть использована для захвата глубины изображения сцены. Например, в анализе времени движения компонент ИК света 24 устройства захвата 20 может излучать инфракрасный свет в сцене и затем может использовать сенсоры (не показано) для нахождения отраженного света от поверхности одной или более целей или объектов сцены, используя, например, 3-D камеру 26 и/или RGB-камеру 28. В некоторых вариантах осуществления изобретения пульсирующий инфракрасный свет может быть использован так, что время между исходящей световой пульсацией и согласованным приходящим световым сигналом может быть измерено и использовано для определения физической дистанции от устройства захвата 20 до определенного места на целях или объектах в сцене. Кроме того, в других вариантах осуществления изобретения фаза исходящей световой волны может сравниваться с фазой входящей световой волны для определения фазового сдвига. Фазовый сдвиг может затем быть использован для определения физической дистанции от устройства захвата до определенного места на целях или объектах.

Согласно другому варианту осуществления изобретения, анализ способом прохождения может быть использован для косвенного определения физической дистанции от устройства захвата 20 до определенного места на целях или объектах путем анализа интенсивности отраженного потока света в динамике по времени с помощью различных технологий, включая, например, технологию shuttered light pulse imaging.

В другом варианте осуществления изобретения устройство захвата 20 может использовать структурированный свет для захвата информации о глубине. В таком анализе узорчатый свет (т.е. свет, падающий в виде известного рисунка, такого как сетчатый рисунок или рисунок в полоску) может быть спроецирован на сцену, например, с помощью компонента ИК света 24. При достижении поверхности одной или более целей или объектов в сцене рисунок может деформироваться под влиянием поверхности. Такая деформация рисунка может быть захвачена, например, 3-D камерой 26 и/или RGB-камерой 28, и затем может быть проанализирована для определения физической дистанции от устройства захвата до определенного места на целях или объектах.

Согласно другому варианту осуществления изобретения устройство захвата 20 может включать две или более физически разделенных камер, которые могут просматривать сцену с разных углов для приема визуальных стереоданных, которые подвергают разрешению для формирования информации о глубине.

Устройство захвата 20 может дополнительно включать в себя микрофон 30. Микрофон 30 может содержать датчик или сенсор, который может принимать и конвертировать звук в электрический сигнал. Согласно одному варианту осуществления изобретения, микрофон 30 может быть использован для упрощения обратной связи между устройством захвата 20 и вычислительной средой 12 в системе распознавания цели, анализа и слежения 10. Кроме того, микрофон 30 может быть использован для приема звукового сигнала, который также может быть представлен пользователем элементам управления приложения, таким как игровые приложения, неигровые приложения или подобным им, что может быть исполнено вычислительной средой 12.

В варианте осуществления изобретения устройство захвата 20, кроме того, может включать в себя процессор 32, который может находиться в оперативной связи с компонентом камеры изображения 22. Процессор 32 может включать в себя стандартный процессор, специальный процессор, микропроцессор или подобный им, который может исполнять команды, которые могут включать в себя команды для приема глубины изображения, определения, может ли быть подходящая цель включена в глубину изображения, конвертирования подходящей цели в скелетное представление или модель данной цели, или любую другую подходящую команду.

Устройство захвата 20, кроме того, может включать в себя компонент памяти 34, который может хранить команды, которые могут быть исполнены процессором 32, изображения или кадры изображений, захваченных 3-D камерой или RGB-камерой, или любую другую отвечающую требованиям информацию, изображения или подобное им. Согласно варианту осуществления изобретения, компонент памяти 34 может включать в себя память с произвольным доступом (RAM), постоянное запоминающее устройство (ROM), кэш, флэш-память, жесткий диск или любые другие отвечающие требованиям компоненты хранения. Как показано на фиг.2, в одном варианте осуществления изобретения компонент памяти 34 может быть отдельным компонентом в соединении с компонентом захвата изображения 22 и процессором 32. Согласно другому варианту осуществления изобретения, компонент памяти 34 может быть интегрирован в процессор 32 и/или компонент захвата изображения 22.

Как показано на фиг.2, устройство захвата 20 может иметь связь с вычислительной средой 12 через канал связи 36. Канал связи 36 может быть физическим соединением, включающим в себя, например, соединение USB, соединение Firewire, соединение кабелем Ethernet или подобное им, и/или может быть беспроводным соединением, таким как беспроводное соединение 802.11b, g, a или n. Согласно одному варианту осуществления изобретения, вычислительная среда 12 может предоставить генератор тактовых импульсов устройству захвата 20, который может быть использован для определения времени захвата, например, сцены через канал связи 36.

Кроме того, устройство захвата 20 может предоставить информацию о глубине и изображения, захваченные, например, 3-D камерой 26 и/или RGB-камерой 28, и скелетную модель, которая может быть создана устройством захвата 20 для вычислительной среды 12 через канал связи 36. Вычислительная среда 12 может затем использовать скелетную модель, информацию о глубине и захваченные изображения, например, для распознавания пользовательских жестов и в ответе элемента управления приложения, такого как игра или текстовый процессор. Например, как показано на фиг.2, вычислительная среда 12 может включать механизм 190 распознавания жестов. Механизм 190 распознавания жестов может включать в себя коллекцию фильтров жестов, каждый из которых включает в себя информацию, касающуюся жеста, который может быть выполнен скелетной моделью (как двигается пользователь). Данные, захваченные камерами 26, 28 и устройством 20 в виде скелетной модели и движений, ассоциированных с ними, могут сравниваться с фильтрами жестов в механизме 190 распознавания жестов для идентификации, при выполнении пользователем (как представлено скелетной моделью) одного или более жестов. Указанные жесты могут быть ассоциированы с различными элементами управления приложения. Таким образом, вычислительная среда 12 может использовать механизм 190 распознавания жестов для интерпретации движений скелетной модели и для управления приложением на основе движений.

Фиг.3A иллюстрирует вариант осуществления вычислительной среды, которая может быть использована для реализации вычислительной среды 12 фигуры 1A-2. Вычислительная среда может быть мультимедийным устройством 100, таким как игровая консоль. Как показано на фиг.3A, мультимедийное устройство 100 имеет центральный процессор (ЦП) 101, имеющий кэш 102 1-го уровня, кэш 104 2-го уровня и флэш ROM (Постоянное Запоминающее Устройство) 106. Кэш 102 1-го уровня и кэш 104 2-го уровня временно сохраняют данные, и поэтому уменьшается количество циклов доступа к памяти, при этом улучшается скорость обработки и производительность. ЦП 101 может быть предоставлен более чем с одним ядром и, соответственно, с дополнительными кэшами 1-го и 2-го уровня 102 и 104. Флэш ROM 106 может хранить исполняемый код, который загружен во время начального этапа процесса загрузки, при включении мультимедийного устройства 100.

Графический процессор (GPU) 108 и видеокодер/видеокодек (кодер/декодер) 114 формируют канал обработки видеоинформации для высокоскоростной и с высоким разрешением графической обработки. Данные поступают от графического процессора 108 на видеокодер/видеокодек 114 через шину. Канал обработки видеоинформации выводит данные на A/V (аудио/видео) порт 140 для передачи на телевизор или другой дисплей. Контроллер памяти 110 подключен к GPU 108 для облегчения задачи процессору в доступе к различным типам памяти 112, например, но без ограничения, RAM (Оперативное Запоминающее Устройство).

Мультимедийное устройство 100 включает в себя контроллер 120 ввода/вывода, контроллер 122 управления системой, блок обработки звукового сигнала 123, контроллер сетевого интерфейса 124, первый USB корневой контроллер 126, второй USB контроллер 128 и подблок 130 ввода/вывода передней панели, который преимущественно реализован в модуле 118. Контроллеры USB 126 и 128 выполняют функцию главного для периферийных контроллеров 142(1)-142(2), беспроводной адаптер 148 и устройство внешней памяти 146 (например, флэш-память, внешний CD/DVD привод, съемный носитель и т.д.). Сетевой интерфейс 124 и/или беспроводной адаптер 148 обеспечивают доступ к сети (например, Интернет, домашней сети и т.д.) и могут быть любыми из широкого спектра компонентов проводных или беспроводных адаптеров, включающих карту Ethernet, модем, модуль Bluetooth, кабельный модем и подобные им.

Системная память 143 представляется для хранения данных приложения, которое загружено во время процесса загрузки. Привод 144 носителя предоставляется и может включать в себя DVD/CD привод, жесткий диск или другой съемный привод носителя и т.д. Привод 144 носителя может быть внутренним или внешним для мультимедийного устройства 100. Указанные приложения могут быть доступны через привод 144 носителя для исполнения, проигрывания и т.д. через мультимедийное устройство 100. Привод 144 носителя соединен с контроллером 120 ввода/вывода через шину, такую как шина Serial ATA или другое высокоскоростное соединение (например, IEEE 1394).

Контроллер 122 управления системой предоставляет различные сервисные функции, относящиеся к обеспечению доступности мультимедийного устройства 100. Блок обработки звукового сигнала 123 и аудиокодек 132 образуют соответствующий канал обработки аудиоинформации с высококачественной и стереообработкой. Аудиоданные переносятся между блоком обработки звукового сигнала 123 и аудиокодеком 132 через канал связи. Канал обработки аудиоинформации выводит данные в A/V порт 140 для воспроизведения внешним аудиопроигрывателем или устройством, имеющим воспроизведение звука.

Подблок 130 ввода/вывода передней панели поддерживает функциональность кнопки питания 150 и кнопку выброса 152, а также любые LED (светодиоды) или другие индикаторы, расположенные на внешней поверхности мультимедийного устройства 100. Системный блок питания 136 обеспечивает питанием компоненты мультимедийного устройства 100. Вентилятор 138 охлаждает схему внутри мультимедийного устройства 100.

ЦП 101, GPU 108, контроллер памяти 110 и другие различные компоненты внутри мультимедийного устройства 100 соединены через одну или более шин, включая последовательные и параллельные шины, шину памяти, периферийную шину и процессор или локальную шину, используя любую из различных шинных архитектур. В качестве примера такие архитектуры могут включать локальную шину соединения периферийных устройств (PCI), шину PCI-Express и т.д.

Когда мультимедийное устройство 100 включено, данные приложения могут быть загружены из системной памяти 143 в память 112 и/или кэши 102, 104 и исполнены в ЦП 101. Приложение может предоставлять графический пользовательский интерфейс, который предоставляет единообразный пользовательский интерфейс при навигации в различных типах сред, имеющихся на мультимедийном устройстве 100. В рабочем состоянии приложения и/или другой носитель, находящийся в приводе 144 носителя, может быть запущен или проигран с привода 144 носителя для предоставления дополнительных возможностей мультимедийному устройству 100.

Мультимедийное устройство 100 может функционировать как отдельное устройство посредством простого подсоединения системы к телевизору или другому дисплею. В данном автономном режиме мультимедийное устройство 100 позволяет одному или более пользователям взаимодействовать с системой, смотреть кинофильм или слушать музыку. Однако в случае интеграции широкополосного соединения, предоставляемого через прямой сетевой интерфейс 124 или беспроводной адаптер 148, мультимедийное устройство 100, кроме того, может функционировать в качестве участника в крупномасштабном сетевом сообществе.

Когда мультимедийное устройство 100 включено, установленное количество аппаратных ресурсов резервируется для системы мультимедийного устройства операционной системой. Данные ресурсы могут включать в себя резервирование памяти (например, 16MB), ЦП и циклов GPU (например, 5%), пропускную способность (например, 8 кбит) и т.д. В связи с тем, что указанные ресурсы зарезервированы в процессе загрузки системы, зарезервированные ресурсы не доступны из приложения.

В частности, резервирование памяти преимущественно является достаточно большим, чтобы содержать загрузочное ядро, параллельные системные приложения и драйверы. Резервирование ЦП преимущественно является постоянным, таким, что если зарезервированное использование ЦП не используется системными приложениями, поток ожидания будет использовать любые неиспользуемые циклы.

Принимая во внимание резервирование GPU, легковесящие сообщения, сгенерированные системными приложениями (например, всплывающие), изображаются GPU, прерывая распределение кода для представления всплывающего окна в оверлее. Объем памяти, требуемый для оверлейного сегмента, зависит от размера зоны оверлея, и оверлей предпочтительно масштабируется в соответствии с разрешением экрана. В тех случаях, когда полный пользовательский интерфейс используется параллельным системным приложением, предпочтительно использовать разрешение, независимое от разрешения приложения. Блок масштабирования может быть использован для установки данного разрешения так, что необходимость изменять частоту и причина на TV ресинхронизации пропадают.

После того, как мультимедийное устройство 100 загружается, и системные ресурсы резервируются, параллельные системные приложения выполняются для предоставления функциональных возможностей системы. Функциональные возможности системы заключаются в наборе системных приложений, которые исполняются в зарезервированных системных ресурсах, описанных выше. Ядро операционной системы определяет потоки, которые являются потоками системных приложений, в отличие от потоков игровых приложений. Системные приложения приоритетно распределяются для исполнения в ЦП 101 в заданное время и интервалы в порядке предоставления соответствующего системного ресурса просмотра приложению. Распределение машинного времени требуется для минимизации сбоев кэша для игрового приложения, исполняемого на консоли.

Когда параллельное системное приложение запрашивает звук, обработка звука распределяется асинхронно игровому приложению из-за зависимости от фактора времени. Менеджер приложений мультимедийного устройства (описано ниже) управляет уровнем звука игрового приложения (например, отключая, уменьшая), если системные приложения активны.

Устройства ввода (например, контроллеры 142(1) и 142(2)) разделяются игровыми приложениями и системными приложениями. Устройства ввода не являются зарезервированными ресурсами, но подлежат переключению между системными приложениями и игровым приложением, так что каждое будет иметь фокус устройства. Менеджер приложений предпочтительно управляет переключением входного потока, не знания сведений игровых приложений, и драйвер сохраняет информацию состояния о переключениях фокуса. Камеры 26, 28 и устройство захвата 20 могут определять дополнительные устройства ввода для консоли 100.

Фиг.3B иллюстрирует другой вариант осуществления вычислительной среды 220, которая может быть вычислительной средой 12, показанной на фиг.1A-2, используемой для интерпретации одного или более жестов в системе распознавания цели, анализа и слежения. Среда вычислительной системы 220 представляет собой только один вариант подходящей вычислительной среды, и она не направлена на введение каких-либо ограничений как в области использования, так и функциональности настоящего раскрытия объекта изобретения. Также не следует интерпретировать вычислительную среду 220 как имеющую какую-либо зависимость или потребность, касающуюся любого компонента или комбинации компонентов, проиллюстрированных в типичной операционной среде 220. В некоторых вариантах осуществления изобретения различные описанные вычислительные элементы могут включать схему, сконфигурированную для иллюстрации специфических аспектов текущего раскрытия сущности изобретения. Например, термин «схема», используемый в раскрытии сущности изобретения, может включать специализированные аппаратные компоненты, сконфигурированные для выполнения функции (функций) встроенным программным обеспечением или переключателями. В других вариантах осуществления изобретения термин «схема» может включать в себя обрабатывающий блок общего назначения, память и т.д., сконфигурированные программными командами, которые включают в себя работающую логику для выполнения функции (функций). В вариантах осуществления изобретений, в которых схема включает в себя комбинацию аппаратного и программного обеспечения, конструктор может написать исходный код, включающий логику, и исходный код может быть откомпилирован в машинно-исполняемый код, который может быть обработан обрабатывающим блоком общего назначения. Поскольку можно понять, что уровень развития техники достиг точки, где существует небольшое различие между аппаратным решением, программным решением или комбинацией аппаратное решение/программное решение, выбор аппаратного решения по сравнению с программным решением, чтобы выполнить специфические функции, представляет собой проектное решение, конструктора. В частности, специалист в данной области техники может оценить, что программный процесс может быть трансформирован в эквивалентную аппаратную структуру, и аппаратная структура может быть сама трансформирована в эквивалентный программный процесс. Таким образом, выбор аппаратной реализации в сравнении с программной реализацией является одним из проектных решений и остается за конструктором.

На фиг.3B вычислительная среда 220 включает в себя компьютер 241, который обычно включает в себя целый ряд машиночитаемых носителей информации. Машиночитаемый носитель информации может быть любым доступным носителем, который может быть доступен посредством компьютера 241 и включает в себя изменяемый и неизменяемый носитель, съемный и несъемный носитель. Системная память 222 включает в себя компьютерное запоминающее устройство в виде энергозависимой и/или энергонезависимой памяти, такой как постоянное запоминающее устройство (ROM) 223 и оперативное запоминающее устройство (RAM) 260. Базовая система ввода/вывода 224 (BIOS), содержащая в себе базовые программы, которые помогают передавать информацию между элементами внутри компьютера 241, например, во время запуска, обычно сохраняется в ROM 223. RAM 260 обычно содержит данные и/или программные модули, которые моментально становятся доступны и/или немедленно будут исполняться блоком обработки данных 259. В качестве примера и без ограничения, фиг.3B иллюстрирует операционную систему 225, прикладные программы 226, другие программные модули 227 и данные 228 программы.

Компьютер 241 также может включать в себя другое съемное/несъемное, энергозависимое/энергонезависимое компьютерное запоминающее устройство. Только в качестве примера фиг.3B иллюстрирует жесткий диск 238, который считывает с или записывает на несъемный, энергонезависимый магнитный носитель, накопитель на магнитных дисках 239, который считывает с или записывает на съемный, энергонезависимый магнитный диск 254, и накопитель на оптических дисках 240, который считывает с или записывает на съемный энергонезависимый оптический диск 253, такой как CD-ROM, или другой оптический носитель. Другое съемное/несъемное, энергозависимое/энергонезависимое компьютерное запоминающее устройство, которое может быть использовано в типичной операционной среде, включающей в себя, но без ограничений, кассеты с магнитной лентой, карты флэш-памяти, универсальные цифровые диски, цифровые видеоленты, твердотельную RAM, твердотельную ROM и подобное им. Жесткий диск 238 обычно подключен к системной шине 221 через интерфейс несъемной памяти, такой как интерфейс 234, и накопитель на магнитных дисках 239 и накопитель на оптических дисках 240 обычно подключены к системной шине 221 интерфейсом съемной памяти, таким как интерфейс 235.

Приводы и их ассоциированное компьютерное запоминающее устройство, обсуждаемые выше и проиллюстрированные на фиг.3B, обеспечивают хранение читаемых компьютером команд, структур данных, программных модулей и других данных для компьютера 241. На фиг.3B, например, жесткий диск 238 проиллюстрирован как хранилище операционной системы 258, прикладной программы 257, других программных модулей 256 и данных программы 255. Необходимо отметить, что данные компоненты могут либо быть такими же как, либо могут отличаться от операционной системы 225, прикладной программы 226, других программных модулей 227 и данных 228 программы. Операционная система 258, прикладная программа 257, другие программные модули 256 и данные программы 255 здесь даны под разными номерами, чтобы проиллюстрировать, что они, по меньшей мере, являются различными копиями. Пользователь может вводить команды и информацию в компьютер 241 через устройства ввода, такие как клавиатура 251 и координатно-указательное устройство 252, обычно называемое мышью, трекболом или тачпадом. Другие устройства ввода (не показано) могут включать в себя микрофон, джойстик, игровой манипулятор, спутниковую тарелку, сканер или подобные им. Указанные и другие устройства ввода часто подключены к блоку обработки данных 259 через интерфейс 236 пользовательского ввода, который сопрягается с системной шиной, но может быть подключен с помощь