Распознавание аудиопоследовательности для активации устройства

Распознавание аудиопоследовательности для активации устройства

Иллюстрации

Показать все

Реферат

УРОВЕНЬ ТЕХНИКИ

Установившейся практикой является работа электрических устройств в неактивном или выключенном состоянии в режиме ожидания, когда устройство потребляет меньшее количество электропитания. Типичное питание в режиме ожидания электрического устройства может, например, иметь величину приблизительно до 8 ватт. Однако для миллиардов используемых электрических устройств даже эта небольшая величина суммируется в заметную долю общемирового потребления электроэнергии. Инициативы, такие как Инициатива «Один ватт» Международного энергетического агентства (TEA), стремятся уменьшить мощность в режиме ожидания электрических устройств до 0,5 ватт к 2013 году. Было бы полезно добиться упрощенной активации электрических устройств в режиме ожидания даже при работе на 0,5 ваттах.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Настоящая технология относится в общем к системе, содержащейся в электрическом устройстве, для активации устройства из режима ожидания в режим работы на полную мощность. Система включает в себя один или более микрофонов и блок активации в режиме ожидания. Блок активации в режиме ожидания включает в себя процессор, такой как микропроцессор, и соответствующую энергонезависимую память. Одна или более оцифрованных фраз активации могут храниться в энергонезависимой памяти, или записанные заранее до первого использования пользователем, или выбранные и введенные пользователем.

Когда электрическое устройство работает в режиме ожидания, на один или более микрофонов подается питание для считывания звука поблизости от микрофона. Чтобы активировать электрическое устройство, находящееся в режиме ожидания, пользователь может произнести заранее записанную или выбранную пользователем фразу активации, соответствующую фразе активации, сохраненной в энергонезависимой памяти. Аудиопоток детектируется одним или более микрофонами и оцифровывается в аудиопоследовательность. Аудиопоследовательность затем сравнивается процессором блока активации в режиме ожидания с одной или более фразами активации, сохраненными в энергонезависимой памяти. Если произнесенная фраза соответствует сохраненной фразе активации, процессор идентифицирует соответствие и отправит сигнал в силовую цепь для активации электрического устройства в режим работы на полную мощность. Если процессор не идентифицировал никакого соответствия между принятой аудиопоследовательностью и сохраненной фразой(ами) активации, электрическое устройство остается в режиме ожидания.

Микрофон и блок активации в режиме ожидания могут принимать аудиопоток, оцифровывать его в аудиопоследовательность и выполнять операцию нахождения соответствия для сравнения входящих аудиопоследовательностей с сохраненной фразой(ами) активации, все это с питанием, доступным в режиме ожидания. В одном примере это питание может составлять 0,5 ватт.

В вариантах выполнения настоящая технология относится к способу активации электрического устройства из режима ожидания, содержащему этапы, на которых: (a) принимают в режиме ожидания аудиопоток в электрическом устройстве; (b) оцифровывают в режиме ожидания аудиопоток в аудиопоследовательность; (c) сравнивают в режиме ожидания аудиопоследовательность, оцифрованную на упомянутом этапе (b), с оцифрованной фразой активации, сохраненной в энергонезависимой памяти; и (d) активируют электрическое устройство, если аудиопоследовательность соответствует фразе активации в пределах заданного допустимого отклонения.

В другом примере настоящая технология относится к системе активации в режиме ожидания для активации электрического устройства из режима ожидания, причем блок активации в режиме ожидания содержит: один или более микрофонов для обнаружения аудиопотока поблизости от одного или более микрофонов; и блок активации в режиме ожидания, включающий в себя энергонезависимую память, включающую в себя одну или более сохраненных последовательностей активации, и процессор для сравнения оцифрованной аудиопоследовательности, принятой от одного или более микрофонов, с одной или более несколькими сохраненными последовательностями активации, сохраненными в энергонезависимой памяти, используя питание, доступное электрическому устройству в режиме ожидания, процессор, активирующий устройство, если оцифрованная аудиопоследовательность соответствует фразе активации из одной или более фраз активации, сохраненных в энергонезависимой памяти, в пределах заданного допустимого отклонения.

В дополнительном примере настоящая технология относится к машиночитаемому носителю данных, имеющему исполняемые компьютером инструкции для программирования процессора для выполнения способа активации вычислительного устройства системы естественного пользовательского интерфейса NUI из режима ожидания, содержащего этапы, на которых: (a) принимают в режиме ожидания аудиопоток в одном или более микрофонах, связанных с системой NUI; (b) оцифровывают в режиме ожидания аудиопоток в аудиопоследовательность; (c) обрабатывают в режиме ожидания оцифрованный аудиопоток для облегчения нахождения соответствия оцифрованного аудиопотока с одной или более оцифрованными фразами активации, сохраненными в энергонезависимой памяти вычислительного устройства; (d) сравнивают в режиме ожидания аудиопоследовательность, обработанную на упомянутом этапе (c), с одной или более оцифрованными фразами активации, сохраненными в энергонезависимой памяти вычислительного устройства; и (e) активируют вычислительное устройство, если аудиопоследовательность соответствует фразе активации из одной или более фраз активации в пределах заданного допустимого отклонения.

Это раскрытие изобретения приведено для представления в упрощенной форме набора концепций, которые дополнительно описаны ниже в подробном описании. Это раскрытие изобретения не предназначено для идентификации ключевых признаков или существенных признаков заявленного изобретения, а также оно не предназначено для использования в качестве средства определения объема заявленного изобретения. Кроме того, заявленное изобретение не ограничивается вариантами осуществления, которые устраняют любые или все недостатки, отмеченные в любой части этого описания.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1A-1B изображают иллюстративные варианты выполнения системы распознавания, анализа и слежения за целью с пользователем, играющим в игру.

Фиг. 2 изображает иллюстративный вариант выполнения устройства захвата, которое может использоваться в системе распознавания, анализа и слежения за целью.

Фиг. 3A изображает иллюстративный вариант выполнения вычислительной среды, которая может использоваться для интерпретации одного или более жестов в системе распознавания, анализа и слежения за целью.

Фиг. 3B изображает другой иллюстративный вариант выполнения вычислительной среды, которая может использоваться для интерпретации одного или более жестов в системе распознавания, анализа и слежения за целью.

Фиг. 4 является блок-схемой последовательности операций варианта выполнения для обучения и сохранения фразы активации.

Фиг. 5 является примером оцифрованной последовательности активации.

Фиг. 6 является блок-схемой последовательности операций варианта выполнения для активации электрического устройства в режиме ожидания.

Фиг. 7 является блок-схемой варианта выполнения для активации электрического устройства в режиме ожидания.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Теперь будут описаны варианты выполнения настоящей технологии со ссылкой на фиг. 1A-7, которые в общем относятся к системе, содержащейся в электрическом устройстве, для активации устройства из режима ожидания в режим работы на полной мощности. В одном примере электрическое устройство может быть системой NUI, описанной ниже как система 10 распознавания, анализа и слежения за целью. Система NUI может быть системой, где жесты пользователя обнаруживаются, интерпретируются и используются для управления персонажами на экране или другими аспектами программного приложения. Однако, как будет описано ниже, электрическое устройство может быть множеством других вычислительных устройств и приборов. В вариантах выполнения система настоящего раскрытия включает в себя один или более микрофонов для отслеживания аудиосигналов поблизости от электрического устройства, и блок активации в режиме ожидания, включающий в себя микропроцессор с низким энергопотреблением и энергонезависимую память. Когда устройство находится в режиме ожидания, микрофон захватывает звук и преобразует его в цифровую аудиопоследовательность. Эта аудиопоследовательность затем сравнивается микропроцессором с заданной последовательностью(ями) активации, сохраненной в энергонезависимой памяти. Если обнаружено соответствие между цифровой аудиопоследовательностью и заданной последовательностью активации, электрическое устройство активируется.

Один или более микрофонов, микропроцессор и энергонезависимая память вместе могут получить аудиопоследовательности и сравнить их с сохраненными последовательностями активации, используя небольшое количество энергии, например 0,5 ватта. Таким образом, настоящая система может использоваться для активации электрического устройства, когда электрическое устройство находится в режиме ожидания, то есть является неактивным или выключенным. В режиме ожидания электрическое устройство, описанное ниже, получает питание в режиме ожидания, которое в примерах может составлять 0,5 ватта. Подразумевается, что питание в режиме ожидания может быть выше или ниже, чем в дополнительных вариантах выполнения, и что настоящая система будет работать при таких более высоких или низких настройках питания в режиме ожидания.

Обращаясь сначала к фиг. 1A-2, аппаратные средства для реализации одного примера настоящей технологии включают в себя систему 10 распознавания, анализа и слежения за целью, которая может использоваться для распознавания, анализа и/или слежения за человеком как целью, например за пользователем 18. Варианты выполнения системы 10 распознавания, анализа и слежения за целью включают в себя вычислительное устройство 12 для выполнения игры или другого приложения. Вычислительное устройство 12 может включать в себя аппаратные компоненты и/или программные компоненты, в результате чего вычислительное устройство 12 может использоваться для выполнения приложений, таких как игровые и неигровые приложения. В одном варианте выполнения вычислительное устройство 12 может включать в себя процессор, такой как стандартизированный процессор, специализированный процессор, микропроцессор и т.п., который может исполнять инструкции, сохраненные на читаемом процессором устройстве хранения, для выполнения процессов устройства 10, когда устройство активно и работает на полной мощности.

Как описывается далее, вычислительное устройство 12 может дополнительно включать в себя второй процессор или микропроцессор с низким энергопотреблением, который может исполнять инструкции, сохраненные в энергонезависимой памяти для выполнения процесса активации устройства 10 при работе в режиме ожидания.

Система 10 дополнительно включает в себя устройство 20 захвата для захвата видео- и аудиоданных, относящихся к одному или более нескольким пользователям и/или объектам, считываемых устройством захвата. В вариантах выполнения устройство 20 захвата может использоваться для захвата информации, относящейся к движениям тела и рук и/или жестов и речи одного или более пользователей, эта информация принимается вычислительной средой и используется для отображения, взаимодействия и/или управления аспектами игрового или другого приложения. Примеры вычислительного устройства 12 и устройства 20 захвата объясняются более подробно ниже.

Варианты выполнения системы 10 распознавания, анализа и слежения за целью могут быть соединены с аудио/видео (A/V) устройством 16, имеющим дисплей 14. Устройство 16 может, например, быть телевизором, монитором, телевизором высокой четкости (HDTV) и т.п., которое может обеспечить видеоизображение и/или звук игры, или приложения для пользователя. Например, вычислительное устройство 12 может включать в себя видеоадаптер, такой как видеокарта, и/или аудиоадаптер, такой как звуковая карта, который может обеспечивать аудио/видео сигналы, связанные с игрой или другим приложением. A/V устройство 16 может принять аудио/видео сигналы от вычислительного устройства 12 и может затем вывести видеоизображение и/или звук игры или приложения, связанные с аудио/видео сигналами, пользователю 18. В соответствии с одним вариантом выполнения аудио/видео устройство 16 может быть соединено с вычислительным устройством 12 с помощью, например, кабеля S-Video, коаксиального кабеля, кабеля HDMI, кабеля DVI, кабеля VGA, кабеля компонентного видео и т.п.

В вариантах выполнения вычислительное устройство 12, A/V устройство 16 и устройство 20 захвата могут сотрудничать для воспроизведения аватара или персонажа 19 на дисплее 14. Например, фиг. 1A показывает пользователя 18, играющего в футбольное игровое приложение. Движения пользователя отслеживаются и используются для анимации движений аватара 19. В вариантах выполнения аватар 19 имитирует движения пользователя 18 в пространстве реального окружения, в результате чего пользователь 18 может выполнять движения и жесты, которые управляют движениями и действиями аватара 19 на дисплее 14. На фиг. 1B устройство 20 захвата используется в системе NUI, где, например, пользователь 18 просматривает путем прокрутки и управляет пользовательским интерфейсом 21 с множеством пунктов меню, представленных на дисплее 14. На фиг. 1B вычислительное устройство 12 и устройство 20 захвата могут использоваться для распознавания и анализа движений и жестов тела пользователя, и такие движения и жесты могут интерпретироваться как элементы управления для пользовательского интерфейса.

Подходящие примеры системы 10 и ее компонентов могут быть найдены в следующих находящихся одновременно на рассмотрении заявках на патент, которые включены в настоящее описание посредством ссылки: заявка на патент США № 12/475,094, озаглавленная "Environment and/or Target Segmentation", поданная 29 мая 2009 г.; заявка на патент США № 12/511,850, озаглавленная "Auto Generating a Visual Representation", поданная 29 июля 2009 г.; заявка на патент США № 12/474,655, озаглавленная "Gesture Tool", поданная 29 мая 2009 г.; заявка на патент США № 12/603,437, озаглавленная "Pose Tracking Pipeline", поданная 21 октября 2009 г.; заявка на патент США № 12/475,308, озаглавленная "Device for Identifying and Tracking Multiple Humans Over Time", поданная 29 мая 2009 г.; заявка на патент США № 12/575,388, озаглавленная "Human Tracking System", поданная 7 октября 2009 г.; заявка на патент США № 12/422,661, озаглавленная "Gesture Recognizer System Architecture", поданная 13 апреля 2009 г.; и заявка на патент США № 12/391, 150, озаглавленная "Standard Gestures", поданная 23 февраля 2009 г.

Фиг. 2 изображает иллюстративный вариант выполнения устройства 20 захвата, который может использоваться в системе 10 распознавания, анализа и слежения за целью. В иллюстративном варианте выполнения устройство 20 захвата может быть сконфигурировано захватывать видео, имеющее изображение глубины, которое может включать в себя значения глубины с помощью любого подходящего технического приема, в том числе, например, времени пролета, структурированного света, стереоизображения и т.п. В соответствии с одним вариантом выполнения устройство 20 захвата может организовать вычисленную информацию о глубине в "Z слои" или слои, которые могут быть перпендикулярными оси Z, простирающейся от камеры глубины вдоль линии ее прямой видимости. Оси X и Y могут быть определены как оси, перпендикулярные оси Z. Ось Y может быть вертикальной, а ось X может быть горизонтальной. Вместе оси X, Y и Z определяют 3-D пространство реального окружения, захваченного устройством 20 захвата.

Как показано на фиг. 2, устройство 20 захвата может включать в себя элемент 22 камеры формирования изображения. В соответствии с иллюстративным вариантом выполнения элемент 22 камеры формирования изображения может быть камерой глубины, которая может захватывать изображение глубины сцены. Изображение глубины может включать в себя двумерную (2-D) область пикселей захваченного объекта съемки, где каждый пиксель в 2-D области пикселей может представлять значение глубины, такое как длина или расстояние, например, в сантиметрах, миллиметрах и т.п., объекта в захваченной сцене от камеры.

Как показано на фиг. 2, в соответствии с иллюстративным вариантом выполнения элемент 22 камеры формирования изображения может включать в себя элемент 24 инфракрасного (IR) света, трехмерную (3-D) камеру 26 и RGB камеру 28, которые могут использоваться для захвата изображения глубины сцены. Например, во времяпролетном анализе элемент 24 IR света устройства 20 захвата может испускать инфракрасное излучение на сцену и может затем использовать датчики (не показаны) для детектирования света, рассеянного обратно от поверхности одной или более целей и объектов в сцене, используя, например, 3-D камеру 26 и/или RGB камеру 28.

В некоторых вариантах выполнения может использоваться пульсирующее инфракрасное излучение, в результате чего может быть измерено время между исходящим световым импульсом и соответствующим входящим световым импульсом, и оно может использоваться для определения физического расстояния от устройства 20 захвата до конкретного местоположения на целях или объектах в сцене. Кроме того, в других иллюстративных вариантах выполнения может сравниваться фаза исходящей световой волны с фазой входящей световой волны для определения фазового сдвига. Фазовый сдвиг может затем использоваться для определения физического расстояния от устройства 20 захвата до конкретного местоположения на целях или объектах.

В соответствии с другим иллюстративным вариантом выполнения анализ времени пролета может использоваться для косвенного определения физического расстояния от устройства 20 захвата до конкретного местоположения на целях или объектах путем анализа интенсивности отраженного луча света с течением времени с помощью различных технических приемов, в том числе, например, визуализации с помощью прерывистого светового импульса.

В другом иллюстративном варианте выполнения устройство 20 захвата может использовать структурированный свет для захвата информации о глубине. В таком анализе свет с упорядоченной структурой (то есть свет, отображаемый как известная структура, такая как структура в виде сетки или структура в виде полос) может проецироваться на сцену с помощью, например, элемента 24 IR света. При попадании на поверхность одной или более целей или объектов в сцене структура может в ответ деформироваться. Такая деформация структуры может захватываться, например, 3-D камерой 26 и/или RGB камерой 28 и может затем анализироваться для определения физического расстояния от устройства 20 захвата до конкретного местоположения на целях или объектах.

В соответствии с другим вариантом выполнения устройство 20 захвата может включать в себя две или более физически разделенные камеры, которые могут видеть сцену с различных углов для получения визуальных стереоданных, которые могут быть разрешены для генерации информации о глубине. В другом иллюстративном варианте выполнения устройство 20 захвата может использовать данные облака точек и технические приемы оцифровки цели для обнаружения характеристик пользователя.

Устройство 20 захвата может дополнительно включать в себя микрофон 30. Микрофон 30 может включать в себя преобразователь или датчик, который может принимать и преобразовывать звук в электрический сигнал. В соответствии с одним вариантом выполнения микрофон 30 может использоваться для уменьшения обратной связи между устройством 20 захвата и вычислительным устройством 12 в системе 10 распознавания, анализа и слежения за целью. Кроме того, микрофон 30 может использоваться для приема аудиосигналов, которые также могут быть обеспечены пользователем для управления приложениями, такими как игровые приложения, неигровые приложения и т.п., которые могут выполняться вычислительным устройством 12. Вместо одного микрофона 30 настоящая система может использовать два или более микрофона. Множество микрофонов позволяют определить местоположение акустического источника для идентификации источника звука.

В иллюстративном варианте выполнения устройство 20 захвата может дополнительно включать в себя процессор 32, который может находиться в оперативной связи с элементом 22 камеры формирования изображения. Процессор 32 может включать в себя стандартизированный процессор, специализированный процессор, микропроцессор и т.п., который может исполнять инструкции, которые могут включать в себя инструкции для приема изображения глубины, определения, включена ли подходящая цель в изображение глубины, преобразования подходящей цели в скелетное представление или модель цели или любую другую подходящую инструкцию.

Устройство 20 захвата может дополнительно включать в себя элемент 34 памяти, который может хранить инструкции, которые могут исполняться процессором 32, изображения или кадры изображений, захваченные 3-D камерой или RGB камерой, или любую другую подходящую информацию, изображения и т.п. В соответствии с иллюстративным вариантом выполнения элемент 34 памяти может включать в себя память с произвольным доступом (RAM), постоянную память (ROM), кэш, флэш-память, жесткий диск или любой другой подходящий элемент хранения. Как показано на фиг. 2, в одном варианте выполнения элемент 34 памяти может быть отдельным компонентом, осуществляющим связь с элементом 22 камеры формирования изображения и процессором 32. В соответствии с другим вариантом выполнения элемент 34 памяти может быть интегрирован в процессор 32 и/или компонент 22 камеры изображения.

Как показано на фиг. 2, устройство 20 захвата может осуществлять связь с вычислительным устройством 12 через линию 36 связи. Линия 36 связи может быть проводным соединением, в том числе, например, соединением USB, соединением Firewire, кабельным соединением Ethernet и т.п. и/или беспроводным соединением, таким как беспроводное соединение 802.11b, g, a или n. В соответствии с одним вариантом выполнения вычислительное устройство 12 может обеспечивать часы для устройства 20 захвата, которые могут использоваться для определения, когда захватывать, например, сцену с помощью линии 36 связи.

Кроме того, устройство 20 захвата может предоставить информацию глубины и изображения, захваченные, например, 3-D камерой 26 и/или RGB камерой 28. С помощью этих устройств может быть разработана частичная скелетная модель в соответствии с настоящей технологией, с предоставлением результирующих данных вычислительному устройству 12 через линию 36 связи.

Вычислительное устройство 12 может дополнительно включать в себя механизм 190 распознавания жестов для распознавания жестов. В соответствии с настоящей системой вычислительное устройство 12 может дополнительно включать в себя механизм 192 распознавания последовательностей и, в вариантах выполнения, механизм 194 распознавания голоса, оба из которых объясняются ниже.

Фиг. 3A изображает иллюстративный вариант выполнения вычислительной среды, которая может использоваться для интерпретации одного или более нескольких жестов в системе распознавания, анализа и слежения за целью. Вычислительная среда, такая как вычислительное устройство 12, описанное выше относительно фиг. 1A-2, может быть мультимедийной консолью 100, такой как игровая консоль. Как показано на фиг. 3A, мультимедийная консоль 100 имеет центральный процессор (CPU) 101, имеющий кэш 102 1-го уровня, кэш 104 2-го уровня и флэш-ROM 106. Кэш 102 1-го уровня и кэш 104 2-го уровня временно хранят данные и, следовательно, сокращают количество циклов доступа к памяти, тем самым улучшая скорость обработки и пропускную способность. CPU 101 может иметь более одного ядра и, таким образом, дополнительные кэши 102 и 104 1-го уровня и 2-го уровня. Флэш-ROM 106 может хранить исполняемый код, который загружается во время начальной фазы процесса начальной загрузки, когда мультимедийная консоль 100 включается.

Хотя это не показано на фиг. 3A, мультимедийная консоль 100 может дополнительно включать в себя процессор, такой как микропроцессор, и энергонезависимую память для активации системы из режима ожидания. В дополнительных вариантах выполнения процессор и память для активации системы из режима ожидания могут быть блоком 101 обработки и ROM 106 соответственно.

Графический процессор (GPU) 108 и видеокодер/видеокодек (кодер/декодер) 114 формирует конвейер обработки видеоданных для обработки графики с высокой скоростью и высоким разрешением. Данные передаются от GPU 108 к видеокодеру/видеокодеку 114 через шину. Конвейер обработки видеоданных выводит данные на A/V (аудио/видео) порт 140 для передачи на телевизор или другой дисплей. Контроллер памяти 110 соединен с GPU 108 для облегчения доступа процессора к различным типам памяти 112, такой как, но не ограничиваясь только этим, RAM.

Мультимедийная консоль 100 включает в себя контроллер 120 ввода-вывода (I/O), контроллер 122 управления системой, блок 123 обработки звука, контроллер 124 сетевого интерфейса, первый хост-контроллер 126 USB, второй хост-контроллер 128 USB и подсистему 130 ввода-вывода (I/O) передней панели, которые предпочтительно реализованы на модуле 118. Контроллеры 126 и 128 USB служат хост-узлами для контроллеров 142(1)-142(2) периферийного оборудования, беспроводного адаптера 148 и устройства 146 внешней памяти (например, флэш-памяти, внешнего привода CD/DVD ROM, съемных носителей и т.д.). Сетевой интерфейс 124 и/или беспроводной адаптер 148 обеспечивает доступ к сети (например, Интернет, домашней сети и т.д.) и может быть любым из широкого круга различных компонентов проводных или беспроводных адаптеров, в том числе картой Ethernet, модемом, модулем Bluetooth, кабельным модемом и т.п.

Системная память 143 обеспечена для хранения данных приложений, которые загружаются во время процесса начальной загрузки. Медианакопитель 144 обеспечен и может содержать привод DVD/CD, накопитель на жестких дисках или другой накопитель на съемных носителях и т.д. Медианакопитель 144 может быть внутренним или внешним по отношению к мультимедийной консоли 100. К данным приложения можно получить доступ через медианакопитель 144 для выполнения, воспроизведения и т.д. мультимедийной консолью 100. Медианакопитель 144 соединен с контроллером ввода-вывода (I/O) 120 через шину, такую как шина Serial ATA или другое высокоскоростное соединение (например, IEEE 1394).

Контроллер 122 управления системой обеспечивает множество служебных функций, связанных с обеспечением доступности мультимедийной консоли 100. Блок 123 обработки звука и аудиокодек 132 формируют соответствующий конвейер обработки аудиоданных с высоким качеством обработки и стереообработкой. Аудиоданные передаются между блоком 123 обработки звука и аудиокодеком 132 через линию связи. Конвейер обработки аудиоданных выводит данные на порт 140 A/V для воспроизведения внешним аудиоплеером или устройством, имеющим аудиовозможности.

Подсистема 130 ввода-вывода (I/O) передней панели поддерживает функциональность кнопки 150 "питание" и кнопки 152 извлечения, а также любые светодиоды (LED) или другие индикаторы, имеющиеся на наружной поверхности мультимедийной консоли 100. Модуль 136 системного источника питания обеспечивает питание для компонентов мультимедийной консоли 100. Вентилятор 138 охлаждает электросхему в мультимедийной консоли 100.

CPU 101, GPU 108, контроллер 110 памяти и различные другие компоненты в мультимедийной консоли 100 соединены через один или более шин, в том числе последовательные и параллельные шины, шину памяти, периферийную шину и процессорную или локальную шину с использованием любой из множества шинных архитектур. В качестве примера такие архитектуры могут включать в себя шину Взаимодействия периферийных компонентов (PCI), шину PCI-Express и т.д.

Когда мультимедийная консоль 100 включается, данные приложения могут быть загружены из системной памяти 143 в память 112 и/или кэши 102, 104 и выполнены на CPU 101. Приложение может представить графический пользовательский интерфейс, который обеспечивает единообразный пользовательский интерфейс при переходе к различным типам мультимедиа, доступным на мультимедийной консоли 100. В процессе работы приложения и/или другие медиаданные, содержащиеся на медианакопителе 144, могут быть запущены или воспроизведены в медианакопителе 144 для обеспечения дополнительной функциональности для мультимедийной консоли 100.

Мультимедийная консоль 100 может использоваться как автономная система, просто подключив систему к телевизору или другому дисплею. В этом автономном режиме мультимедийная консоль 100 позволяет одному или более пользователям взаимодействовать с системой, смотреть фильмы или слушать музыку. Однако при интеграции широкополосной связи, доступной через сетевой интерфейс 124 или беспроводной адаптер 148, мультимедийная консоль 100 может дополнительно использоваться как участник более многочисленного сетевого сообщества.

Когда мультимедийная консоль 100 включается, заданная величина аппаратных ресурсов резервируется для системного использования операционной системой мультимедийной консоли. Эти ресурсы могут включать в себя резервирование памяти (например, 16 МБ), циклов CPU и GPU (например, 5%), пропускной способности сети (например, 8 кбит/с) и т.д. Поскольку эти ресурсы зарезервированы во время начальной загрузки системы, зарезервированные ресурсы не существуют с точки зрения приложения.

В частности, резервирование памяти предпочтительно является достаточно большим, чтобы содержать ядро запуска, параллельные системные приложения и драйверы. Резервирование CPU предпочтительно является постоянным, в результате чего если зарезервированное использование CPU не будет использоваться системными приложениями, то пустой поток использует все неиспользованные циклы.

Что касается резервирования GPU, легковесные сообщения, генерируемые системными приложениями (например, всплывающие сообщения), отображаются с использованием прерывания GPU, чтобы запланировать код для отображения всплывающего сообщения в графическую накладку. Объем памяти, требуемый для графической накладки, зависит от размера области графической накладки, и графическая накладка предпочтительно масштабируется с разрешением экрана. Когда полный пользовательский интерфейс используется параллельным системным приложением, предпочтительно использовать разрешение, не зависящее от разрешения приложения. Может использоваться преобразователь масштаба для задания этого разрешения так, что устраняется необходимость изменять частоту и проводить ресинхронизацию TV.

После начальной загрузки мультимедийной консоли 100 и резервирования системных ресурсов выполняются параллельные системные приложения для обеспечения системной функциональности. Системная функциональность заключена в ряд системных приложений, которые выполняются в пределах зарезервированных системных ресурсов, описанных выше. Ядро операционной системы идентифицирует потоки, которые являются потоками системных приложений, в противовес потокам игровых приложений. Системные приложения предпочтительно планируются для запуска на CPU 101 в заданные моменты времени и интервалы для обеспечения единообразного представления системного ресурса для приложения. Планирование должно минимизировать нарушение кэша для игрового приложения, исполняющегося на консоли.

Когда параллельное системное приложение требует аудио, обработка аудиоданных планируется асинхронно к игровому приложению вследствие зависимости от фактора времени. Менеджер приложений мультимедийной консоли (описанный ниже) управляет уровнем громкости (например, отключение звука, ослабление) игрового приложения, когда системные приложения активны.

Устройства ввода данных (например, контроллеры 142(1) и 142(2)) используются совместно игровыми приложениями и системными приложениями. Устройства ввода данных не являются зарезервированными ресурсами, а должны переключаться между системными приложениями и игровым приложением так, что каждое будет иметь фокус устройства. Менеджер приложений предпочтительно управляет переключением входного потока, не зная осведомленности игрового приложения и информации о состоянии драйвера при правильном использовании относительно переключателей фокуса. Камеры 26, 28 и устройство 20 захвата могут определять дополнительные устройства ввода данных для консоли 100.

Фиг. 3B изображает другой иллюстративный вариант выполнения вычислительной среды 220, который может быть вычислительным устройством 12, показанным на фиг. 1A-2, используемым для интерпретации одного или более жестов в системе распознавания, анализа и слежения за целью. Среда 220 вычислительной системы является только одним примером подходящей вычислительной среды и не предназначена для предложения каких-либо ограничений относительно объема использования или функциональности раскрытого здесь объекта изобретения. Не следует также интерпретировать вычислительную среду 220 как имеющую какую-либо зависимость или требование, касающееся какого-либо одного компонента или комбинации компонентов, изображенных в иллюстративной операционной среде 220. В некоторых вариантах выполнения различные изображенные вычислительные элементы могут включать в себя электросхему, сконфигурированную реализовывать конкретные аспекты настоящего раскрытия. Например, термин электросхема, используемая в раскрытии, может включать в себя специализированные аппаратные компоненты, сконфигурированные выполнять функцию(и) с помощью встроенного микропрограммного обеспечения или переключателей. В других иллюстративных вариантах выполнения термин электросхема может включать в себя универсальный блок обработки, память и т.д., сконфигурированный с помощью программных инструкций, которые реализуют логику, выполненную с возможностью выполнять функцию(и). В иллюстративных вариантах выполнения, где электросхема включает в себя комбинацию аппаратного и программного обеспечения, разработчик может написать исходный код, реализующий логику, и исходный код может быть скомпилирован в машиночитаемый код, который может исполняться универсальным блоком обработки. Так как специалисту в области техники понятно, что существующий уровень техники достиг точки, когда нет большой разницы между аппаратными средствами, программным обеспечением или комбинацией аппаратных средств/программного обеспечения, выбор аппаратных средств в противоположность программному обеспечению для осуществления конкретных функций является проектным решением, оставленным на усмотрение разработчика. Более конкретно специалисту в области техники понятно, что программный процесс может быть преобразован в эквивалентную аппаратную структуру, а аппаратная структура может сама быть преобразована в эквивалентный программный процесс. Таким образом, выбор аппаратной реализации в противовес программной реализации является проектным решением и оно оставлено на усмотрение разработчика.

На фиг. 3B вычислительная среда 220 содержит компьютер 241, который, как правило, включает в себя разнообразные машиночитаемые носители. Машиночитаемые носители могут быть любыми доступными носителями, к которым может получить доступ компьютер 241, и включают в себя и энергозависимые и энергонезависимые носители, съемные и несъемные носители. Системная память 222 включает в себя компьютерные носители информации в форме энергозависимой и/или энергонезависимой памяти, такой как ROM 223 и RAM 260. Базовая система ввода-вывода 224 (BIOS), содержащая базовые процедуры, которые помогают передать информацию между элементами в компьютере 241, например во время запуска, обычно хранятся в ROM 223. RAM 260, как правило, содержит данные и/или программные модули, которые непосредственно доступны и/или обрабатываются в настоящее время центральным процессором 259. В качестве примера и не ограничиваясь только этим, фиг. 3B изображает операционную систему 225, прикладные программы 226, другие программные модули 227 и данные 228 программ.

Вычислительная среда может дополнительно включать в себя процессор 468, который в вариантах выполнения может быть микропроцессором, и энер