Автоматическое генерирование визуального представления

Автоматическое генерирование визуального представления

Иллюстрации

Показать все

Реферат

УРОВЕНЬ ТЕХНИКИ

[0001] Приложения часто отображают визуальное представление, которое соответствует пользователю, которым пользователь управляет посредством некоторых действий, таких как выбор кнопок на удаленном или перемещающемся органе управления некоторым образом. Визуальное представление может быть в форме аватара, фантастического персонажа, анимационного изображения или животного, курсора, руки или подобного. Визуальное представление является компьютерным представлением, которое обычно принимает форму двумерной (2D) или трехмерной (3D) модели в различных приложениях, таких как компьютерные игры, видеоигры, чаты, форумы, сообщества, услуги мгновенной передачи сообщений и т.п. Много вычислительных приложений, таких как компьютерные игры, мультимедийные приложения, офисные приложения или подобное, обеспечивают выбор заранее определенных анимированных персонажей, которые могут быть выбраны для использования в приложении в качестве аватара пользователя.

[0002] Большинство систем, которые обеспечивают создание аватара, также обеспечивают настройку внешности этого персонажа, посредством обеспечения базы данных выбираемых признаков, которые могут быть применены к аватару. Например, пользователь может получить доступ к хранилищу одежды и принадлежностей, доступных в приложении, и выполнить модификации во внешности аватара. Часто пользователь будет выбирать признаки, которые являются наиболее аналогичными собственным признакам пользователя. Например, пользователь может выбрать аватар, имеющий подобную структуру тела как у пользователя, и затем пользователь может выбрать аналогичные глаза, нос, рот, волосы и т.д., из каталога признаков. Однако, количество признаков и количество опций для каждого из этих признаков могут привести к большому количеству опций для выбора, и ручное генерирование визуального представления пользователя может стать обременительным. Система может ограничить количество выбираемых признаков, чтобы уменьшить усилия, требуемые от пользователя, но это нежелательно ограничивает признаки, доступные для пользователя, для генерирования уникального аватара.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0003] Может быть желательно, чтобы приложение или система осуществляли выборы признака для визуального представления пользователя от имени пользователя. Используя выбранные признаки, система может автоматически генерировать визуальное представление пользователя. Например, система может обнаружить различные признаки пользователя и сделать выборы признаков на основании обнаруженных признаков. Система может автоматически применить выборы к визуальному представлению пользователя на основании обнаруженных признаков. Альтернативно, система может делать выборы, которые сужают количество вариантов для признаков, из которых пользователь осуществляет выбор. Пользователь может быть не обязан принимать так много решений или не должен выбирать из таких многих вариантов, если система может принять решения от имени пользователя. Таким образом, раскрытые способы могут устранить большое количество усилий пользователя и могут осуществлять выборы от имени пользователя и применить их к визуальному представлению пользователя.

[0004] В примерном варианте осуществления система может выполнить сканирование тела и использовать способы распознавания лица и/или способы распознавания тела, чтобы идентифицировать признаки пользователя. Система может осуществлять выборы для визуального представления пользователя, которые наиболее близко напоминают идентифицированные признаки пользователя. В другом примерном варианте осуществления система может модифицировать выбор, прежде чем применить выбор к визуальному представлению. Пользователь может инструктировать систему сделать модификации прежде применения выбора к визуальному представлению пользователя. Например, если пользователь весит больше нормы, пользователь может инструктировать систему выбрать более тонкий размер тела для визуального представления пользователя.

[0005] Система может применить выборы к пользователю в режиме реального времени. Может быть также желательно, чтобы система захватывала данные из физического пространства, идентифицировала характеристики пользователя и делала обновления признаков визуального представления пользователя в режиме реального времени.

[0006] Этот раздел сущности изобретения предоставлен, чтобы ввести выбор понятий в упрощенной форме, которые ниже описаны ниже в подробном описании. Это сущность изобретения не предназначена, чтобы идентифицировать ключевые признаки или существенные признаки заявленного объекта, и при этом она не предназначена для использования, чтобы ограничить область заявленного объекта. Кроме того, заявленный объект не ограничен реализациями, которые разрешают любые неудобства, отмеченные в любой части настоящего описания.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0007] Системы, способы и считываемый компьютером носитель для осуществления выборов признаков и автоматического генерирования визуального представления в соответствии с настоящим описанием описаны ниже со ссылками на сопроводительные чертежи, на которых:

[0008] Фиг. 1 иллюстрирует примерный вариант осуществления системы отслеживания, анализа и распознавания цели с пользователем, играющим в игру.

[0009] Фиг. 2 иллюстрирует примерный вариант осуществления устройства захвата, которое может использоваться в системе отслеживания, анализа и распознавания цели и встраивания способов смешивания формирования логической цепочки и анимации.

[0010] Фиг. 3 иллюстрирует примерный вариант осуществления вычислительной среды, в которой здесь могут быть воплощены описанные способы анимации.

[0011] Фиг. 4 иллюстрирует другой примерный вариант осуществления вычислительной среды, в которой здесь могут быть воплощены описанные способы анимации.

[0012] Фиг. 5 иллюстрирует скелетное отображение пользователя, которое генерируется из изображения глубины.

[0013] Фиг. 6A-6B каждая изображает примерную систему отслеживания, анализа и распознавания цели и примерные варианты автоматически сгенерированного визуального представления.

[0014] Фиг. 7 изображает примерную систему отслеживания, анализа и распознавания цели, которая обеспечивает поднабор опций признаков для приложения для визуального представления цели.

[0015] Фиг. 8 изображает примерную блок-схему для способа автоматического генерирования визуального представления или поднабора опций признаков для приложения для визуального представления.

[0016] Фиг. 9 изображает примерную систему отслеживания, анализа и распознавания цели, которая использует способы оцифровывания цели, чтобы идентифицировать цели в физическом пространстве.

ПОДРОБНОЕ ОПИСАНИЕ ИЛЛЮСТРАТИВНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0017] Ниже раскрыты способы для обеспечения визуального представления цели, такой как пользователь или объект-нечеловек, в физическом пространстве. Визуальное представление пользователя, например, может быть в форме аватара, курсора на экране, руке, или любого другого виртуальном объекте, который соответствует пользователю в физическом пространстве. Аспекты скелетной модели или сеточной модели человека могут генерироваться на основании данных изображения, захваченных устройством захвата, и могут быть оценены, чтобы обнаружить характеристики пользователя. Устройство захвата может обнаружить признаки пользователя и автоматически генерировать визуальное представление пользователя посредством выбора признаков из каталога признаков, которые напоминают (похожи на) обнаруженные признаки, такие как выражения лица, цвет и тип волос, цвет и тип кожи, одежда, тип тела, рост, вес и т.д. Например, используя способы распознавания лица и распознавания жеста / положения тела, система может автоматически выбрать признаки из каталога или базы данных опций признаков, которые соответствуют распознанным признакам. В режиме реального времени система может применить выбранные признаки и любые обновления к этим признакам к визуальному представлению пользователя. Точно так же, система может обнаружить признаки нечеловеческих целей в физическом пространстве и выбрать признаки из каталога опций признаков для виртуальных объектов. Система может отобразить виртуальный объект, который соответствует обнаруженным признакам.

[0018] Вычислительная среда может определить, какие средства управления выполнить в приложении, выполняющемся в компьютерной среде, на основании, например, жестов пользователя, которые были распознаны и поставлены в соответствие визуальному представлению, автоматически сгенерированному системой. Таким образом, виртуальный пользователь может быть отображен, и пользователь может управлять движением виртуального пользователя, делая жесты в физическом пространстве. Захваченное движение может быть любым движением в физическом пространстве, которое захвачено устройством захвата, таким как (фото)камера. Захваченное движение может включать в себя движение цели в физическом пространстве, такой как пользователь или объект. Захваченное движение может включать в себя жест, который преобразуется в средство управления в операционной системе или приложении. Движение может быть динамичным, таким как движение при беге, или движение может быть статическим, таким как пользователь, который имеет позу с небольшим движением.

[0019] Система, способы, приемы и компоненты распознавания лица и тела для осуществления выборов для визуального представления на основании обнаружимых пользовательских характеристиках могут быть воплощены в мультимедийной консоли, такой как игровая консоль, или в любом другом вычислительном устройстве, в котором желательно отображать визуальное представление цели, включая, в качестве примера и без какого-либо намеренного ограничения, спутниковые приемники, телевизионные приставки, игры галереи, персональные компьютеры (PC), портативные телефоны, персональные цифровые помощники (PDA) и другие переносные устройства.

[0020] Фиг. 1 иллюстрирует примерный вариант осуществления конфигурации системы 10 отслеживания, анализа и распознавания цели, которая может использовать способы для применения характеристик пользователя к аватару. В примерном варианте осуществления пользователь 18 играет в игру в бокс. В примерном варианте осуществления система 10 может распознавать, анализировать и/или отслеживать цель-человека, такую как пользователь 18. Система 10 может собирать информацию, относящуюся к движениям пользователя, выражениям лица, языку тела, эмоциям и т.д., в физическом пространстве. Например, система может идентифицировать и сканировать цель-человека 18. Система 10 может использовать способы распознавания положения тела, чтобы идентифицировать тип тела цели-человека 18. Система 10 может идентифицировать части тела пользователя 18 и как они двигаются. Система 10 может сравнить обнаруженные признаки пользователя с каталогом выбираемых признаков визуального представления.

[0021] Как показано на фиг. 1, система 10 отслеживания, анализа и распознавания цели может включать в себя вычислительную среду 12. Вычислительная среда 12 может быть компьютером, игровой системой или консолью или аналогичным. Согласно примерному варианту осуществления вычислительная среда 12 может включать в себя компоненты аппаратного обеспечения и/или компоненты программного обеспечения таким образом, что вычислительная среда 12 может использоваться, чтобы выполнять приложения, такие как игровые приложения, неигровые приложения, или аналогичное.

[0022] Как показано на фиг. 1, система 10 отслеживания, анализа и распознавания цели может также включать в себя устройство 20 захвата. Устройство 20 захвата может быть, например, камерой, которая может использоваться для визуального контроля одного или более пользователей, таких как пользователь 18, таким образом, что жесты, выполненные одним или более пользователями, могут быть захвачены (зафиксированы), проанализированы и отслежены, чтобы выполнить одно или более средств управления или действий в приложении, как описано более подробно ниже.

[0023] Согласно одному варианту осуществления, система 10 отслеживания, анализа и распознавания цели может быть соединена с аудиовизуальным устройством 16, таким как телевизор, монитор, телевизор высокой четкости (HDTV), или аналогичное, которое может обеспечить визуалы игры или приложения и/или аудио пользователю, такому как пользователь 18. Например, вычислительная среда 12 может включать в себя видео адаптер, такой как графическая карта, и/или аудио адаптер, такой как звуковая плата, которые могут обеспечить аудиовизуальные сигналы, ассоциированные с игровым приложением, неигровым приложением или аналогичным. Аудиовизуальное устройство 16 может принять аудиовизуальные сигналы от вычислительной среды 12 и может затем вывести визуалы игры или приложения, и/или аудио, ассоциированное с аудиовизуальными сигналами, пользователю 18. Согласно одному варианту осуществления аудиовизуальное устройство 16 может быть соединено с вычислительной средой 12 через, например, кабель S-видео, коаксиальный кабель, кабель HDMI, кабель DVI, кабель VGA или аналогичное.

[0024] Как показано на фиг. 1, система 10 отслеживания, анализа и распознавания цели может использоваться, чтобы распознавать, анализировать и/или отследить цель-человека, такую как пользователь 18. Например, пользователь 18 может быть отслежен, используя устройство 20 захвата, таким образом, что движения пользователя 18 могут интерпретироваться как средство управления, которое может использоваться, чтобы воздействовать на приложение, выполняемое компьютерной средой 12. Таким образом, согласно одному варианту осуществления, пользователь 18 может двигать его или ее телом, чтобы управлять приложением. Система 10 может отслеживать тело пользователя и движения, сделанные телом пользователя, включая жесты, которые управляют аспектами системы, такими как приложение, операционная система или аналогичное.

[0025] Система 10 может преобразовать ввод данных в устройство 20 захвата в анимацию, причем ввод данных является представляющим движения пользователя, таким образом, что анимация приводится в действие этим вводом данных. Таким образом, движения пользователя могут быть поставлены в соответствие аватару 40 таким образом, что движения пользователя в физическом пространстве выполняются аватаром 40. Движения пользователя могут быть жестами, которые применимы к средству управления в приложении. Как показано на фиг. 1, в примерном варианте осуществления выполнение приложения в вычислительной среде 12 может быть игрой в бокс, в которую может играть пользователь 18.

[0026] Вычислительная среда 12 может использовать аудиовизуальное устройство 16, чтобы обеспечить визуальное представление аватара 40 игрока, которым пользователь 18 может управлять с помощью его или ее движений. Система может применять движения и/или жесты к визуальному представлению пользователя, которое может быть автоматически сгенерированным визуальным представлением, автоматически сгенерированным системой на основании обнаруженных признаков пользователя. Например, пользователь 18 может нанести удар в физическом пространстве, чтобы заставить аватар 40 игрока нанести удар в игровом пространстве. Аватар 40 игрока может иметь характеристики пользователя, идентифицированного устройством 20 захвата, или система 10 может использовать признаки известного боксера или изображать телосложение профессионального боксера для визуального представления, которое поставлено в соответствие движениям пользователя. Система 10 может отслеживать пользователя и модифицировать характеристики аватара пользователя на основании обнаруживаемых признаков пользователя в физическом пространстве. Вычислительная среда 12 может также использовать аудиовизуальное устройство 16, чтобы обеспечить визуальное представление боксирующего противника 38 пользователю 18. Согласно примерному варианту осуществления компьютерная среда 12 и устройство 20 захвата системы 10 отслеживания, анализа и распознавания цели могут использоваться, чтобы распознать и анализировать удар пользователя 18 в физическом пространстве таким образом, что удар может быть интерпретирован как управление игрой аватаром 40 игрока в пространстве игры. Множественные пользователи могут взаимодействовать с друг другом из удаленных местоположений. Например, визуальное представление боксирующего противника 38 может быть представлено для другого пользователя, такого как второй пользователь, в физическом пространстве с пользователем 18 или сетевого пользователя во втором физическом пространстве.

[0027] Другие движения, сделанные пользователем 18, могут также интерпретироваться как другие средства управления или действия, например, для управления, чтобы нанести легкий удар, замах, увертывание, блокировку, джеб, или нанести множество ударов различной силы. Кроме того, некоторые движения могут интерпретироваться как средство управления, которое может соответствовать действиям, отличным от управления аватаром 40 игрока. Например, игрок может использовать движения, чтобы закончить, сделать паузу или сохранить игру, выбрать уровень, просмотреть наивысшие достижения, общаться с другом, и т.д. Дополнительно, полный диапазон движений пользователя 18 может быть доступным, использоваться и анализироваться любым подходящим способом, чтобы взаимодействовать с приложением.

[0028] В примерных вариантах осуществления цель-человек, такой как пользователь 18, может иметь объект. В таких вариантах осуществления пользователь электронной игры может удерживать объект таким образом, что движения игрока и объекта могут использоваться, чтобы регулировать и/или управлять параметрами игры. Например, движение игрока, держащего ракетку, может быть отслежено и использовано для управления ракеткой на экране в электронной спортивной игре. В другом примерном варианте осуществления движение игрока, держащего объект, может быть отслежено и использовано для управления оружием на экране в электронной боевой игре.

[0029] Жесты пользователя или движение могут интерпретироваться как средства управления, которые могут соответствовать действиям, отличным от управления аватаром 40 игрока. Например, игрок может использовать движения, чтобы завершить, сделать паузу, или сохранить игру, выбрать уровень, просмотреть наивысшие достижения, общаться с другом и т.д. Игрок может использовать движения, чтобы применить модификации к аватару. Например, пользователь может встряхнуть его или ее рукой в физическом пространстве, и это может быть жестом, идентифицированным системой 10 как запрос сделать руку аватара длиннее. Фактически любым управляемым аспектом операционной системы и/или приложения можно управлять движениями цели, такой как пользователь 18. Согласно другим примерным вариантам осуществления система 10 отслеживания, анализа и распознавания цели может интерпретировать целевые движения для управления аспектами операционной системы и/или приложения, которые находятся вне области игр.

[0030] Жест пользователя может быть средством управления, применимым к операционной системе, неигровым аспектам игры или неигровому приложению. Жесты пользователя могут интерпретироваться как манипуляция объектом, например, управление пользовательским интерфейсом. Например, рассмотрим пользовательский интерфейс, имеющий блейды, или интерфейс с вкладками, упорядоченными в линию вертикально слева направо, где выбор каждого блейда или вкладки открывает опции для различных средств управления в приложении или системе. Система может идентифицировать жест руки пользователя для перемещения вкладки, где рука пользователя в физическом пространстве фактически является согласованной с вкладкой в пространстве приложения. Жест, включающий паузу, движение захвата и затем перемещение руки влево, может быть интерпретирован как выбор вкладки, и затем выход из него - способом открыть следующую вкладку.

[0031] Фиг. 2 иллюстрирует примерный вариант осуществления устройства 20 захвата, которое может использоваться для распознавания, анализа и отслеживания цели, где цель может быть пользователем или объектом. Согласно примерному варианту осуществления устройство 20 захвата может быть сконфигурировано, чтобы захватить видео с информацией глубины, включающей в себя изображение глубины, которое может включать в себя значения глубины любым подходящим способом, включая, например, время прохождения, структурированный свет, стерео изображение или аналогичное. Согласно одному варианту осуществления устройство 20 захвата может организовать вычисленную информацию глубины в "Z уровни", или уровни, которые могут быть перпендикулярными оси Z, простирающейся от камеры глубины вдоль ее луча зрения.

[0032] Как показано на фиг. 2, устройство 20 захвата может включать в себя компонент 22 камеры изображения. Согласно примерному варианту осуществления компонент 22 камеры изображения может быть камерой глубины, которая может захватывать изображение глубины сцены. Изображение глубины может включать в себя двумерную (2D) пиксельную область захваченной сцены, где каждый пиксель в 2D пиксельной области может представлять значение глубины, такое как длина или расстояние в, например, сантиметрах, миллиметрах, или аналогичное, объекта в захваченной сцене от камеры.

[0033] Как показано на фиг. 2, согласно примерному варианту осуществления компонент 22 камеры изображения может включать в себя компонент 24 ИК света, трехмерную (3D) камеру 26, и камеру 28 RGB, которые могут использоваться, чтобы захватить изображение глубины сцены. Например, при анализе времени прохождения компонент 24 ИК света устройства 20 захвата может испускать инфракрасный свет на сцену и может затем использовать датчики (не показаны), чтобы обнаружить свет, обратнорассеянный от поверхности одной или более целей и объектов в сцене, используя, например, 3D камеру 26 и/или камеру 28 RGB. В некоторых вариантах осуществления пульсирующий инфракрасный свет может использоваться таким образом, что время между испускаемым световым импульсом и соответствующим поступающим световым импульсом может быть измерено и использоваться, чтобы определить физическое расстояние от устройства 20 захвата до конкретного местоположения на целях или объектах в сцене. Дополнительно, в других примерных вариантах осуществления фаза испускаемой волны света может быть сравнена с фазой поступающей волны света, чтобы определить сдвиг фаз. Сдвиг фаз может затем использоваться, чтобы определить физическое расстояние от устройства 20 захвата до конкретного местоположения на целях или объектах.

[0034] Согласно другому примерному варианту осуществления анализ времени прохождения может использоваться, чтобы косвенно определить физическое расстояние от устройства 20 захвата до конкретного местоположения на целях или объектах, посредством анализа интенсивности отраженного пучка света в течение времени с помощью различных способов, включая, например, полученное с помощью затвора изображение светового импульса.

[0035] В другом примерном варианте осуществления устройство 20 захвата может использовать структурированный свет, чтобы захватить информацию глубины. При таком анализе шаблонный свет (то есть, свет, отображаемый как известный шаблон, такой как сеточный шаблон или шаблон полос), может быть спроецирован на сцену через, например, компонент 24 ИК света. После ударения о поверхность одной или более целей или объекта в сцене, шаблон может стать деформированным в ответ. Такая деформация шаблона может быть захвачена, например, 3D камерой 26 и/или камерой 28 RGB, и может быть затем проанализирована, чтобы определить физическое расстояние от устройства 20 захвата до конкретного местоположения на целях или объектах.

[0036] Согласно другому варианту осуществления устройство 20 захвата может включать в себя две или более физически разделенные камеры, которые могут рассматривать сцену с различных углов, чтобы получить визуальные стерео данные, которые могут быть разрешены, чтобы сгенерировать информацию глубины.

[0037] В другом примерном варианте осуществления устройство 20 захвата может использовать данные облака точек и способы оцифровывания целей, чтобы обнаружить признаки пользователя. Эти способы предоставлены более подробно ниже со ссылками на фиг. 2.

[0038] Устройство 20 захвата может также включать в себя микрофон 30 или множество микрофонов. Микрофон 30 может включать в себя преобразователь или датчик, который может принимать и преобразовывать звук в электрический сигнал. Согласно одному варианту осуществления микрофон 30 может использоваться, чтобы уменьшить обратную связь между устройством 20 захвата и вычислительной средой 12 в системе 10 отслеживания, анализа и распознавания цели. Дополнительно, микрофон 30 может использоваться, чтобы принять звуковые сигналы, которые также могут быть предоставлены пользователем, чтобы управлять приложениями, такими как игровые приложения, неигровые приложения, или аналогичное, которые могут быть выполнены вычислительной средой 12.

[0039] В примерном варианте осуществления устройство 20 захвата может также включать в себя процессор 32, который может быть в оперативной связи с компонентом 22 камеры изображения. Процессор 32 может включать в себя стандартизированный процессор, специализированный процессор, микропроцессор, или аналогичное, который может выполнять инструкции, которые могут включать в себя инструкции для приема изображения глубины, определения, может ли подходящая цель быть включена в изображение глубины, преобразования подходящей цели в скелетное представление или модель цели, или любую другую подходящую инструкцию.

[0040] Например, считываемый компьютером носитель может содержать выполнимые компьютером инструкции для приема данных сцены, причем данные включают в себя данные, представляющие цель в физическом пространстве. Инструкции содержат инструкции для обнаружения по меньшей мере одного целевого признака из данных, и сравнения по меньшей мере одного обнаруженного целевого признака с опциями признака визуального представления из библиотеки 197 признаков. Опции признака визуального представления могут содержать выбираемые опции, конфигурируемые для приложения для визуального представления. Дополнительные инструкции предусматривают выбор признака визуального представления из опций признаков визуального представления, применение признака визуального представления к визуальному представлению цели, и визуализацию визуального представления. Визуальное представление может быть автоматически сгенерированным из сравнения по меньшей мере одного обнаруженного признака с опциями признака визуального представления таким образом, что выбор признака визуального представления выполняется без ручного выбора пользователем.

[0041] Выбор признака визуального представления может содержать выбор признака визуального представления, который подобен обнаруженному признаку цели. Признак визуального представления может быть по меньшей мере одним из признака лица, части тела, цвета, размера, роста, ширины, формы, аксессуара или элемента одежды. Инструкции могут предусматривать генерирование поднабора опций признаков визуального представления, из опций признаков визуального представления, для признака визуального представления, и обеспечения сгенерированного поднабора опций признаков для выбора пользователем признака визуального представления для применения к визуальному представлению. Сгенерированный поднабор опций признаков визуального представления может содержать множественные опции признаков визуального представления, которые аналогичны обнаруженному признаку цели. Инструкции могут предусматривать прием пользовательского выбора признака визуального представления из сгенерированного поднабора опций признаков, при этом выбор признака визуального представления из опций признаков визуального представления содержит выбор признака визуального представления, который соответствует пользовательскому выбору. Визуальное представление, имеющее этот признак визуального представления, может быть предоставлено в режиме реального времени. Кроме того, инструкции могут предусматривать мониторинг цели и обнаружение изменения в обнаруженном целевом признаке, и обновление визуального представления цели посредством обновления признака визуального представления, примененного к визуальному представлению, в режиме реального времени на основании изменения в обнаруженном целевом признаке.

[0042] Устройство 20 захвата может также включать в себя компонент 34 памяти, который может хранить инструкции, которые могут быть выполнены процессором 32, изображения или кадры изображений, захваченных 3D камерой 26 или камерой 28 RGB, или любую другую подходящую информацию, изображения или аналогичное. Согласно примерному варианту осуществления компонент 34 памяти может включать в себя память с произвольным доступом (RAM), постоянную память (ROM), кэш-память, флэш-память, жесткий диск, или любой другой подходящий компонент хранения. Как показано на фиг. 2, в одном варианте осуществления компонент 34 памяти может быть отдельным компонентом, находящимся в связи с компонентом 22 ввода изображения и процессором 32. Согласно другому варианту осуществления компонент 34 памяти может быть интегрирован в процессор 32 и/или компонент 22 ввода изображения.

[0043] Как показано на фиг. 2, устройство 20 захвата может находиться в связи с вычислительной средой 12 через коммуникационную линию 36 связи. Коммуникационная линия 36 связи может быть проводным соединением, включая, например, соединение USB, соединение Firewire, кабельное соединение Ethernet, или аналогичное, и/или беспроводным соединением, таким как беспроводное соединение согласно стандартам 802.11b, g, a или n. Согласно одному варианту осуществления вычислительная среда 12 может обеспечить синхросигнал устройству 20 захвата, который может использоваться, чтобы определить, когда захватывать, например, сцену, через коммуникационную линию 36 связи.

[0044] Дополнительно, устройство 20 захвата может предоставить информацию глубины и изображения, захваченные, например, 3D камерой 26 и/или камерой 28 RGB, и скелетную модель, которая может генерироваться устройством 20 захвата, к вычислительной среде 12 через коммуникационную линию 36 связи. Вычислительная среда 12 может затем использовать скелетную модель, информацию глубины и захваченные изображения, чтобы, например, управлять приложением, таким как игра или текстовой процессор. Например, как показано на фиг. 2, вычислительная среда 12 может включать в себя библиотеку 192 жестов.

[0045] Как показано на фиг. 2, вычислительная среда 12 может включать в себя библиотеку 192 жестов и подсистему 190 распознавания жестов. Подсистема 190 распознавания жестов может включать в себя коллекцию фильтров 191 жестов. Фильтр может содержать код и ассоциированные данные, которые могут распознавать жесты или иначе обрабатывать глубину, RGB или скелетные данные. Каждый фильтр 191 может содержать информацию, определяющую жест, наряду с параметрами, или метаданными, для этого жеста. Например, бросок, который содержит движение одной из рук из-за задней части тела для прохождения передней поверхности тела, может быть реализован как фильтр 191 жестов, содержащий информацию, представляющую движение одной из рук пользователя из-за задней части тела для прохождения передней поверхности тела, как это движение было бы захвачено камерой глубины. Параметры могут затем быть установлены для этого жеста. Когда жестом является бросок, параметр может быть пороговой скоростью, которой рука должна достигнуть, расстоянием, которое рука должна пройти (или абсолютным или относительным к размеру пользователя в целом), и оценку достоверности подсистемой устройства распознавания того, что жест произошел. Эти параметры для жеста могут изменяться между приложениями, между контекстами одного приложения, или в пределах одного контекста одного приложения в течение времени.

[0046] В то время как рассматривается, что подсистема 190 распознавания жестов может включать в себя коллекцию фильтров жестов, где фильтр может содержать код или иначе представлять компонент для обработки глубины, RGB или скелетных данных, использование фильтра не предназначено, чтобы ограничить анализ фильтром. Фильтр является представлением примерного компонента или секции кода, который анализирует данные сцены, принятой системой, и сравнивает эти данные с базовой информацией, которая представляет жест. В результате анализа система может сформировать выходной сигнал, соответствующий тому, соответствуют ли входные данные жесту. Базовая информация, представляющая жест, может быть настроена так, чтобы соответствовать рекурсивному признаку в истории данных, представляющих движение захвата пользователя. Базовая информация, например, может быть частью фильтра жестов, как описано выше. Но рассматривается любой подходящий способ для анализа данных ввода и данных жеста.

[0047] В примерном варианте осуществления жест может быть распознан как активатор для входа в режим модификации, где пользователь может модифицировать визуальное представление, автоматически сгенерированное системой. Например, фильтр 191 жестов может содержать информацию для распознавания жеста активатора модификации. Если жест активатора модификации распознан, приложение может войти в режим модификации. Жест активатора модификации может изменяться между приложениями, между системами, между пользователями или аналогичным. Например, один и тот же жест в теннисе, игровом приложении, возможно, не является тем же жестом активатора модификации в игровом приложении боулинга. Рассмотрим примерный жест активатора модификации, который содержит пользователя, показывающего правой рукой пользователя, представленной перед телом пользователя, с указательным пальцем, указывающим вверх, и перемещающимся круговым движением. Набор параметров для жеста активатора модификации может использоваться, чтобы идентифицировать, что рука пользователя находится перед телом пользователя, указательный палец пользователя указывает в восходящем движении, и идентификации, что указательный палец перемещается в круговом движении.

[0048] Некоторые жесты могут быть идентифицированы как запрос войти в режим модификации, в котором, если приложение в настоящее время выполняется, режим модификации прерывает текущее состояние приложения и входит в режим модификации. Режим модификации может заставить приложение сделать паузу, причем приложение может быть возобновлено в точке паузы, когда пользователь выходит из режима модификации. Альтернативно, режим модификации может не приводить к паузе в приложении, и приложение может продолжить выполняться, в то время как пользователь выполняет модификации.

[0049] Данные, захваченные камерами 26, 28 и устройством 20 в форме скелетной модели и движений, ассоциированных с ней, могут быть сравнены с фильтрами 191 жестов в библиотеке 192 жестов, чтобы идентифицировать, когда пользователь (который представлен скелетной моделью) выполнил один или более жестов. Таким образом, входы в фильтр, такой как фильтр 191, может содержать вещи, такие как данные сустава о позиции сустава пользователя, такие как углы, сформированные костями, которые встречаются в суставе, данные цвета RGB из сцены, и частота изменения аспекта пользователя. Как упомянуто выше, параметры могут быть установлены для жеста. Выходные данные из фильтра 191 могут содержать вещи, такие как достоверность, что сделан заданный жест, скорость, с которой сделано движение жеста, и время, в которое происходит жест.

[0050] Вычислительная среда 12 может включать в себя процессор 195, который может обработать изображение глубины, чтобы определить, какие цели находятся в сцене, такие как пользователь 18 или объект в комнате. Это может быть сделано, например, посредством группирования вместе пикселей изображения глубины, которые совместно «используют» аналогичное знач