Выражение визуального представления, основанное на выражении игрока

Выражение визуального представления, основанное на выражении игрока

Иллюстрации

Показать все

Реферат

УРОВЕНЬ ТЕХНИКИ

[0001] Обычно различные приложения будут отображать визуальное представление, которое соответствует пользователю, при этом пользователь осуществляет управление через некоторые действия, такие как выбор кнопок на удаленном или перемещающимся контроллере некоторым способом. Визуальное представление может быть в форме аватара, нереального персонажа, мультипликационного изображения или животного, курсора, руки или подобного. Визуальное представление является компьютерным представлением, соответствующим пользователю, которое обычно принимает форму двумерной (2D) или трехмерной (3D) модели в различных приложениях, таких как компьютерные игры, видеоигры, чаты, форумы, сообщества, службы мгновенной передачи сообщений и т.п. Многие вычислительные приложения, такие как компьютерные игры, мультимедийные приложения, офисные приложения или подобное, обеспечивают выбор предварительно определенных анимированных персонажей, которые могут быть выбраны для использования в приложении в качестве аватара пользователя. Некоторые системы могут включать камеру, которая способна делать снимок пользователя и идентифицировать признаки из этого кадра данных. Однако эти системы требуют захвата признака пользователя, обработки изображения и затем применения к персонажу в среде нереального времени, и применяемые признаки имеют низкую точность, обычно основанную на единственном снимке пользователя.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0002] Может быть желательно настроить визуальное представление пользователя на основании обнаруженных характеристик пользователя, и может быть желательно применить эти характеристики к визуальному представлению в реальном времени. Также может быть желательно, чтобы система обрабатывала изменения для характеристик пользователя в физическом пространстве и могла обновить визуальное представление в реальном времени. Из этих характеристик может быть желательно, чтобы система идентифицировала характер (темперамент) пользователя и применяла атрибуты, указывающие этот характер, к визуальному представлению пользователя.

[0003] В настоящем описании раскрываются способы для обеспечения визуального представления пользователя, такого как аватар или нереальный (фантастический) персонаж, который может отражать характер пользователя в реальном времени. Используя способы распознавания лиц и распознавания жестов/положения тела, система может выводить характер пользователя. Система может естественным образом передавать эмоции и отношения пользователя с помощью применения атрибутов характера пользователя к визуальному представлению пользователя. Также раскрываются способы для отслеживания пользователя в физическом пространстве в течение времени и применения модификаций или обновлений к визуальному представлению в реальном времени. Например, система может отслеживать выражения лица и перемещения тела пользователя для идентификации характера и затем применять атрибуты, указывающие этот характер, к визуальному представлению. Система может использовать любые обнаруживаемые характеристики для оценки характера пользователя для приложения к визуальному представлению.

[0004] Эта сущность изобретения обеспечивается, чтобы ввести выбор понятий в упрощенной форме, которые дополнительно описываются ниже в подробном описании. Эта сущность изобретения не предназначается для идентификации ключевых признаков или существенных признаков заявленной сущности изобретения, и при этом она не предназначается для использования, чтобы ограничить область заявленной сущности изобретения. Кроме того, заявленная сущность изобретения не ограничивается реализациями, которые решают любые или все недостатки, отмеченные в какой-либо части этого раскрытия.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0005] Системы, способы и считываемые компьютером носители для модификации визуального представления в соответствии с настоящим описанием дополнительно описываются со ссылками на сопроводительные чертежи, на которых:

[0006] Фиг. 1 иллюстрирует примерный вариант осуществления системы распознавания, анализа и отслеживания цели посредством пользователя, играющего в игру.

[0007] Фиг. 2 иллюстрирует примерный вариант осуществления устройства захвата, которое может быть использовано в системе распознавания, анализа и отслеживания цели и способах встроенного формирования цепочки и смешивания анимации.

[0008] Фиг. 3 иллюстрирует примерный вариант осуществления вычислительной среды, в которой могут осуществляться описанные в настоящем описании способы анимации.

[0009] Фиг. 4 иллюстрирует другой примерный вариант осуществления вычислительной среды, в которой могут осуществляться описанные в настоящем описании способы анимации.

[0010] Фиг. 5A иллюстрирует скелетное отображение пользователя, который был сгенерирован из изображения глубины.

[0011] Фиг. 5B иллюстрирует дополнительные подробности архитектуры блока распознавания жестов, показанного на Фиг. 2.

[0012] Фиг. 6 изображает примерную систему распознавания, анализа и отслеживания цели и примерный вариант осуществления пользователя в физическом пространстве и отображения визуального представления пользователя.

[0013] Фиг. 7 изображает примерную блок-схему для способа применения атрибутов, указывающих характер пользователя, к визуальному представлению.

[0014] Фиг. 8 изображает примерную таблицу поиска для выведения характера пользователя.

[0015] Фиг. 9 изображает другую примерную систему распознавания, анализа и отслеживания цели, примерные варианты осуществления пользователя в физическом пространстве и примерные варианты осуществления отображения визуального представления пользователя.

ПОДРОБНОЕ ОПИСАНИЕ ИЛЛЮСТРАТИВНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0016] В настоящем описании раскрываются способы для обеспечения визуального представления пользователя, такого как аватар, которое может отражать характер пользователя. Визуальное представление пользователя может быть в форме персонажа, анимации, аватара, курсора на экране, руки или любого другого визуального представления, которое соответствует пользователю в физическом пространстве. Используя способы распознавания лиц и распознавания жестов/положения тела, система может естественным образом передавать эмоции и позицию пользователя с помощью визуального представления пользователя. Например, устройство захвата может идентифицировать признаки пользователя и настраивать визуальное представление пользователя на основании этих идентифицированных признаков, таких как эмоции, выражения и настроения. В примерном варианте осуществления система генерирует и использует аспекты скелетной или сеточной модели человека на основании данных изображения, захваченных устройством захвата, и использует способы распознавания тела для определения характера пользователя.

[0017] Также раскрываются способы для отображения визуального представления в реальном времени и применения атрибутов, указывающих характер пользователя, к визуальному представлению в реальном времени. Система может отслеживать пользователя в физическом пространстве в течение времени и применять модификации или обновления к визуальному представлению в реальном времени. Система может отслеживать обнаруживаемые характеристики, такие как характеристики пользователя, жесты, статус приложения и т.д., чтобы выводить характер (темперамент) пользователя. Характеристики пользователя, например, такие как выражения лица и перемещения тела, могут быть использованы для выведения характера, и затем атрибуты этого характера могут быть применены к визуальному представлению таким образом, чтобы визуальное представление отражало характер пользователя. Например, устройство захвата может идентифицировать поведение и характерные черты, эмоции, образцы голоса, данные истории или подобное пользователя для определения характера пользователя и применения их к визуальному представлению пользователя. Система может использовать любые обнаруживаемые признаки для оценки характера пользователя для приложения к визуальному представлению.

[0018] Для генерирования модели, представляющей цель или объект в физическом пространстве, устройство захвата может захватывать изображение глубины сцены и сканировать цели или объекты на сцене. Цель может быть человеком-целью, такой как пользователь в физическом пространстве. Таким образом, как используется в настоящем описании, подразумевается, что цель и пользователь могут быть использованы взаимозаменяемо. В одном варианте осуществления устройство захвата может определять, соответствует ли одна или более целей или объектов на сцене человеку-цели, такой как пользователь. Чтобы определить, соответствует ли цель или объект на сцене человеку-цели, каждая из целей может заливаться цветом и сравниваться с образцом модели человеческого тела. Каждая цель или объект, который соответствует модели человеческого тела, может затем сканироваться для генерирования скелетной модели, ассоциированной с ней. Например, цель, идентифицированная как человек, может сканироваться для генерирования скелетной модели, ассоциированной с ней. Затем скелетная модель может быть выдана вычислительной среде для отслеживания скелетной модели и визуализации визуального представления, ассоциированного со скелетной моделью. Вычислительная среда может определять, какие выполнять элементы управления при выполнении приложения в компьютерной среде на основании, например, жестов пользователя, которые были распознаны и сопоставлены со скелетной моделью. Таким образом, может быть отображена пользовательская обратная связь, такая как с помощью аватара на экране, и пользователь может управлять движением этого аватара посредством жестов в физическом пространстве.

[0019] Движение визуального представления может управляться посредством сопоставления перемещения визуального представления с движением пользователя в физическом пространстве. Например, цель может быть пользователем-человеком, который двигается или жестикулирует в физическом пространстве. Визуальное представление цели может быть аватаром, отображенным на экране, и движение аватара может соответствовать движению пользователя. Движение в физическом пространстве может быть преобразовано в элемент управления в системе или пространстве приложения, таком как виртуальное пространство и/или игровое пространство. Например, движения пользователя могут быть отслежены, смоделированы и отображены, и жесты пользователя могут управлять некоторыми аспектами приложения операционной системы или выполняющего приложения. Жесты пользователя могут быть преобразованы в элемент управления в системе или пространстве приложения для применения атрибутов, указывающих характер, к визуальному представлению.

[0020] Захваченное движение может быть любым движением в физическом пространстве, которое захватывается устройством захвата, таким как камера. Захваченное движение может включать в себя движение цели в физическом пространстве, такой как пользователь или объект. Захваченное движение может включать в себя жест, который преобразует в элемент управления в операционной системе или приложении. Движение может быть динамичным, таким как непрерывное движение, или движение может быть статическим, таким как пользователь, который зафиксирован в позиции с небольшим перемещением.

[0021] Система, способы и компоненты распознавания лица и тела для передачи атрибутов и эмоций пользователя, описанных в настоящем описании, могут осуществляться на мультимедийной консоли, такой как игровая консоль, или на любом другом вычислительном устройстве, в котором желательно отобразить визуальное представление цели, включающей в себя посредством примера и без какого-либо заданного ограничения спутниковые приемники, телевизионные приставки, аркадные игры, персональные компьютеры (PC), портативные телефоны, персональные цифровые ассистенты (ассистенты PDA) и другие переносные устройства.

[0022] Фиг. 1 иллюстрирует примерный вариант осуществления конфигурации системы 10 распознавания, анализа и отслеживания цели, которая может использовать способы для применения характеристик пользователя к визуальному представлению. В примерном варианте осуществления пользователь 18 играет в игру в бокс. В примерном варианте осуществления система 10 может распознавать, анализировать и/или отслеживать цель человека, такую как пользователь 18. Система 10 может собирать информацию, относящуюся к движениям, выражениям лица, языку тела, эмоциям и т.д. пользователя, в физическом пространстве. Например, система может идентифицировать и сканировать человека-цель 18. Система 10 может использовать способы распознавания положения тела для идентификации характера человека-цели 18. Например, если пользователь 18 сутулится, складывает руки на груди и медленно поворачивает свою голову в сторону, система 10 может идентифицировать части тела пользователя 18 и то, как они двигаются. Система 10 может сравнивать движения с библиотекой эмоций, настроений, отношений, выражений и т.д., чтобы интерпретировать характер пользователя.

[0023] Как показано на Фиг. 1, система 10 распознавания, анализа и отслеживания цели может включать в себя вычислительную среду 12. Вычислительная среда 12 может быть компьютером, игровой системой или консолью или подобным. Согласно примерному варианту осуществления вычислительная среда 12 может включать в себя компоненты аппаратного обеспечения и/или компоненты программного обеспечения таким образом, чтобы вычислительная среда 12 могла быть использована для выполнения приложений, таких как игровые приложения, неигровые приложения или подобное.

[0024] Как показано на Фиг. 1, система 10 распознавания, анализа и отслеживания цели может дополнительно включать в себя устройство 20 захвата. Устройством 20 захвата может быть, например, камера, которая может быть использована для визуального контроля одного или более пользователей, таких как пользователь 18, таким образом, чтобы жесты, выполняемые одним или более пользователями, могли быть захвачены, проанализированы и отслежены для выполнения одного или более элементов управления или действий в приложениях, как будет описано более подробно ниже.

[0025] Согласно одному варианту осуществления система 10 распознавания, анализа и отслеживания цели может быть соединена с аудиовизуальным устройством 16, таким как телевизор, монитор, высококачественный телевизор (HDTV) или подобное, которые могут обеспечивать графику и/или аудиоигры или приложения пользователю, такому как пользователь 18. Например, вычислительная среда 12 может включать в себя видеоадаптер, такой как карта графических данных, и/или аудиоадаптер, такой как звуковая плата, которая может обеспечивать аудиовизуальные сигналы, ассоциированные с игровым приложением, неигровым приложением или подобным. Аудиовизуальное устройство 16 может принимать аудиовизуальные сигналы от вычислительной среды 12 и затем может выводить графику и/или аудиоигры или приложения, ассоциированные с аудиовизуальными сигналами, пользователю 18. Согласно одному варианту осуществления аудиовизуальное устройство 16 может быть соединено с вычислительной средой 12 с помощью, например, кабеля S-видео, коаксиального кабеля, HDMI кабеля, DVI кабеля, VGA кабеля или подобного.

[0026] Как показано на Фиг. 1, система 10 распознавания, анализа и отслеживания цели может быть использована для распознавания, анализа и/или отслеживания человека-цели, такой как пользователь 18. Например, пользователь 18 может отслеживаться, используя устройство 20 захвата, таким образом, чтобы перемещения пользователя 18 могли интерпретироваться как элементы (средства) управления, которые могут быть использованы, чтобы влиять на приложение, выполняемое компьютерной средой 12. Таким образом, согласно одному варианту осуществления пользователь 18 может перемещать его или ее тело, чтобы управлять приложением. Система 10 может отслеживать тело и движения пользователя, выполняемые телом пользователя, включая жесты, которые управляют аспектами системы, такими как приложение, операционная система или подобное. Система может сравнивать положение тела пользователя, выражения лица, выражения голоса и тон, направленные пристальные взгляды и т.д. для определения характера пользователя или отношения и применения характеристик этого характера или отношения к аватару.

[0027] Система 10 может преобразовывать введенные данные на устройство 20 захвата в анимацию, причем введенные данные представляет движение пользователя таким образом, чтобы анимация возбуждалась посредством этих введенных данных. Таким образом, движения пользователя могут преобразовываться в визуальное представление 40 таким образом, чтобы движения пользователя в физическом пространстве выполнялись посредством аватара 40. Движения пользователя могут быть жестами, которые применяются к средству управления в приложении. Как показано на Фиг. 1, в примерном варианте осуществления приложение, выполняющееся в вычислительной среде 12, может быть игрой в бокс, в которую может играть пользователь 18.

[0028] Вычислительная среда 12 может использовать аудиовизуальное устройство 16 для обеспечения визуального представления аватара 40 игрока, которым пользователь 18 может управлять посредством его или ее перемещений. Например, пользователь 18 может сделать удар в физическом пространстве, чтобы заставить аватар 40 игрока сделать удар в игровом пространстве. Аватар 40 игрока может иметь характеристики пользователя, идентифицированного устройством 20 захвата, или система 10 может использовать признаки известного боксера или создавать изображение телосложения профессионального боксера для визуального представления, которое сопоставляется с движениями пользователя. Система 10 может отслеживать пользователя и модифицировать характеристики аватара пользователя на основании обнаруживаемых признаков пользователя в физическом пространстве. Вычислительная среда 12 может также использовать аудиовизуальное устройство 16 для обеспечения визуального представления боксирующего противника 38 пользователю 18. Согласно примерному варианту осуществления компьютерная среда 12 и устройство 20 захвата системы 10 распознавания, анализа и отслеживания цели могут быть использованы для распознавания и анализа удара пользователя 18 в физическом пространстве таким образом, чтобы удар мог интерпретироваться как управление игрой аватара 40 игрока в игровом пространстве. Множественные пользователи могут взаимодействовать друг с другом из удаленных местоположений. Например, визуальное представление боксирующего противника 38 может представлять другого пользователя, такого как второй пользователь в физическом пространстве, посредством пользователя 18 или сетевого пользователя во втором физическом пространстве.

[0029] Другие перемещения пользователем 18 могут также интерпретироваться как другие элементы управления или действия, такие как элементы управления, чтобы подпрыгнуть, раскачиваться, перемещаться, блокировать, атаковать или сделать множество ударов различной силы. Кроме того, некоторые перемещения могут интерпретироваться как элементы управления, которые могут соответствовать действиям, отличным от управления аватаром 40 игрока. Например, игрок может использовать перемещения, чтобы закончить, остановить или сохранить игру, выбрать уровень, просмотреть лучшие результаты, пообщаться с другом и т.д. Дополнительно, полный диапазон перемещения пользователя 18 может быть доступным, использоваться и анализироваться любым подходящим способом, чтобы взаимодействовать с приложением.

[0030] В примерных вариантах осуществления человек-цель, такая как пользователь 18, может иметь объект. В таких вариантах осуществления пользователь электронной игры может держать объект таким образом, чтобы движения игрока и объекта могли быть использованы для регулирования и/или управления параметрами игры. Например, движение игрока, держащего ракетку, может быть отслежено и использовано для управления ракеткой на экране в электронной спортивной игре. В другом примерном варианте осуществления движение игрока, держащего объект, может быть отслежено и использовано для управления оружием на экране в электронной боевой игре.

[0031] Жесты или движение пользователя могут интерпретироваться как элементы управления, которые могут соответствовать действиям, отличным от управления аватаром 40 игрока. Например, игрок может использовать перемещения, чтобы закончить, остановить или сохранить игру, выбрать уровень, просмотреть лучшие результаты, пообщаться с другом и т.д. Игрок может использовать перемещения, чтобы применить атрибуты, указывающие характер, к визуальному представлению пользователя. Фактически любой управляемый аспект операционной системы и/или приложения может управляться перемещениями цели, такой как пользователь 18. Согласно другим примерным вариантам осуществления система 10 распознавания, анализа и отслеживания цели может интерпретировать перемещения цели для аспектов управления операционной системы и/или приложения, которые находятся вне области игр.

[0032] Применение признака пользователя к визуальному представлению или обнаружение некоторых эмоций или отношений пользователя может быть аспектом операционной системы и/или приложения, которые могут управляться или распознаваться из жестов пользователя. Например, жест для рук пользователя, сложенных на его или ее груди, может быть жестом, распознанным как настроение расстройства. Распознавание системой жеста, который указывает, что пользователь расстроен, наряду с выражением пользователя, таким как хмурый взгляд, может привести к визуальному представлению, которое отражает расстроенный характер.

[0033] Жест пользователя может быть элементами управления, применимыми к операционной системе, неигровым аспектам игры или неигровому приложению. Жесты пользователя могут интерпретироваться как манипуляция объектом, такая как управление пользовательским интерфейсом. Например, рассмотрим пользовательский интерфейс, имеющий интерфейс блейдов или интерфейс на основе вкладок, вертикально упорядоченный слева направо, где выбор каждого блейда или вкладки открывает варианты для различных элементов управления в приложении или системе. Система может идентифицировать жест руки пользователя для перемещения вкладки, где рука пользователя в физическом пространстве виртуальным образом соответствует вкладке в пространстве приложения. Жест, включающий в себя паузу, движение захвата и затем взмах руки налево, может интерпретироваться как выбор вкладки и затем ее перемещение таким образом, чтобы открыть следующую вкладку.

[0034] Фиг. 2 иллюстрирует примерный вариант осуществления устройства 20 захвата, которое может быть использовано для распознавания цели, анализа и отслеживания, где цель может быть пользователем или объектом. Согласно примерному варианту осуществления устройство 20 захвата может быть сконфигурировано для захвата видео с информацией глубины, включающей в себя изображение глубины, которое может включать в себя значения глубины, с помощью любого подходящего способа, включающего в себя, например, время прохождения, структурированный свет, стереоизображение или подобное. Согласно одному варианту осуществления устройство 20 захвата может организовать вычисленную информацию глубины в "Z уровни" или уровни, которые могут быть перпендикулярны оси Z, простирающейся от камеры глубины вдоль ее луча обзора.

[0035] Как показано на Фиг. 2, устройство 20 захвата может включать в себя компонент 22 камеры изображения. Согласно примерному варианту осуществления компонент 22 камеры изображения может быть камерой глубины, которая может захватывать изображение глубины сцены. Изображение глубины может включать в себя двумерную (2-D) пиксельную область захваченной сцены, где каждый пиксель в 2-D пиксельной области может представлять значение глубины, такое как длина или расстояние, например, в сантиметрах, миллиметрах или подобном, объекта в захваченной сцене от камеры.

[0036] Как показано на Фиг. 2, согласно примерному варианту осуществления компонент 22 камеры изображения может включать в себя компонент 24 IR (инфракрасного) света, трехмерную (3-D) камеру 26 и камеру RGB 28, которые могут быть использованы для захвата изображения глубины сцены. Например, при анализе способом времени прохождения компонент 24 ИК света устройства 20 захвата может испускать инфракрасный свет на сцену и затем может использовать датчики (не показаны) для обнаружения обратно рассеянного света от поверхности одной или более целей и объектов на сцене, используя, например, 3-D камеру 26 и/или камеру 28 RGB. В некоторых вариантах осуществления пульсирующий инфракрасный свет может быть использован таким образом, чтобы время между исходящим световым импульсом и соответствующим входящим световым импульсом могло быть измерено и использовано для определения физического расстояния от устройства 20 захвата до конкретного местоположения в отношении целей или объектов на сцене. Дополнительно, в других примерных вариантах осуществления фаза исходящей световой волны может сравниваться с фазой входящей световой волны для определения фазового сдвига. Затем сдвиг фаз может быть использован для определения физического расстояния от устройства 20 захвата до конкретного местоположения в отношении целей или объектов.

[0037] Согласно другому примерному варианту осуществления анализ способом времени прохождения может быть использован, чтобы косвенно определить физическое расстояние от устройства 20 захвата до конкретного местоположения в отношении целей или объектов посредством анализа интенсивности отраженного пучка света в течение времени с помощью различных способов, включающих в себя, например, формирование изображения прерывистого светового импульса.

[0038] В другом примерном варианте осуществления устройство 20 захвата может использовать структурированный свет для захвата информации глубины. В таком анализе текстурированный свет (то есть свет, отображенный как известный шаблон, такой как шаблон сетки или шаблон полосы) может быть спроецирован на сцену с помощью, например, компонента 24 ИК света. После нанесения удара по поверхности одной или более целей или объектов на сцене, шаблон в ответ на это может стать деформированным. Такая деформация шаблона может быть захвачена, например, 3-D камерой 26 и/или камерой 28 RGB и затем может быть проанализирована для определения физического расстояния от устройства 20 захвата до конкретного местоположения в отношении целей или объектов.

[0039] Согласно другому варианту осуществления устройство 20 захвата может включать в себя две или более физически отделенные камеры, которые могут просматривать сцену с различных углов, получать визуальные стереоданные, которые могут быть разрешены для генерирования информации глубины.

[0040] Устройство 20 захвата может дополнительно включать в себя микрофон 30 или множество микрофонов. Микрофон 30 может включать в себя преобразователь или датчик, который может принимать и преобразовывать звук в электрический сигнал. Согласно одному варианту осуществления микрофон 30 может быть использован для уменьшения обратной связи между устройством 20 захвата и вычислительной средой 12 в системе 10 распознавания, анализа и отслеживания цели. Дополнительно, микрофон 30 может быть использован для приема аудиосигналов, которые также могут быть выданы пользователем для управления приложениями, такими как игровые приложения, неигровые приложения или подобное, которые могут выполняться вычислительной средой 12.

[0041] В примерном варианте осуществления устройство 20 захвата может дополнительно включать в себя процессор 32, который может находиться в оперативной связи с компонентом 22 камеры изображения. Процессор 32 может включать в себя стандартизированный процессор, специализированный процессор, микропроцессор или подобное, которые могут выполнять команды, которые могут включать в себя команды для приема изображения глубины, определения, может ли подходящая цель быть включена в изображение глубины, преобразования подходящей цели в скелетное представление или модель цели или любую другую подходящую команду.

[0042] Устройство 20 захвата может дополнительно включать в себя компонент 34 памяти, который может сохранять команды, которые могут выполняться процессором 32, изображения или кадры изображений, захваченные 3-D камерой 26 или камерой 28 RGB, или любую другую подходящую информацию, изображения или подобное. Согласно примерному варианту осуществления компонент 34 памяти может включать в себя оперативное запоминающее устройство (RAM), постоянное запоминающее устройство (ROM), кэш, флэш-память, накопитель на жестких дисках или любой другой подходящий компонент хранения. Как показано на Фиг. 2, в одном варианте осуществления компонент 34 памяти может быть отдельным компонентом в связи с компонентом 22 захвата изображения и процессором 32. Согласно другому варианту осуществления компонент 34 памяти может быть объединен в процессор 32 и/или компонент 22 захвата изображения.

[0043] Как показано на Фиг. 2, устройство 20 захвата может находиться в связи с вычислительной средой 12 с помощью линии 36 связи. Линия 36 связи может быть проводным соединением, включающим в себя, например, соединение USB, соединение Firewire, кабельное соединение Ethernet или подобное, и/или беспроводным соединением, таким как беспроводное соединение 802.11b, g, a или n. Согласно одному варианту осуществления вычислительная среда 12 может обеспечивать часы устройству 20 захвата, которые могут быть использованы для определения, когда захватить, например, сцену с помощью линии 36 связи.

[0044] Дополнительно, устройство 20 захвата может выдавать информацию глубины и изображения, захваченные, например, 3-D камерой 26 и/или камерой 28 RGB, и скелетную модель, которая может генерироваться устройством 20 захвата к вычислительной среде 12 с помощью линии 36 связи. Затем вычислительная среда 12 может использовать скелетную модель, информацию глубины и захваченные изображения, например, для управления приложением, таким как игровой или текстовой процессор. Например, как показано на Фиг. 2, вычислительная среда 12 может включать в себя библиотеку 190 жестов.

[0045] Как показано на Фиг. 2, вычислительная среда 12 может включать в себя библиотеку 190 жестов и механизм 192 распознавания жестов. Механизм 192 распознавания жестов может включать в себя коллекцию фильтров 191 жеста. Фильтр может содержать код и ассоциированные данные, которые могут распознавать жесты или иначе обрабатывать глубину, RGB или скелетные данные. Каждый фильтр 191 может содержать информацию, определяющую жест наряду с параметрами, или метаданными, для этого жеста. Например, бросок, который содержит движение одной из рук из-за задней части тела мимо передней части тела, может быть реализовано как фильтр 191 жеста, содержащий информацию, представляющую движение одной из рук пользователя из-за задней части тела мимо передней части тела, когда это движение было захвачено камерой глубины. Затем для этого жеста могут быть установлены параметры. В случае когда жест является броском, параметр может быть предельной скоростью, которой рука должна достигнуть, расстоянием, которое рука должна пройти (или абсолютным, или относительным размера пользователя в целом), и оценкой достоверности посредством механизма устройства распознавания, что жест имел место. Эти параметры для жеста могут варьироваться между приложениями, между контекстами одного приложения или в пределах одного контекста одного приложения в течение времени.

[0046] В то время как рассматривается, что механизм распознавания жестов может включать в себя коллекцию фильтров жеста, причем фильтр может содержать код или иначе представлять компонент для обработки глубины, RGB или скелетных данных, причем использование фильтра не предназначается для ограничения анализа фильтром. Фильтр является представлением примерного компонента или секции кода, которая анализирует данные сцены, принятые системой, и сравнивает эти данные с базовой информаций, которая представляет жест. В результате анализа система может сделать вывод, соответствующий тому, соответствуют ли введенные данные жесту. Базовая информация, представляющая жест, может регулироваться, чтобы соответствовать повторяющемуся признаку в истории данных, представляющих движение захвата пользователя. Базовая информация, например, может быть частью фильтра жеста, как описано выше. Однако рассматривается любой подходящий способ для анализа введенных данных и данных жеста.

[0047] Жест может быть распознан как жест идентичности характера (темперамента). В примерном варианте осуществления движение в физическом пространстве может представлять жест, распознанный как запрос применить атрибуты конкретного характера к визуальному представлению цели. Множество жестов может представлять конкретный жест идентичности характера. Таким образом, пользователь может управлять формой визуального представления посредством жеста в физическом пространстве, который распознается как жест идентичности характера. Например, как описано выше, движение пользователя может сравниваться с фильтром жеста, таким как фильтр 191 жеста из Фиг. 2. Фильтр 191 жеста может содержать информацию для жеста идентичности характера из жестов 196 идентичности характера в библиотеке 190 жестов.

[0048] Множество жестов идентичности характера может представлять характер, имеющий атрибуты, которые должны быть применены к визуальному представлению на экране. Например, жест идентификации "взволнованный" может быть распознан из идентичности движения пользователя, содержащего движение прыжка вверх и вниз с руками пользователя, поднятыми в воздух. Результат может быть применением атрибутов, непосредственно сопоставленных с движением пользователя, и/или анимации в дополнение к движению пользователя, к визуальному представлению пользователя.

[0049] Данные, захваченные камерами 26, 28 и устройством 20 в форме скелетной модели, и перемещения, ассоциированные с ними, могут сравниваться с фильтрами 191 жеста в библиотеке 190 жестов для идентификации, когда пользователь (как представлено скелетной моделью) выполнил один или более жестов. Таким образом, вводы в фильтр, такой как фильтр 191, могут содержать данные, такие как данные соединения о соединенной позиции пользователя, как углы, сформированные костями, которые имеют место в суставе, данные цвета RGB из сцены и скорость изменения аспекта пользователя. Как упомянуто, параметры могут быть установлены для жеста. Выходные данные от фильтра 191 могут содержать параметры, такие как достоверность, что выполняется заданный жест, скорость, с которой выполняется движение жеста, и время, в которое жест имеет место.

[0050] Вычислительная среда 12 может включать в себя процессор 195, который может обрабатывать изображение глубины для определения, какие цели находятся на сцене, например, пользователь 18 или объект в комнате. Это может быть сделано, например, посредством группировки пикселей изображения глубины, которые совместно используют аналогичное значение расстояния. Изображение также может быть интерпретировано для формирования скелетного представления пользователя, где идентифицируются признаки, такие как суставы и ткани, которые находятся между суставами. Здесь существуют способы скелетного сопоставления для захвата человека камерой глубины, и из этого определяются различные точки на скелете этого пользователя, суставы руки, запястья, локти, колени, нос, лодыжки, плечи и где таз переходит в спинной хребет. Другие способы включают в себя преобразование изображения в представление модели человеческого тела и преобразование изображения в представление сетчатой модели человека.

[0051] В варианте осуществления обработка выполняется непосредственно на устройстве 20 захвата, и предварительные данные изображения значений глубины и цвета