Совмещение игрового поля на основе модели

Совмещение игрового поля на основе модели

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Область изобретения, в общем, относится к компьютерным наукам и, более конкретно, к формированию видеоизображения.

Уровень техники

Задача совмещения изображения часто встречается при обработке последовательностей видеоизображений. Как правило, совмещение изображений используют при обработке изображений для поиска соответствия между двумя или больше видеопоследовательностями, снятыми в разное время, полученными из разных датчиков или снятыми с разных точек съемки. Однако, несмотря на некоторый прогресс в области совмещения изображений, сохраняются искажения в изображениях. Такие искажения включают в себя неправильное совмещение (т.е. несовмещенность изображений). Кроме отсутствия возможности устранения таких часто встречающихся искажений, такие обычные алгоритмы совмещения изображений потребляют большое количество пространства поиска при очень незначительных достижениях. Кроме того, поиск, выполняемый с использованием обычных алгоритмов совмещения изображения, является нестабильным.

Краткое описание чертежей

Варианты осуществления настоящего изобретения представлены в качестве примера, а не для ограничений, на приложенных чертежах, на которых одинаковыми номерами ссылочных позиций обозначены одинаковые элементы, на которых:

на фиг.1 представлен процесс для выполнения совмещения поля;

на фиг.2 показан вариант осуществления гомографической матрицы модели поля, имеющей реальную точку и виртуальную точку;

на фиг.3 иллюстрируется вариант осуществления гомографического отображения между моделью поля и изображениями на экране и, кроме того, переход движения между изображениями на экране;

на фиг.4 иллюстрируется вариант осуществления детектирования линии Хафа (Hough) и выделение точек пересечения;

на фиг.5A-5G иллюстрируется вариант осуществления совмещения игрового поля на основе модели в спортивных видеопередачах;

на фиг.6 иллюстрируется вариант осуществления процесса многообъектного отслеживания на основе усиленного фильтра интерактивно распределенных частиц;

на фиг.7 показан вариант осуществления усиленного фильтра интерактивно распределенных частиц;

на фиг.8 иллюстрируются объекты, взаимодействующие друг с другом, формирующие группу (например, группу G);

на фиг.9 иллюстрируется вариант осуществления результатов отслеживания выполнения вариантов осуществления настоящего изобретения, когда такое выполнение осуществляют для двух видеоклипов с разрешением 720×576 и 960×544;

на фиг.10 иллюстрируется другой вариант осуществления результатов отслеживания выполнения вариантов осуществления настоящего изобретения;

на фиг.11 иллюстрируется вариант осуществления вычислительной системы, имеющей варианты осуществления настоящего изобретения, воплощенные как гибрид из программных и аппаратных компонентов.

Подробное описание изобретения

В одном варианте осуществления раскрыта технология совмещения поля для поиска геометрического соответствия между изображением на экране и моделью поля, с последующим отображением игрового поля с изображением экрана стандартной модели поля. Спортивные игры, в общем, и футбол, в частности, используются в данном документе просто как примеры и для краткости и ясности изложения. При этом предполагается, что варианты осуществления, раскрытые в данном документе, могут быть применены к любым видеоизображениям, независимо от их содержания. Продолжая на примере спортивных игр, ключевой компонент в видеоизображениях спортивных игр представляет собой отображение мяча и игроков, перемещающихся по траекториям по модели поля. При выполнении такого отображения каждые относительные положения игрока в системе координат поля могут быть получены из совмещенного поля. Такие относительные положения включают в себя направление движения игрока, приблизительную скорость и активность. Такие показатели могут помочь при анализе построения команды и тактических приемов, действий на основе восстановления сцены, обогащения и редактирования видеосодержания, организации интерактивных игр и игр с погружением, расширенной реальности и т.д., в областях визуальных расчетов и вычерчивания графиков с помощью компьютеров.

В одном варианте осуществления предусмотрен новый алгоритм совмещения поля, основанный на соответствующих аппаратных компонентах совмещения поля, для обеспечения эффективного и практического совмещения поля видеоизображений. При таком новом подходе вначале выполняют классификацию типа просмотра и затем применяют преобразование Хафа, для детектирования маркировочных линий поля и их соответствующих точек пересечения. Эти точки пересечения используются как ключевые точки для совмещения поля. Когда имеется достаточное количество ключевых точек (например, в количестве большем чем или равном 4 ключевым точкам), осуществляют непосредственное сопоставление для поиска оптимального отображения. Для эффективного поиска используют карту расстояния, генерируемую в результате преобразования расстояния, для расчета ошибки сопоставления. Кроме того, для ускорения поиска были исследованы несколько критериев быстрой сортировки, которые используются для ускорения процесса. В случае когда количество ключевых точек недостаточно (например, меньше 4 ключевых точек), гомографическая матрица не может быть получена непосредственно; но вместо этого, ее получают опосредованно путем оценки глобального движения между последовательными кадрами и путем комбинирования текущего перехода движения с любой предыдущей матрицей для отображения модели поля, для того чтобы определить текущую гомографическую матрицу отображения. Эта технология и ее эффективность и возможности применения на практике дополнительно описаны в предыдущих параграфах.

Эта новая и практичная технология совмещения поля работает с любыми типами и количеством случаев видеоизображений и с достаточным количеством ключевых точек или без них. Такое передовое и разумное решение упрощает трудности выполнения задачи совмещения поля. В технологии совмещения поля используется преобразование расстояния для измерения ошибки соответствия, что обеспечивает возможность сделать ошибку непрерывной и делает поиск более стабильным; кроме того, изобрели несколько критериев быстрой отбраковки для уменьшения пространства поиска и ускорения процесса.

На фиг.1 представлен процесс для выполнения совмещения поля. При обработке в блоке 102, входное видеоизображение принимают через физический интерфейс, который соединен с видеоустройством, таким как камера, имеющая вычислительную систему, включающую в себя процессор. В блоке 104 обработки выполняют предварительную обработку принятого видеоизображения. Предварительная обработка включает в себя выполнение изучения доминирующих цветов и классификацию типа обзора в блоке 106 обработки. Доминирующий цвет в видеоизображении получают в результате накопления значения оттенка и насыщенности (HSV) цветных гистограмм, которые соответствуют цвету травы игрового поля. Как упомянуто выше, следует снова отметить, что спортивные игры (и, в частности, игра в футбол) используются в качестве просто примера для краткости и ясности и что вариант осуществления настоящего изобретения не ограничивается видеоизображениями спортивных игр. Например, вместо цвета травы игрового поля (как используется здесь), цвет может представлять собой цвет пола в Конгрессе США во время политических дебатов, или цвет травы во время ралли, или цвет гостиного помещения во время телевизионного сериала или кинофильма. Сегментацию доминирующих цветов и морфологическую фильтрацию затем используют вместе с анализом подключенных компонентов для выделения игрового поля. После этого каждый вид классифицируют на один из четырех типов вида: (1) глобальный вид; (2) средний вид; (3) вид крупного плана и (4) за пределами вида, в то время как глобальный вид может быть подан в модуль совмещения поля для дальнейшей классификации.

В блоке 108 обработки, выполняют детектирование линии Хафа и выделение ключевых точек пересечения. Преобразование Хафа выполняют для детектирования меток линии путем выделения области извлечения игрового поля, затем резервируя любое количество пикселей, не соответствующих доминирующему цвету в пределах области игрового поля и формируя двухуровневое (двоичное) изображение. После этого преобразование Хафа применяют к двухуровневому изображению, для детектирования горизонтальных и вертикальных линейных отметок, и затем получают их ключевые точки пересечения. Далее, детектируют и используют как реальные, так и виртуальные точки пересечения. Это показано на фиг.4.

В блоке 110 принятия решения, определяют, достаточно ли ключевых точек. Если имеется достаточное количество точек, выполняют новую оценку непосредственного отображения в блоке 112 обработки. Такую новую оценку непосредственного отображения выполняют, используя генерирование гипотезы соответствия в блоке 114 обработки, после чего производят оценку гипотезы и поиск оптимального соответствия в блоке 116 обработки. Если точек недостаточно, выполняют оценку опосредованного отображения в блоке 118 обработки. Оценка с опосредованным отображением включает в себя детектирование ключевых точек, фильтрацию и оценку глобального движения в блоке 120 обработки, после чего выполняют транзакцию текущего отображения в блоке 122 обработки. В любом случае (то есть при оценке прямого или опосредованного отображения), процесс продолжается генерированием гомографической матрицы (Ht) 124.

Как упомянуто выше, когда достаточно много точек (например, больше чем четыре соответствующих точки), выполняют поиск пересечения, по меньшей мере, двух горизонтальных линий и, по меньшей мере, двух вертикальных линий между изображением экрана и моделью поля, прямую оценку в блоке 112 обработки, для оценки гомографической матрицы. Такая прямая оценка включает в себя определение, какая пара точек соответствует друг другу и модели поля, и эти возможные случаи нумеруют и выполняют поиск оптимальных точек, используя оценку ошибок. В одном варианте осуществления модель поля относится к любому фоновому изображению или полю видеоизображения, для которого выполнены эти варианты осуществления. Однако, продолжая тему игры в футбол, стандартное поле для спортивной игры в футбол, как определено "Federation Internationale de Football Association" (FIFA), используется в данном варианте осуществления как модель поля. В одном варианте осуществления, как реальные точки пересечения (например, пересечение двух реальных линий, например горизонтальных и вертикальных линий), так и любые виртуальные точки пересечения (например, пересечение одной реальной линии и одной продолженной реальной линии или пересечение двух продолженных реальных линий) используются в модели поля. Эти виртуальные точки пересечения также являются ключевыми точками модели поля, и их можно использовать для калибровки видеоустройства (например, камеры).

Кроме того, что касается генерирования гипотезы отображения, для упрощения процедуры отображения, используют линии - метки, для направления каждого соответствия ключевой точки пересечения. L_h обозначает количество горизонтальных линий, и L_v обозначает количество вертикальных линий (например, L_h=10 горизонтальных линий, и L_v=7 вертикальных линий) в модели поля. Учитывая также, что существует m горизонтальных линий (L_h=m) и n вертикальных линий (L_v=n), существует , (С (n, k) представляет собой операцию комбинации возможных комбинаций, например, 4 пар точек соответствия и возможных комбинаций 4 пар точек соответствия. Каждая комбинация может обозначаться как гипотеза, отражающая возможное соответствие между детектируемыми линиями изображения и линейными метками модели поля.

Для каждой оценки гипотезы получают матрицу Н отображения из внешних координат для плана изображения. Для оценки доверительности каждой гипотезы, модель поля отображают на плоскость изображения и рассчитывают расстояние между отображаемым изображением и исходным изображением. На основе детектируемых линий, используют технологию преобразования расстояния, для получения карты расстояния для измерения любой ошибки. Если карта расстояния равняется "D", ошибка может быть представлена как: , где N представляет общее количество ненулевых пикселей и τ представляет собой постоянную для ограничения максимальной ошибки. Ошибка и отображение могут быть обратно пропорциональными друг другу, например, чем меньше ошибка, тем лучше отображение. Оптимальная гипотеза используется как конечное согласование.

Поскольку пространство поиска велико, оценка гипотезы может быть трудоемкой в смысле требований к мощности расчетов. В одном варианте осуществления, для уменьшения пространства поиска, используются один или больше следующих критериев для быстрой отбраковки некоторой гипотезы. (1) На основе углов детектируемых линий (в частности, вертикальных линий), могут быть получены оценки стороны поля (например, с левой, правой или средней стороны). Например, если положение игры находится на левой стороне поля, линии, которые должны быть согласованы с моделью поля, не находятся с правой стороны. Аналогично обрабатывается правая сторона и наоборот. Некоторые гипотезы фильтруют, используя этот критерий. (2) Если две или больше горизонтальных линий или две или больше вертикальных линий были согласованы между моделью поля и данным изображением, выполняют оценку размера модели поля. Кроме того, если размер оценки значительно отличается от стандартной модели поля, эта гипотеза может быть отброшена и может использоваться другая гипотеза, с другим критерием. (3) Другой быстрый способ отброса обстоит в оценке самой гомографической матрицы. Гомографическая матрица имеет несколько (например, восемь) степеней свободы, но процесс формирования реального изображения может иметь другое количество параметров (например, семь), например три для положения камеры, три для поворота камеры и одну для фокусного расстояния. Остальная степень свободы включает в себя β (неизотропное масштабирование), которое относится к нелинейному масштабированию в горизонтальном и вертикальном направлениях (типично равно "1" в реальном мире). Это значение может быть получено на основе теории калибровки камеры. Кроме того, для тех оценок параметров камеры, которые не являются идеально точными и расчет которых является чувствительным к цифровой обработке, диапазон допуска параметра установлен как 0,5<β<2.

Как упомянуто выше, когда отсутствует достаточное количество ключевых точек (например, 4) в текущем кадре, выполняют опосредованную оценку отображения, в блоке 118 обработки, выполняя трансляцию движения камеры из предыдущего в текущий кадр для дедуктивного вывода текущей матрицы гомографического отображения при обработке в блоке 124. В одном варианте осуществления такая процедура оценки опосредованного отображения включает в себя детектирование одной или больше особых точек, точек, соответствующих двум последовательным изображениям, фильтрацию пары точек через консенсус случайной выборки (RANSAC) и расчет глобального движения с оценкой наименьших квадратов. Первый процесс включает в себя детектирование ключевых точек, при котором можно использовать угловые точки, точки Гарриса, надежные особые элементы ускорения (SURF) и т.д. Кроме того, можно применять свойство масштабного инвариантного преобразования элементов (SIFT) для характеризации ключевых точек.

После детектирования ключевых точек в предыдущем и текущем кадрах, соответственно, устанавливается соответствие между предыдущим и текущим кадрами. Для каждой точки в предыдущем кадре рассчитывают расстояние от каждой точки предыдущего кадра до каждой точки в текущем кадре, и ближайшие точки или кратчайшее расстояние принимают как их соответствие. Набор соответствия ключевой точки также может включать в себя некоторые посторонние значения данных, например, для поиска соответствия шумов или фальшивых элементов. В этом случае, используют алгоритм RANSAC, который применяют для фильтрации таких посторонних значений данных. Алгоритм RANSAC относится к алгоритму для надежной подгонки моделей поля в присутствии и при работе с любым количеством посторонних значений данных. Затем рассчитывают параметры глобального движения, используя соответствующую модель, применяя последовательное соответствие точек, используя оценку наименьших квадратов. Например, матрица гомографического отображения в момент времени t равна H_t, и матрица перехода движения с момента времени t-1 до момента t представляет собой М_t-1. Как только эти значения становятся известны, может быть получена матрица гомографического отображения с использованием следующей формулы: H_t=М_t-1*Н_t-1.

На фиг.2 иллюстрируется вариант осуществления гомографической матрицы 200 модели поля, имеющего реальную точку 202 и виртуальную точку 204. В одном варианте осуществления 3-мерная точка с гомогенными координатами обозначена как Р=[X, Y, Z, 1]', и компонент Z трехмерной точки на плоскости равен нулю, поэтому она может быть обозначена как Р=[X, Y, 1]'. Двумерная точка на сетчатке глаза может быть представлена как р=[х, y, 1]'. Для камеры с точечным отверстием 3-мерная точка Р в системе координат реального мира и ее соответствующая точка р двумерного изображения имеет следующие взаимосвязи: р=Н*Р, где Н представляет собой матрицу размером 3×3, параметризованную в отношении присущих и внешних параметров. Она называется матрицей томографа между плоскостью в реальном мире и изображением на экране.

Кроме того, матрицу Н определяют до коэффициента масштабирования, имеющего несколько (например, восемь) независимых параметров. Для определения значения, например, используются восемь параметров, по меньшей мере, в четырех парах точек соответствия между положениями изображения и положениями модели поля. Поскольку поле обычно не имеет очевидных свойств точки, используются пересечения линий в пределах игрового поля для оценки соответствия точек. Любые реальные точки 202 взаимного пересечения и точки 204 виртуального пересечения, которые представляют собой пересечения реальных линий и продолжений реальных линий (например, виртуальных линий), рассматриваются как ключевые точки, и оба эти вида можно использовать для калибровки камеры.

На фиг.3 иллюстрируется вариант осуществления гомографического отображения 310-314 между моделью 302 поля и изображениями 304-308 на экране и, кроме того, переход 316-318 движения между изображениями 304-308 на экране. Продолжая пример игры в футбол, если камера фокусируется на ближайшей области вратарской площадки, будет легко найти более чем четыре пары соответствующих точек. Однако для области ближайшей части центра поля или при смазанном или неясном изображении (например, из-за быстрого движения камеры), может оказаться трудным детектировать линии, поскольку может оказаться недостаточным количество доступных соответствующих ключевых точек. Для решения этой задачи, в одном варианте осуществления, используют переход глобального движения и гомографическую матрицу предыдущего кадра для приблизительного определения текущей гомографической матрицы 310-314. Здесь представлены гомографическая матрица 310-314 (как обозначено стрелками 310-314) между моделью 302 поля и изображениями 304-308 на экране, а также переход 316-318 движения (как обозначено стрелками 316-318) между последовательными изображениями 304-308 на экране.

Если предположить, что глобальная модель движения является перспективной моделью, преобразование которой также является матрицей размером 3×3, оценка текущего кадра от его предыдущего кадра, I_t-1 и глобальное преобразование М_t-1 движения (фиг.5A-5G) могут быть отформатированы с использованием следующей формулы: I_t=H_t·F (формула 1). Обозначая модель поля как F, отображение из модели поля на изображение может быть представлено как: I_t-1=Н_t-1·F (формула 2) и I_t=М_t-1·I_t-1 (формула 3). Если подставить формулу 2 в формулу 1, получим следующую формулу: I_t=М_t-1·Н_t-1·F (формула 4). Теперь, если сравнить формулу 1 с формулой 4, получим следующую формулу: H_t=М_t-1·Н_t-1=М_t-1·М_t-2·H_t-2=…=М_t-1…M_t-k·H_t-k.

На фиг.4 представлен вариант осуществления детектирования линии Хафа и выделение линии 400 пересечения. В одном варианте осуществления используют преобразование Хафа для детектирования меток линии. Вначале выделяют 402 область игрового поля и затем пиксели, не соответствующие доминирующему цвету, резервируют в пределах игрового поля 402 и преобразуют в двухуровневое изображение 404. Затем применяют преобразование Хафа для двухуровневого изображения, для детектирования каких-либо горизонтальных и вертикальных линейных меток 406. В конечном итоге получают точки пересечения горизонтальных и вертикальных линий и также детектируют и используют как реальные, так и виртуальные точки пересечения 408.

На фиг.5A-5G иллюстрируется вариант осуществления совмещения игрового поля на основе модели для видеоизображения 500 спортивной игры. В столбцах представлены номера 501 кадров исходных изображений 502 на экране, результаты 504 детектирования линий Хафа (имеющие вертикальные и горизонтальные линии), результаты отображения модели поля на реальные изображения 506 и результаты 508 совмещения поля. Результаты выполнения совмещения поля по видеоклипу представляют в формате MPEG2 (например, размер кадра 720×576 и 25 кадров/секунду).

Серая область представляет собой область фокусирования камеры. На представленных кадрах фигуры 5А, 5В, кадры 2-26 представляют собой левое поле модели поля, на фигурах 5С-5Е кадры 120-180 представляют левую часть центрального поля модели поля, и на фигурах 5F, 5G кадры 1200-1250 представляют собой правую часть поля модели поля. Получаемые в результате кадры 2, 26, 120, 180, 1200 и 1250 принимают в результате прямой оценки, в то время как результат кадра 130 получают в результате опосредованной оценки. Кроме того, как показано, изображение линии Хафа отсутствует в кадре 130, поскольку недостаточное количество ключевых точек было получено, из-за размытости или несфокусированности изображения 540.

На фиг.6 иллюстрируется вариант осуществления процесса для отслеживания множества объектов на основе усиленного фильтра интерактивно распределенных частиц. Входное видеоизображение принимают в блоке 602 обработки. Входное видеоизображение может быть принято через видеоинтерфейс/интерфейс шины из одного видеоустройства в другое видеоустройство, причем каждое устройство имеет программное приложение, или в пределах того же видеоустройства (например, камеры, имеющей процессор/ЦПУ). В блоке 604 обработки, выполняют моделирование фона и выделение переднего плана входных видеоданных. В одном варианте осуществления усиленное детектирование 608 объекта и усиленный фильтр 610 интерактивно распределенных частиц интегрируют для выполнения надежного и эффективного отслеживания множества объектов в блоке 606 обработки. Для выполнения этого, предусмотрены программные и аппаратные средства усиленного фильтра интерактивно распределенных частиц (BIDPF) для решения задачи автоматического отслеживания множества объектов (МОТ) в различных приложениях (например, в приложениях отслеживания игрока в спортивных играх, например приложение отслеживания игрока в футбол). В блоке 612 обработки информацию отслеживания объекта (например, положение и количество) изображений получают и предоставляют. И снова, в данном случае игрок в футбол используется здесь просто как пример и для краткости и ясности, и предусматривается, что варианты осуществления настоящего изобретения можно использовать с любым количеством приложений и они не ограничиваются спортивными играми или приложениями для спорта.

В одном варианте осуществления применяют технологию усиленного фильтра интерактивно распределенных частиц (IDPF), блок 610 обработки выполнен с возможностью обрабатывать взаимные преграды между разными целями. Предложенное распределение, с использованием модели смеси, которая включает информацию из динамической модели и усиления детектирования, вводят в рабочие рамки IDPF. Предложенное усиленное распределение, при обработке блока 608, позволяет быстро детектировать цели, в то время как обработка IDPF обеспечивает возможность поддержания идентичности таких целей во время взаимных преград. При видеосъемке спортивных игр выделяют передний план в блоке 604 обработки, используя автоматически изученную модель цвета заданного игрового поля, как для ускорения усиленного детектирования, так и для уменьшения количества ложных тревог. Передний план также используется для разработки потенциальной модели, управляемой данными, для улучшения характеристик IDPF. Некоторые из результатов этого нового подхода, выполняемого для нескольких видеопоследовательностей, демонстрировали отслеживание различного количества объектов и правильно поддерживали их идентичность в динамичной сцене при движении камеры и взаимном затенении (как показано на предыдущих фигурах).

На фиг.7 иллюстрируется вариант осуществления усиленного фильтра интерактивно распределенных частиц. Цветную модель поля изучают путем накопления гистограмм цветов "HSV". Поле затем выделяют, используя пороговую обработку доминантного цвета, морфологическую фильтрацию и анализ 702 соединенных компонентов. Передний план на поле получают путем фильтрации цвета поля, используя модель 704 доминирующего цвета. Затем детектор усиления сканирует изображение переднего плана, используя множество масштабов 706. Такой процесс ускоряет детектирование и уменьшает количество фальшивых тревог. Кроме того, для обработки взаимодействия между целями принят интерактивный распределенный подход; при таком подходе распространение условной плотности для каждого объекта формулируют путем моделирования взаимодействия среди наблюдений объектов в распределенной схеме. При воплощении на основе фильтрации частиц, любые проблемы, связанные с затенением, решают путем регулировки веса каждой частицы.

В одном варианте осуществления состояние цели i в момент времени t и соответствующее наблюдение обозначают как xⁱ _t и yⁱ _t. Состояние, установленное до момента времени t, представляет собой xⁱ _0:t, где х₀ представляет собой исходное состояние и наблюдение, установленное до момента времени t, представляет собой yⁱ _0:t. Интерактивные наблюдения yⁱ _t в момент времени t обозначены как y^J _t ^t, где элементы J_t представляют собой показатели объектов наблюдения, которые взаимодействуют с yⁱ _t. Назначение отслеживания состоит в том, чтобы получить апостериорную оценку на основе всех наблюдений . Когда уⁱ не имеет взаимодействия с другими объектами, , эта формулировка соответствует обычному подходу фильтра частиц. Используя свойства условной независимости, распространение плотности для каждого интерактивного следящего устройства формулируется следующим образом: , где представляет собой локальную вероятность, представляет собой плотность перехода состояния, которые аналогичны байесовским подходам отслеживания.

Уравнение известно как интерактивная вероятность, которая характеризуется взаимодействием между целями. В отсутствие любой интеграции между целями, такая формулировка может быть деградирована до множества независимых байесовских рамок объектов.

При воплощении фильтра частиц апостериорная вероятность характеризуется набором взвешенных выборок , где (где N представляет собой количество выборок). В соответствии с важностью теории выборок, веса обновляют как:

На фиг.8 иллюстрируется объект 802-806, имеющий взаимодействие с каждым из других объектов, формирующих группу (например, группу G). Управляемая данными потенциальная модель предложена на основе наблюдений переднего плана для оценки

интерактивной вероятности для регулировки веса частиц. Кроме того, буквой G обозначена группа изображений, сформированная интерактивными объектами, F_G 802 как передний план изображения и S_G 804 как объединение областей изображений всех игроков в G, р₁₁ представляет собой вероятность того, что пиксель в области игрока принадлежит переднему плану, и р₁₀ представляет собой вероятность того, что пиксель в области игрока не принадлежит переднему плану, p₀₁ представляет собой вероятность того, что пиксель, находящийся за пределами игроков, представляет передний план, и р₀₀ представляет собой вероятность того, что пиксель, находящийся за пределами игроков представляет задний план, в котором р₁₁+р₁₀=1, р₁₁>р₁₀, p₀₁+p₀₀=1 и p₀₁<р₀₀.

Если предположить, что пиксели являются независимыми, получим следующую вероятность:

где C_G представляет собой нормализованную постоянную, в которой λ₁₀ и λ₀₁ представляют собой два коэффициента, зависящие от р₁₀ и p₀₁, соответственно, и ∩ представляет собой взаимное пересечение двух областей. Вероятность зависит от N₁₀ и N₀₁. Как показано в 806, белые пиксели формируют за пределами прямоугольников 808 N₁₀ и черные пиксели формируют внутри прямоугольников 810 N₀₁. Используя предложенную потенциальную модель, интерактивная вероятность уменьшает вероятность того, что оценки объектов плохо интерпретируют наблюдения; поэтому можно разделить наблюдение в условиях препятствий и, таким образом, решить задачу слияния.

Для решения задачи установки меток, в одном варианте осуществления, выполняют оценку вероятности перехода состояния по формуле: , где представляет собой плотность перехода традиционного состояния, и ее оценка может быть получена, используя модель ускорения постоянной. Кроме того, вес ϕⁱ _t(.) инерции определяется как: где σ_θ, σ_ν представляют собой исходные константы, которые характеризуют допустимые вариации направления и скорости вектора движения, соответственно. представляет собой вектор движения n-й частицы i-го объекта ; представляет опорный вектор движения из до . представляет угол между и . представляет собой норму L₂.

Проблема в поддержании эффективности фильтрации частиц состоит в том, как сконструировать распределение предложения. В одном варианте осуществления используют смесь гауссовой модели, которая комбинирует обе динамики, как предшествующего детектирования, так и детектирования с усилением: Параметры σ_q динамически обновляют путем перекрытия между гауссовым распределением детектирования усиления и динамики перед этим. Алгоритм "ближайшего соседа" используется для идентификации данных при назначении направления усиления для существующих дорожек.

Что касается локальной вероятности наблюдение цели представлено как оценка плотности ядра распределения цветов, выделенных из области R(xⁱ _t), с центром в местоположении xⁱ _t. Коэффициент Бхаттачарья (Bhattacharyya) применяется для оценки схожести между текущим наблюдением К (x_t) и опорной моделью Кроме того, для кодирования пространственной информации наблюдений, применяют цветную модель, состоящую из множества частей, которая разделяет объект вертикально на две части. Таким образом, локальную вероятность цели I определяют как: .

На фиг.9 иллюстрируется вариант осуществления результатов отслеживания при воплощении вариантов осуществления настоящего изобретения, когда воплощение осуществляют в двух видеоклипах с разрешением 720×576 и 960×544. Иллюстрации рядов 902-906, в частности, фокусируются на вводе на сцену нового игрока. В одном варианте осуществления игрока, попадающего на сцену, быстро детектируют и отслеживают надежно даже при относительно высокой степени заграждения. Как показано, в ряду 904 показаны виды крупным планом эллиптической области, помеченной на первом изображении рядом 902. В одной технологии, цвет окружающего прямоугольника (например, рамки объекта) 908-912 для каждого игрока может быть уникальным, если игроки не взаимодействуют друг с другом. В противном случае, цвет рамки объекта может изменяться на черный. Правильная идентификация поддерживается во время образования преграды, что является преимуществом предложенной схемы регулирования весов для частиц, несмотря на интерактивную вероятность. В строке 904 иллюстрируются рамки объекта, слившиеся вместе, когда объекты приближаются друг к другу (например, при преобразовании из трех рамок 914-918 в две рамки 914-916 объектов и так далее). Кроме того, новая рамка объекта может быть сформирована, если одна рамка будет разделена на две рамки объекта таким образом, чтобы метки той же цели могли быть разными после образования преграды.

На фиг.10 иллюстрируется другой вариант осуществления результатов отслеживания выполнения вариантов осуществления настоящего изобретения. В варианте осуществления строки 1002-1008 представляют результаты отслеживания игроков. Каждого игрока 1010-1019 индивидуально отслеживают, используя соответствующую рамку 1020-1029 игрока, и, как показано, каждого игрока 1010-1019 индивидуально отслеживают и его идентичность правильно поддерживают, независимо от любых частичных или полных преград.

На фиг.11 показан вариант осуществления вычислительной системы 1100, в которой воплощаются варианты осуществления настоящего изобретения как гибрид программных и аппаратных компонентов. Некоторые функции вариантов осуществления воплощены в аппаратных средствах, и некоторые другие функции воплощены как программное средство. Как показано, микросхема 1102 CPU разработана для работы с видеосопроцессором 1110. Видеосопроцессор 1110 может представлять собой часть видеоустройства (например, видеокамеры), имеющего другие модули обработки, например модуль графической обработки (GPU)). В одном варианте осуществления видеосопроцессор 1110 использует любое количество новой программной логики и аппаратной логики 1100 для работы с другой обычной программной и аппаратной логикой, для выполнения вариантов осуществления настоящего изобретения совместно с любыми обычными операциями.

Опе