Способ и устройство для генерирования регистрационной записи события

Способ и устройство для генерирования регистрационной записи события

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к способу и устройству для генерирования регистрационной записи события.

Уровень техники

В области широковещательной передачи спортивных состязаний, например, в ходе репортажа с футбольных матчей, комментаторы обычно визуально идентифицируют игроков по отснятому во время матча видеоматериалу или в ходе игры, находясь в определенной точке наблюдения на стадионе таким образом, который позволяет собирать статистические данные о каждом игроке во время матча. Кроме того, для программ, освещающих события, информация о положении каждого игрока на игровом поле и его действиях на игровом поле может быть собрана оператором по видеозаписям, сделанным в ходе матча, который использует соответствующие средства для просмотра и редактирования.

Однако просмотр и редактирование записанных видеоматериалов требуют значительного времени и дорого стоят, а также подвержены ошибкам оператора. Хотя автоматизированные системы можно использовать для помощи оператору при отслеживании каждого игрока с использованием технологий распознавания образов, выполняемых для отснятого в ходе матча видеоматериала, но для автоматизированных систем может быть затруднительно регистрировать событие, если игрок участвовал в таком игровом событии, как удар ногой по мячу, блокирование другого игрока и т.п.

Кроме того, данные с аннотациями, относящимися к положению игроков в течение игры, можно использовать для воссоздания матча, используя трехмерное виртуальное моделирование. Однако для того, чтобы модель выглядела реалистичной, данные, относящиеся к типу игрового события, должны быть введены в устройство, выполняющее моделирование, таким образом, чтобы моделируемые игроки могли выполнять соответствующие игровые действия в соответствии с реальными событиями во время матча.

В некоторых системах, таких как описаны в публикации WO-A-02/071334, используется множество камер для отслеживания участников спортивного события, такого как футбольный матч. Данные положения, генерируемые системой, могут быть снабжены аннотациями для соответствующей игры, выполненными с помощью оператора, с использованием отдельного списка, который отображается отдельно от видеозаписи матча.

Однако, когда речь идет о множестве событий, может потребоваться значительное время для того, чтобы оператор мог выполнить большое количество аннотаций для видеозаписи, поскольку он должен выбирать игрока из списка и визуально подтверждать на видеозаписи, какое событие следует связать с этим игроком. В настоящем изобретении делается попытка устранить или уменьшить описанные выше проблемы.

Сущность изобретения

В первом аспекте предложен способ генерирования регистрационной записи игровых событий, ассоциированных с элементом, присутствующим на спортивном событии, - способ, при котором:

отслеживают в пределах последовательности видеоизображений особенности изображения, которые соответствуют соответствующим элементам в спортивном событии;

выбирают из отслеживаемых особенностей изображения первую особенность изображения, которая соответствует одному из элементов, для назначения этого элемента в качестве выбранного элемента;

выбирают игровое событие из списка событий, содержащего возможные игровые события, для ассоциирования с выбранным элементом; и

ассоциируют выбранное игровое событие с выбранным элементом для генерирования регистрационной записи события для этого элемента.

В соответствии с этим, путем отслеживания особенностей изображения, соответствующих, например, игрокам во время игры в футбол, и выбора особенности изображения, соответствующей требуемому игроку, оператор может выбирать соответствующее игровое событие (такое как удар ногой или удар головой) из списка событий для ассоциирования с этим игроком. Кроме того, особенность изображения, соответствующая игроку, может быть автоматически выбрана, например, с помощью рабочей станции, обрабатывающей содержание, и соответствующего события из списка событий, ассоциированного с этим игроком. Поэтому стоимость и трудозатраты, связанные с разметкой отснятого видеоматериала для генерирования статистических данных о матче, можно уменьшить. Кроме того, например, полученную в результате регистрационную запись событий можно использовать как входные данные 3D-моделирования, содержащего данные отслеживания игроков и мяча, связанные с реальным футбольным матчем, улучшая, таким образом, 3D-моделирование реального матча; при этом модель игрока, таким образом, может быть выполнена с повторением мимики и действий, связанных с игровым событием.

Способ также содержит: отображение в последовательности видеоизображений первой особенности изображения вместе со списком событий; и

выбор игрового события из списка событий в соответствии с выбором пользователя вручную игрового события.

Это помогает пользователю в выборе события и также ускоряет обработку составления аннотации.

Список событий может отображаться, по существу, рядом с первой особенностью изображения.

Это позволяет пользователю сконцентрироваться на области экрана, где отображается видеоизображение. Это также ускоряет процесс составления аннотации.

Способ также может содержать действия, при которых: отслеживают с помощью анализа последовательности видеоизображений положения в каждом видеоизображении игрового объекта, ассоциированного со спортивным событием, для генерирования данных движения, которые относятся к направлению движения игрового объекта в последовательности видеоизображений;

детектируют возникновение игрового события в зависимости от изменения направления движения игрового объекта путем анализа данных движения; и

помечают флагом одно или больше видеоизображений, для которых детектировали возникновение игрового события, для обозначения, что эти видеоизображения содержат возникновение игрового события.

Таким образом, становится возможным быстрее автоматически детектировать место, где произошло событие, что позволяет пользователю быстрее перейти к соответствующим кадрам.

Игровое событие может быть детектировано, как происшедшее, если изменение направления движения игрового объекта больше, чем заданное пороговое значение.

Способ может содержать действия, при которых: детектируют, путем анализа последовательности видеоизображений положения игрового объекта относительно выбранного элемента; и

выбирают игровое событие из списка событий в соответствии с детектированным положением игрового объекта относительно выбранного элемента.

Это, в частности, полезно как помощь при выборе соответствующих событий. Например, в описанном ниже варианте воплощения, направленном на игру в футбол, возможно, информация о том, что событие произошло, когда игровой объект (например, мяч) находился на высоте приблизительно на уровне головы, означает, что событие, вероятно, представляет собой событие удара по мячу головой.

Способ может содержать действия, при которых: детектируют относительное расстояние между игровым объектом и каждым из элементов для генерирования данных расстояния, которые относятся к расстоянию между игровым объектом и каждым из элементов;

анализируют данные расстояния, чтобы детектировать, который из элементов находился ближе всего к игровому объекту, когда детектировали возникновение игрового события; и

ассоциируют это игровое событие с элементом, который детектировали, как находившийся ближе всего к игровому объекту, когда произошло игровое событие. Это также может помочь при автоматизации регистрации события. Способ также может содержать действия, при которых: последовательно отображают последовательность видеоизображений;

устанавливают паузу при последовательном отображении последовательности видеоизображений на видеоизображении, которое было отмечено флагом, как содержащее возникновение игрового события; и

отображают первое свойство изображения вместе со списком событий так, чтобы пользователь мог выбрать соответствующее игровое событие из списка событий для ассоциирования с выбранным элементом.

Это, в свою очередь, может помочь ускорению процесса регистрации события.

Каждый элемент может быть ассоциирован с уникальными данными идентификации, которые позволяют уникально идентифицировать данный элемент.

Также предусмотрена компьютерная программа, содержащая считываемые компьютером инструкции, которые при их загрузке в компьютер конфигурируют этот компьютер для выполнения способа.

В другом аспекте предложено устройство для генерирования регистрационной записи игровых событий, ассоциированных с элементом во время спортивного события, устройство, содержащее:

средство отслеживания, предназначенное для отслеживания в последовательности видеоизображений особенностей изображения, которые соответствуют соответствующим элементам в спортивном событии;

средство выбора особенности изображения, предназначенное для выбора из отслеживаемых особенностей изображения первой особенности изображения, которая соответствует одному из элементов, для обозначения этого элемента в качестве выбранного элемента;

средство выбора игрового события, предназначенное для выбора игрового события из списка событий возможных игровых событий для ассоциирования с выбранным элементом; и

средство ассоциирования, предназначенное для ассоциирования выбранного игрового события с выбранным элементом, для генерирования регистрационной записи событий для этого элемента.

Такое устройство также содержит средство для отображения, в пределах последовательности видеоизображений, первой особенности изображения вместе со списком событий; и

в котором средство выбора игрового события во время работы выбирает игровое событие из списка событий в соответствии с выбором вручную пользователем игрового события.

В еще одном дополнительном аспекте предложено устройство для генерирования регистрационной записи игровых событий, ассоциированных с элементом в спортивном событии, - устройство, содержащее:

устройство отслеживания, предназначенное для отслеживания в последовательности видеоизображений особенностей изображений, которые соответствуют соответствующим элементам спортивного события;

селектор особенностей изображения, предназначенный для выбора из отслеживаемых особенностей изображения, первой особенности изображения, которая соответствует одному из элементов, для того, чтобы обозначить этот элемент как выбранный элемент;

селектор игрового события, предназначенный для выбора игрового события из списка событий возможных игровых событий, для ассоциирования с выбранным элементом; и

устройство ассоциирования, предназначенное для ассоциирования выбранного игрового события с выбранным элементом, для генерирования регистрационной записи событий для этого элемента.

Такое устройство также содержит устройство отображения, предназначенное для отображения, в пределах последовательности видеоизображений, первой особенности изображений вместе со списком событий; и

в котором селектор игрового события во время работы выбирает игровое событие из списка событий в соответствии с выбором пользователя вручную игрового события.

Список событий может отображаться, по существу, рядом с первой особенностью изображения.

Устройство отслеживания во время работы может отслеживать, путем анализа, последовательности видеоизображений, положение в каждом видеоизображении игрового объекта, ассоциированного со спортивным событием, для генерирования данных движения, которые относятся к направлению движения игрового объекта в пределах последовательности видеоизображений; и

устройство может дополнительно содержать:

детектор, предназначенный для детектирования возникновения игрового события, в зависимости от изменения в направлении движения игрового объекта, путем анализа данных движения; и

устройство установки флага, предназначенное для установки флага для одного или больше видеоизображений, в которых детектируется возникновение игрового события, который обозначает, что эти видеоизображения содержат возникновение игрового события.

Возможно детектирование возникновения игрового события, если изменение направления движения игрового объекта больше, чем заданное пороговое значение.

Устройство отслеживания во время работы может детектировать, путем анализа последовательности видеоизображений, положение игрового объекта относительно выбранного элемента; и

селектор игрового события может во время работы выбирать игровое событие из списка событий в соответствии с детектированным положением игрового объекта относительно выбранного элемента.

Устройство отслеживания во время работы может детектировать относительное расстояние между игровым объектом и каждым из элементов для генерирования данных расстояния, которые относятся к расстоянию между игровым объектом и каждым из элементов; и анализировать эти данные расстояния так, чтобы детектировать, какой из элементов находился ближе всего к игровому объекту, когда было детектировано возникновение игрового события; и

устройство ассоциирования во время работы может ассоциировать игровое событие с элементом, который был детектирован как расположенный ближе всего к игровому объекту, когда произошло игровое событие.

Устройство может содержать:

устройство отображения, предназначенное для последовательного отображения последовательности видеоизображений;

в котором устройство выполнено с возможностью:

устанавливать паузу при последовательном отображении последовательности видеоизображений на видеоизображении, которое было помечено флагом, как содержащее возникновение игрового события; и

обеспечивать отображение устройством отображения первой особенности изображения вместе со списком событий таким образом, что пользователь может выбрать соответствующее игровое событие из списка событий для ассоциирования с выбранным элементом.

Каждый элемент может быть ассоциирован с уникальными идентифицирующими данными, которые позволяют уникально идентифицировать этот элемент.

В дополнительном аспекте предложен графический интерфейс пользователя, предназначенный для генерирования регистрационной записи событий для игровых событий, ассоциированных с элементами спортивного события, при этом событие последовательно ассоциируют с элементом, интерфейс, содержащий:

особенности изображения, в пределах одного кадра последовательности кадров, которые соответствуют соответствующим элементам спортивного события;

селектор особенности изображения, предназначенный для выбора из отображаемых особенностей изображения первой особенности изображения, которая соответствует одному из элементов, для обозначения этого элемента как выбранного элемента;

селектор игрового события, предназначенный для выбора игрового события из списка событий, содержащего возможные игровые события, для ассоциирования с выбранным элементом;

устройство отображения, предназначенное для отображения, в пределах последовательности видеоизображений, первой особенности изображения вместе со списком событий; и

в котором селектор игрового события во время работы выбирает игровое событие из списка событий в соответствии с выбором пользователем вручную игрового события.

Различные дополнительные аспекты и свойства настоящего изобретения определены в приложенной формуле изобретения.

Краткое описание чертежей

Описанные выше и другие преимущества и свойства изобретения будут понятны из следующего подробного описания иллюстративных вариантов воплощения, которое следует читать совместно с приложенными чертежами, на которых:

на фиг.1 показана схема системы отслеживания объекта, используемая в устройстве и способе регистрации событий в соответствии с вариантом воплощения настоящего изобретения;

на фиг.2 показана блок-схема последовательности операций способа отслеживания объекта, используемая в устройстве и способе регистрации события в соответствии с вариантами воплощения настоящего изобретения;

на фиг.3А и 3В показаны схемы отслеживания объекта, используемые в устройстве и способе регистрации события в соответствии с вариантом воплощения настоящего изобретения;

на фиг.4А представлена иллюстрация видеоизображения, снятого по сцене, которая представляет футбольный матч с отслеживаемыми игроками;

на фиг.4В представлено линейное изображение, которое эквивалентно и технически идентично фиг.4А;

на фиг.5А представлена иллюстрация видеоизображения, которое было обработано в системе отслеживания объекта для получения модели фонового изображения, путем определения среднего значения, и на фиг.5С показана модель фонового изображения, с учетом дисперсии;

на фиг.5В представлено линейное изображение, которое эквивалентно и технически идентично фиг.5А, и на фиг.5D показано линейное изображение, которое эквивалентно и технически идентично фиг.5С;

на фиг.6А представлена иллюстрация видеоизображения, которое было обработано в системе отслеживания объекта для представления отслеживаемых положений игроков;

на фиг.6В представлено линейное изображение, которое эквивалентно и технически идентично фиг.6А;

на фиг.7А представлена иллюстрация двух видеоизображений, которые были сняты двумя различными камерами, по одной с каждой стороны игровой площадки, и иллюстрация виртуального представления футбольного матча, в котором положение игроков отслеживается относительно времени;

на фиг.7В показано линейное изображение, которое эквивалентно и технически идентично фиг.7А;

на фиг.8 представлено видеоизображение футбольного матча, на котором отслеживаемые игроки помечены метками;

на фиг.9 показано трехмерное представление виртуальной модели футбольного матча, в котором можно изменять точку просмотра матча;

на фиг.10 схематично показана блок-схема системы для получения виртуальной модели футбольного матча, в которой игра представлена синтезированными элементами, доступными для устройств-клиентов через Интернет;

на фиг.11 показана схема изображения футбольной площадки вместе со списком событий, который позволяет ассоциировать игровое событие с игроком, в соответствии с вариантом воплощения настоящего изобретения;

на фиг.12 показана блок-схема последовательности операций способа генерирования регистрационной записи событий в соответствии с вариантом воплощения настоящего изобретения;

на фиг.13 показана блок-схема последовательности операций способа детектирования игрового события в соответствии с вариантом воплощения настоящего изобретения; и

на фиг.14 показан график xy векторов движения, используемый для детектирования изменения направления движения объекта в соответствии с вариантом воплощения настоящего изобретения.

Подробное описание изобретения

Раскрыты способ и устройство для генерирования регистрационной записи событий. В следующем описании представлено множество конкретных деталей для того, чтобы обеспечить полное понимание вариантов воплощения настоящего изобретения. Однако для специалиста в данной области техники должно быть понятно, что данные конкретные детали не обязательно должны быть выполнены на практике настоящего изобретения. Наоборот, специфичные детали, известные специалисту в данной области техники, исключены с целью ясности представления вариантов воплощения.

На фиг.1 показана схема системы отслеживания объектов, используемая в устройстве и способе регистрации событий, в соответствии с вариантами воплощения настоящего изобретения. В представленном на фиг.1 варианте воплощения отслеживаемые объекты являются футбольными игроками (не показаны) на футбольной площадке 30. Видеоизображения (1920 на 1080 пикселей) высокой четкости (HD) площадки 30 снимают с помощью одной или больше камер высокой четкости. Хотя варианты воплощения настоящего изобретения можно использовать для отслеживания объектов в видеоизображениях, снятых более чем одной камерой, в некоторых примерах используется только одна камера. Следует понимать, что камеры высокой четкости являются дорогостоящими, поэтому использование только одной камеры может уменьшить количество затрат, требуемых для воплощения системы, в которой используется настоящая технология. Однако использование только одной камеры обеспечивает только один двумерный вид сцены, на которой расположены объекты. В результате отслеживание объектов в пределах этой сцены, представленной видеоизображениями, может быть затруднено из-за возникновения препятствий при просмотре событий, при которых один объект закрывает другой, и т.п. Такой пример с одиночной камерой 20 показан на фиг.1, хотя, как представлено с помощью камер 22.1, 22.2, в случае необходимости, можно использовать две камеры, каждая из которых направлена на разные половины футбольной площадки.

В некоторых вариантах воплощения дополнительная камера 22.3 может использоваться в комбинации с камерой 20 и/или камерами 22.1 и 22.2, для детектирования положения объекта, такого как футбольный мяч, относительно футбольной площадки 30. Это будет более подробно описано ниже.

На фиг.1 видеокамера 20 расположена в фиксированной точке на футбольном стадионе и выполнена с возможностью передавать сигналы, представляющие видеоизображения, снятые камерой 20, в рабочую станцию 10 обработки содержания, которая осуществляет обработку изображения и другие операции для отслеживания положения игроков на игровой площадке относительно времени. Данные, представляющие положение игроков относительно времени, затем регистрируют таким образом, что могут быть сгенерированы метаданные и статистические данные матча, такие как длительность времени, которую конкретный игрок провел в конкретной части игрового поля, какое расстояние каждый игрок пробежал и т.п. Данные, представляющие положение игроков относительно времени, формируют данные пути для каждого игрока, которые относятся к пути, который прошел каждый игрок на видеоизображениях. Данные пути генерируют относительно трехмерной модели футбольной площадки (плоскость объекта) для того, чтобы представить информацию, ассоциированную с движением игроков относительно их положения на площадке, которая плохо видна на (двумерных) видеоизображениях. Такие сгенерированные данные пути можно затем использовать для улучшения ощущений зрителем при просмотре, когда отснятый материал футбольного матча передают через соответствующую среду зрителю, или для помощи тренеру во время тренировки футбольной команды. Отслеживание объектов, таких как игроки, на площадке 30 будет более подробно описано ниже.

В вариантах выполнения настоящего изобретения рабочая станция 10 обработки содержания использует процессор Cell, совместно разработанный компаниями Sony®, Toshiba® и IBM®. Параллельная структура процессора Cell делает его особенно пригодным для выполнения задачи обработки, связанной с интенсивной обработкой, такой как обработка изображений, распознавание изображений и отслеживание объектов. Однако для специалиста в данной области техники будет понятно, что любую соответствующую рабочую станцию и модуль обработки можно использовать для воплощения вариантов воплощения настоящего изобретения.

В соответствии с настоящей технологией видеоизображения, которые генерируют с использованием видеокамеры 20 высокой четкости, компонуют так, чтобы снять вид всей площадки таким образом, чтобы можно было отслеживать игроков на площадке. При этом всю площадку снимают из статического положения камеры 20, хотя, как отмечено выше, более чем одну камеру можно использовать для захвата изображения всей площадки. В одном примере, как отмечено выше, можно использовать две камеры 22.1, 22.2, каждая из которых направлена на разные половины площадки. В данном примере видеоизображения, генерируемые каждой камерой, можно объединять вместе с помощью рабочей станции 10 обработки содержания, как описано в заявке на патент Великобритании №0624410.7 (опубликованной как GB 2444566), для формирования видеоизображения со сверхвысоким разрешением. При этом, после выполнения обработки объединения, выходной канал из кластера камеры можно рассматривать как одиночное изображение со сверхвысоким разрешением.

Компоновка со сверхвысоким разрешением имеет множество преимуществ, включающих в себя возможность выделения отдельных особенностей игрока, без необходимости использования оптического увеличения и поэтому без влияния на общее изображение стадиона. Кроме того, автоматическое отслеживание объекта облегчается, поскольку фоновое изображение события является статическим и поэтому можно отслеживать объект с более высоким разрешением экрана.

Отслеживание объекта, используемое в устройстве регистрации событий и в способе в соответствии с вариантами воплощения настоящего изобретения, будет описано ниже со ссылкой на фиг.2, 3 и 4.

На фиг.2 показана блок-схема последовательности операций способа отслеживания объекта. Для того чтобы отслеживать объект, строят модель фонового изображения из тех частей принимаемого видеоизображения, которые детектируют как остающиеся, по существу, статическими в течение заданного количества кадров. На первом этапе S30 видеоизображение, принимаемое камерой 20, которое представляет футбольную площадку, обрабатывают для построения модели фонового изображения. Модель фонового изображения строят для того, чтобы сформировать маску изображения переднего плана, которая способствует идентификации и отслеживанию отдельных игроков. Модель фонового изображения формируют на этапе S30, определяя для каждого пикселя среднее значение пикселей и дисперсию значений пикселя между последующими кадрами, для того, чтобы построить модель фонового изображения. Таким образом, в последующих кадрах, в случае, когда среднее значение пикселей незначительно изменяется, эти пиксели могут быть идентифицированы как пиксели фонового изображения, для того, чтобы идентифицировать маску изображения переднего плана.

Такая сегментация фонового изображения/изображения переднего плана представляет собой обработку, которая известна в области обработки изображений, и в настоящей технологии используют алгоритм, описанный в документе авторов Manzanera и Richefeu, под названием "A robust and Computationally Efficient Motion Detection Algorithm Based on Σ-Δ Background Estimation", опубликованном в трудах ICVGIP, 2004. Однако настоящую технологию не следует рассматривать как ограниченную этой известной технологией, и также известны другие технологии для генерирования маски переднего плана изображения относительно модели фонового изображения для использования при отслеживании.

Следует понимать, что в случае, когда поле обзора видеокамеры охватывает некоторую часть зрителей, предпочтительно, зрители не должны быть включены в модель фонового изображения, поскольку люди, составляющие зрителей, вероятно, находятся в движении. Это нежелательно, поскольку, вероятно, увеличивается нагрузка при обработке для процессора Cell при выполнении отслеживания объекта, а также не нужно, поскольку большинство спортивных вещательных станций вряд ли заинтересовано в отслеживании отдельных людей среди зрителей.

В раскрытой технологии отслеживания объекта модель фонового изображения строят в начале игры, и она может быть получена даже до того, как игроки выйдут на поле. Кроме того, модель фонового изображения периодически может быть повторно рассчитана в течение игры для учета любых изменений в условиях освещения, таких как тени, которые могут изменяться в ходе игры.

На этапе S40 модель фонового изображения вычитают из входящего изображения, поступающего из камеры, для идентификации областей, представляющих разницу. Таким образом, модель фонового изображения вычитают из изображения, и полученное в результате изображение используют для генерирования маски для каждого игрока. На этапе S45 создают пороговое значение относительно значений пикселя в версии изображения, которая была получена после вычитания модели фонового изображения. Модель фонового изображения генерируют таким образом, что вначале определяют среднее значение пикселей по последовательности кадров видеоизображений. По средним значениям каждого из пикселей можно рассчитать дисперсию каждого из пикселей по кадрам видеоизображений. Дисперсию пикселей затем используют для определения порогового значения, которое может изменяться для каждого пикселя по всем пикселям видеоизображений. Для пикселей, которые соответствуют частям изображения с высоким значением дисперсии, таким как части, включающие в себя зрителей, пороговое значение может быть установлено равным высокому значению, тогда как части изображения, которые соответствуют игровой площадке, будут иметь более низкое пороговое значение, поскольку цвет и содержание площадки остаются, по существу, одинаковыми, за исключением присутствующих игроков. Таким образом, пороговое значение позволяет определять, будут ли присутствовать элементы на переднем плане изображения, и поэтому маска переднего плана изображения может быть соответствующим образом идентифицирована. На этапе S50 используют вероятность формы на основе корреляции со средней моделью формы человека для выделения формы из маски изображения на переднем плане. Кроме того, особенности цветов выделяют из изображения, чтобы сформировать цветную маску вероятности, для того чтобы идентифицировать игрока, например, по цвету майки игроков. Таким образом, цвета маек каждой команды можно использовать для различения игроков друг от друга. С этой целью рабочая станция 10 обработки содержания генерирует шаблоны цветов в зависимости от известных наборов цветов команд каждой футбольной команды. Таким образом, требуется цвет маек каждой команды, цвет маек вратарей и цвет маек судей. Однако следует понимать, что можно использовать другие соответствующие шаблоны цветов и/или процессы сопоставления шаблонов.

Возвращаясь к фиг.2, на этапе S50 рабочая станция 10 обработки содержания сравнивает каждый из пикселей каждого шаблона цветов с пикселями, соответствующими области майки в изображении игрока. Рабочая станция обработки содержания затем генерирует значение вероятности, которое обозначает степень схожести между пикселями шаблонов цветов и выбранными пикселями, для формирования вероятности цветов на основе расстояния в пространстве цветов оттенок-насыщенность-значение (HSV, ОНЗ) для этой команды и по моделям цветов игровой площадки. Кроме того, используют вероятность формы для локализации игроков, которая основана на корреляции со средней моделью формы человека. Кроме того, вероятность движения основана на расстоянии от положения, прогнозируемого с помощью рекурсивного блока оценки, работающего по принципу наименьших квадратов, используя параметры исходного положения, скорости и ускорения.

Формирование масок игроков иллюстрируется на фиг.3А. На фиг.3А показан вид 210 камеры футбольной площадки 30, генерируемый видеокамерой 20. Как уже пояснялось выше, футбольная площадка 30 формирует часть модели фонового изображения, в то время как игроки 230, 232, 234, 236, 238, 240 должны формировать часть маски изображения переднего плана, как описано выше. Прямоугольники вокруг игроков представлены пунктирными линиями вокруг каждого игрока.

Таким образом, этапы S30, S40, S45 и S50 выполняют в отношении обработки изображения камеры. После определения маски изображения переднего плана, выполняют отслеживание игроков после того, как вначале выполняют сортировку отслеживания игроков по степени близости к камере на этапе S55. Таким образом, игроков, которые идентифицированы как расположенные ближе всего к камере, обрабатывают первыми для того, чтобы устранить этих игроков из процесса отслеживания. На этапе S60 положения игроков обновляют для обеспечения максимальных вероятностей формы, цвета и движения. На этапе S70 строят маску препятствий, которая исключает уже известные области изображения, которые будут закрыты другими расположенными ближе игроками. Это обеспечивает то, что игроки, полностью или частично закрытые другими игроками, могут быть сопоставлены только с видимыми областями изображения. Маска препятствий улучшает надежность отслеживания, поскольку она уменьшает влияние объединения дорожек (из-за которого по двум дорожкам отслеживают одного и того же игрока после события перекрытия). Особая проблема возникает, когда множество целей выглядят одинаково, поскольку их невозможно (трудно) распознать по цвету. Маска препятствий позволяет назначать пиксели расположенных ближе игроков и исключать их для расположенных дальше игроков, предотвращая сопоставление обеих дорожек с одинаковым набором пикселей и поддерживая, таким образом, их отдельные идентичности.

Затем следует процесс отслеживания каждого игрока путем выделения особенностей, представленных в изображении камеры, и отображения их на трехмерную модель, как показано на фиг.3А и 3В. Таким образом, для соответствующего положения в двумерном изображении, полученном камерой, назначают трехмерное положение для игрока, что обеспечивает максимальные вероятности формы, цвета и движения. В качестве краткого пояснения, выбор и отображение игрока из двумерного изображения на трехмерную модель будет модифицирован в случае детектирования события перекрытия. Для помощи при отображении из двумерного изображения в трехмерную модель на этапе S65, отслеживаемых игроков инициализируют с тем, чтобы пики значений вероятности формы и цвета отображались на наиболее соответствующий выбор игроков. Следует подчеркнуть, что инициализацию, которую выполняют на этапе S65, выполняют только один раз, типично в начале процесса отслеживания. Для хорошей инициализации системы игроки должны быть хорошо разделены. После инициализации любые ошибки при отслеживании игроков исправляются автоматически в соответствии с существующей технологией, в которой не требуется вмешательство вручную.

Для того, чтобы выполнить отслеживание в трехмерной модели на основе положений двумерного изображения, осуществляют преобразование с использованием матрицы Р проекции. Отслеживание требует, чтобы положения в двумерном изображении можно было сопоставить с положениями на трехмерной модели. Такое преобразование осуществляют с помощью матрицы (Р) проекции. Точка в двумерном пространстве соответствует линии в трехмерном пространстве:

Точка в двумерном пространстве соответствует линии в трехмерном пространстве, поскольку третье измерение, которое представляет собой расстояние от камеры, не известно, и поэтому должна выглядеть, соответственно, как линия через трехмерную модель. Высоту объектов (игроков) можно использовать для определения расстояния от камеры. Точку в трехмерном пространстве получают путем выбора точки вдоль линии, которая расположена на фиксированной высоте над известным уровнем от земли (средний рост человека). Матрицу Р проекции получают априори, один раз для каждой камеры перед матчем, с использованием процесса калибровки камеры, в ходе которой физические характеристики игровой площадки, такие как углы 31А, 31В, 31С, 31D игровой площадки 30 используют для определения параметров камеры, что позволяет упростить отображение двумерного положения идентифицированных игроков на трехмерную модель. Это выполняют с помощью известной технологии, в которой используются установленные способы. Что касается физических параметров, матрица Р проекции включает в себя степень оптического увеличения камеры, точку фокусирования, трехмерное положение и трехмерный вектор поворота (куда она направлена).

Алгоритм отслеживания, выполняемый на этапе S60, является масштабируемым и может работать для одной или больше камер, и требует только, чтобы все точки на площадке