Способ контроля пространственного положения участников спортивного события на игровом поле

Способ контроля пространственного положения участников спортивного события на игровом поле

Иллюстрации

Показать все

Реферат

Способ контроля пространственного положения участников спортивного события на игровом поле

Изобретение относится к способам для генерирования регистрационной записи событий, ассоциированных с участниками спортивного события, а именно к области автоматизированной обработки данных, полученных при помощи измерительных видеосистем, и может быть использован для слежения за перемещением участников спортивного события на игровом поле во время спортивного события.

В практике проведения спортивных состязаний, например, хоккейных, футбольных, баскетбольных матчей и других командных игр, принято собирать статистические данные об эффективности действий каждого из участников спортивного события во время матча. Процедура сбора данных включает в себя определение по полученным во время матча последовательностям кадров положения каждого из участников спортивного события на площадке игрового поля и непрерывное отслеживание их перемещений во время спортивного события. Редактирование записанных материалов в ручном режиме с целью непрерывного слежения за действиями всех участков спортивного события на всем его протяжении и регистрация траекторий движения участников - трудоемкая задача, решение которой подвержено ошибкам оператора. Поэтому с развитием вычислительной техники была предпринята попытка переложить эту задачу на автоматизированные средства обработки последовательности кадров.

Целью контроля пространственного положения участников спортивного события на игровом поле является получение отчета о перемещениях каждого участника спортивного события во время матча, что позволяет оптимизировать эффективность действий команды в целом.

Из уровня техники (US 9007463 B2, опубл. 14.04.2015) известен способ автоматизированного слежения за участниками спортивного события на игровом поле и их идентификация посредством обработки видеозаписи спортивного события. Способ включает получение с помощью по меньшей мере одной откалиброванной по внутренним и внешним параметрам видеосистемы последовательности цветных кадров, содержащих изображения участников спортивного события на игровом поле и игрового поля во время спортивного события, выделение на каждом кадре полученной видеопоследовательности областей, содержащих изображения участков спортивного события и определение положений этих областей на кадре, отслеживание перемещений упомянутых областей на видеопоследовательности кадров, идентификацию участников спортивного события по их игровым номерам и цветам их формы, осуществление обработки полученных данных и определение траектории участников посредством сопоставления изображений участников на каждом кадре с изображениями участников на предшествующих кадрах видеопоследовательности. При этом процедура выделения областей с изображениями участников спортивного события включает отделение изображения участников от изображения игрового поля и изображения зрителей, морфологическую фильтрацию, сегментацию и фильтрацию сегментов, содержащих изображения участников, по площади.

Вышеуказанный способ упрощает работу оператора, уменьшая исходный объем работы до уровня необходимой коррекции результатов применения автоматизированного определения траекторий, однако вследствие несовершенства процедуры выделения областей с изображениями участников спортивного события автоматический режим определения траекторий также не свободен от ошибок.

Описанный в прототипе способ не формирует отчет с отметками о предупреждениях, привязанных к определенным точкам траекторий, предъявляемый оператору для внесения корректировок в ручном режиме в случае наличия таких предупреждений, а, следовательно, оператор должен верифицировать все видеопоследовательности на предмет ошибок обработки данных.

С одной стороны, ошибки могут появляться в результате недостаточно качественного выделения областей с изображениями участников на отдельных кадрах, что приводит к возникновению большого числа ложных объектов, квалифицируемых как изображения участников, а значит к возникновению большого числа ложных траекторий. Одним из распространенных источников таких ошибок является ошибка разделения изображения одного участника на несколько изображений (майка, шорты, рука, нога и т.д.), возникающая вследствие некорректной сегментации изображения.

С другой стороны, ошибки могут появляться при сопоставлении отдельных изображений участников матча с выявленными траекториями. Такие ошибки наиболее часто возникают в результате резкого изменения направления движения изображения участника и (или) резких изменений в скорости или ускорении такого движения.

В настоящем изобретении делается попытка уменьшить количество вышеуказанных ошибок, что, в конечном счете, приводит к уменьшению количества корректировок, требуемых от оператора. Таким образом, техническим результатом является повышение качества обработки данных за счет повышения качества обработки изображений и повышения точности определения траекторий участников.

Поставленная задача решена за счет того, что в известном способе контроля пространственного положения участников спортивного события на игровом поле, включающем получение с помощью по меньшей мере одной откалиброванной по внутренним и внешним параметрам видеосистемы видеопоследовательности цветных кадров, содержащих изображения участников спортивного события на игровом поле и игрового поля во время спортивного события, выделение на каждом кадре полученной видеопоследовательности областей, содержащих изображения участков спортивного события, и определение положений этих областей на кадре, отслеживание перемещений упомянутых областей на видеопоследовательности кадров, идентификацию участников спортивного события по присвоенным им игровым номерам и цветам их формы, осуществление обработки полученных данных и определение траектории участников посредством сопоставления изображений участников на каждом кадре с изображениями участников на предшествующих кадрах видеопоследовательности, согласно настоящему изобретению, осуществляют нормализацию освещенности изображения, включающую фильтрацию изображения, преобразование изображения в полутоновое, которое подвергается гистограммной эквализации, нормирование изображения по интенсивности к диапазону от 0 до 1, с образованием матрицы нормирующих коэффициентов, которая инвертируется, после чего все кадры видеопоследовательности умножаются на полученную матрицу коэффициентов, а выделение на каждом кадре полученной видеопоследовательности областей, содержащих изображения участков, проводят посредством многопроходной сегментации изображения при помощи алгоритма интерактивного отделения от фона с итерацией по графам, обученного в автоматическом режиме, причем обучение осуществляют при помощи бинаризованной маски, созданной на базе полученного ранее сегмента, идентификацию каждого участника спортивного события по цветам его формы производят посредством классификации изображения участника по априорно заданным группам посредством определения параметров и характеристик совместного распределения частоты попаданий значений хроматических составляющих изображения в заданные диапазоны, причем совместное распределение частоты попаданий значений хроматических составляющих изображения в заданные диапазоны определяется посредством двумерной гистограммы, в которой количество интервалов зависит от типа спортивного события и количества цветов в форме участников спортивного события, данная гистограмма представляет собой псевдоизображение, которое бинаризируют по низкому порогу, находят суммарную интенсивность бинаризованного псевдоизображения, которая представляет собой количество прошедших через порог пикселей псевдоизображения, полученное значение суммарной интенсивности сопоставляют с порогом на площадь, если значение суммарной интенсивности меньше пороговой площади, то соответствующий сегмент отмечается как «плохой» и в дальнейшей обработке не участвует, если больше или равен, то соответствующий сегмент отмечается как «идентифицируемый», определение траектории участников производят путем нахождения наименьшего значения метрики, которую определяют для каждой пары «возможная траектория - возможный участник», сопоставляя параметры и характеристики изображений участников на каждом кадре и изображений участников на предшествующих кадрах видеопоследовательности, при этом метрика является суммарным штрафом по нескольким критериям, пара «возможная траектория - возможный участник» имеющая наименьшее значение метрики, назначается продолжением траектории объекта на текущем кадре, если дистанция между координатами объекта на текущем кадре и координатами последнего объекта траектории будет меньше установленного порогового значения, зависящего от максимально возможной скорости движения участника спортивного события и частоты съемки кадров камерами.

Возможен вариант, при котором для калибровки видеосистемы по внутренним и внешним параметрам используют способ калибровки видеосистемы для контроля объектов на плоской площадке, включающий сканирование эталонных объектов в пространстве предметов каждой камерой видеосистемы таким образом, чтобы каждый отсканированный кадр содержал изображение по меньшей мере одного эталонного объекта, измерение положения точек изображения объекта для каждого эталонного объекта на отсканированных кадрах, определение внутренних параметров каждой камеры, при которых суммарное отклонение измеренных точек от их расчетного положения для всех отсканированных одной камерой кадров было минимальным, исправление нелинейных искажений в изображении на кадрах с каждой камеры посредством применения соответствующих внутренних параметров камеры, определение матрицы пересчета изображений, полученных камерами видеосистемы, в пространство предметов, при этом в качестве эталонного объекта в пространстве предметов выбирают прямолинейный объект, изображение которого находится на наименьшем расстоянии от центра кадра и имеет максимальную протяженность до периферии кадра, для измеренных точек изображения эталонного объекта определяют аппроксимирующую прямую, проведенную через по меньшей мере две измеренные точки изображения объекта, наиболее близко расположенных к центру кадра, для определения внутренних параметров каждой камеры минимизируют суммарное абсолютное отклонение положения измеренных точек изображения эталонного объекта от аппроксимирующей прямой, определяют взаимное положение элементов площадки посредством обработки ее изображения, определение матриц пересчета координат на изображениях, полученных камерами видеосистемы, в пространство предметов путем сопоставления положения не менее четырех точек, относящихся к элементам площадки, и соответствующих им точек на изображениях, полученных каждой из камер видеосистемы, после исправления присутствующих на них нелинейных искажений.

Таким образом, вся совокупность существенных признаков позволяет повысить качество обработки данных за счет повышения качества обработки изображений, благодаря выполнению многопроходной сегментации изображения и выравниванию освещенности изображения, при одновременном повышении точности определения траекторий участников, благодаря использованию метрик, идентификации каждого участника спортивного события по цветам его формы и номерам. В конечном итоге это приводит к уменьшению количества ошибок контроля пространственного положения участников спортивного события на игровом поле за счет уменьшения количества необходимых корректировок со стороны оператора. Таким образом, заявляемое изобретение позволяет значительным образом уменьшить количество ложных сопоставлений и снизить нагрузку на оператора по внесению необходимых корректировок в результат автоматического сопоставления.

Заявителем проведен патентный поиск по данной теме и заявляемая совокупность существенных признаков не выявлена.

Осуществление способа выполняют следующим образом.

На Фиг. 1 показано изображение плоской площадки (например, игровое поле), искаженное дисторсией оптической системы.

На Фиг. 2 показана последовательность кадров площадки, содержащей в центре изображение прямолинейного объекта.

На Фиг. 3 показано определение поля зрения камеры видеосистемы относительно площадки.

Способ может быть реализован с помощью автоматизированной системы слежения, включающей видеосистему, содержащую по меньшей мере одну камеру, которую устанавливают за пределами игровой поля необходимое количество видеокамер, так чтобы их суммарное поле зрения покрывало всю поверхность игровой площадки игрового поля без «слепых» зон. Для обработки кадров, полученных с камер видеосистемы, и выполнения необходимых алгоритмических процедур калибровки может быть использован компьютер с запоминающим устройством для хранения данных и соответствующим программным обеспечением, соединенный с камерами видеосистемы посредством линий связи с достаточной пропускной способностью для обмена изображениями необходимого разрешения и управления режимом захвата кадров. Конкретная конфигурация программного и аппаратного обеспечения, а также их архитектура зависят от количества камер, их разрешения, режима их работы. При этом камеры должны обладать возможностью синхронной записи видеокадров и разрешением необходимым для различения номеров игроков. Взаимное расположение камер, их количество и положение относительно площадки игрового поля, так же как и конкретные параметры камер, зависят от конфигурации площадки игрового поля, дистанции до нее, угла съемки.

Используемые для съемки спортивного события видеокамеры должны быть откалиброваны по внешним и внутренним параметрам. Т.е. обеспечивать возможность исправления нелинейных искажений в получаемых с камер изображениях и возможность пересчета координат, измеренных на полученных видеокадрах, в систему координат, связанную с игровым полем.

Далее для отснятых записей спортивного события, полученных с каждой камеры, производят определение игровых промежутков времени. К таким промежуткам могут относиться игровые периоды за исключением времени остановки игры. Дальнейшей обработке подвергают только кадры, соответствующие игровым промежуткам времени.

Таким образом, на момент начала обработки формируют набор цветных видеокадров для каждой камеры, соответствующий игровым промежуткам времени.

Для фильтрации высокочастотного шума на полученных кадрах могут применяться алгоритмы гауссова размытия, скользящего среднего или другие известные способы фильтрации.

Затем для каждого кадра производят процедуру очищения от фона. В качестве фона выступает изображение игрового поля, свободное от изображений участников спортивного события. Такое изображение может быть получено как до момента начала спортивного события, так и во время его проведения, основываясь на алгоритмах анализа движения в кадре. Полученное изображение фона, уникальное для каждой из камер системы, вычитают из всех кадров цветной видеопоследовательности для соответствующей камеры. Таким образом, на кадрах видеопоследовательности остаются области с изображениями участников спортивного события, а также области с изображениями зрителей на трибунах. Остальные части изображения (относящиеся к фону) становятся черными (имеют нулевую интенсивность в каждом цветовом канале).

Фильтрация областей, содержащих изображения зрителей, может быть реализована применением априорно заданной обнуляющей маски для каждой камеры видеосистемы и определяемой оператором на этапе подготовки видеопоследовательностей к обработке. Обнуляющая маска позволяет сделать нулевой интенсивность областей, содержащих изображения зрителей или изображения других объектов, попавших в кадр, но не относящихся ни к изображениям участников спортивного события, ни к изображению площадки игрового поля.

Известно, что изображающие объективы зачастую несвободны от виньетирования, вызывающего падение освещенности на отснятых кадрах от центра к периферии, кроме того освещение площадки игрового поля тоже зачастую не равномерно. Это явление может значительным образом отразиться на качестве выделения областей с изображениями участников спортивного события. Так применение пороговой фильтрации с единым порогом, подобранным для, например, центра кадра и его периферии, используемое в процедуре сегментации изображений участников спортивного события, может привести к значительной потере изображений участников на периферической области кадра. Это может привести к их отбрасыванию из дальнейшей обработки при фильтрации сегментов по площади. С другой стороны, для изображений участников, расположенных близко к центральной области кадра, отсутствие соответствующей коррекции может привести к ошибочному объединению в единый сегмент двух близкорасположенных изображений участников спортивного события. Для коррекции этого эффекта может использоваться составной порог бинаризации изображений на кадре, задающий уникальные значения порога для каждого пикселя или групп пикселей на кадре. В качестве альтернативы может использоваться нормализация освещенности в изображении на кадре, когда на первом этапе нормализации производят размытие изображения, например, фона (соответствующей камеры) с фильтром большой апертуры. В качестве такого фильтра может быть использован гауссов фильтр с апертурой с 300×200 пикселей. Размытое таким образом цветное изображение сначала преобразуется в полутоновое изображение, которое подвергается гистограммной эквализации (динамический диапазон изображения расширяется для полного покрытия диапазона яркостей, например, от 0 до 255). После этого изображение нормируется по интенсивности к диапазону от 0 до 1, образуя матрицу нормирующих коэффициентов. Полученная таким образом матрица нормирующих коэффициентов инвертируется по правилам инвертирования изображений, после чего все кадры видеопоследовательности для соответствующей камеры умножаются на полученную матрицу коэффициентов. Откорректированные таким образом видеокадры имеют преимущественно однородную освещенность для всех областей кадра, что позволяет снизить риск получения ошибок при дальнейшей сегментации изображений участников спортивного события при использовании фильтрации по единому порогу (единый порог бинаризации).

После проведения бинаризации изображений для каждого кадра видеопоследовательностей проводят морфологическую фильтрацию бинарного изображения, состоящую из последовательного применения операций морфологического закрытия и открытия. Эта процедура позволяет устранить мелкие детали на кадре, например, изображений шайбы и клюшек. Кроме того, в ряде случаев это позволяет разделить области на кадре, содержащие близкорасположенные изображения разных участников (коллизии). Однако побочным эффектом этой традиционно применяемой в такого рода системах операции является риск разделения изображения участника на несколько отдельных областей с дальнейшим удалением некоторых из этих областей при фильтрации их по площади. Для исключения такого рода ошибок в раскрываемом способе применяется усовершенствованная процедура сегментации в два прохода. На первом этапе все бинарные изображения на кадре сегментируются по 8-связной окрестности. Далее из рассмотрения откидываются (интенсивность на бинаризованном изображении обнуляется) наиболее мелкие сегменты, не прошедшие через порог (конкретная величина порога определяется исходя из разрешения камер, фокусного расстояния их объективов и расположения камер относительно площадки игрового поля). Далее из рассмотрения удаляются все сегменты, имеющие непропорционально большое или малое соотношение сторон описанного прямоугольника. После указанных операций в рассмотрении остаются только сегменты, чья площадь близка к пороговой площади, соответствующей площади изображения игрока в дальней точке поля зрения камеры. Конкретное значение пороговой площади зависит от характеристик камер и их расположения относительно площадки игрового поля. Оставшиеся сегменты проверяют на выполнение априорного условия по соотношению сторон описанного прямоугольника (например, вертикальная сторона больше горизонтальной). Для сегментов, прошедших проверку и не имеющих общей границы с маской для фильтрации изображений зрителей (граничные сегменты с большой долей вероятности являются изображениями зрителей), проводят уточняющую сегментацию в окне заданного размера (заведомо перекрывающего изображения игрока для данной области кадра). Для проведения такой сегментации область внутри окна заполняют изображением исходного кадра (вместе с фоном). Для полученного таким образом изображения проводят интерактивное отделение от фона с итерацией по графам (Interactive Foreground Extraction using Iterated Graph Cuts), т.н. сегментацию по методу GrabCut. Отличительной особенностью здесь является то, что обучение сегментации GrabCut проводят в автоматическом режиме при помощи бинаризованной маски, созданной на базе полученного ранее сегмента (вокруг которого создавалось окно для уточняющей сегментации). Автоматическая маркировка производится следующим образом. Пикселам, расположенным по границе окна, присваивают метку «фон». Пикселам, соответствующим пикселам бинаризованной маски, созданной на базе полученного ранее сегмента, присваивают метку «данный объект». Мелкие сегменты (соответствующие размерам (площади) изображений отдельных частей игроков, конкретное значение этого параметра зависит от характеристик камер и их расположения относительно площадки игрового поля) бинаризованной маски, полностью попавшие в окно, получают метку «возможно, данный объект». Мелкие объекты, частично попавшие в окно, получают метку «фон». Крупные сегменты (размеры которых соответствуют размерам игроков для данной области кадра) бинаризованной маски, частично или полностью попавшие в окно, получают метку «фон». Всем остальным пикселям, попавшим в окно, присваивается метка «возможно фон». Изображение в окне с присвоенными его пикселям метками «данный объект», «возможно, данный объект», «фон» и «возможно фон» подается на вход алгоритма интерактивного отделения от фона GrabCut, который уточняет границы бинарной маски для данного сегмента. В случае если алгоритм GrabCut увеличил площадь сегмента до, например, 98% окна, то такой сегмент откидывается из рассмотрения (его интенсивность на бинаризованной маске обнуляется), т.к. он квалифицируется как фоновое изображение. Основная цель уточняющей обработки - уменьшить количество некачественно (например, ошибочно разделенных) сегментированных изображения участников спортивного события.

Следующим этапом усовершенствованной процедуры сегментации является применение бинаризованной маски к изображению на кадре, полученному после нормализации освещенности. Над измененным таким образом изображением проводится повторная сегментация по 8-связной окрестности.

На выходе описанной усовершенствованной двухпроходной процедуры сегментации (многопроходной сегментации изображения на базе алгоритма интерактивного отделения от фона с итерацией по графам, обученного в автоматическом режиме) полученные сегменты изображения фильтруют по площади, откидывая из рассмотрения сегменты, площадь которых менее порога, соответствующего, например, четверти площади изображения игрока для данной области изображения (конкретное его значение зависит от типа спортивного события, внешнего вида формы участников, характеристик камер и их расположения относительно площадки игрового поля). Сегменты, прошедшие через порог, отмечаются как «неидентифицируемые», а сегменты, площадь которых соответствует от 70% до 130% от площади изображения игрока, например, отмечаются как «идентифицируемые», при этом конкретные значения порога зависят от типа спортивного события, внешнего вида формы его участников, характеристик камер и их расположения относительно площадки игрового поля.

Как «идентифицируемые», так и «неидентифицируемые» сегменты участвуют в процедуре определения траекторий движения участников спортивного события. Однако процедуры идентификации участников как по цветам формы, так и номеру на ней производят только для «идентифицируемые» сегментов.

При проведении процедуры идентификации участников по принадлежности к команде (по цветам формы) и по номеру на форме в качестве команды рассматривают также «команду судей». Идентификация участников по цветам формы может производиться как на основе априорно известных цветов формы, так и после процедуры обучения на изображениях участников, полученных на обрабатываемой последовательности видеокадров (во многих случаях такое обучение наиболее предпочтительно, так как учитывает искажение цветов формы под действием условий съемки и настроек снимающих камер). Это позволяет снизить риск ошибочного соотнесения сегмента (с изображением участника) с неверной командой, кроме того, может быть реализована автоматическая кластеризация игроков на основе априорных данных о типе спортивного события.

Идентификация участников по принадлежности к команде производится в соответствие со следующей процедурой.

Для каждого сегмента, отмеченного как «идентифицируемый», формируют новое окно, размеры которого совпадают с обрамляющим сегмент прямоугольником. Пиксели нового окна, соответствующие пикселям сегмента, заполняют пикселями исходного цветного RGB-изображения, остальные пиксели (пиксели фона и других сегментов) оставляют черными. Полученное изображение пересчитывают в цветовое пространство, линейное с точки зрения человеческого восприятия, например Lab. Затем для а и b (в случае Lab) компонент цветового пространства Lab находят двумерную гистограмму (совместное распределение частоты попаданий значений хроматических составляющих изображения а и b в заданные диапазоны), количество интервалов гистограммы, т.е. количество заданных диапазонов, зависит от типа спортивного события и количества цветов в форме участников спортивного события, например [0, 31] для каждой из компонент. Такую гистограмму можно рассматривать как псевдоизображение (в данном примере размерностью 32×32 пкс). Полученное псевдоизображение бинаризуют по низкому порогу (например, 5% от максимального значения «интенсивности» псевдоизображения, его конкретное значение зависит от типа спортивного события и априорной информации о количестве цветов в форме участников спортивного события, характеристик камер и их расположения относительно площадки игрового поля). Находят суммарную интенсивность бинаризованного псевдоизображения, т.е. количество прошедших через порог пикселей псевдоизображения. Полученное значение суммарной интенсивности (количество пикселей) сопоставляют с порогом на площадь, равным, например, 10, его значение соответствует наиболее разноцветному участку площадки игрового поля, не содержащей изображение участника спортивного события, соответствующей ему по размерам. Если значение суммарной интенсивности меньше пороговой площади, то соответствующий сегмент отмечается как «плохой» и в дальнейшей обработке не участвует, если больше или равен, то соответствующий сегмент отмечается как «идентифицируемый». Таким образом, оказывается возможным отсечь от дальнейшей обработки области, не содержащие изображения участников спортивного события или области, в которых площадь фона значительно превосходит площадь изображения участника спортивного события. Псевдо-изображение, соответствующее «идентифицируемым» сегментам преобразуется в вектор (в случае работы с псевдо-изображением размером 32×32 его преобразуют в вектор из 1024 значений), который подается на вход машины опорных векторов SVM (Support Vector Machine), обученной по прецедентам, для классификации. На выходе SVM получаем классификацию псевдоизображения по четырем категориям: «команда 1», «команда 2», «команда судей» и «команда не определена».

Обучение машины опорных векторов SVM может быть произведено перед обработкой всех видеопоследовательностей, по запросу к оператору с требованием выделить на отснятых кадрах с разных камер некоторое количество изображений участников спортивного события от разных команд («команда 1», «команда 2», «команда судей»), а также произвольных (не содержащих целых изображений участников спортивного события) областей на площадке игрового поля. Например, для каждой «команды» может быть выбрано не менее 15-20 изображений участников спортивного события полученных с разных камер. При этом для улучшения результатов классификации желательно обеспечить выбор изображений, соответствующих различным областям поля зрения камер видеосистемы. Выбранные оператором области с изображениями участников обрабатываются по той же процедуре, по которой формируются псевдоизображения при классификации. Это позволяет адаптировать классификатор к распознаванию изображений, полученных в конкретных условиях съемки (влияние цветопередачи, шумов камер, спектрального состава осветительного оборудования на площадке игрового поля и т.д.) на цвета изображения формы, а также учесть влияние искажения цветов в изображении формы из-за перемещений участников спортивного события (при движении участника изображение его формы трансформируется, повторяя контуры фигуры, а значит искажается и соотношение площадей изображений, приходящихся на участки формы разного цвета). Классификатор может быть обучен и по изображениям формы участников, полученным отдельно (не в этом матче, не при съемке этими камерами, без движения участников, а как простое фото с дизайном их формы), кроме того может быть реализована автоматическая кластеризация изображений формы участников на основе априорных данных о типе спортивного события, например о местах выхода на площадку игрового поля разных команд.

Для каждого «неидентифицируемого» и «идентифицируемого» сегмента (области с изображениями участников спортивного события) определяют границы обрамляющего прямоугольника, координаты середины нижней стороны которого пересчитывают из пикселей (система координат камеры) в мировую систему координат, связанную с площадкой игрового поля в удобные единицы измерения (метры/футы) через подобранные на этапе калибровки параметры камер.

Таким образом, для каждого кадра видеопоследовательности каждой камеры получают набор координат (например, в метрах), соответствующих положению участников спортивного события на игровом поле в определенный момент времени.

Каждая пара координат из вышеуказанного набора в совокупности с данными о принадлежности к команде, соответствующего им сегмента, образуют объект. Для каждого такого объекта определяют, является ли данный объект частью единой траектории с одним из объектов предыдущего кадра.

Такое сопоставление зачастую является источником большого числа ошибок, поскольку движение участников спортивного события, в частности, хоккейного матча, труднопредсказуемо из-за непостоянства скорости движения и ускорения. В такой ситуации, традиционно используемые алгоритмы слежения, основанные, например, на фильтре Калмана, не позволяют свести к минимуму количество вышеуказанных ошибок, что, в конечном счете, приводит к необходимости внесения значительного количества корректировок оператором в ручном режиме. В настоящем изобретении раскрывается решение, позволяющее значительным образом уменьшить количество ложных сопоставлений и снизить нагрузку на оператора по внесению необходимых корректировок в результат автоматического сопоставления.

Для всех объектов, обнаруженных на кадре, производится поиск соответствий со всеми траекториями (т.е. производится поиск соответствующих пар «возможная траектория - возможный участник»), для которых последний объект траектории был обнаружен на одном из N предшествующих кадров (например, N=5). Для каждой пары (объект на текущем кадре - последний объект траектории, далее пара «возможная траектория - возможный участник»), проверяемой на соответствие, определяют метрику, рассчитанную как суммарный штраф по нескольким критериям. Пара, имеющая наименьшее значение метрики, назначается соответствующей (объект на текущем кадре записывается как продолжение траектории), но только в том случае, если дистанция между координатами объекта на текущем кадре и координатами последнего объекта траектории (в метрах) окажется меньше некоторого порогового значения, зависящего от максимально возможной скорости движения участника спортивного события и частоты съемки кадров камер.

Суммарный штраф вычисляется как совокупность, например, следующих штрафных баллов.

Штраф P₁ на дистанцию может быть найден как значение дистанции между координатами объекта на текущем кадре и координатами последнего объекта траектории, умноженное на весовой коэффициент w₁. Коэффициент w₁ выбирается таким образом, чтобы приоритет отдавался траекториям, наиболее близко подходящим к объекту на текущем кадре. При этом если вычисленная дистанция превышает пороговую, то данная пара «возможный объект - возможная траектория» исключается из претендентов на соответствие.

Штраф Р₂ на касание с обнуляющей маской для фильтрации областей, содержащих изображения зрителей, может быть вычислен как весовой коэффициент w₂, в случае, если объект не касается обнуляющей маски, или коэффициент w₃ - в противном случае. Соотношение коэффициентов w₂ и w₃ позволяет регулировать степень нежелательности попадания в траекторию объектов, примыкающих к области расположения зрителей.

Штраф Р₃ на время жизни траектории может быть найден как весовой коэффициент w₄, деленный на время жизни траектории. Значение коэффициента выбирается таким образом, чтобы приоритет отдавался более длительным траекториям.

Штраф Р₄ на временной промежуток между кадром t₁, на котором для данной траектории был обнаружен последний объект, и текущим кадром t₂, может быть вычислен как Р₄=(t₂-t₁)*w₅. Значение коэффициента w₅ выбирается таким образом, чтобы приоритет отдавался тем траекториям, для которых последний объект был обнаружен позднее (на кадре наиболее близком к текущему).

Штраф Р₅ на нежелательность резкого изменения направления траектории может быть вычислен следующим образом. Для N последних объектов траектории рассчитывают вектор r преимущественного направления, на основе, например, взвешенного усреднения, где последние точки траектории имеют больший вес. Затем рассчитывают вектор k направления между объектом на текущем кадре и последним объектом траектории, находят расстояние между векторами ||r,k|| и вычисляют значение штрафа как Р₅=||r,k||/w₆. Коэффициент w6 выбирается таким образом, чтобы приоритет отдавался тем объектам, которые при добавлении в траекторию изменят преимущественное направление движения ее объектов меньше всего.

Штраф Р₅ на резкое изменение площади сегмента может быть рассчитан как отношение площадей объекта на текущем кадре к площади последнего объекта траектории, умноженный на весовой коэффициент w₇, который выбирается таким образом, чтобы приоритет был отдан объектам, которые наименее сильно отличаются от последнего объекта траектории по площади.

Соотношение между штрафами регулируется изменением весовых коэффициентов таким образом, чтобы уменьшить вероятность ошибочного сопоставления пар «возможный объект - возможная траектория» и зависит от типа спортивного события, расположения камер, вероятности появления ложных объектов в поле зрения камеры, которые по пространственным и спектральным характеристикам схожи с обрабатываемыми объектами (например, блики на поверхности площадки).

При вычислении суммарного штрафа могут быть добавлены и другие штрафы, если условия съемки или действия участников во время спортивного собы