Устройство обработки видеоинформации системы охранной сигнализации

Устройство обработки видеоинформации системы охранной сигнализации

Иллюстрации

Показать все

Реферат

Уровень техники

Настоящее изобретение относится к устройствам обработки видеоинформации системы охранной сигнализации и, в частности, относится к устройству обработки видеоинформации системы охранной сигнализации, которое обнаруживает нарушителя посредством обработки видео, снятого монокулярной камерой.

Обычная система тревожной сигнализации не является удовлетворительной в отношении частых сигналов ложной тревоги, недостатка универсальности, т.е. необходимости тонкой и трудоемкой корректировки настроек, соответствующих станциям мониторинга. Когда классические задачи по обработке изображения, такие как сегментация, скелетизация, распознавание и обнаружение, должны быть реализованы, очевидно, что трудности в разработке типичной системы тревожной сигнализации в значительной степени обусловлены наличием различных шумов из-за различных видов источников.

Недорогие датчики CMOS используются почти во всех камерах видеонаблюдения. Тем не менее, даже в самом высокопроизводительном датчике из этих датчиков определенный аппаратный шум подмешивается в данные изображений. Имеется обратная корреляция между уровнем сигнала яркости и уровнем шума датчика. Вследствие этого шума не могут быть сняты два одинаковых изображения, даже если камера и среда, изображение которой должно быть сформировано, неподвижны. Фактически значение сигнала яркости или RGB-значение пиксела наблюдаются как случайные величины. Соответственно, значение пиксела, наблюдаемого как случайная величина, должно быть смоделировано с помощью соответствующего способа. Экспериментально доказано, что шум датчика может быть надлежащим образом смоделирован как белый шум.

В качестве предшествующего уровня техники, лежащего в основе настоящего изобретения, известен способ обнаружения движущегося транспортного средства автора Eremin S.N. (см. Патент RU (Россия) 2262661). Этот способ содержит этапы получения кадра, вычисления межкадровой разности, преобразования в двоичную форму с помощью порогового значения, выполнения морфологической операции, вычисления оператора Sobel, сохранения начального кадра и обновления фона на основе специального уравнения, обнаружение разности между кадром и фоном, вычисления гистограммы изображений, обнаружения сигнала максимальной яркости, проверки посредством сравнения с существующим объектом, отделения смешанного объекта, определения местоположения транспортного средства и формирования прямоугольника, который выражает координату, в которой транспортное средство может быть выделено с помощью обрамления

Кроме того, в качестве предшествующего уровня техники, связанного с настоящим изобретением, известен способ распознавания изображений с помощью инвариантного момента Hu (см. Ming-Kuei HU, "Visual Pattern Recognition by Moment Invariants", IRE Transactions on information theory, 1962, стр.179-187).

Также известен способ, в котором используется преобразование Фурье-Мелина или фильтр Габора в качестве значения инвариантного к изменению масштаба, и они сравниваются со словарем, чтобы распознать объект (см. Park, H. J., Yang H. S, "Invariant object detection based on evidence accumulation and Gabor features", Pattern recognition letters 22, стр.869-882, и Kyrki, V., Kamarainen J. K, "Simple Gabor feature space for invariant object recognition", Pattern recognition letters 25, No.3, 2004, стр.311-318).

Кроме того, известен способ углового детектора Харриса (см. C. Harris and M. Stephens, "A combined corner and edge detector", Proc. Alvey Vision Conf., Univ. Manchester, 1988, стр.147-151). В этом подходе обнаруженный угол используется в качестве характерного признака. У любого объекта есть уникальный набор угловых точек. Обработка с целью распознавания выполняется посредством сравнения с взаимным расположением углов, которое объект имеет в стандартном изображении.

Кроме того, известен способ многократного последовательного применения Гауссова фильтра к изображению и подготовки групп разностных изображений (пирамида Лапласа) (см. Патент US 6141459) и SIFT (преобразование масштабно-инвариантных признаков), который выделяет величину масштабно-инвариантного признака, к примеру, ключевую точку, из максимального значения этих групп изображений (см. David G. Lowe, "Distinctive image features from scale-invariant key points, Journal of Computer Vision, 60, 2, 2004, стр.91-110).

Сущность изобретения

Недостатки вышеописанных соответствующих способов заключаются в ошибочном обнаружении тени как объекта (нарушителя, транспортного средства и т.п.) и неспособности определить фактический размер объекта. Другой недостаток состоит в том, что, когда объект (или его позиция), который появился в поле зрения и оставлен в нем, ошибочно обнаружен, обновление фоновой модели в соответствующем пикселе полностью останавливается, и в результате статический объект не может быть автоматически интегрирован в фон. По этой причине ложная тревога или пропуск обнаружения происходят при наличии возмущения, вызванного непрерывными изменениями или временным изменением в освещении, движением листьев и движением водной поверхности или осадками (дождем, снегом и т.п.). Кроме того, достаточное внимание не уделялось периодическому изменению фона, такому как мерцание, или слежению в пределах области, где освещенность сильно изменяется в различных местах.

Цель настоящего изобретения состоит в том, чтобы сократить количество ложных срабатываний и улучшить точность обнаружения границы движущегося объекта, тем самым улучшая качество системы безопасности на базе телевизионного наблюдения при сложных климатических условиях и изменяющемся фоне и, помимо этого, расширяя функциональные возможности или удобство использования.

Устройство охранной сигнализации на базе обработки видеоинформации настоящего изобретения использует разностный (по отношению к фону) метод, основанный на параметрической модели. То есть, каждый раз, когда кадр изображения вводится, абсолютное значение разности между входным изображением текущего кадра и фоновым изображением вычисляется и затем преобразуется в двоичную форму с помощью порогового изображения. Для порогового изображения используется дисперсия σ² в каждом значении пиксела входного изображения, умноженная на предварительно определенный коэффициент k₁. Хотя дисперсия σ² усредняется во времени на основе коэффициента обновления ρ для каждого пиксела, коэффициент обновления ρ выбирается по-разному, в зависимости от того, принадлежит соответствующий пиксел фону или принадлежит объекту.

Впоследствии зона начального обнаружения формируется из двоичного изображения и для нее выполняется процесс пространственной фильтрации. Процесс пространственной фильтрации включает в себя, по меньшей мере, одно из следующих преобразований: скелетизация, обработка объектной маски, морфологические операции, сегментация. Скелетизация включает в себя процесс получения уточнения формы зоны начального обнаружения посредством утончения или скелетизации бинарного изображения, процесс выделения главных осей по информации о форме, и процесс выделения осей объекта из выделенных осей.

Обработка объектной маски включает в себя процесс выделения области окантовки, которая не является смежной с границей зоны начального обнаружения двоичного изображения. Морфологическая обработка включает в себя процесс расширения путем преобразования пиксела, смежного с белым пикселем двоичного изображения, в белый пиксел, и процесс сокращения путем преобразования пиксела, смежного с черным пикселем двоичного изображения, в черный пиксел. Сегментирование включает в себя процесс разделения зоны начального обнаружения на сегменты, процесс анализирования относительной пропорции белых пикселов в бинарных пикселах каждого сегмента и процесс выбора сегментов на основе пропорции белых пикселов. Далее формируется зона слежения, которая выражает независимую часть объекта.

Для зоны слежения изменение позиции интересующей зоны слежения во времени отслеживается с помощью, по меньшей мере, одного из следующих способов: способ слежения, основанный на информации о характерных признаках, таких как априорно известные позиция и размер, центр тяжести, характерный контур изображения и момент; и способ слежения, основанный на методе выделения линейных компонентов, представленном посредством преобразования Хафа и т.п., в котором линейный компонент выделяется из упорядоченных по времени бинарных пространственно-временных данных, полученных в каждой временной точке. Результат отслеживания подвергается, по меньшей мере, одному из методов сглаживающей фильтрации, фильтрации скользящего среднего значения и фильтрации Калмана, и таким образом уменьшается вклад компонента, обусловленного шумом в результат вычисленния изменения метпоположения.

Некоторые из зон слежения отбраковываются, а остающиеся зоны интегрируются в кластер, и помимо этого, выполняется отбор кластера. Отбор кластера выполняется на основе анализа размера кластера, координаты позиции кластера, смещения от области, имеющей указанную форму, смещение от области, расположенной не далее, чем на предварительно заданном расстоянии от некоторого известного кластера. Это определение делается после преобразования к размерам в реальном пространстве с помощью координатного преобразования. Это преобразование вычисляется с использованием значений параметров видеодатчика камеры и параметров установки камеры при ее монтаже. В конечном счете, кластер, оставшийся после отбора оценивается как объект, который должен быть обнаружен.

Кроме устройств обработки видеоинформации системы охранной сигнализации, как описано выше, устройства обработки видеоинформации системы охранной сигнализации с некоторыми из составляющих элементов, замененными на элементы из другой известной области техники, могут быть включены в настоящее изобретение.

Устройство обработки видеоинформации системы охранной сигнализации настоящего изобретения может точно обнаруживать объект, по которому ведется мониторинг, из видео, даже если есть различные виды регулярных, временных или периодических возмущений, таких как климатические условия, неактивное (абиологическое) движение или искусственные флуктуации изображении.

Другие цели, признаки и преимущества изобретения должны стать очевидными из нижеследующего описания вариантов осуществления изобретения, взятых вместе с прилагаемыми чертежами.

Краткое описание чертежей

Фиг.1 показывает блок-схему основного алгоритма устройства обработки видеоинформации системы охранной сигнализации (вариант осуществления 1).

Фиг.2 - вид, иллюстрирующий координаты сцены, координаты камеры, и экранные координаты (вариант осуществления 1).

Фиг.3 - изображение, показывающее пример процесса разделения (S118) (вариант осуществления 1).

Фиг.4 - изображение, показывающее пример обработки с целью объединения (S119) (вариант осуществления 1).

Фиг.5A-5F - изображения, показывающие пример скелетизации (вариант осуществления 3).

Фиг.6 - блок-схема последовательности операций процесса сегментации объекта (OS) (вариант осуществления 4).

Фиг.7 - пример условий мониторинга (вариант осуществления 5).

Фиг.8 - пример условий мониторинга (вариант осуществления 5).

Фиг.9 - пример конфигурации оборудования (вариант осуществления 5).

Фиг.10 - пример таблицы решений (вариант осуществления 5).

Фиг.11 - пример задания области мониторинга в системе координат камеры (вариант осуществления 6).

Фиг.12 - пример задания области мониторинга в системе координат сцены (вариант осуществления 6).

Фиг.13 - пример формирования обработанной области с учетом высоты области мониторинга (вариант осуществления 6).

Фиг.14 - пример формирования изображений целевого объекта, который должен подвергаться мониторингу (вариант осуществления 6).

Подробное описание вариантов осуществления

<Общая логика системной функции видеомониторинга>

Чтобы реализовать основные цели, во-первых, должна быть определена общая логика для работы устройства обработки видеоинформации системы охранной сигнализации согласно варианту осуществления настоящего изобретения.

Чтобы разрешить проблемы техники в данной предметной области, требуются оценка наблюдаемых изменений окружающей среды и анализ данных на уровне прогнозирования. В соответствии с таким результатом анализа наблюдаемая ситуация оценивается как ситуация, по которой следует подавать сигнал тревоги (возможная угроза). В зависимости от степени риска в ситуации (также с учетом прогнозирования) формируется сигнал срабатывания одной системы видеомониторинга или любой одной из других систем видеомониторинга. Характерной особенностью этой системы является то, что ее реакция на угрозу аналогична реакции оператора-человека.

В результате, логика функционирования системы видеонаблюдения - это, в первую очередь, логика обнаружения, прогнозирования и парирования угроз охраняемому объекту. Разработка логики функционирования основана на формализации тревожных и опасных ситуаций. В реальных условиях для формализации ситуаций количество сигналов ложной тревоги может быть сокращено посредством анализа возможности объединения и группировки текущих ситуаций в один из классов ("проблематичные", "опасные", "очень опасные"). Это естественный способ разработать логику функционирования на базе оценки человеком, который имеет опыт в выполнении задач мониторинга. При просмотре множества сложных сцен, в которых происходят изменения окружающей среды, он/она обращает внимание на объект, который может быть прямой угрозой защищаемому предмету, и пытается предсказать изменение обстановки, обращая внимание на скорость или направление вызывающего сомнения объекта.

Идентификация движущегося объекта (или оставленного объекта) при наличии сложного фона на сцене, в которой существует естественный шум, должна выполняться перед оцениванием текущей ситуации.

В таком случае составная функция этой системы может быть разделена на четыре основных нижеприведенных этапа:

1) Настройка

2) Начальное обнаружение (предварительное обнаружение)

3) Анализ состояния с учетом объекта обнаружения

4) Выдача сигнала тревоги и анализ метаданных.

"Настройка" включает в себя следующие элементы:

1) Настройка алгоритма (задание параметров для обработки видеоданных)

2) Регулировка настроек камеры (задание и корректировка парметров установки камеры)

3) Настройка зон (выбор и индикация различных " зон интереса", соответствующих сцене наблюдения).

"Начальное обнаружение" означает оценку отличия между "фоном" и текущим видеокадром. Основная цель этого этапа состоит в том, чтобы обнаружить все отличия в максимально возможной степени на основе выбранных критериев (порогового значения). Качество обнаружения (обнаружение отличия от фона) обуславливается на этапе начального обнаружения. Хотя при этом может быть множество ложных обнаружений, их количество уменьшится на следующем этапе. Алгоритм начального обнаружения - это обработка с учетом значения сигнала яркости (имеющего значения 0-255 для каждого из трех каналов RGB-цветов) пиксела.

"Анализ состояния" требуется для того, чтобы уменьшать количество ложных обнаружений. Первый этап анализа состояния состоит в том, чтобы не принимать во внимание объект, который не требует выдачи сигнала тревоги и не требует слежения. Реализация этого этапа в данной системе включает в себя следующие пункты:

1) Оценка размера первоначально обнаруженного объекта

2) Оценка формы первоначально обнаруженного объекта

3) Оценка значения величины "сходства при сопоставлении с фоном" первоначально обнаруженного объекта (т.е. выполняется не обработка значения сигнала яркости одного пиксела, а обработка характеристик целых групп пикселов, соответствующих объекту обнаружения)

4) Оценка времени существования первоначально обнаруженного объекта

5) Оценка скорости первоначально обнаруженного объекта.

С целью дальнейшей оценки поведения объекта, распознавания состояния и формирования соответствующего сигнала срабатывания используются следующие области определенной формы в пределах диапазона формирования изображений камеры:

1) Многоугольная область

2) Цилиндрическая область

3) Область перпендикулярной плоскости.

Индивидуальная степень опасности может быть установлена для каждой из зон, соответственно.

<Вариант осуществления 1>

Во-первых, задаются основные термины, использованные в описании этого варианта осуществления.

Текущий кадр (изображение): один кадр изображения, полученного из видеоввода в текущем цикле обработки.

Фоновый кадр (изображение): изображение, полученное посредством последовательного усреднения (сглаживания) значения сигнала яркости каждого пиксела в пределах кадра изображения. Эти вычисления выполняются с помощью фильтра 106a нижних частот (описан позже).

Кадр среднеквадратичного отклонения: изображение, полученное посредством последовательного усреднения (сглаживания) дисперсии значения сигнала яркости каждого пиксела в пределах кадра изображения. Эти вычисления выполняются с помощью фильтра 106b нижних частот (описан позже).

Межкадровая разность (изображение): изображение, вытекающее из разности изображения между текущим кадром и фоновым кадром.

Бинарный кадр (изображение): изображение, получающееся в результате преобразования в бинарную форму кадра разностного изображения, и оно получается посредством сравнения разностного кадра с кадром среднеквадратичного отклонения для каждого пиксела.

Пиксел переднего плана: пиксел, находящийся в пределах текущего кадра и содержащийся в ненулевой зоне (зоне, имеющей значение пиксела в нуль или больше) в бинарном кадре.

Фоновый пиксел: Пиксел, находящийся в пределах текущего кадра и содержащийся в нулевой зоне (зоне, имеющей значение пиксела 0) в бинарном кадре.

Отметим, что, хотя кадр является единицей, составляющей одно изображение, он может использоваться синонимично с изображением.

Фиг.1 показывает блок-схему основного алгоритма обработки варианта осуществления 1. Фаза начального обнаружения охватывает диапазон от ввода кадра изображения (этап 101) до процесса преобразования в бинарную (этап 108).

На этапе 101 вводится входной кадр, только что снятый с помощью камеры. Этап 101 активируется через обработчик событий посредством события таймера, тем самым запуская основной алгоритм обработки. Входное изображение имеет, к примеру, формат YUV 4:2:2.

На этапе 102 разрешение и/или число цветов входного изображения уменьшается до формата, подходящего для обработки в режиме реального времени. В этом варианте осуществления входное изображение преобразуется в один байт полутонового изображения на пиксел, поскольку описанные ниже несколько функций поддерживают только RBG или одноканальную шкалу яркости. YUV, HSB (HSV) или другой формат так же может быть подходящим. Разрешение соответствует ряду форматов и уменьшено до 360×240 пикселов, например. На этом этапе 102 до или после сокращения разрешения и/или числа цветов также выполняется процесс адекватного уменьшения резкости изображения с помощью низкочастотного пространственного фильтра. Например, Гауссов фильтр является подходящим для высокоскоростной обработки, поскольку он может выполнять вычисления в направлении x и в направлении y раздельно. Или может использоваться медианный фильтр, который использует медиану в рамках 3×3 пикселов. Наконец, усиление регулируется таким образом, чтобы выровнять яркость (среднюю) в предварительно определенной области в пределах изображения.

На этапе 103, если он является начальной операцией основного алгоритма обработки, в алгоритме выполняется переход к процессу настройки (установки) (этап 104). На этапе 104 устанавливаются нижеописанные различные константы (параметры), а также осуществляется настройка для задания того, какой сигнал тревоги выдается, когда объект соответствующего размера, скорости и местоположения обнаруживается в области обнаружения соответствующей типа формы и позиции. Некоторые из этих установок выполняются с использованием значений реальных пространственных координат (системы координат сцены) вместо экранных координат. Подробности описываются на этапах 124, 125.

На этапе 105 подготовленный (уменьшенный) кадр сохраняется, чтобы быть использованным в качестве задержанного на один кадр изображения.

На этапе 106 две низкочастотные фильтрации выполняются с использованием подготовленного текущего изображения и задержанного на один кадр изображения. В этом варианте осуществления фоновое изображение моделируется как вероятностный процесс, имеющий неизвестное среднее и неизвестное среднеквадратичное отклонение. Временной фильтр нижних частот используется для того, чтобы оценить (приблизительно вычислить) моменты этого процесса.

Фильтр 106a нижних частот регулярно обновляет оценку среднего значения каждого пиксела. Скользящее среднее значение вычисляется (как в нижеприведенном уравнении (1)) каждый раз, когда вводится новый кадр:

(1)

где I_i обозначает текущее изображение, ρ обозначает константу фильтра (0<ρ<1), а i обозначает индекс кадра. Результат фильтра 106a нижних частот упоминается как фоновый кадр.

Константа фильтра имеет следующий смысл. Рассмотрим число кадров изображения, требуемое для того, чтобы новый объект полностью встроился в фон (стал частью фона). Если это встраивание выполняется слишком быстро, можно пропустить объект (который должен быть обнаружен), который перемещается не слишком быстро. Например, в случае p=1 текущий (новый) кадр изображения немедленно становится новым фоновым кадром изображения, тогда как в случае p=0 первый кадр изображения остается как фоновый кадр изображения, и фоновый кадр изображения не обновляется больше. Фактически требуется реализовать (последовательно) умеренное обновление фона и процесс сглаживания резких изменений в значении сигнала яркости. Во-первых, T задается как предпочтительный цикл (интервал) правильного обновления фонового кадра изображения. Если T задано как число кадров обработки (не в единицах секунд), ρ задается посредством ρ=5/T. Например, если правильное обновление фона выполняется в пределах 1000 кадров обработки, константа фильтров устанавливается как ρ=0,005.

Фильтр 106b нижних частот последовательно вычисляет предполагаемое среднеквадратичное отклонение каждого пиксела с использованием аналогичного способа.

(2)

Отметим, что фоновый кадр или текущий кадр может быть предыдущим (кадр с индексом i-1). Как описано далее, ρ переключается для каждого пиксела в зависимости от типов зоны или различных видов условий (к примеру, сигнала яркости), ρ может быть разным для фильтров 106a и 106b нижних частот и обозначаться как ρ_a и ρ_b в этом случае, соответственно.

Фактически, оцениваемое среднеквадратичное отклонение σ сохраняется в запоминающем устройстве как σ² (т.е. дисперсия), чтобы избежать вычисления квадратного корня, и обрабатывается как возведенное в квадрат значение до процедуры бинаризации.

На этапе 107 временное максимальное значение σ' среднеквадратичного отклонения σ (или дисперсии), которое вычислил фильтр 106b нижних частот, вычисляется и сохраняется для каждого пиксела. Хотя максимальное значение σ' может быть успешно найдено из предварительно определенного числа предыдущих кадров, оно может быть вычислено также из нижеприведенного уравнения (3).

(3)

На этапе 108 разностный кадр формируется с помощью подготовленного текущего изображения и фонового изображения. Алгоритм обнаружения изменения по данному варианту осуществления основан на абсолютном значении разностного кадра изображения между уменьшенным входным изображением I_i и фоновым изображением μ_i (или μ_i-1), сформированным посредством фильтра 106a нижних частот.

На этапе 109 этот разностный кадр преобразуется в бинарную форму с помощью адаптивного порогового значения k₁σ. Среднеквадратичное отклонение здесь используется как адаптивная часть порога бинаризации.

(4)

где k - это константа, выбранная на этапе установки (этап 104). Рекомендуемое значение колеблется от 3 до 4 и определяется в зависимости от качества шума. Результат процедуры бинаризации получается как бинарное изображение, где 0 (ложь) означает, что ничего не обнаружено, а 255 (истина) обозначает обнаруженный пиксел. Если изображение передавалось как цветное изображение до этого этапа, здесь также выполняется интеграция цветовых каналов. Для интеграции цветовые каналы могут быть подвергнуты взвешенному суммированию до бинаризации или цветовые каналы могут быть комбинированы посредством логического суммирования (дизъюнкции) (OR) после бинаризации. Бинарное изображение (или область значений “истина” в бинарном изображении), полученное на этапе 109, также упоминается как начальная маска объекта.

Этапы 110-123 являются фазами "анализа состояния".

На этапе 110 морфологические операции применяются к начальной маске объекта. Морфологические операции включают в себя четыре следующие основные операции: процесс расширения, чтобы вычислять логическое ИЛИ при сдвиге изображения в пределах предварительно определенного диапазона, процесс размыва, чтобы вычислять логическое И, процесс открытия, чтобы выполнять процесс размыва после процесса масштабного преобразования, и процесс закрытия, чтобы выполнять процесс масштабного преобразования после процесса размыва. Процесс открытия имеет эффект для того, чтобы связывать смежные “255” (истина) пикселов, тогда как процесс закрытия имеет эффект того, чтобы удалять точечные “255” (истина) пикселов. Любой из них используется в этом варианте осуществления.

В начальной маске объекта морфологические операции не могут в достаточной степени исключить случай, когда область ложного значения возникает в связанной области истинных значений. Поэтому может быть выполнена обработка “заполнения”, при которой котором выявляется область ложных значений, окруженная областью истинныых значений, и затем эта выявленная область заполняется истинными значениями.

На этапе 111 дефектные зоны трассировки (слежения) очищаются, и (бинарные пикселы) фонового изображения (породившие эти дефектные зоны трассировки) удаляются. Таким образом, если найдена ошибочно обнаруженная зона слежения на этапе 120, 122 и т.п. из предшествующего цикла обработки, пикселы в пределах этой зоны слежения в начальной маске объекта блокируются (им присваиваются значения, отличные от 255), и в то же время внутренняя часть этой зоны слежения в текущем кадре заменяется на внутреннюю часть фонового изображения и корректируется. После этого шага маска объекта готова. Кроме того, исходный текущий кадр также сохраняется отдельно.

На этапе 112 выполняется пометка предварительных зон обнаружения и вычисление их атрибутов. Пометка - это способ для того, чтобы найти и отметить (пометить) все связанные области в пределах изображения. На этом этапе уникальный номер присваивается связанной области, содержащей пикселы, имеющие значения “истина” в бинарном изображении, и эта связанная область далее обрабатывается как предварительная зона обнаружения DetZones (Dz₀, Dz₁, …), имеющая координаты описанного прямоугольника (четыре координаты верх, низ, левая и правая) и площадь (площадь внутренней части связанной области или число связанных пикселов).

На этапе 113, когда сигнал яркости резко изменяется из-за любого отраженного света (облачности, освещения уличного фонаря и т.п.), в основном алгоритме обработки выполняется переход к режиму быстрой адаптации (этап 114). В этом примере, переход в алгоритме выполняется когда сумма общих площадей зон обнаружения во всем кадре изображения или сумма общих площадей зон обнаружения в "зоне быстрой адаптации" становится больше предварительно установленного порогового значения. В этом примере режим быстрой адаптации поддерживается в течение нескольких периодов. Этот период (заданный посредством числа кадров, а не посредством интервала времени) также предварительно задается.

На этапе 114, если процесс обработки находится в фазе быстрой адаптации, константа фильтра принимает такое значение, при котором достигается полная замена фонового изображения к концу периода быстрой адаптации. Например, если период быстрой адаптации задается величиной 50 кадров, константа фильтра ρ становится равной 0,1.

Таким образом, быстрая адаптация позволяет избежать ошибочного обнаружения, вызванного резким изменением в фоне. Обнаружение вызывающего сомнение объекта во время быстрой адаптивной обработки (на этапе 116 и после того) не выполняется.

На этапе 115 константы фильтра, используемые для зон обнаружения, делаются адаптивными. Бинарное изображение используется для того, чтобы отделять пиксел (имеющий значение 255 в бинарных изображениях и упоминаемый как пиксел переднего плана), в котором вызывающий сомнение объект может быть обнаружен, от пиксела (имеющего значение нуль в бинарных изображениях), в котором обнаружен только фон. Константы фильтров 106a, 106b нижних частот для пиксела переднего плана изменяются так, чтобы скорость, с которой пиксел переднего плана становится фоном, могла стать в 10 раз медленнее по сравнению с другими пикселами кадра изображения. Таким образом, вышеупомянутое описание ρ применяется к ρ₁, и ρ переопределяется следующим образом.

ρ = { κ ∗ ρ 1 ρ 1	,когда пиксел сгруппирован как фон	(5)
,когда пиксел сгруппирован как объект

В этом варианте осуществления k=0,1. Соответственно, система может препятствовать тому, чтобы фактически обнаруженный объект отражался на фоновом изображении в течение долгого времени по сравнению со вариантом, когда такой адаптации нет. По сравнению с методом быстрой адаптации эта обработка позволяет избежать потери объекта, который останавливается или двигается на низкой скорости.

На этапе 116 вычисляются геометрические атрибуты предварительной зоны обнаружения (зоны анализа). Геометрические атрибуты включают в себя позицию и размер (ширину и высоту) зоны обнаружения, выраженные в системе координат сцены. Рассмотрим следующую систему координат (фиг.2).

X, Y, Z: система координат сцены (внешняя система координат). Плоскость X-Y параллельна поверхности пола (земле), и уровень колеблется от 0,5 до 0,7 м.

X', Y', Z': система координат камеры. Оси X', Y' параллельны целевой фокальной плоскости, X' параллельна оси X, а Z' равна оптической оси камеры.

Xs, Ys: координаты изображения (экрана), которые аналогичны плоскости X'-Y', но их единицы выражаются в пикселах, не в метрах.

Высота камеры обозначена как h, а угол наклона оптической оси камеры относительно плоскости X-Y обозначен как t. Объект P, позиционированный в сцене, обозначенной посредством координат X, Y и Z (Z=0), преобразуется к системе координат камеры посредством нижеприведенного уравнения (6):

X'=X

Y'=Y·cos(t)-h·sin(t) (6)

Z'=Y·sin(t)+h·cos(t)

Экранные координаты объекта задаются посредством нижеприведенного уравнения (7) с помощью уравнений проекционной оптики:

(7)

где f₁ обозначает фокусное расстояние, а p_x [m^-1] и p_y [m^-1] обозначают плотность элемента изображения в направлениях X^s и Y^s, соответственно, и f=f₁·p^x=f¹·p^y задается. Эти параметры установки камеры предоставлены на этапе 104. Посредством замены переменной Z' получается

(8)

где уравнение преобразования - это нижеприведенное уравнение (9):

Поскольку камера, возможно, установлена с помощью способа, отличного от способа по фиг.2, угол поворота камеры, возможно, должен рассматриваться относительно оси Z и оси Z'. В этом случае новые координаты выражаются с помощью нижеприведенного уравнения (10):

(10)

где a обозначает угол поворота относительно оси Z. Аналогично, экранные координаты выражаются с помощью нижеприведенного уравнения (11):

(11)

Здесь a' обозначает угол поворота относительно оси Z.

На этапе 117 предварительная зона обнаружения (зона анализа), которая не удовлетворяет предварительно определенному размеру, отбраковывается (чтобы не подвергаться дальнейшей обработке). Для каждой зоны обнаружения геометрические атрибуты (например, ширина и высота в реальном пространстве) в этой системе координат сцены (X, Y, Z) сравниваются с предварительно определенными значениями (например, w_min=0,1, w_max=2, h_min=0,1, h_max=3, которые задают соответствующий верхний предел и нижний предел), и затем только та зона, которая удовлетворяет вышеупомянутым значениям, проходит отбраковку и сохраняется в массиве SelZone. Кроме того, пиксел предварительной зоны обнаружения в текущем кадре, пиксел, не удовлетворяющий вышеупомянутому, перезаписывается пикселом из фонового кадра.

На этапе 118 выполняется сегментация предварительной зоны обнаружения, прошедшей этап 117. Сегментация требуется для анализа на уровне "заполненность в области обнаружения". Чтобы вычислить новую границу каждой зоны, прошедшей предудущую фильтрацию, все зоны, прошедшие предыдущую фильтрацию (прямоугольные зоны интереса), разделяются на полосы с равной шириной. Верхняя граница и нижняя граница этих полос зоны разделения переопределяются с учетом маски объекта, а ширина полосы сегментации задается при настройке как значение в метрах в системе координат сцены. Фактически, ширина точно корректируется так, чтобы разделяться на целое число полос с равной шириной. Далее полосы сегментации сохраняются как Sz₀, Sz₁, …, и так далее.

Фиг.3 показывает результат этой сегментации. Прямоугольники, нарисованные с помощью толстой белой линии, и вертикально вытянутые прямоугольники в пределах белого прямоугольника отражают результат сегментации и пересчета границ, соответственно. Это показывает, что сегментация выявляет контур фактического транспортного средства и контур фактической тени посредством установления ширины полосы деления, например, в 0,2 м.

На этапе 119 выполняется объединение сегментов с использованием степени заполнения удлиненной зоны (зоны анализа). Объединение достигается за счет повторения следующих подэтапов с первого по третий до тех пор, пока не останется непроверенных сегментов.

Во-первых, для проверки находится опорная зона. Опорная зона - это одна из вышеописанных сегментирующих зон удовлетворяющая следующим условиям. Это зона (1), ближайшая к центру базы (нижней границы) кадра изображения, (2) не содержащаяся ни в одной из групп объединеннения, и (3) не проверенная ранее.

Во-вторых, удлиненная зона, выступающая в качестве кандидата на зону объединения, вычисляется с учетом атрибутов найденной опорной зоны. Удлиненная зона - это прямоугольник, имеющий большую высоту, чем предварительно определенная высота (например, 0,8 м. для человека) в системе координат сцены. Высота в метрических единицах вычисляется из высоты фильтрованной зоны (зоны до сегментирования) на основе пропорциональных соотношений.

В-третьих, если соотношение S_Cross/S_total>Merge area overlapping ratio (Соотношение перекрытия области объединения) удовлетворяется, удлиненная зона включается в группу объединения. Здесь, S_cross - это площадь пересекающейся области (общей области) между зоной объединения (описанным прямоугол