Способ и система для обнаружения небольших или тонких объектов на изображении (варианты)

Способ и система для обнаружения небольших или тонких объектов на изображении (варианты)

Иллюстрации

Показать все

Реферат

Изобретение относится к технологиям обработки цифровых фото- и видеоизображений, а более конкретно - к классификации текстур. При этом основной целью данного изобретения является получения карты пикселей, относящихся к тонким или небольшим объектам, которая может использоваться в алгоритме оценки движения в качестве входных данных, и обеспечить вычисление точных векторов движения внутри небольших объектов (значительно меньших размера блока).

Алгоритмы оценки векторов движения, особенно те, которые используются для преобразования частоты кадров и временной интерполяции, должны обеспечивать гладкое поле векторов движения внутри равномерно движущихся областей (см. пример на Фиг.1, область 101), точные совпадение границ поля векторов с границами исходного объекта (Фиг.1, область 102) и точные результаты внутри небольших объектов (Фиг.1, область 103) или небольших выступающих частей более крупных объектов (Фиг.1, область 104) для широкого диапазона амплитуд смещения. Известные способы обычно направлены на обеспечение поля движения, которое является гладким и имеет точные границы. Точное поле движения внутри небольших объектов или небольших выступающих частей более крупных объектов обычно получают как компромиссное решение при сниженной гладкости векторного поля или разрабатываются специальные способы последующей обработки, детализирующие поле вектора движения для небольших объектов. Для улучшения этого компромиссного решения используются различные техники постобработки на основе адаптивной фильтрации поля вектора движения или слежения за небольшими объектами. Способы постобработки основаны на анализе невязки, вычисляемой для первоначального поля векторов движения и локальных свойств текстуры, таких как дисперсия.

Обычно, для получения гладкого векторного поля с разрывами, точно соответствующими границам крупного объекта, используются два подхода: способ множественных масштабов (Фиг.2.1) и способ множественных сеток (Фиг.2.2). Пример способа множественных масштабов представлен в [1]. В другом патенте (см. [2]) содержится пример способа множественных сеток и описывается способ согласования блоков, включая итерационную обработку с различными размерами блоков от грубой до точной с предварительной оценкой движения, полученной из блоков, окружающих текущий блок. При каждой итерации используется пара изображений с одинаковым разрешением, но размер блока уменьшается с максимального значения при первой итерации до минимального значения при последующих итерациях. В патенте [3] раскрываются устройство и способ оценки движения с переменным размером блока на основе дерева квадрантов.

Для решения данной проблемы иногда используют адаптивный размер блока (Фиг.3). В патенте [4] описано устройство принятия простого решения по размеру для применения в способах оценки движения с адаптивным размером блока. Данный способ позволяет выбрать размер блока (4×4, 4×8, 8×4, 8×8, 8×16, 16×16 или 16×8) для каждого участка изображения на основе метрик суммы абсолютных разностей и стоимости бита передачи сигнала невязки.

Гладкое и точное поле движения может быть получено в результате постобработки первоначальной оценки векторов движения с использованием блока небольших размеров (меньше или равного размеру самого мелкого объекта в кадре изображения). Простые способы сглаживания векторов движения, как на Фиг.4, позволяют получить гладкое поле векторов. Для того чтобы избежать чрезмерного сглаживания, разрабатываются различные способы. В патентной заявке [5] предлагается способ направленной фильтрации векторов движения. В кадре изображения определяют границы объекта и проводят оценку направления этих границ. Затем исходное векторное поле движения фильтруется с использованием направленного банка фильтров таким образом, что фильтруются только векторы, находящиеся на одной стороне границы объекта. В патенте [6] представлен способ и система генерации интерполированного кадра на основе данного и предыдущего кадра. Результирующий вектор движения для каждого блока выбирается из нескольких векторов движения, включая:

- вектор движения, полученный усреднением предыдущих векторов движения (векторы движения, рассчитанные для предыдущего кадра) в блоках, примыкающих к рассматриваемому блоку;

- вектор движения, полученный усреднением предыдущих векторов движения в блоках, находящихся в одной строке с текущим блоком.

- вектор движения, полученный вычислением медианы предыдущих векторов движения в блоках, соседних с текущим блоком

Выбор результирующего вектора движения выполняется за счет выбора вектора движения с наименьшим значением штрафной функции, вычисленной как линейная комбинация невязки и суммы взвешенной разницы от вероятного вектора движения до векторов движения в примыкающих блоках.

Другой подход состоит в том, чтобы не анализировать непосредственно невязку при выборе наилучшего кандидата движения, но использовать некоторую вспомогательную величину, которую получают путем нормализации невязки в соответствии с некоторым параметром, вычисленным локально в зависимости от свойств текстуры. В патенте [7] для нормализации ошибки согласования всех вероятных векторов используется параметр вариации. Параметр вариации в данном изобретении рассчитывается для каждого сегмента (или блока в случае блочной конструкции) путем суммирования абсолютных разностей между значениями пикселей первого сегмента и значениями пикселей второго сегмента, который получен из первого сегмента путем сдвига как минимум на один пиксель в первом направлении, и абсолютных разностей между значениями пикселей первого сегмента и значениями пикселей третьего сегмента, который получен из первого сегмента путем сдвига, как минимум, на один пиксель во втором направлении, где второе направление ортогонально первому направлению. Патент [8] раскрывает систему и способ для оценки движения в видеопоследовательностях с использованием нескольких правил рекурсии, включающий нахождение среднего вектора движения из векторов движения с минимальными метриками ошибок трех групп векторов движения. Метрики ошибок состоят из суммы средней абсолютной разности исходных и смещенных пикселей и штрафной функции, обратно пропорциональной дисперсии блока.

В патентной заявке [9] описан способ уточнения поля движения для отслеживания быстро движущихся объектов. Способ предусматривает операции по определению первой группы пикселей на первом изображении, не имеющих соответствия на втором изображении, и второй группы пикселей на втором изображении, не имеющей соответствия на первом изображении, вычислению невязки, полученной для вероятного вектора движения, направленного от первой группы пикселей ко второй группе пикселей, сравнению этой невязки с заранее определенным порогом и назначению вероятного вектора в качестве выходного вектора движения, если невязка меньше этого порога. Под невязкой подразумевается сумма абсолютных разностей, сумма квадратом разностей или другая метрика, зависящая от разности между пикселями первого изображения и пикселями второго изображения, координаты которых соответствуют координатам пикселей первого изображения, смещенными в соответствии со значениями поля векторов движения.

В публикации [10] обнаружение мелких движущихся объектов осуществляется путем компенсации движения камеры и анализа остаточной невязки, где небольшие движущиеся объекты соответствуют выбросам. Их обнаружение происходит с использованием статистического критерия определения Гауссовского распределения на базе статистики более высокого порядка.

В публикации [11] используется фильтрация Калмана на основе модели постоянного ускорения и модели маневра Сингера для отслеживания мяча в видеопоследовательностях спортивного содержания. Изменение изображения во времени определяется вейвлет-разложением Хаара.

Способ множественных масштабов и способ множественных сеток, как например, в документах [1], [2] и [3], показывают наличие противоречия между требованием к гладкости поля движения и точности в области малых объектов. В то время как большие по размеру блоки в способе множественных сеток и большее количество уровней пирамидального разложения в способе множественных масштабов способствуют получению более гладкого поля движения, они вызывают большую потерю информации о движении малых объектов. В тоже время, меньшие по размеру блоки способствуют более точной оценке движения малых объектов, но дают менее гладкое поле векторов движения в тех областях, где оно должно быть непрерывным. Использование меньшего количества масштабов в способе множественных масштабов позволяет получить точную оценку движения на областях небольших объектов в случае, если они движутся медленно, но совсем не дает возможности оценить большие значения движения малых объектов. Также при этом не удается получить гладкое поле векторов движения в тех областях, где оно должно быть непрерывным. В некоторых случаях (Фиг.5 и 6) большой размер блока предпочтительнее. В случае меньшего размера блока на плоских областях может быть несколько локальных минимумов на поверхности ошибок Фиг.5 (вид 5.3), больший размер блока может привести к одному локальному минимуму, как показано на Фиг.5 (вид 5.4). Даже в случае одного локального минимума при меньшем размере блока Фиг.6 (вид 6.5), это может указывать на неправильное смещение по сравнению с большим размером блока на Фиг.6 (вид 6.6). В тоже время, в случае небольших изолированных объектов, как на Фиг.7, меньший размер блока приводит к верной оценке движения данного блока, а больший размер блока дает неверную оценку движения. Неверная оценка движения небольших или тонких объектов приводит к частичному исчезновению объекта на интерполированных кадрах. Данный дефект вызывает большое раздражение у пользователей телевизионных панелей. Для управления соотношением между гладкостью и точностью поля векторов движения можно использовать весовые коэффициенты при невязке, однако оптимальные весовые коэффициенты при этом требуется вычислять для каждого конкретного изображения.

Способ оценки движения, представленный в [4], полностью ориентирован на приложение в сжатии видеопоследовательностей. Поэтому авторы не рассматривают ограничений на гладкость поля векторов движения, что делает способ неприемлемым для использования при преобразовании частоты кадров.

Способ в соответствии с [5] рассматривает только задачу получения точного поля векторов движения вблизи границ крупных объектов, но не содержит средств для уверенной обработки небольших или тонких объектов.

Способ, раскрытый в [6], не затрагивает локальных свойств текстуры, таким образом, в случае, когда малый или тонкий объект значительно меньше (уже) размера блока и истинный вектор движения малых или тонких объектов сильно отличается от движения фона, вклад члена штрафной функции, отвечающего за гладкость, будет преобладать над вкладом члена штрафной функции, соответствующего невязке, что приводит к получению неверного вектора движения.

Недостаток способа, раскрытого в [7], заключается в том, что параметр вариации (равный стандартному отклонению) напрямую зависит от размера блока, поэтому его значение может быть недостаточно велико для малого или тонкого двигающегося объекта, занимающего небольшую часть блока.

Метрики ошибки, изложенные в патентной заявке [8], не делают различий между тонкими или небольшими объектами и границами между различными объектами, поэтому описанный способ отфильтровывает правильные векторы движения малых или тонких объектов, занимающих один или несколько отдельных блоков.

На Фиг.8-12 представлено объяснение того, что стандартное отклонение пикселов внутри блока, используемое в патентных документах [7] и [8], является недостаточным для различия между случаем, когда следует предпочесть вектор движения, обеспечивающий локальный минимум суммы абсолютных разностей (SAD), и случаем, когда следует предпочесть вектор движения, полученный путем усреднения векторов движения из нескольких соседних. Поведение области с низким уровнем детализации, зоны края объекта и объекта с небольшой площадью проиллюстрировано на примере одномерных сигналов. Фиг.8 показывает сигнал постоянной амплитуды с аддитивным шумом (801) и импульсный (802) сигнал. Оба эти сигнала имеют одинаковую дисперсию. Здесь импульсный сигнал рассматривается как одномерный случай малого объекта, а постоянный зашумленный сигнал - как одномерный аналог зашумленной области с низким уровнем детализации. Движению области изображения в видеокадре соответствует сдвиг в одномерном случае (Фиг.9 и 10). Фиг.11 показывает график разности между зашумленным постоянным сигналом и его сдвинутой копией и график разности между импульсным сигналом и его сдвинутой копией для некоторой фиксированной величины сдвига.

Фиг.12 показывает, что при рассмотрении L-1 нормы разности между исходным и сдвинутым сигналами, вычисленной как функция от величины сдвига, L-1 норма (сумма абсолютных разностей) разности между зашумленным постоянным сигналом и его сдвинутой копией (1201) еще больше, чем соответствующая норма разности между импульсным сигналом и его сдвинутой копией (1202).

Значение суммы абсолютных разностей, соответствующее истинному смещению, в случае зашумленного постоянного сигнала не является глобальным минимумом функции суммы абсолютных разностей в пределах диапазона поиска (Фиг.12), в то время как глобальный минимум суммы абсолютных разностей для импульсного сигнала указывает истинное смещение. В то же время числовое значение суммы абсолютных разностей, соответствующее истинному смещению константы шума, может быть даже больше, чем для истинного смещения импульсного сигнала. Поскольку эти два сигнала имеют одинаковую дисперсию, эти два случая едва ли можно различить. Кроме того, даже в случае, если фон не является однородным, в области границы объекта, наезжающего на фон, меньшая невязка (сумма абсолютных разностей) соответствует неправильному движению, т.е. пикселям фона будут приписаны вектора, соответствующие движению объекта, а не фона. На Фиг.13 изображен пример естественного изображения с проблемой подобного рода. В этом случае даже глобальный анализ уровня шума не может быть использован для установления правильных локальных порогов.

Способ, раскрытый в патентной заявке [9], имеет два недостатка - он не предполагает рассмотрения случая окклюзии, который очень характерен для видеопоследовательностей, а сравнивает невязку с заранее определенным порогом. Это означает, что способ не позволяет адаптироваться к размеру и контрастности небольших объектов и будет работать только для узкого класса изображений.

Способы обнаружения анализа невязки, как в [10], подходят только для случая, когда нет других больших объектов, так как в противном случае невязка в области окклюзии также имеет негауссово распределение.

Способы, основанные на слежении за объектом, как в [11], обычно предполагают наличие только одного движущегося объекта и требуют больше кадров, чем в стандартном способе оценки движения. Это значительно увеличивает сложность программного обеспечения и стоимость аппаратного обеспечения. Эти способы также не рассматривают случая тонких длинных объектов.

В качестве прототипа выбрано решение, описанное в [9].

Задача, на решение которой направлено заявляемое изобретение, состоит в том, чтобы разработать усовершенствованный способ (способы) обнаружения небольших и тонких объектов, при этом новое решение должно иметь следующие преимущества перед известными из уровня техники решениями:

- возможность определять как небольшие компактные, так и тонкие удлиненные объекты;

- повышенная точность определения векторов движения для малых объектов и малых выступающих частей больших по размеру объектов, сохраняя гладкость поля векторов движения в прочих областях;

- возможность использования для адаптации способа множественных масштабов, способа множественных сеток или в адаптивных рекурсивных алгоритмах оценки движения;

- возможность определять небольшие/тонкие объекты даже на зашумленном фоне;

- возможность определять небольшие/тонкие объекты даже в случае, если их истинное движение сильно отличается от движения фона;

- возможность вычислять карту принадлежности небольшим или тонким объектам с попиксельной точностью вне зависимости от размера блока, использованного для оценки движения;

- возможность отличать небольшие объекты от низкотекстурированных зашумленных областей фона и областей, соответствующих границам объектов, проявляя устойчивость к ошибкам в области окклюзии;

- возможность отличать длинные тонкие линии от низкотекстурированных зашумленных областей фона и областей, соответствующих границам объектов;

- возможность непосредственно контролировать размер обнаруживаемых небольших или тонких объектов в рамках подхода множественных масштабов;

- возможность детектировать небольшие и тонкие объекты различного контраста;

- возможность применения в случае, когда присутствует более чем один малый или тонкий объект;

- возможность оценки движения без увеличения числа кадров, используемых для этого;

- устойчивость к текстурам высокой частоты и выдача отрицательного результата детектирования в случае, если концентрация точек, относящихся к малым или тонким объектам, в большой окрестности является подозрительно высокой.

Кроме того, для реализации усовершенствованного способа (способов) должны быть разработаны соответствующие системы.

Технический результат достигается за счет разработки усовершенствованного способа обнаружения тонких объектов на изображении, который предусматривает осуществление следующих операций:

- вычисляют преобладающее направление текстуры для каждого пикселя;

- вычисляют направление, ортогональное к преобладающему направлению текстуры для каждого пикселя;

- выполняют построение полной направленной маски с той же ориентацией, что и направление, ортогональное к преобладающему направлению текстуры, для каждого пикселя;

- выполняют построение внешней направленной маски с той же ориентацией, что и направление, ортогональное к преобладающему направлению текстуры, для каждого пикселя;

- выполняют построение внутренней направленной маски с той же ориентацией, что и направление, ортогональное к преобладающему направлению текстуры, для каждого пикселя;

- выполняют вычисление минимумов и максимумов значений яркости пикселей внутри полной направленной маски;

- выполняют вычисление стандартного отклонения или другой статистической функции, описывающей степень вариации образцов внутри выборки, от значений яркости пикселей внутри полной направленной маски вокруг центрального пикселя;

- выполняют вычисление стандартного отклонения или другой статистической функции, описывающей степень вариации образцов внутри выборки, от значений яркости пикселей внутри внутренней направленной маски вокруг центрального пикселя;

- выполняют вычисление стандартного отклонения или другой статистической функции, описывающей степень вариации образцов внутри выборки, от значений яркости пикселей внешней направленной маски вокруг центрального пикселя;

- выполняют вычисление стандартного отклонения или другой статистической функции, описывающей степень вариации образцов внутри выборки, от значений яркости пикселей внутри ненаправленной маски вокруг центрального пикселя;

- выполняют вычисление среднего значения яркости пикселей внутри ненаправленной маски вокруг центрального пикселя;

- применяют следующий набор правил принятия решения для определения принадлежности данного пикселя тонкому длинному объекту:

- если локальная текстура ненаправленная, отметить пиксель, как не принадлежащий тонкому объекту;

- если разница между максимумом и минимумом значений яркости пикселей внутри полной направленной маски ниже заданного порога, отметить пиксель, как не принадлежащий тонкому объекту;

- если стандартное отклонение или другая статистическая функция, описывающие степень вариации образцов внутри выборки, от значений яркости пикселей внутри полной направленной маски вокруг центрального пикселя ниже заданного порога, отметить пиксель, как не принадлежащий тонкому объекту;

- если стандартное отклонение или другая статистическая функция, описывающие степень вариации образцов внутри выборки, от значений яркости пикселей внутри ненаправленной маски вокруг центрального пикселя ниже заданного порога, отметить пиксель, как не принадлежащий тонкому объекту;

- если частное стандартного отклонения или другой статистической функции, описывающих степень вариации образцов внутри выборки, от значений яркости пикселей внутри внешней маски, и стандартного отклонения или другой статистической функции, описывающих степень вариации образцов внутри выборки, от значений яркости внутри внутренней маски, ниже заданного порога, отметить пиксель, как принадлежащий тонкому объекту;

- если стандартное отклонение или другая статистическая функция, описывающие степень вариации образцов внутри выборки, от значений яркости пикселей внутри внешней маски меньше, чем стандартное отклонение или другая статистическая функция, описывающие степень вариации образцов внутри выборки, от яркости пикселей внутри полной направленной маски, отметить пиксель, как принадлежащий тонкому объекту;

- если стандартное отклонение или другая статистическая функция, описывающие степень вариации образцов внутри выборки, от яркости пикселей внутри внешней маски меньше, чем стандартное отклонение или другая статистическая функция, описывающие степень вариации образцов внутри выборки, от яркости пикселей внутри ненаправленной маски, отметить пиксель, как принадлежащий тонкому объекту.

Отличие заявляемого способа от способов, известных из уровня техники:

- длинные тонкие линии различаются от низкотекстурированных и зашумленных областей фона при помощи локального анализа главных компонент градиента изображения;

- длинные тонкие линии различаются от областей, соответствующих границам объектов, используя локальные свойства текстуры областей внутри направленных масок, ортогональных к направлению текстуры;

- двумерные фильтры, используемые для локального анализа текстуры, относятся к двум типам: с ненулевыми элементами вблизи центрального пикселя и с нулевыми элементами в периферических пикселях, и с нулевыми элементами вблизи центрального пикселя и с ненулевыми элементами в периферических пикселях;

- результат работы алгоритма основан на разности между локальным минимумом и локальным максимумом, вычисленными внутри маски;

- средняя яркость, вычисленная для малой окрестности пикселей, используется для адаптации минимального порога порогового преобразования, применяемого к разности между локальным минимумом и локальным максимумом;

- области, содержащие слишком плотные карты пикселей, которые могут принадлежать небольшим или тонким объектам, удаляются из окончательной карты небольших или тонких объектов;

- принадлежность пикселя небольшому объекту определяется в соответствии с мерой подобия яркости или цвета пикселей значению яркости или цвета, образующих второй наибольший пик локальной гистограммы;

- карта небольших и тонких объектов создается путем объединения результатов алгоритма, выполненного с различными размерами локального окна.

Для реализации заявляемого способа разработана система обнаружения тонкого объекта на изображениях, включающая в себя: линейную память; преобразователь формата; блок анализа главных компонент; банк фильтров; блок фильтрации и блок принятия решения, где вход системы соединен с входом линейной памяти, выход линейной памяти соединен с входом преобразователя формата, выход преобразователя формата соединен с входом блока анализа главных компонент и с первым входом блока фильтрации, выход блока анализа главных компонент соединен с банком фильтров, выход банка фильтров соединен со вторым входом блока фильтрации, выход блока фильтрации соединен с входом блока принятия решения и выход блока принятия решения соединен с выходом системы.

В качестве альтернативы заявляется система обнаружения небольших объектов на изображении, включающая в себя линейную память, преобразователь формата, первый и второй блоки вычисления гистограммы, первый и второй анализаторы гистограммы и блок принятия решения, при этом вход системы соединен с входом линейной памяти; выход линейной памяти соединен с входом преобразователя формата; выход преобразователя формата соединен с входами первого и второго блоков вычисления гистограммы; выход первого блока вычисления гистограммы соединен с входом первого анализатора гистограммы; выход второго блока вычисления гистограммы соединен с входом второго анализатора гистограммы; выходы первого и второго анализаторов гистограммы соединены с входами устройства приятия решения; выход преобразователя формата соединен с входом блока принятия решения; выход блока принятия решения соединен с выходом системы.

В качестве варианта предлагается также система обнаружения тонких объектов на изображении, основанная на способе множественных масштабов и состоящая из линейной памяти, преобразователя формата, блоков обнаружения многочисленных тонких объектов и логического блока, при этом вход системы соединен с входом памяти линии; выход линейной памяти соединен с входом преобразователя формата; выход преобразователя формата соединен с входами всех блоков обнаружения тонких объектов; выходы блоков обнаружения тонких объектов соединены с входами логического блока, а выход логического блока соединен с выходами системы.

Кроме того, предлагается альтернативная система обнаружения небольших объектов на изображении, включающая в себя линейную память, преобразователь формата, блоки обнаружения многочисленных тонких объектов и логический блок, при этом вход системы соединен с входом линейной памяти; выход линейной памяти соединен с входом преобразователя формата; выход преобразователя формата соединен с входами всех блоков обнаружения небольших объектов; выходы блоков обнаружения небольших соединены с входами логического блока, а выход логического блока соединен с выходом системы.

Для тех случаев, когда необходимо обнаружить небольшие объекты на слаботекстурированном фоне изображения, разработан способ, заключающийся в осуществлении следующих операций:

- выполняют вычисление гистограммы значений яркости, принадлежащих меньшей окрестности, для каждого пикселя;

- обозначают пиксель, как не принадлежащий небольшому объекту, если гистограмма для данного пикселя имеет только один максимум;

- выполняют обнаружение первого и второго максимумов гистограммы, вычисленной для меньшей окрестности и соответствующих значений яркости;

- обозначают пиксель, как не принадлежащий небольшому объекту, если абсолютная разность между значениями яркости, соответствующими первому и второму максимумам гистограммы, вычисленной для меньшей окрестности, ниже заданного порога;

- обозначают пиксель, как не принадлежащий небольшому объекту, если абсолютная разница между значениями яркости данного пикселя и значения яркости, соответствующей второму максимуму гистограммы, рассчитанной для меньшей окрестности, больше, чем абсолютная разница между значением яркости данного пикселя и значением яркости, соответствующим первому максимуму гистограммы, рассчитанной для меньшей окрестности;

- выполняют вычисление гистограммы значений яркости внутри большей окрестности для каждого пикселя;

- выполняют нахождение первого и второго максимумов гистограммы, рассчитанной для большей окрестности и соответствующих значений яркости;

- обозначают пиксель, как принадлежащий небольшому объекту, если соотношение произведения первого максимума гистограммы, рассчитанной для большей окрестности, и второго максимума гистограммы, рассчитанной для меньшей окрестности, и произведение второго максимума гистограммы, рассчитанной для большей окрестности, и первого максимума гистограммы, рассчитанной для меньшей окрестности, больше, чем соотношение площадей большей и меньшей окрестностей, умноженное на некоторое постоянное значение (коэффициент).

Для лучшего понимания существа заявляемого изобретения далее приводится его детальное пояснение с привлечением графических материалов.

Фиг.1. Требования к предполагаемому полю вектора движения: 101 - гладкость в однородных областях, 102 - точность вблизи границ объекта, 103 - точность внутри небольших/тонких объектов, 104 - точность внутри небольших выступающих частей более крупных объектов.

Фиг.2. Уровень техники. 2.1 - оценка движения способом множественных сеток, 2.2 - оценка движения способом множественных масштабов.

Фиг.3. Уровень техники. Адаптивный размер блока Фиг.4. Уровень техники. Фильтрация векторов движения Фиг.5. Влияние размера блока на точность оценки движения для плоских областей; опорный кадр (5.1) с выделенными блоками меньшего и большего размеров; другой кадр (5.2), используемый для оценки движения; поверхность невязки, построенная в зависимости от горизонтального и вертикально движения, (5.3) - построенная для блоков меньшего размера и (5.4) - для блоков большего размеров.

Фиг.6. Влияние размера блока на точность оценки движения в области края объекта; опорный кадр (6.1) с выделенными блоками меньшего и большего размеров; другой кадр (6.2), используемый для оценки движения; невязки, построенная в зависимости от горизонтального и вертикально движения, (6.3) - построенная для блоков меньшего размера и (6.4) - для блоков большего размера; карта невязки с отмеченной точкой локального минимума для блоков меньшего (6.5) и большего (6.6) размеров.

Фиг.7. Влияние размера блока на точность оценки движения для малых (небольших) объектов; опорный кадр (7.1) и другой кадр (7.2), используемый для оценки движения; увеличенный фрагмент изображения, содержащий небольшой объект с выделенными блоками меньшего и большего размеров (7.3); поверхность невязки для блоков меньшего (7.4) и большего (7.5) размера; карта невязки с отмеченной точкой локального минимума для блоков меньшего (7.6) и большего (7.7) размеров.

Фиг.8. Сигнал 801 постоянной амплитуды с аддитивным шумом и импульсный сигнал 802 с таким же стандартным отклонением.

Фиг.9. Сигнал постоянной амплитуды с аддитивным шумом (9.1) и его сдвинутая копия (9.2).

Фиг.10. Импульсный сигнал (10.1) и его сдвинутая копия (10.2).

Фиг.11. Разность между постоянным зашумленным сигналом и его сдвинутой копией и разность импульсного сигнала и его сдвинутой копии при той же величине сдвига.

Фиг.12. Зависимость суммы абсолютных разностей исходного и сдвинутого сигналов от величины сдвига для постоянного зашумленного сигнала (1201) и импульсного сигнала (1202).

Фиг.13. Естественное изображение; фрагмент 1302 с тонкой линией имеет более низкое стандартное отклонение, чем фрагмент 1301 с высоким уровнем шума (облако).

Фиг.14. Блок-схема алгоритма обнаружения тонких объектов.

Фиг.15. Различие между областью, соответствующей границе объекта (вид 15.1) и тонкой линией (вид 15.2); направленные маски: внутренняя (вид 15.3) и внешняя (вид 15.4); пиксели границы объекта (вид 15.5) и пиксели тонкой линии (вид 15.6) во внутренней маске; пиксели границы объекта (вид 15.7) и пиксели тонкой линии (вид 15.8) во внешней маске.

Фиг.16. Различие между областью, соответствующей границе объекта и тонкой линией, направленная маска (вид 16.1) и ненаправленная маска (вид 16.2); пиксели границы объекта (вид 16.3) и тонкой линии (вид 16.4) внутри направленной маски; пиксели края изображения (вид 16.5) и тонкой линии (вид 16.6) внутри ненаправленной маски.

Фиг.17. Маски для обнаружения линий различной толщины.

Фиг.18. Блок-схема алгоритма обнаружения небольших изолированных объектов.

Фиг.19. Локальный анализ гистограммы для обнаружения небольших изолированных объектов, небольшая маска (вид 19.1), окружающая изолированный объект, и гистограмма (вид 19.2) значений яркости в этой маске; большая маска (вид 19.3), окружающая изолированный объект, и гистограмма (вид 19.4) значения яркости внутри этой маски.

Фиг.20. Проверка того, окружена ли область, в которой предполагается наличие небольшого объекта, со всех четырех сторон другими областями, в которых не предполагается наличие небольшого объекта.

Фиг.21. Маски для обнаружения небольших объектов разных размеров на слаботекстурированном фоне.

Фиг.22. Система обнаружения тонких объектов.

Фиг.23. Система обнаружения мелких объектов.

Фиг.24. Система обнаружения тонких объектов (пример использования трех масштабов).

Фиг.25. Система обнаружения небольших объектов (пример применения трех масштабов).

Фиг.26. Обнаружение тонких объектов: исходное изображение (вид 26.1) и результаты (вид 26.2) обнаружения.

Фиг.27. Обнаружение небольших объектов: исходное изображение (вид 27.1) и результаты (вид 27.2) обнаружения.

Фиг.28. Блок-схема предпочтительного варианта осуществления способа обнаружения тонких объектов.

Фиг.29. Возможные направления границы объекта.

Фиг.30. Банк направленных масок, соответствующих направлениям границы объекта 0-7.

Фиг.31. Внутренние и внешние направленные маски, соответствующие направлениям границы объекта 0-7.

Фиг.32. Блок-схема предпочтительного варианта реализации способа обнаружения небольших объектов.

Фиг.33. Блок-схема возможного применения способа обнаружения небольших и тонких объектов для улучшения качества оценки движения.

Способ обнаружения тонких объектов в видеокадрах включает в себя следующие этапы, примененные для каждого пикселя, как показано на Фиг.14:

- выделяют (шаг 1401) окрестность пикселей вокруг данного пикселя;

- оценивают (шаг 1402) преобладающее направление текстуры D;

- определяют (шаг 1403) направление D^⊥ _, ортогональное преобладающему направлению текстуры D;

- формируют (шаг 1404) набор направленных масок MF_i (полная направленная маска) с ориентацией, совпадающей с направлением D^⊥;

- формируют (шаг 1405) набор направленных масок ME_i (внешняя направленная маска) при помощи обнуления одного или нескольких центральных пикселей маски MF_i,

- формируют (шаг 1406) набор направленных масок MI_i (внутренняя направленная маска) при помощи обнуления одного или нескольких периферийных пикселей маски MF_i;

- вычисляют (шаг 1407) локальный минимум B F i m i n и максимум B F i m a x для значений яркости пикселей внутри каждой из масок MF_i,

- вычисляют (шаг 1408) стандартное отклонение SE_i значений яркости пикселей внутри каждой маски ME_i;

- вычисляют (шаг 1409) стандартное отклонение SI_i значений яркости пикселей внутри каждой маски MI_i;

вычисляют (шаг 1410) стандартное отклонение S значений яркости пикселей внутри ненаправленной маски вокруг данного пикселя;

- вычисляют (шаг 1411) среднее значение B_A значений яркости пикселей внутри ненаправленной маски вокруг данного пикселя;

- применяют (шаг 1412) правила решения для выявления принадлежит ли данный пиксель тонкому длинному объекту.

Главная идея данного способа основана на следующих наблюдениях:

- в случае тонких линий и границ объектов, в отличие от слаботекстурированных зашумленных участков фона, текстура является направленной;

- в случае тонких линий и границ объектов, в отличие от слаботекстурированных зашумленных участков фона, различие между локальным минимумом и максимум относительно высокое;

- в случае тонких линий и границ объектов, в отличие от слаботекстурированных зашумленных участков фона, локальное стандартное отклонение достат