Способ обработки последовательности изображений для распознавания воздушных объектов

Способ обработки последовательности изображений для распознавания воздушных объектов

Иллюстрации

Показать все

Реферат

Изобретение относится к области цифровой обработки изображений и может быть использовано в охранных системах, системах мониторинга и контроля воздушного движения, оптикоэлектронных системах сопровождения объектов и др.

Известен способ и устройство для распознавания изображений объектов [Пат. РФ №2361273, опубл. 10.09.2009], в котором для распознавания используется трехмерная векторная модель эталона объекта. Для трехмерных моделей генерируют множество двухмерных изображений объекта под разными ракурсами, которые характеризуются набором параметров аффинных преобразований: углами поворота по осям x, y, z и масштабом. Количество данных изображений зависит от сложности модели: чем сложнее форма объекта, тем большее количество ракурсов необходимо для точного распознавания объектов. Полученные изображения кодируются 25-битным кодом. Для этого разбивают изображение на 25 равных областей. В том случае, если в области присутствует часть изображения объекта, то ее помечают единицей, в противном случае нулем. Из полученных таким образом бинарных комбинаций формируют базу данных, которая используется для распознавания. Наблюдаемое изображение объекта аналогичным образом подвергают кодированию. При этом перед кодированием в каждом из 25 блоков необходимо отделить на изображении объект от фона. Из базы данных выбирают комбинацию, наиболее похожую на кодированное представление наблюдаемого изображения. Для данной комбинации по соответствующему набору параметров для аффинных преобразований воспроизводится двумерное изображение модели объекта. Данное изображение модели и наблюдаемое изображение объекта сравнивается попиксельно посредством нейросети типа персептрон, которая принимает решение о схожести.

Недостаток данного способа заключается в том, что он является чувствительным к формированию бинарных комбинаций. Ошибки в разделении фона и объекта при анализе частей наблюдаемого изображения будут приводить к формированию ошибочных бинарных комбинаций, что, в свою очередь, будет негативно влиять на точность распознавания.

Известен способ Object recognition system and process for identifying people and objects in an image of a scene [пат. США № US 20050089223, опубл. 28.05.2016], заключающийся в том, что распознавание осуществляется за счет сравнения гистограммы наблюдаемого изображения с эталонными гистограммами из базы данных. На первом этапе создают гистограммы, соответствующие изображениям людей и объектов из эталонной базы. На втором этапе наблюдаемое изображение сегментируется для выделения областей, которые, вероятно, соответствуют людям и объектам. Для каждой области вычисляются гистограммы. Затем для них рассчитывается мера сходства с гистограммами из базы данных. При превышении мерой сходства порога принимается решение об отнесении области к одному из классов.

Недостатком данного способа является то, что для одного и того же объекта при разной освещенности будут сформированы разные гистограммы, т.е. результат распознавания объектов зависит от условий наблюдения. Также при использовании гистограмм для распознавания объектов не используется информации о форме объекта. Данный способ распознавания может давать хорошие результаты только при условии статистического различия точек фона и объекта.

Наиболее близким к заявляемому способу является выбранный в качестве прототипа способ компьютерного распознавания объектов [Пат. РФ №2250499, опубл. 20.04.2005].

Изобретение относится к автоматике и вычислительной технике. Его применение в системах искусственного интеллекта позволяет получить технический результат в виде сокращения времени распознавания за счет сокращения области распознавания. Распознавание согласно данному способу заключается в сравнении текущего изображения объекта с шаблоном. Для этого используется подход на основе алгоритма сопоставления, использующего для сравнения нормированную корреляционную функцию. Согласно алгоритму осуществляется попиксельное сравнение двух изображений. В шаблоне и текущем изображении помимо точек, принадлежащих объекту, присутствуют точки, принадлежащие фону. В рассматриваемом способе для уменьшения числа рассматриваемых точек предлагается исключить из рассмотрения точки фона. Для получения изображения объекта выделяют его границы на текущем изображении. После чего осуществляется виртуальный охват опорных точек контура объекта округлой фигурой, все точки которой сближают с точками контура обрабатываемого изображения объекта. Сближение выполняется до тех пор, пока одни точки фигуры не совпадут с точками контура объекта, а другие ее точки не образуют сплошную границу между двумя близлежащими точками контура объекта, замыкая, таким образом, полностью его контур с получением контура объекта, максимально приближенного к реальному.

После получения контура распознаваемого объекта его изображение центрируют, вписывают в прямоугольник, удаляют фон на площади между обработанным контуром изображения и прямоугольником, накладывают шаблоны на область изображения, ограниченную обработанным замкнутым контуром, сравнивают их и распознают.

Можно выделить несколько недостатков прототипа. Во-первых, способ обладает низкой скоростью работы, так как производится полный перебор базы эталонов, представленной изображениями объектов (шаблонами). Во-вторых, для сравнения текущего изображения с шаблонами используется корреляционная обработка с нормированной функцией, которая является вычислительно сложной, что также приводит к низкой скорости работы. В-третьих, предлагаемый в прототипе способ не обеспечивает инвариантность к повороту и изменению масштаба изображения наблюдаемого объекта, что приводит к уменьшению частоты правильного распознавания.

Технический результат, на достижение которого направлено заявляемое изобретение, состоит в обеспечении инвариантности распознавания к преобразованиям сдвига, поворота и масштаба, а также в повышении частоты правильного распознавания воздушных объектов.

Технический результат достигается тем, что заявляемый способ распознавания воздушных объектов по их двумерному изображению позволяет определить принадлежность объекта к одному из заданных классов воздушных объектов (самолеты, вертолеты, беспилотные летательные аппараты) на основе описания изображения объекта с помощью дескрипторов внешнего контура.

Способ обработки последовательности изображений для распознавания воздушного объекта состоит из предварительного этапа и этапа принятия решения. На предварительном этапе происходит расчет дескрипторов внешнего контура эталонных изображений, сформированных на основе 3D-моделей вертолетов, самолетов и беспилотных летательных аппаратов. На этапе принятия решения для определения класса объекта выбирается дескриптор эталонного изображения, который в наибольшей степени соответствует дескриптору наблюдаемого изображения. На предварительном этапе выполняются наиболее трудоемкие операции и формируется база эталонных дескрипторов. На этапе принятия решения осуществляется сопоставление дескриптора наблюдаемого объекта со всеми дескрипторами эталонных объектов, т.е. непосредственно определяется класс объекта в режиме реального времени.

Предлагаемый способ обработки последовательности изображений для распознавания воздушных объектов включает в себя выполнение следующих действий.

1. На основе 3D-моделей вертолетов, самолетов и беспилотных летательных аппаратов генерируются эталонные бинарные изображения воздушных объектов, достаточно полно охватывающие все возможные ориентации объектов. Для получения такого набора изображений объект интереса необходимо разместить в центре сферы и сгенерировать его изображения из точек, равномерно распределенных на этой сфере [Алпатов Б.А., Бабаян П.В., Масленников Е.А. Алгоритмы оценивания ориентации объекта по его двумерному изображению в бортовых системах видеослежения // Вестник Рязанского государственного радиотехнического университета. - Рязань, 2013. - №3. - С. 3-8].

2. После генерации эталонного бинарного изображения первой 3D-модели объекта на нем выделяются точки внешнего контура и переводятся в полярную систему координат с началом координат в центре масс бинарного изображения объекта. Далее для точек внешнего контура применяется линейная интерполяция и осуществляется медианная фильтрация окном [1×5], в результате чего формируется дискретный дескриптор. Данное действие выполняется для всех бинарных изображений данной 3D-модели объекта.

3. Далее осуществляется нормирование дескрипторов внешнего контура первой 3D-модели. Введение нормировки дескриптора позволяет получить инвариантность способа распознавания к масштабу объекта (расстоянию от объекта-наблюдателя до исследуемого объекта в момент распознавания).

4. После получения дескриптора внешнего контура для первой 3D-модели действия 2-3 выполняются для всех остальных 3D-моделей объектов. Таким образом, создается база эталонных дескрипторов изображений. В данной базе каждому дескриптору внешнего контура поставлен в соответствие класс воздушного объекта (самолет, вертолет, беспилотный летательный аппарат).

Действия 1-4 относятся к предварительному этапу.

5. Производится прием и аналого-цифровое преобразование сигнала изображения каждого кадра наблюдаемой последовательности. Результат аналого-цифрового преобразования изображения каждого кадра имеет вид матрицы чисел , , , где I и J - размеры оцифрованного изображения в элементах разрешения (пикселях), n=1, 2, 3, … - номер кадра. Каждый элемент матрицы является результатом квантования яркости соответствующей точки наблюдаемой сцены.

6. Выполняется обнаружение воздушного объекта алгоритмом на основе пространственной фильтрации, известным из [Пат. РФ №2419150, опубл. 20.05.2011]. Данный алгоритм определяет местоположение объекта в кадре и формирует бинарное изображение воздушного объекта.

7. Далее на полученном бинарном изображении воздушного объекта выделяются точки внешнего контура и переводятся в полярную систему координат с началом координат в центре масс бинарного изображения объекта. Далее для точек внешнего контура применяется линейная интерполяция и осуществляется медианная фильтрация окном [1×5], в результате чего формируется дискретный дескриптор.

8. Далее осуществляется нормирование дескрипторов внешнего контура.

9. Определяется различие нормированного дескриптора наблюдаемого изображения с нормированными дескрипторами эталонных изображений по формуле:

где D₀ - дескриптор наблюдаемого изображения, D_j - дескриптор текущего эталонного изображения, N_D - размер дескриптора, i - индекс элемента дескриптора, j - индекс эталонного дескриптора, s - величина циклического сдвига дескриптора.

Инвариантность данного дескриптора к повороту изображения достигается циклическим сдвигом дескриптора в процессе сопоставления дескриптора наблюдаемого изображения с дескрипторами эталонных изображений.

10. Формируется вектор, характеризующий степень соответствия наблюдаемого воздушного объекта n-му объекту из базы эталонов:

,

где N_g - количество эталонных бинарных изображений, сформированных для 3D-моделей воздушных объектов.

11. Определяется эталонный дескриптор с наименьшей метрикой из вектора М:

12. Полученное минимальное значение метрики R_k сравнивается с пороговым значением. Если минимальное значение метрики R_k больше порогового значения, то принимается решение о том, что объект не распознан. В противном случае принимается решение, что класс наблюдаемого воздушного объекта соответствует классу эталонного дескриптора с наименьшей метрикой R_k.

Действия 5-12 относятся к этапу принятия решения.

Таким образом, отличия заявляемого способа от прототипа состоят в следующем:

1. Использование 3D-моделей для формирования базы данных воздушных объектов.

2. Формирование эталонного набора бинарных изображений, охватывающего все возможные ориентации объекта с заданной дискретностью за счет размещения его 3D-модели в центре сферы.

3. Описание изображений воздушных объектов при помощи дескрипторов внешнего контура, инвариантных к изменению масштаба, сдвигу, а также к повороту объекта вокруг оптической оси системы наблюдения.

Способ обработки последовательности изображении для распознавания воздушных объектов, включающий предварительный этап, заключающийся в генерации на основе 3D-моделей эталонных бинарных изображений воздушных объектов, в формировании эталонных дескрипторов внешнего контура для этих изображений, в нормировании дескрипторов внешнего контура, в создании базы эталонных дескрипторов внешнего контура, которая в дальнейшем используется при распознавании наблюдаемого воздушного объекта, и этап принятия решения, заключающийся в принятии и аналого-цифровом преобразовании сигнала изображения каждого кадра, в обнаружении наблюдаемого объекта в кадре и формировании его бинарного изображения, в формировании дескриптора внешнего контура, в нормировании дескриптора внешнего контура, в определении различия нормированного дескриптора наблюдаемого изображения с нормированными дескрипторами эталонных изображений, в определении эталонного дескриптора с наименьшей мерой отличия, в принятии решения о классе наблюдаемого воздушного объекта.