Способ ускорения осуществления операции детектирования и распознавания объектов на изображении

Способ ускорения осуществления операции детектирования и распознавания объектов на изображении

Иллюстрации

Показать все

Реферат

Изобретение относится к системам автоматического поиска объектов на изображениях. Детектирование и распознавание объектов на изображении является сложной и ресурсоемкой вычислительной задачей. Поэтому задача ускорения детектирования и распознавания объектов на изображении является актуальной.

Известен способ быстрого обнаружения объекта интереса (US 2015235105 А1, 20.08.2015), который включает определение области объекта интереса для изображения с помощью обучающих изображений. Недостатком такого способа является необходимость заранее иметь набор обучающих изображений, что исключает задачу распознавания объектов.

Наиболее близким аналогом может служить способ обнаружения области интереса (US 2016162746 А1, 09.06.2016), в котором делят кадр на множество субрегионов, выделяют характеристический знак каждого субрегиона среди множества субрегионов, проверяют, принадлежит ли характеристический знак изображению, и на основе этого определяют данный субрегион как область интереса. Недостатком такого способа является необходимость проверки всех субрегионов, что поднимает требования к вычислимым ресурсам.

Техническая задача заявляемого изобретения состоит в разработке нового способа детектирования и распознавания объектов.

Технический результат, получаемый при реализации способа, состоит в обеспечении возможности быстрого построения списка областей поиска объекта на изображении и бинарной маски области интереса ROI, которая определяет область поиска объектов на изображении. Данный способ позволяет многократно сократить вычислительную ресурсоемкость алгоритмов поиска и распознавания объектов.

Настоящее изобретение использует возможность провести предварительные вычисления меньшей сложности, для получения описания области поиска и бинарной маски области интереса (ROI - region of interest). Рассчитанная область поиска и маска области интереса, как правило, имеют площадь, существенно меньшую, чем исходное изображение, что позволяет сократить вычисления при дальнейшем проведении детектирования и распознавания объектов на изображении.

В предлагаемом способе это достигается путем проведения следующей последовательности действий (Фиг. 1):

1) быстрая сегментация изображения. Полученные сегменты после фильтрации по определенным правилам описываются дескрипторами, формируется список дескрипторов, соответствующий списку сегментов - первичных регионов;

2) иерархическая итерационная процедура фильтрации и композиции регионов. На основе указанного выше списка дескрипторов регионов строится выходной список дескрипторов регионов;

3) построение списка областей поиска и бинарной маски ROI.

Описываемый способ может быть применен как и для многоканальных изображений, так и для одноканальных изображений различной разрядности.

На первом этапе изображение подвергается сегментации, для получаемых сегментов формируется список дескрипторов первичных регионов на основе параметров эллипсов рассеяния найденных сегментов. Сегментация изображения с одновременным расчетом параметров эллипса рассеяния сегмента производится быстрым однопроходным методом, который основан на вычислении функции близости кодов значений интенсивности соседних пикселей. Для этого используются кодировки значений интенсивности

F(Code(I(x), Code(I(y)))

где x, y - координаты соседних пикселей, I - интенсивность пикселя, Code - функция кодировки интенсивности, формирующая код интенсивности, F - функция близости кодов интенсивностей, формирующая булево значение: истина - коды близки, ложь - коды далеки.

В зависимости от специфики исходной задачи применятся различные функции близости кодов интенсивностей и функции кодировки интенсивностей. Например, функция близости кодов интенсивностей может выполнять сравнение этих кодов.

Параметры эллипсов рассеяния рассчитываются при помощи вычисления первых моментов и вторых центральных моментов сегмента. Малые сегменты при расчетах отбрасываются, что позволяет существенно сократить число первичных регионов. Дескриптор региона содержит как минимум следующую информацию:

- координаты центра сегмента;

- число пикселей;

- размеры полуосей эллипса рассеяния;

- угол наклона главной оси эллипса.

Вычисление эллипсов рассеяния - сжатых представлений входных сегментов. Пусть С - матрица вторых центральных моментов, вычисленная по всем пикселям сегмента

где

Центр эллипса рассеяния задается формулой 2. Большая а и малая b полуоси эллипса, а также его ориентация - угол Θ между большой полуосью и положительным направлением оси ОХ в системе координат входного изображения, - вычисляются по следующим формулам:

где

На втором этапе проводится иерархическая итерационная процедура фильтрации и композиции регионов, основанная на анализе их дескрипторов и строится выходной набор дескрипторов регионов.

В итеративной процедуре фильтрации и объединения на каждом шаге просматриваются все дескрипторы регионов из списка и для каждого подбирается наиболее подходящий по оценке формируемой моделью согласования дескрипторов, не просмотренных на данном шаге (Фиг. 2). На каждом шаге итерации используется своя модель согласования дескрипторов. Если наилучшая оценка согласования превышает заданный порог, то в выходной список помещается дескриптор, описывающий композицию регионов, связанных текущим дескриптором и найденным подходящим дескриптором, иначе текущий дескриптор записывается в выходной список при выполнении заданного условия сохранения, которое меняется для каждого шага процедуры. Для последующих шагов процедуры входным списком дескрипторов регионов является выходной список, полученный на предыдущем шаге. Полученный на последнем шаге набор дескрипторов регионов является выходным для описываемой процедуры. Применяются различные модели согласования дескрипторов в зависимости от специфики задачи.

На третьем этапе по полученному набору дескрипторов формируются список областей поиска и бинарная маска области интереса - ROI, которая определяет область поиска объектов.

Выходной список последнего шага процедуры формирует список дескрипторов, по которым строится список областей поиска объектов и бинарная маска ROI. Построение маски ROI производится путем отрисовки эллипсов, соответствующих дескрипторам в выходном списке регионов. Пример построения бинарной маски показан на Фиг. 3. При отрисовке эллипсов выбирается выходное разрешение, аддитивное и мультипликативное расширение эллипсов.

Заявленный способ может быть использован, например, при поиске объектов - транспортных средств на автодорогах. В этом случае предложенный способ может быть использован дважды: для ROI, содержащего дорогу, и для поиска ROI, содержащего прямоугольные объекты.

Способ построения списка областей поиска объекта на изображении и бинарной маски области интереса ROI, которая определяет область поиска объектов на изображении, включающий в себя выполнение следующих операций:

- выполняют быструю сегментацию изображения с построением списка первичных регионов,

- полученные первичные регионы после фильтрации описывают дескрипторами по определенным правилам,

- формируют список дескрипторов первичных регионов,

- выполняют построение списка областей поиска и бинарной маски области интереса, отличающийся тем, что перед построением списка областей поиска и бинарной маски региона интереса на основе сформированного списка дескрипторов первичных регионов выполняют иерархическую итерационную процедуру фильтрации и композиции регионов и формируют выходной список дескрипторов регионов, причем сегментацию изображения производят с одновременным расчетом параметров эллипса рассеяния первичного региона быстрым однопроходным методом, который основан на вычислении функции близости кодов значений интенсивности соседних пикселей, для чего используют кодировки значений интенсивности

F(Code(I(x)),Code(I(y))),

где x, y - координаты соседних пикселей, I - интенсивность пикселя, Code - функция кодировки интенсивности, формирующая код интенсивности, F - функция близости кодов интенсивностей, формирующая булево значение: истина - коды близки, ложь - коды далеки, список дескрипторов первичных регионов в составе координаты центра первичного региона, числа пикселей, размеров полуосей эллипса рассеяния, угла наклона главной оси эллипса формируют на основе параметров эллипсов рассеяния первичных регионов, параметры эллипсов рассеяния рассчитывают при помощи вычисления первых моментов и вторых центральных моментов первичного региона по формулам

э

где a - большая и b - малая полуоси эллипса, Θ - угол между большой полуосью и положительным направлением оси 0Х в системе координат входного изображения,

c_ij - элементы матрицы вторых центральных моментов, рассчитываемая как

где - координаты центра сегмента

в итерационной процедуре фильтрации и объединения на каждом шаге используют разные модели согласования дескрипторов, просматривают все дескрипторы регионов из списка и для каждого региона в соответствии с моделью согласования данного шага подбирают наиболее подходящий по оценке согласования дескриптор, при превышении наилучшей оценки согласования заданного порога в выходной список дескрипторов регионов помещают дескриптор, описывающий композицию регионов, соответствующих текущему дескриптору и найденному подходящему дескриптору, иначе в выходной список дескрипторов записывают текущий дескриптор, процедуру фильтрации и объединения повторяют для всех заданных моделей согласования дескрипторов, построение бинарной маски области интереса производят путем отрисовки эллипсов, соответствующих дескрипторам в выходном списке регионов.