Способ и система для распознавания лица с учетом списка людей, не подлежащих проверке

Способ и система для распознавания лица с учетом списка людей, не подлежащих проверке

Иллюстрации

Показать все

Реферат

Изобретение относится к биометрическим системам идентификации личности по изображению лица человека и может быть использовано для распознавания личности в условиях неравномерного освещения и для широкого диапазона углов поворота лица на изображении.

Проблема распознавания человека по изображениям его лиц является актуальной на протяжении последних нескольких десятилетий. Системы идентификации изображений лица человека основаны на сравнении известной модели (или представления) лица конкретного человека с аналогичной моделью, полученной по входному анализируемому изображению. Еще совсем недавно большинство подобных систем требовали, чтобы сравниваемые изображения были фронтальными представлениями лица человека, полученными в условиях контролируемого освещения. Такие требования существенно ограничивали области практического применения систем распознавания. В настоящее время предложен ряд подходов к решению проблемы.

В патенте США №7142697 «Pose-invariant face recognition system and process» [l] описан способ распознавания лиц, основанный на построении отдельных классификаторов для каждого ракурса лица. Решение об идентификации принимается после объединения результатов данных классификаторов. Кодирование изображений распознаваемых лиц осуществляется при помощи метода главных компонент (МГК, в англоязычной литературе - principal component analysis, PCA), который является одним из наиболее распространенных методов факторного анализа. В качестве базовых классификаторов используются нейронные сети, входами для которых являются вектора РСА, а выходы кодируют меру близости до каждого из зарегистрированных классов. Для объединения полученных результатов также применяется нейронная сеть, на вход которой поступают меры близости от всех классификаторов первого уровня, а выходы кодируют класс идентифицированного объекта и ракурс представленного на исходном изображении лица. Таким образом, данное изобретение позволяет проводить распознавание в широком диапазоне углов поворота лица. Кроме этого метод адаптируется к конкретным зарегистрированным персонам.

В патенте США №7203346 «Face recognition method and apparatus using component based face descriptor» [2] предлагается алгоритм распознавания лиц, в основе которого лежит метод сравнения изображений двух лиц, вычисляющий набор мер близости по отдельным регионам изображения лица (например, глаза, рот, нос, лоб и т.п.). Каждой из вычисленных мер приписывается заранее вычисленный вес, после чего формируется окончательная мера схожести двух изображений. Кроме этого предварительно вычисляется оценка ракурса изображенного лица, для чего применяется метод линейного дискриминантного анализа (Linear Discriminate Analysis, LDA), a полученная информация используется в методе сравнения двух лиц. Кодирование изображений фрагментов лица осуществляется посредством метода LDA. Предложенный метод эффективен в условиях сложного освещения и при распознавании нефронтально расположенных лиц.

Наиболее близким к заявляемому изобретению является решение, описанное в патенте США №7031499 "Object recognition system" [3], где представлен способ, который позволяет производить распознавание лиц на основе набора фильтров и метода усиления простых классификаторов, на основе которых осуществляется построение каскада классификаторов, при этом выполняется адаптивная подстройка весов элементов данного каскада. Выбор фильтров можно осуществлять непосредственно для конкретных зарегистрированных пользователей.

В патенте США №6826300 "Feature based classification" [4] представлен способ определения меры близости изображения с эталонным. При этом используется избыточное представление черт изображения лица на основе базиса вейвлетов Габора. Используется метод выбора главных эффективных черт изображения лица на основе метода главных компонент и линейного дискриминантного анализа и вычисляется мера близости согласно одной из метрик Махалонобиса и косинусной метрики.

В докладе Q.Yang, X.Ding. Using Competitive Prototypes for the Verification on Unspecific Persons. Proceedings 6th Asian Conference on Computer Vision ACCV2004, р.55-60 работе [5] предлагается проводить верификацию, основываясь не только на мере схожести представлений тестового и зарегистрированного лиц, но и сравнивая тестовый пример с множеством незарегистрированных лиц. Таким образом, организуется своеобразное соревнование, к какому из классов «зарегистрированному» или «незарегистрированному» тестовый объект находится ближе. В результате разделяющая кривая более точно описывает классы, подлежащие верификации, тем самым снижается вероятность возникновения ложного распознавания.

В докладе P.Wang, L.C.Tram, Q.Ji. Improving Face Recognition by Online Image Alignment. Proceedings of the 18^th International Conference on Pattern Recognition (ICPR'06), 2006 [6] представлен способ предварительной оценки правильности выполненного распознавания через сравнение верифицирующей меры и мер сходства между данным тестовым примером и другими зарегистрированными классами. Таким образом, в случаях, когда тестовый пример «близок» к нескольким классам одновременно, результирующая оценка правильности будет низкой. В рамках подходов [5, 6] вместо проблемы выбора подходящей меры сходства, характерной для задач верификации, фактически рассматривается задача классификации с двумя классами, тем самым значительно повышается эффективность всей распознающей системы. Задача, на решение которой направлено заявляемое изобретение, состоит в том, чтобы разработать более совершенный способ и систему для распознавания (identification) обрабатываемых изображений лиц конкретных персон.

Технический результат достигается за счет создания нового способа и системы, в которых распознавание осуществляют с использованием классов «отрицательных» лиц, т.е. тех, которые не принимаются во внимание при проверке. При этом одной из основных проблем, возникающих в рамках этого подхода, является выбор множества таких отрицательных лиц: оно должно быть репрезентативно, чтобы способствовать эффективному разделению верифицируемых классов. Заявляемый способ предусматривает выполнение следующих операций:

- формируют галерею изображений «отрицательных» лиц - тех людей, которые не подлежат проверке;

- формируют галерею известных персон с преобразованием изображения лица во внутреннее представление, принятое для алгоритмов распознавания, реализованных в способе;

- детектируют лицо человека на входном изображении;

- осуществляют подготовку сегментированного региона, содержащего лицо, к проведению распознавания путем нормализации положения лица в соответствии с позицией глаз, масштабирования к заданным размерам, нормализации интенсивности;

- выполняют базовые алгоритмы распознавания лиц, способные вычислять меры схожести двух изображений;

- выбирают подмножество «отрицательных» лиц, на основе которого определяют выбор нового алгоритма распознавания;

- формируют новый алгоритм распознавания на основе преобразования мер близости базового алгоритма с учетом сформированной галереи «отрицательных» лиц;

- выполняют классификацию по множеству зарегистрированных изображений.

Основными отличительными признаками заявляемого способа являются:

- высокоточное распознавание лица человека в условиях помех, теней, при наличии внешних дополнительных объектов (например, очков);

- идентификация лица по целевому списку (списку подозрительных лиц).

Заявляемое изобретение предполагает применение ряда новых технологий, обеспечивающих эффективное решение поставленных задач, а именно:

- повышение эффективности методов распознавания изображений лиц путем усиления и автоматической точной настройки существующих алгоритмов распознавания.

При реализации заявляемого изобретения важно учесть, что выбор подмножества «отрицательных» лиц заключается в поиске набора лиц из заданного множества, на котором функционал качества достигает своего максимума на изображениях лиц из обучающей выборки

При реализации заявляемого изобретения важно учесть, что в основе функционала качества, подлежащего оптимизации, лежат меры близости входного изображения лица с заданным лицом, а также с выбранными «отрицательными» лицами, вычисленные с использованием базовых алгоритмов распознавания.

При реализации заявляемого изобретения важно учесть, что способ выбора подмножества «отрицательных» лиц заключается в проведении кластеризации векторов, составленных из значений близости между изображениями из обучающей выборки и изображениями «отрицательных» лиц, вычисленных при помощи базовых алгоритмов распознавания, с последующим назначением одного из найденных кластеров в качестве искомого подмножества.

При реализации заявляемого изобретения важно учесть, что новый алгоритм распознавания конструируется на основе базовых мер близости, вычисленных для входного и заданного лиц, а также для входного и каждого лица из выбранного подмножества «отрицательных» лиц.

При реализации заявляемого изобретения важно учесть, что новый алгоритм распознавания конструируется путем объединения базовых мер близости и новых мер близости, вычисленных с использованием «отрицательных» лиц.

Что касается устройства для распознавания лица на изображении, то оно включает в себя:

- блок хранения галереи изображений «отрицательных» лиц, т.е. тех людей, которые никогда не будут подвергаться проверке с помощью заявляемого способа;

- блок преобразования галереи известных персон, преобразующий изображения лица во внутреннее представление, принятое для алгоритмов распознавания, реализованных в системе;

- блок детектирования лица человека на входном изображении;

- блок подготовки сегментированного региона, содержащего лицо, к проведению распознавания путем нормализации положения лица в соответствии с позицией глаз, масштабирование к заданным размерам, нормализация интенсивности;

- блок реализации базовых алгоритмов распознавания лиц, выполненный с возможностью вычисления меры схожести двух изображений;

- блок выбора подмножества «отрицательных» лиц, на основе которого автоматически конструируется новый алгоритм распознавания;

- блок конструирования нового алгоритма распознавания на основе преобразования мер близости базового алгоритма с учетом выбранной галереи «отрицательных» лиц;

- блок распознавания, выполненный с возможностью сравнения входного изображения с заданным или проведения классификации по множеству зарегистрированных изображений, путем применения алгоритма классификации.

При этом важно, чтобы блок выбора подмножества «отрицательных» лиц был выполнен с возможностью осуществления поиска набора лиц из заданного множества, на котором функционал качества достигает своего максимума на изображениях лиц из обучающей выборки.

Существо заявляемого изобретения поясняется далее с привлечением графических материалов.

На Фиг.1 представлена обобщенная схема функционирования системы распознавания.

На Фиг.2 представлена общая схема работы генетического алгоритма.

Фиг.3 демонстрирует результаты тестирования в режиме верификации отдельных мер близости.

Фиг.4 представляет сравнительные результаты тестирования в режиме верификации объединенных мер близости.

На Фиг.1 приведена общая схема способа функционирования системы распознавания лиц, предлагаемой в данном изобретении. На первом этапе выполняют подготовку галереи известных персон. Данная галерея содержит лица людей, которые должны быть известны системе. Каждое изображение человека из галереи преобразуют в специальное представление, соответствующее методам распознавания, реализованным в системе. Такими представлениями могут быть, например, вектор главных компонент, построенных по изображению лица, граф, в вершинах которого находятся особенные точки лица (уголки глаз и рта, крылья и кончик носа и т.п.). К выбранному представлению затем преобразовывают каждое входное изображение перед проведением классификации.

На следующем этапе выполняют обнаружение лица на изображении, представляющем одного из людей, находящихся в галереи. Для этого может быть использован любой алгоритм детектирования лица. В самом простом случае координаты лица могут быть заданы пользователем. Далее осуществляют сегментацию обнаруженного региона, после чего выполняют его предобработку. В общем случае данный этап включает в себя нормализацию, масштабирование региона, выравнивание его, например, в соответствии с положением глаз и т.п. Целью предобработки является уменьшения влияния условий съемки (например, освещения), в которых были получены анализируемые изображения, а также ракурса и ориентации представленных лиц на качество распознавания. Последние этапы выполняют для каждого изображения, формирующего обучающую выборку.

Следующий блок осуществляет аналогичные действия по обнаружению, сегментации и предобработке для изображений, содержащих лица людей, которые никогда не будут проверяться системой. Назовем их «отрицательными» персонами. Подобное множество можно построить, например, путем искусственной генерации изображения лица из двух или более лиц реальных людей. Для получения количественной оценки степени похожести тестового и известного лица используется мера схожести, оперирующая выбранным представлением изображения лица.

В качестве такой меры может служить, например, расстояние Махаланобиса. «Отрицательные» лица формируют второй класс объектов в задаче классификации, возникающей при проведении сравнения тестового лица с известным лицом [5]. Мера схожести тестового и известного лиц сравнивается с мерой схожести тестового лица и множеством «отрицательных» лиц, вычисленных по той же метрике.

Множество «отрицательных» лиц изначально является достаточно большим, вследствие чего меры сходства, получаемые в результате его использования, могут неэффективно классифицировать тестовые лица. Возникает проблема выбора подмножества «отрицательных» лиц. Данную задачу решает следующий блок общей схемы функционирования системы распознавания лиц.

На следующем этапе выполняется построение конечного правила распознавания. В общем случае для повышения устойчивости в системе классификации могут быть реализованы несколько мер схожести. Тогда подмножества «отрицательных» лиц следует выбирать для каждой метрики отдельно. В результате для каждой пары сравниваемых изображений имеется набор значений их близости для «базовых» мер и соответствующие значения, полученные с учетом выбранных «отрицательных» примеров. Окончательное решение принимается на основе анализа результата объединения данных значений. Для этих целей могут быть использованы, например, ранговые методы на основе голосования, линейные - на основе AdaBoost, нелинейные с применением SVM и т.п.

После этого этапа система распознавания является настроенной и готова к обработке тестовых изображений.

В режиме функционирования на вход системы поступает изображение, содержащее лицо человека, которого необходимо распознать. В этом случае задачей системы является проведение идентификации лица на входном изображении, т.е. определение принадлежит ли оно кому-либо из галереи известных персон, и если да, то кому именно. Для этого выполняется серия сравнений входного лица с каждым лицом из галереи и принимается решение, к какому из них оно ближе в соответствии с построенным правилом распознавания. Кроме тестового, на вход также может быть подано второе изображение, тогда задачей системы является оценить похожесть двух лиц, т.е. принадлежат ли они одному и тому же человеку. Для этих целей система выполняет аналогичные действия по обнаружению, сегментации и предобработке тестового изображения и, если необходимо, второго входного изображения. После чего проводит классификацию при помощи построенного ранее правила распознавания.

Рассмотрим общие принципы построения и настройки метрик, применяемых для оценки схожести лиц с учетом множества «отрицательных» персон.

Пусть Х⊂R^N - конечное подмножество векторов, являющихся представлениями изображений лиц; С={С₁, С₂, …, С_K} - множество идентификаторов персон, чьи лица представлены на изображениях, соответствующих векторам из X. Пусть Z⊂R^N - конечное подмножество векторов, являющихся представлениями изображений «отрицательных» лиц; J={J₁, J₂, …, J_M} - множество идентификаторов векторов из Z, причем С∩J=0. Пусть T⊂Х - обучающее множество векторов, для которых известны идентификаторы D⊆C; Н⊂Х - множество эталонных векторов для персон с идентификаторами из множества D.

Рассмотрим функцию оценки схожести двух изображений лиц (в некотором выбранном представлении):

G:X×X×2^Z→[0,1].

При этом значение G, равное 1, соответствует максимальной похожести анализируемых изображений. Необходимо построить функцию G и так выбрать подмножество S⊂Z, чтобы добиться максимальной эффективности классификации. Эффективность будем измерять на векторах из обучающей выборки Т, с использованием множества эталонных векторов Н, при помощи функции качества

F:T×H×S→R.

Таким образом, необходимо решить задачу оптимизации функции F, т.е. при выбранном виде функции G найти такое подмножество S, чтобы она достигала своего максимума на парах векторов из T×Н.

В рамках данного изобретения функцию G предлагается конструировать в следующем виде:

G(t,h,S)=Y(A(t,h),B(t,S)),

здесь А:Х×Х→R - некоторая мера расстояния между векторами из X, В:Х×S→R - мера расстояния между вектором и множеством векторов. В качестве функции Y, например, можно использовать соотношение для так называемой «статистической» метрики:

.

Для решения задачи максимизации функции F подходит любой из известных алгоритмов оптимизации. В частности в одной из реализации системы распознавания лиц, представленной в данном изобретении, для этих целей был применен аппарат генетических алгоритмов.

Рассмотрим одну из реализации системы распознавания, представленной в рамках данного изобретения.

Для решения задачи обнаружения был использован детектор, определяющий координаты области лица и центров глаз. Для каждого захваченного лица вырезался прямоугольный фрагмент и проводилось его выравнивание в соответствии с координатами глаз. Далее к полученному геометрически нормализованному изображению применялась локальная нормализация. На следующем шаге для каждого вырезанного лица формировалась группа из трех фрагментов, соответствующих областям глаз и всему лицу. Последним шагом предобработки для каждого из фрагментов выполнялось вейвлет-преобразование с фильтрами Габора, в результате которого формировались вектора, используемые на этапе классификации. В качестве метрик оценки близости двух векторов-представлений лиц были использованы: расстояние Махаланобиса и косинусная мера. Таким образом, для каждой пары сравниваемых лиц выполнялось вычисление шести мер схожести.

Для каждого классифицируемого вектора по каждой из реализованных мер вычислялась оценка его близости к соответствующим сравниваемому вектору и векторам «отрицательных» лиц из выбранного подмножества. Формирование новой оценки близости выполнялось с использованием «соревновательной» метрики:

,

где веса w_S пропорциональны близости векторов t и s.

Таким образом, окончательное решение о похожести сравниваемых лиц принималось по 12 значениям: шесть из них соответствовало «базовым» мерам, шесть - новым мерам, учитывающим «отрицательные» лица.

Выбор субоптимального подмножества «отрицательных» лиц проводилось для каждой базовой метрики отдельно. Для решения этой проблемы был реализован подход, использующий генетические алгоритмы (ГА).

На Фиг.2 приведена схема функционирования ГА для решения поставленной задачи оптимизации. Известно, что для создания ГА необходимо определить следующие его элементы:

- метод кодирования решений ГА;

- функция качества;

- генетические операторы: выбор, скрещивание, мутация;

- критерий окончания.

На первом этапе работы ГА осуществляется формирование начальной популяции решений. Начальная генерация обычно выполняется случайным образом. Далее функционирует основной цикл ГА. Каждое решение из текущей популяции оценивается при помощи функционала качества. На следующем шаге осуществляется отбор особей для применения к ним генетических операторов. Результаты оператора отбора существенным образом зависят от качества хромосом. После применения операторов скрещивания, мутации и репродукции вновь получившиеся особи, а также уже существующие хромосомы участвуют в формировании новой популяции решений. Основной цикл ГА продолжается до тех пор, пока не выполняется критерий его окончания. В рамках данной реализации была предложена следующая схема кодирования решений ГА. Алгоритм оперирует бинарными векторами, размерности N, где N - общее количество примеров в исходной базе «отрицательных» лиц. Если i-й элемент вектора равен 1, то соответствующий вектор из базы входит в состав текущего подмножества.

Формирование функции качества проводилось исходя из требования, чтобы функция близости G достигала максимального значения при сравнении двух векторов, представляющих лицо одного человека, и была минимальной, если сравниваемые лица принадлежат разным людям. Таким образом, была реализована следующая функция качества:

здесь значением функции id(x) является идентификатор класса, к которому относится вектор х.

В качестве генетических операторов были использованы: оператор выбора на основе «рулетки», оператор скрещивания одноточечный кроссовер, оператор мутации с заданной вероятностью ее проведения.

Критерием окончания являлись: количество выполненных итераций и число итераций, в течение которых значения функции качества оставалось неизменным.

ГА с такой структурой был отдельно запущен для каждой из базовых мер.

Изображения для обучающей и тестовой выборок были получены путем съемки объекта, расположенного перед камерой, при этом человек совершал круговые повороты головой. Кроме этого съемка каждого объекта проводилась в четырех вариантах освещения. В полученной таким образом базе находятся примеры изображений лиц, находящихся в 9 ракурсах и при четырех типах внешнего освещения.

Вся база была разделена на три части:

1. Обучающее подмножество: 1139 лиц для 317 персон.

2. Тестовые примеры: 1198 лиц для 318 персон.

3. База «отрицательных» лиц: 958 персон.

Данные части не имели пересечений.

Для каждой из 6 мер близости был запущен отдельный генетический алгоритм со следующими параметрами:

- размер популяции 300;

- максимальное количество итераций: 200;

- вероятность проведения мутации: 0.05.

В итоге было сформировано 6 галерей «отрицательных» лиц, содержащих от 223 до 401 персон.

Для формирования единого решения, учитывая все 12 имеющихся мер близости, был использован алгоритм AdaBoost. Полученная система распознавания была протестирована.

На Фиг.3 приведены сравнительные результаты тестирования каждой из 6 базовых мер близости и соответствующих им мер, которые используют галереи «отрицательных» персон, полученные при помощи ГА. Из анализа данных графиков следует, что методы настройки процедур классификации, предложенные в данном изобретении, существенно повышают эффективность распознавания по сравнению с базовыми мерами. Результаты тестирования конечных мер, полученных при помощи AdaBoost, показаны на Фиг.4. Для сравнения там же проведены кривые, соответствующие AdaBoost объединению базовых мер и аналогичному комбинированию мер, основанных на «отрицательных» примерах.

Из приведенных результатов следует, что предложенный в данном патенте метод позволяет находить галереи «отрицательных» лиц, которые существенно повышают эффективность системы распознавания.

Предпочтительным вариантом реализации устройства является его использование для повышения эффективности существующих систем видеонаблюдения и создания нового класса интеллектуальных систем, рассчитанных на следующие типы приложений: интеллектуальное видеонаблюдение за пользователем, биометрическая идентификация личности по целевому списку. При этом, прибор реализуется в виде платы устройств, в состав которой входит, по крайней мере, один сигнальный процессор.

1. Способ для распознавания лица на изображении, включающий в себя выполнение следующих операций: формируют галерею изображений «отрицательных» лиц - тех людей, которые не подлежат проверке; формируют галерею известных персон с преобразованием изображения лица во внутреннее представление, принятое для алгоритмов распознавания, реализованных в способе; детектируют лицо человека на входном изображении; осуществляют подготовку сегментированного региона, содержащего лицо, к проведению распознавания путем нормализации положения лица в соответствии с позицией глаз, масштабирования к заданным размерам, нормализации интенсивности; выполняют базовые алгоритмы распознавания лиц, способные вычислять меры схожести двух изображений; выбирают подмножество «отрицательных» лиц, на основе которого определяют выбор нового алгоритма распознавания; формируют новый алгоритм распознавания на основе преобразования мер близости базового алгоритма с учетом сформированной галереи «отрицательных» лиц; выполняют классификацию по множеству зарегистрированных изображений.

2. Способ по п.1, отличающийся тем, что выбор подмножества «отрицательных» лиц осуществляют путем поиска набора лиц из заданного множества, на котором функционал качества достигает своего максимума на изображениях лиц из обучающей выборки.

3. Способ по п.2, отличающийся тем, что за основу функционала качества, подлежащего оптимизации, принимают меру близости входного изображения лица с заданным лицом, а также с выбранными «отрицательными» лицами, вычисленные с использованием базовых алгоритмов распознавания.

4. Способ по п.1, отличающийся тем, что выбор подмножества «отрицательных» лиц осуществляют путем кластеризации векторов, составленных из значений близости между изображениями из обучающей выборки и изображениями «отрицательных» лиц, вычисленных при помощи базовых алгоритмов распознавания, с последующим назначением одного из найденных кластеров в качестве искомого подмножества.

5. Способ по п.1, отличающийся тем, что новый алгоритм распознавания формируют на основе базовых мер близости, вычисленных для входного и заданного лиц, а также для входного и каждого лица из выбранного подмножества «отрицательных» лиц.

6. Способ по п.1, отличающийся тем, что новый алгоритм распознавания формируют путем объединения базовых мер близости и новых мер близости, вычисленных с использованием «отрицательных» лиц.

7. Система для реализации заявляемого способа распознавания лиц, включающая в себя: блок хранения галереи изображений «отрицательных» лиц, т.е. тех людей, которые никогда не будут подвергаться проверке с помощью заявляемого способа; блок преобразования галереи известных персон, преобразующий изображения лица во внутреннее представление, принятое для алгоритмов распознавания, реализованных в системе; блок детектирования лица человека на входном изображении; блок подготовки сегментированного региона, содержащего лицо, к проведению распознавания путем нормализации положения лица в соответствии с позицией глаз, масштабирование к заданным размерам, нормализация интенсивности; блок реализации базовых алгоритмов распознавания лиц, выполненный с возможностью вычисления меры схожести двух изображений; блок выбора подмножества «отрицательных» лиц, на основе которого автоматически формируется новый алгоритм распознавания; блок конструирования нового алгоритма распознавания на основе преобразования мер близости базового алгоритма с учетом выбранной галереи «отрицательных» лиц; блок распознавания, выполненный с возможностью сравнения входного изображения с заданным или проведения классификации по множеству зарегистрированных изображений, путем применения алгоритма классификации.