Способ, устройство и компьютерный программный продукт для создания ориентационно-независимого детектора лиц

Способ, устройство и компьютерный программный продукт для создания ориентационно-независимого детектора лиц

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ

Варианты осуществления настоящего изобретения в целом относятся к технологии обработки изображений, а более конкретно - к способу, устройству и компьютерному программному продукту для выполнения обнаружения лиц независимо от ориентации.

УРОВЕНЬ ТЕХНИКИ

Обнаружение и распознание лиц становится все более важной областью техники. В этом отношении обнаружение лиц может быть полезным, например, в биометрии, в пользовательском интерфейсе и в других областях, таких как создание контекста для получения доступа к сообществам в мобильном домене. Обнаружение лиц может также быть важным прогрессом в рамках таких инициатив, как стандартизация метаданных.

Хотя способы обнаружения лиц продолжают улучшаться, для многих из них требуется либо высокая вычислительная мощность (например, в статистических способах обнаружения лиц путем сканирования с преобразованием в нескольких масштабах), либо эти способы обеспечивают лишь ограниченное обнаружение лиц (например, структурные способы с относительно высоким процентом ложного обнаружения лиц). Кроме того, некоторые статистические механизмы обнаружения лиц обладают худшими характеристиками при обнаружении лиц в нескольких ракурсах по сравнению с обнаружением лиц анфас. Другим усложняющим фактором является то, что лица, встречающиеся на конкретном изображении, не всегда ориентированы в одинаковом направлении относительно камеры, что отрицательно влияет на обнаружение. Например, в некоторых случаях поворот в плоскости (например, лица, которое повернуто относительно оси, идущей от лица до наблюдателя) может усложнить обнаружение лиц.

Соответственно, имеющаяся тенденция к разработке устройств с непрерывным повышением их способности к созданию контента, хранению контента и/или приему контента относительно быстро после запроса, тенденция в современном мире к всеохватывающему использованию электронных устройств (например, мобильных электронных устройств, таких как мобильные телефоны) и стремление к непрерывному совершенствованию интерфейса и механизмов доступа с целью повышения возможностей таких устройств могут сделать желательным обеспечение дальнейшего усовершенствования в области обнаружения лиц.

КРАТКИЙ ОБЗОР НЕКОТОРЫХ ПРИМЕРОВ

Поэтому предложены способ, устройство и компьютерный программный продукт, обеспечивающие механизм обнаружения лиц независимо от ориентации. Например, в некоторых данных в качестве примера вариантах осуществления изобретения предложен способ, позволяющий обнаруживать лица в диапазоне возможных углов вращения в плоскости 360 градусов. Кроме того, некоторые варианты осуществления обеспечивают относительно быстрый и надежный способ обнаружения лиц в множестве ракурсов с использованием схемы структурного обнаружения с операцией верификации, в которой используется статистический способ (например, статистическая верификация на основе адаптивного усиления (Adaboost, adaptive boosting)) для уменьшения количества ложных обнаружений. Кроме того, в некоторых вариантах осуществления настоящего изобретения предусмотрена возможность обнаружения нескольких возможных лиц способом многомасштабного структурного обнаружения, в котором затем используется множество детекторов лиц для верификации (например, использование детекторов лиц Adaboost, обладающих способностью обнаружения лиц анфас и повернутых в плоскости на 90 градусов) возможных лиц после их поворота к вертикальному положению на основании линии, соединяющей два обнаруженных глаза.

В данном в качестве примера варианте осуществления настоящего изобретения предложен способ обнаружения лиц независимо от ориентации. Способ может включать формирование из входного изображения множества мозаичных изображений, имеющих различный масштаб, использование множества по-разному ориентированных детекторов контуров для обнаружения контуров множества мозаичных изображений, включая комбинирование контуров множества мозаичных изображений, имеющих различные масштабы, и выполнение обнаружения лиц в областях, соответствующих по-разному ориентированным детекторам контуров, на основании соответствующих карт признаков, созданных по-разному ориентированными детекторами контуров.

В еще одном данном в качестве примера варианте осуществления настоящего изобретения предложен компьютерный программный продукт для обеспечения обнаружения лиц независимо от ориентации. Компьютерный программный продукт включает по меньшей мере один машиночитаемый носитель данных, включающий хранящиеся на нем выполняемые компьютером программные инструкции. Выполнимые компьютером программные инструкции могут включать программные инструкции для формирования на основе входного изображения множества мозаичных изображений, имеющих различный масштаб, использование множества по-разному ориентированных детекторов контуров для обнаружения контуров в множестве мозаичных изображений, включая комбинирование контуров множества мозаичных изображений, имеющих различные масштабы, и программные инструкции для выполнения обнаружения лиц в областях, соответствующих по-разному ориентированным детекторам контуров, на основе соответствующей карты признаков, созданной по-разному ориентированными детекторами контуров.

В еще одном данном в качестве примера варианте осуществления настоящего изобретения предложено устройство для обнаружения лиц независимо от ориентации. Устройство может включать процессор. Процессор может осуществлять формирование по входному изображению множества мозаичных изображений, имеющих различный масштаб, использование множества по-разному ориентированных детекторов контуров для обнаружения контуров в множестве мозаичных изображений, включая комбинирование контуров множества мозаичных изображений, имеющих различные масштабы, и выполнение обнаружения лиц в областях, соответствующих по-разному ориентированным детекторам контуров, на основе соответствующей карты признаков, созданной по-разному ориентированными детекторами контуров.

В еще одном данном в качестве примера варианте осуществления настоящего изобретения предложено устройство для осуществления обнаружения лица независимо от ориентации. Устройство может включать средство для формирования по входному изображению множества мозаичных изображений, имеющих различный масштаб, средство для использования множества по-разному ориентированных детекторов контуров для обнаружения контуров в множестве мозаичных изображений, включая комбинирование контуров множества мозаичных изображений, имеющих различные масштабы, и средство для выполнения обнаружения лиц в областях, соответствующих по-разному ориентированным детекторам контуров, на основе соответствующей карты признаков, созданной по-разному ориентированными детекторами контуров.

Варианты осуществления настоящего изобретения обеспечивают создание способа, устройства и компьютерного программного продукта для использования, например, в мобильной или неподвижной среде. В результате, например, пользователи вычислительного устройства получают улучшенные возможности по обнаружению лиц.

КРАТКОЕ ОПИСАНИЕ СОПРОВОЖДАЮЩИХ ЧЕРТЕЖЕЙ

Таким образом, после краткого описания некоторых вариантов осуществления настоящего изобретения будут описаны сопровождающие чертежи, которые не обязательно представлены в масштабе и на которых:

на фиг.1 показан пример блок-схемы устройства, предназначенного для обнаружения лиц независимо от ориентации, согласно одному из вариантов осуществления настоящего изобретения;

на фиг.2 показан пример преобразования входного изображения в мозаичное согласно одному из вариантов осуществления настоящего изобретения;

на фиг.3 показан пример секторного охвата четырьмя детекторами контуров, ориентированных так, чтобы обеспечить полный охват круговой области при повороте в плоскости согласно одному из вариантов осуществления настоящего изобретения;

на фиг.4 показана блок-схема, иллюстрирующая совместную работу модификатора изображения и детектора контуров согласно одному из вариантов осуществления настоящего изобретения;

на фиг.5А показан пример изображения, которое в одном из вариантов осуществления настоящего изобретения может быть введено в качестве исходного изображения;

на фиг.5В показан пример карты признаков изображений для исходного изображения при повороте контуров на 0 градусов при преобразовании в полутоновое представление с уровнем бинаризации 60 согласно одному из вариантов осуществления настоящего изобретения;

на фиг.5С показан пример результата обнаружения лиц согласно одному из вариантов осуществления настоящего изобретения;

на фиг.6 (включая фиг.6А и 6В) показаны примеры эластичного шаблона лица согласно одному из вариантов осуществления настоящего изобретения;

на фиг.7 показаны примеры семи различных примитивов Хаара, которые могут использоваться в одном из вариантов осуществления настоящего изобретения;

на фиг.8 показана схема штрафов для использования в самонастройке согласно одному из вариантов осуществления настоящего изобретения;

на фиг.9 показана блок-схема операций, выполняемых согласно одному из вариантов осуществления настоящего изобретения;

на фиг.10 показана блок-схема мобильного терминала, который может получить положительный эффект при использовании вариантов осуществления настоящего изобретения; и

на фиг.11 показана последовательность операций согласно примеру способа обнаружения лиц независимо от ориентации согласно одному из вариантов осуществления настоящего изобретения.

ПОДРОБНОЕ ОПИСАНИЕ НЕКОТОРЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ НАСТОЯЩЕГО ИЗОБРЕТЕНИЯ

Ниже некоторые варианты осуществления настоящего изобретения описаны более полно со ссылками на сопровождающие чертежи, на которых показаны некоторые, но не все такие варианты. Различные варианты осуществления настоящего изобретения могут быть реализованы во многих различных формах и не должны рассматриваться как ограничивающие варианты осуществления настоящего изобретения; приведенные варианты осуществления настоящего изобретения даны лишь для того, чтобы настоящее раскрытие удовлетворяло соответствующим юридическим требованиям. Одинаковыми позициями повсюду обозначены одинаковые элементы. В контексте настоящего документа термины "данные", "содержание", "информация" и аналогичные термины могут быть использованы взаимозаменяемо для описания данных, которые можно передать, принять и/или сохранить согласно различным вариантам осуществления настоящего изобретения. Кроме того, в контексте настоящего описания выражение "данный в качестве примера" не несет какой-либо качественной оценки, а просто описывает пример. Кроме того, термины "близко" и "далеко" используются в относительном смысле для описания объектов, расположенных ближе и дальше друг относительно друга от некоторой точки, но не для количественного описания какого-либо положения. Таким образом, использование любых таких терминов не ограничивает духа и объема вариантов осуществления настоящего изобретения.

Некоторые варианты осуществления настоящего изобретения обеспечивают способ, посредством которого можно усовершенствовать обнаружение лиц. В этом отношении, например, некоторые варианты осуществления настоящего изобретения могут предусматривать схемы обнаружения лиц в реальном времени или близко к реальному времени, которые могут применяться для присвоения метаданных, для биометрии и множества других действий с помощью переносного компьютера или других вычислительных устройств.

На фиг.1 показан пример блок-схемы устройства, обеспечивающего обнаружение лиц независимо от ориентации, согласно одному из вариантов осуществления настоящего изобретения. Ниже этот вариант осуществления настоящего изобретения описан со ссылкой на фиг.1, где показаны некоторые элементы устройства, позволяющие обнаружить лица независимо от ориентации. Устройство, показанное на фиг.1, может использоваться, например, в мобильном терминале (например, в мобильном терминале 10 на фиг.11) или в множестве других устройств, как мобильных, так и стационарных (таких как, например, сетевое устройство, персональный компьютер, ноутбук или аналогичное устройство). Альтернативно, варианты осуществления настоящего изобретения могут использоваться в комбинации устройств. Соответственно, некоторые варианты осуществления настоящего изобретения могут быть полностью реализованы в единственном устройстве (например, в мобильном терминале 10) или в устройствах, которые взаимодействуют соответственно иерархии клиент-сервер. Кроме того, следует отметить, что устройства или элементы, описанные ниже, возможно, не являются обязательными и, таким образом, в определенных вариантах осуществления настоящего изобретения некоторые из них могут быть опущены.

На фиг.1 показано устройство, обеспечивающее обнаружение лиц независимо от ориентации. Устройство может включать или быть связано с процессором 70, пользовательским интерфейсом 72, интерфейсом 74 связи и запоминающим устройством 76. Запоминающее устройство 76 может включать, например, энергозависимую и/или энергонезависимую память. Запоминающее устройство 76 может быть выполнено с возможностью хранения информации, данных, приложений, инструкций и т.п. для того, чтобы устройство могло выполнять различные функции в соответствии с данными в качестве примера вариантами осуществления настоящего изобретения. Например, запоминающее устройство 76 может использоваться для буферизации входных данных с последующей обработкой их процессором 70. Дополнительно или альтернативно, запоминающее устройство 76 может хранить инструкции для выполнения их процессором 70. В еще одном варианте запоминающее устройство 76 может быть одной из множества баз данных, в которых хранят информацию и/или медиаконтент.

Процессор 70 может быть выполнен множеством различных способов. Например, процессор 70 может быть выполнен как различные обрабатывающие средства, такие как обрабатывающий элемент, сопроцессор, контроллер или различные другие обрабатывающие устройства, включая интегральные схемы, например специализированную интегральную микросхему (ASIC, application specific integrated circuit), программируемую логическую матрицу (FPGA, field programmable gate array), аппаратный ускоритель и т.п.. В данном в качестве примера варианте осуществления настоящего изобретения процессор 70 может использоваться для выполнения инструкций, хранящихся в запоминающем устройстве 76 или доступных для процессора 70 в какой-либо иной форме. Кроме того, независимо от того, сформирован ли процессор 70 аппаратными средствами, с помощью программного обеспечения или с использованием комбинации перечисленного, он при соответствующем конфигурировании может представлять собой объект, способный производить операции согласно вариантам осуществления настоящего изобретения.

В то же время интерфейсом 74 связи могут быть любые средства, например устройство или схема, которые воплощены в рамках аппаратных средств, программного обеспечения или путем комбинации аппаратных средств и программного обеспечения и которые выполнены с возможностью приема данных из сети и/или передачи данных в сеть и/или любого другого устройства или модуля, имеющего связь с описываемым устройством. В этом отношении интерфейс 74 связи может включать, например, антенну (или множество антенн) и поддерживающие аппаратные средства и/или программное обеспечение, которые обеспечивают связь с сетью беспроводной связи (например, сетью 78). В неизменной окружающей среде интерфейс 74 связи может, альтернативно или дополнительно, поддерживать проводную связь. Кроме того, интерфейс 74 связи, может включать модем связи и/или другие аппаратные средства/программное обеспечение, предназначенные для осуществления связи по кабелю, цифровой абонентской линии (DSL), универсальной последовательной шине (USB) или с помощью других средств.

Пользовательский интерфейс 72 может быть связан с процессором 70 для индикации ввода пользователем данных в пользовательский интерфейс 72 и/или обеспечивать звуковой, визуальный, механический или другой выход для пользователя. При этом пользовательский интерфейс 72 может включать, например, клавиатуру, "мышь", джойстик, дисплей, сенсорный экран, микрофон, динамик или другие механизмы ввода/выхода. В данном в качестве примера варианте осуществления настоящего изобретения, в котором устройство выполнено в виде сервера или некоторых других сетевых устройств, пользовательский интерфейс 72 может иметь ограниченные функции или отсутствовать. Однако в том варианте осуществления настоящего изобретения, в котором рассматриваемое устройство выполнено в виде мобильного терминала, пользовательский интерфейс 72 может включать, помимо других устройств или элементов, любой из следующих элементов: динамик, микрофон, дисплей, клавиатуру и т.п.

В данном в качестве примера варианте осуществления настоящего изобретения процессор 70 может включать модификатор 80 изображения, детектор 82 контуров, детектор 84 лиц, устройство 86 поворота возможного лица и верификатор 88 или может быть выполнен с возможностью управления этими устройствами. Модификатор 80 изображения, детектор 82 контуров, детектор 84 лиц, устройство 86 поворота возможного лица и верификатор 88 могут представлять собой любое средство, такое как устройство или схема, воплощенные в аппаратных средствах, программном обеспечении или комбинации аппаратных средств и программного обеспечения (например, процессор 70 может работать под управлением программного обеспечения, процессор 70 может быть выполнен как специализированная интегральная микросхема (ASIC), программируемая логическая матрица (FPGA), специально предназначенная для выполнения вышеописанных операций, или их комбинация), которые предназначены для выполнения соответствующий функций модификатора 80 изображения, детектора 82 контуров, детектора 84 лиц, устройства 86 поворота возможного лица и верификатора 88 соответственно, как описано ниже.

В данном в качестве примера варианте осуществления настоящего изобретения любой из модификатора 80 изображения, детектора 82 контуров, детектора 84 лиц, устройства 86 поворота возможного лица и верификатора 88 может включать инструкции, коды, модули, приложения и/или электронные схемы для выполнения соответствующих частей процесса обнаружения лиц. Однако следует отметить, что код, электронная схема и/или инструкции, связанные с модификатором 80 изображения, детектором 82 контуров, детектором 84 лиц, устройством 86 поворота возможного лица и верификатором 88, не обязательно должны быть модульными. В некоторых вариантах осуществления настоящего изобретения связи между модификатором 80 изображения, детектором 82 контуров, детектором 84 лиц, устройством 86 поворота возможного лица и верификатором 88 осуществляются через процессор 70. Однако альтернативно, в других вариантах осуществления настоящего изобретения, модификатор 80 изображения, детектор 82 контуров, детектор 84 лиц, устройство 86 поворота возможного лица и верификатор 88 могут находиться в непосредственной связи друг с другом или могут не иметь никакой связи друг с другом.

В данном в качестве примера варианте осуществления настоящего изобретения модификатор 80 изображения модифицирует входное изображение из данных уровня пикселей в данные уровня признаков, и, таким образом, детектор 82 контуров может выполнить обнаружение контура на уровне признаков. Затем детектор 84 лиц обнаруживает возможные лица с использованием эластичного шаблона лица, как описано ниже, при этом он способен обнаружить лица при их повороте в плоскости в диапазоне 360 градусов. После того как возможные лица обнаружены, устройство 86 поворота возможного лица поворачивает обнаруженные возможные лица в вертикальное положение, после чего верификатор 88 проверяет, соответствуют ли возможные лица лицам.

В данном в качестве примера варианте осуществления настоящего изобретения модификатор 80 изображения может быть связан с модулем захвата среды (например, модулем 37 фотокамеры на фиг.11) для приема данных изображения с целью их использования при анализе, как описано ниже. Однако в альтернативных вариантах осуществления настоящего изобретения модификатор 80 изображения может принимать изображения из хранилища (например, запоминающего устройства 76) или другого устройства. Модификатор 80 изображения может формировать на основании входного изображения мозаичное изображение. В этом отношении модификатор 80 изображения в некоторых вариантах осуществления настоящего изобретения выполнен с возможностью преобразования данных уровня пикселей изображения в данные уровня признаков.

На фиг.2 показан пример формирования мозаичного изображения на основании входного сигнала согласно данному в качестве примера варианту осуществления настоящего изобретения. В этом примере модификатор 80 изображения осуществляет построение на основании входного изображения (например, исходного изображения) многомасштабных мозаичных изображений. В некоторых случаях можно использовать четыре масштаба размеров мозаичных ячеек, обозначенные как 2×2, 4×4, 6×6 и 8×8 соответственно. Как показано на фиг.2, размеры каждой мозаичной ячейки можно вычислить, усредняя количество всех пикселей во входном изображении, которые находятся в соответствующем определенном окне. Вследствие сильной корреляции между любыми двумя соседними мозаичными ячейками при усреднении может быть желательно учесть перекрытие между ячейками на определенный процент. Например, у каждой из мозаичных ячеек А, В, С и D на фиг.2 могут быть большие или меньшие перекрывающиеся части с другими конкретными ячейками (например, ячейка А перекрывается с каждой из ячеек В и С на 50%, с ячейкой D перекрывается только на 25%). Таким образом, согласно данному в качестве примера варианту осуществления настоящего изобретения создание мозаичного изображения с использованием модификатора 80 изображения эффективно удаляет тонкие структуры лица и выделяет более крупные признаки лица (например, глаза, рот и границы лица), поскольку мозаичное изображение состоит из мозаичных ячеек, а не из пикселей.

Созданное модификатором 80 изображения на основании входного изображения мозаичное изображение, включая различные масштабы, может быть передано в детектор 82 контуров. В некоторых вариантах осуществления настоящего изобретения для обнаружения признаков контура детектор 82 контуров преобразует мозаичные изображения, имеющие различный масштаб, в бинарную форму. При этом в одном из вариантов осуществления настоящего изобретения детектор 82 контуров может действовать как многомасштабный и многоуровневый детектор признаков контура. Например, в одном варианте осуществления настоящего изобретения могут использоваться четыре детектора контуров, при этом упомянутые четыре детектора контуров повернуты на 0, 45, 90 и 135 градусов. Такая ориентация четырех детекторов контуров обеспечивает точное обнаружение контура в широком диапазоне ориентации (например, 360 градусов). На фиг.3 показан пример того, как четыре детектора контуров, ориентированные как описано выше, способны обеспечить охват всего диапазона поворотов в плоскости. Как показано в примере на фиг.3, детектор контуров с ориентацией 0 градусов используется для обнаружения лиц в диапазоне приблизительно от 337,5 градусов до 22,5 градусов и приблизительно от 157,5 градусов до 202,5 градусов. Детектор контуров с ориентацией 45 градусов используется для обнаружения лиц в диапазоне приблизительно от 22,5 градусов до 67,5 градусов и приблизительно от 202,5 градусов до 247,5 градусов. Детектор контуров с ориентацией 90 градусов используется для обнаружения лиц в диапазоне приблизительно от 67,5 градусов до 112,5 градусов и приблизительно от 247,5 градусов до 292,5 градусов. Наконец, детектор контуров с ориентацией 135 градусов используется для обнаружения лиц в диапазоне приблизительно от 112,5 градусов до 157,5 градусов и приблизительно от 292,5 градусов до 337,5 градусов. Однако следует отметить, что вариант осуществления настоящего изобретения, показанный на фиг.3, представляет собой просто один из примеров возможных ориентаций детектора контуров, и альтернативно можно использовать другие ориентации, обеспечивающие покрытие диапазона 360 градусов.

В общем случае, если в качестве примера взять человеческое лицо в вертикальном положении, глаза и рот на лице при низком разрешении могут представлять собой изогнутые горизонтальные признаки. Соответственно, можно выявить лица путем обнаружения этих признаков и попытки сгруппировать их в модель, которая соответствует ожидаемой модели глаз и рта на лице. Поэтому область лица можно идентифицировать, если часть признаков, присутствующих в изображении, согласуется с заранее заданной структурой лица, соответствующей ожидаемой модели. В практических ситуациях лица могут быть повернуты в плоскости на любой угол, что усложняет вышеописанный процесс. Соответственно, применение детекторов контуров с множеством различных ориентаций, как описано выше, позволяет охватить все возможные углы поворота в плоскости. В приведенном выше примере каждый детектор контуров позволяет покрыть два 45-градусных сектора, лежащих под углом 180 градусов друг относительно друга. Соответственно, если имеется ML уровней бинаризации, можно создать 4·ML карт признаков контуров. Поскольку признаки контуров определены в результате комбинирования контуров для множества масштабов, каждый из признаков контуров позволяет грубо выявить направление и форму объекта, анализируемого по данному признаку.

На фиг.4 показана блок-схема, иллюстрирующая совместную работу модификатора 80 изображения и детектора контуров согласно данному в качестве примера варианту осуществления настоящего изобретения. При этом входное изображение 100 может быть преобразовано в мозаичное модификатором 80 изображения с формированием множества мозаичных изображений, имеющих различный масштаб. Например, модификатор 80 изображения может сформировать мозаичное изображение в масштабе 1 (операция 102), масштабе 2 (операция 104), в любом количестве дополнительных масштабов до масштаба n (операция 106). Затем в операции 108 детектор 82 контуров может установить порог ТН. В операции 110 можно извлечь контуры с направлением на основе сравнения мозаичного изображения в масштабе 1 с порогом ТН. В операциях 112 и 114 соответственно контуры с направлением можно извлечь на основе порога ТН для каждого соответствующего масштаба (например, 2 и n). В некоторых случаях детектор 82 контуров переводит в бинарную форму все мозаичные изображения (например, со шкалой интенсивности 0-255), отфильтрованные операторами контуров с направлением, в определенном порядке с формированием соответствующих бинарных карт контуров (например, соответствующих детекторам контуров с ориентацией 0, 45, 90 и 135 градусов). В некоторых вариантах осуществления настоящего изобретения бинаризация может быть произведена для различных уровней (например, для значений шкал интенсивности 20, 40 и 60) для различных масштабов. Затем выходные данные, соответствующие каждому масштабу, могут быть обработаны операцией 116 логического ИЛИ с формированием (операция 118) карты признаков контуров с направлением с порогом ТН. При этом контурные карты признаков контуров могут быть созданы путем комбинирования всех соответствующих карт признаков контуров для различных масштабов с одним уровнем бинаризации. Поэтому карты признаков контуров с направлением можно создать по соответствующим изображениям контуров с направлением на том же самом уровне посредством операции 116 ИЛИ.

На фиг.5А показан пример изображения, которое в варианте осуществления настоящего изобретения может быть введено в качестве исходного изображения. На фиг.5В показан пример карты признаков контуров в направлении 0 для исходного изображения с уровнем бинаризации по шкале интенсивности 60. На фиг.5С показан пример результата обнаружения лиц (например, детектором 84 лиц), который более подробно описан ниже.

В данном в качестве примера варианте осуществления настоящего изобретения в детекторе 84 лиц используется механизм распознания лиц на основе шаблона. В некоторых примерах в детекторе 84 лиц используется эластичный или гибкий процесс обнаружения лиц. При этом для обнаружения возможного лица на картах признаков контуров с направлением, выдаваемых, например, детектором 82 контуров, может быть определен эластичный шаблон лица. Эластичный шаблон лица определяют на основе специфического строения человеческого лица. Например, глаза и рот человеческого лица (когда видны оба глаза) образуют треугольник, как показано на фиг.5С. На фиг.6 (которая включает фиг.6А и 6В) показан пример эластичного шаблона лица согласно данному в качестве примера варианту осуществления настоящего изобретения. На фиг.6А показано пять частей или блоков, образующих эластичный шаблон согласно одному из примеров. Пять блоков могут включать блок (1) верхней части лица, блок (2) ноздрей, блок (3) верхней губы и блоки (4) и (5) левой и правой щек соответственно. Таким образом, блоки эластичного шаблона могут помочь определить местоположение носа и рта на возможном лице на основе первоначального обнаружения пары глаз. Эластичный шаблон называют гибким или эластичным, поскольку ширина (W) и высота (Н) шаблона не фиксированы. Вместо этого ширину (W) шаблона можно определить по расстоянию между глазами в обнаруженной паре глаз. Высоту (Н) можно определить на основе расстояния между ртом (или возможным ртом) и линией, соединяющей пару глаз. На фиг.6В показано, что эластичный шаблон наложен на пару глаз и рот, при этом пара глаз повернута в плоскости на 9 градусов.

В данном в качестве примера варианте осуществления настоящего изобретения детектор 84 лиц вначале ищет пару глаз. После нахождения пары глаз детектор 84 лиц согласно данному примеру пытается определить возможное лицо, накладывая эластичный шаблон на найденную пару глаз (или потенциальную пару глаз). При этом после нахождения пары глаз детектор 84 лиц может определить ширину эластичного шаблона лица на основе расстояния между глазами. Ориентация глаз друг относительно друга показывает угол поворота в плоскости (например, θ на фиг.6В) и также может быть определена детектором 84 лиц. При этом эластичный шаблон можно поворачивать для того, чтобы верхняя сторона эластичного шаблона стала параллельной соединительной линии между глазами. Кроме того, центр левого глаза и центр правого глаза можно поместить в левый верхний и правый верхний углы эластичного шаблона соответственно (см. фиг.6В, где дан пример поворачиваемого эластичного шаблона). Однако в некоторых случаях эффективность обнаружения можно улучшить с использованием карт признаков контуров с направлением, имеющих диапазон, который включает угол (θ) наклона для определенной пары глаз. При этом, например:

1) в диапазонах -22,5°<θ<22,5° (0°<θ<22,5° или 337,5°<θ<360°) или 157,5°<θ<202,5° для обнаружения лица используют карты признаков контуров с направлением 0°;

(2) в диапазонах 22,5°<θ<67,5° или 202,5°<θ<247,5° для обнаружения лица используют карты признаков контуров с направлением 45°;

(3) в диапазонах 67,5°<θ<112,5° или 247,5°<θ<292,5° для обнаружения лица используют карты признаков контуров с направлением 90° и

(4) в диапазонах 112,5°<θ<157,5° или 292,5°<θ<337,5° для обнаружения лица используют карты признаков контуров с направлением и -45°.

Работа детектора 84 лиц с каждой соответствующей картой признаков контуров, выдаваемой детектором 82 контуров, позволяет детектору 84 лиц обнаружить все возможные лица во всем диапазоне 360 градусов возможных углов поворота в плоскости. Кроме того, работа детектора 84 лиц с картой признаков контуров, соответствующей диапазону, который перекрывает угол поворота пары глаз в плоскости, в некоторых случаях повышает эффективность распознавания.

При выявлении возможного лица детектор 84 лиц может также определить высоту (Н) эластичного шаблона. При этом, например, если предполагается, что имеются признаки контуров N1, N2, N3, N4 и N5 в областях 1, 2, 3, 4 и 5 эластичного шаблона соответственно, может быть дано подтверждение для области лица, если выполнены следующие условия:

и

(2) N<2 и N2<3 и N3=N4=N5=0.

Преимущество детектора 84 лиц состоит в том, что с использованием эластичного шаблона детектор 84 лиц может непосредственно обнаружить лица на картах признаков контуров с направлением в диапазоне поворотов 360°. На фиг.5С показан пример результатов обнаружения лиц с использованием детектора 84 лиц согласно данному в качестве примера варианту осуществления настоящего изобретения. Поскольку обнаружение лица производят путем обработки карт признаков контуров с направлением, полученных из детектора 82 контуров, и количество включенных признаков контуров относительно ограничено, обработке может подвергаться намного меньшее количество пикселей, чем полное количество исходных пикселей изображения, и, следовательно, скорость обнаружения может быть выше. Несмотря на это усовершенствование, поскольку карты признаков контуров могут в некоторых случаях иметь информацию только о структуре изображения без деталей структуры исходного изображения, в некоторых случаях возможно ложное распознавание. Соответственно, для отсеивания данных и уменьшения количества ложных распознаваний можно использовать верификатор 88.

Верификатор 88 может выполнять операции проверки для подтверждения того, что возможное обнаружение фактически коррелирует с обнаружением лица. В данном в качестве примера варианте осуществления настоящего изобретения для проверки верификатор 88 может использовать технологию Adaboost. Однако Adaboost представляет собой просто один из примеров конкретного осуществления верификатора 88, и альтернативно могут использоваться другие механизмы. Adaboost представляет собой алгоритм машинного самообучения, который может быть использован совместно с другими механизмами обучения (например, механизмом обнаружения лиц, выполняемым модификатором 80 изображения, детектором 82 контуров и детектором 84 лиц, описанными выше) для повышения эффективности распознавания.

В некоторых вариантах осуществления настоящего изобретения можно модифицировать верификатор 88 для создания нового определения пространства признаков для Adaboost. При этом, например, вычисление в реальном времени в рамках Adaboost может идти от простых структур признаков и использования полного изображения. Adaboost типично может использоваться в соединении с четырьмя видами определенных примитивов Хаара, значения которых можно быстро вычислить с использованием полного изображения. Некоторые варианты осуществления настоящего изобретения позволяют расширить эти возможности путем определения семи видов признаков (показанных в качестве примера на фиг.7). Эти расширенные признаки позволяют осуществить более гибкий выбор кодирования существенных структур лица, так чтобы требовались менее слабые классификаторы для предварительного распознавания. Кроме того, возможно и обобщение механизма, поскольку представленные признаки также могут иметь простые структуры.

В некоторых случаях варианты осуществления настоящего изобретения могут предусматривать схему штрафов при самонастройке. Например, при каскадном обучении в рамках Adaboost может использоваться самонастройка для сбора новых положительных и отрицательных сэмплов для следующего каскада. Кроме того, в некоторых вариантах осуществления настоящего изобретения в самонастройку введен штрафной коэффициент. Например, заданному фрагменту х изображения (например, отрицательному сэмплу, после того как он прошел через предыдущие и настоящий каскады) можно присвоить соответствующий балл С(х) фрагмента изображения. Если этот балл больше, чем заданный порог а (С(х)>а), этот фрагмент изображения может быть сделан новым учебным сэмплом. Однако, как показано на фиг.8А, если некоторые положительные и отрицательные выборки очень близки к границе 150 кас