Способ и система автоматической проверки присутствия лица живого человека в биометрических системах безопасности

Способ и система автоматической проверки присутствия лица живого человека в биометрических системах безопасности

Иллюстрации

Показать все

Реферат

Заявляемое изобретение относится к системам безопасности и контроля и может быть использовано в проектировании автоматических систем управления доступом пользователей в охраняемые области: помещения, здания и т.п.

Современные системы контроля доступа используют биометрическую информацию о человеке для идентификации зарегистрированных пользователей и запрещения доступа несанкционированным пользователям.

Одной из особенностей развития современного общества является возрастающая потребность в ограничении доступа к различным объектам, например, офисам, складам, банкоматам, военным объектам. Это связано с необходимостью обеспечения безопасности данных объектов, предотвращения краж интеллектуальной собственности и товаров.

Широко применяемые ранее охранные системы, основанные на присутствии человека, например охранника, на входе в охраняемую зону, или использующие системы видеонаблюдения, данные с которых также анализируются человеком, становятся дорогостоящими и не обеспечивают необходимую степень надежности. Именно в связи с указанными недостатками во многих государственных и частных организациях широкое распространение получили системы, основанные на идентификационных магнитных и смарт-картах. Карта содержит информацию, идентифицирующую использующего ее пользователя. Сканер, находящийся на входе в охраняемое помещение, считывает данную информацию и принимает решение о предоставлении пользователю доступа в помещение. Существенным недостатком таких систем является возможность использования карты злоумышленником, например, он может ее украсть.

Биометрические системы являются одним из наиболее перспективных решений, лишенных указанных недостатков. Такие системы основываются на анализе биометрической информации о пользователе: черт лица, голосе, жестах, отпечатках пальцев и т.п. Биометрические параметры пользователя, автоматически считанные системой, сравниваются с шаблонами, хранящимися в базе данных. Если один из шаблонов соответствует полученным данным, то пользователь считается идентифицированным и ему разрешается доступ.

Современные биометрические системы основываются на анализе следующих биометрических параметров человека: лица, голоса, радужки глаз, жестов. Другие типы параметров либо не обеспечивают достаточную точность идентификации пользователя или требуют контакта со считывающим устройством (как в случае с отпечатками пальцев).

Вместе с тем существующим биометрическим системам присущ ряд недостатков, допускающих возможность несанкционированного доступа в охраняемую область.

Известны решения, предлагающие алгоритмы и системы контроля, основанные на анализе двумерных изображений лица человека (см. опубликованные патенты США №6,633,655[1] и №6,681,032 [2]). Данные системы используют видеокамеры для захвата изображений лица, реализуют выделение областей лица и вычисляют их характеристики, которые сравниваются с шаблонами, хранящимися в базе данных. Такие системы обрабатывают 2D модели лица человека и тем самым позволяют получить несанкционированный доступ путем предоставления видеокамерам фотографии зарегистрированного пользователя.

В других известных решениях (см. патент США №6,002,782 [3] и опубликованную заявку РФ №2001122361 [4]) предлагаются методы, основанные на построении трехмерной модели лица человека, и следовательно, исключают использование фотографий для получения несанкционированного доступа. Уязвимой особенностью таких систем является возможность получения злоумышленником доступа к охраняемому объекту путем применения 3D муляжа.

В патентах США №6,567,775 [5] и №6,219,640 [6] и в опубликованной заявке РФ №2003110435 [7] предлагаются алгоритмы, объединяющие в себе анализ видеоизображений и соответствующих им аудиоданных. Одновременное использование аудио- и видеоинформации позволяет повысить точность проводимой идентификации и, следовательно, уменьшить вероятность несанкционированного проникновения в охраняемое помещение. Однако предложенные методы не исключают проникновения в охраняемую область злоумышленников, сопровождающих зарегистрированного пользователя, идентифицированного системой.

Наиболее близким к заявляемому является решение, описанное в патенте США №6,498,970 [8], который предлагает метод и реализующую его систему идентификации пользователя с использованием лица, голоса и жестов с целью управления доступом к автомобилю. На первом этапе выполняется анализ 2D изображения лица человека, захваченного камерой системы. Полученные данные сравниваются с шаблонами из базы данных, и принимается решение о предоставлении доступа к автомобилю. Дальнейшее взаимодействие с автомобилем осуществляется при помощи голоса и жестов. Система производит сравнение каждой подаваемой команды с шаблонами из базы данных и предоставляет доступ к запрашиваемой функции только при положительном результате проведенного сравнения. Основным недостатком известного решения [8] является его чрезмерная усложненность и жесткая зависимость от жестикуляции, хотя жестикуляция одного и того же человека может меняться в широких пределах при различном самочувствии.

Задачей, на решение которой направлено заявляемое изобретение, является создание механизмов, способных с высокой степенью надежности детектировать попытки несанкционированного доступа к объекту.

Технический результат достигается за счет того, что в качестве основного механизма используют выявление лица живого человека и детектирование несанкционированных пользователей, присутствующих рядом с зарегистрированным пользователем.

Предложенный метод позволяет решать следующие задачи:

- автоматический сбор информации о трехмерных изображениях, речевых сигналах и кинестетических сигналов, характеризующих зону наблюдения;

- выполнение быстрого обнаружения, слежения, обобщения информации о трехмерных объектах, находящихся в зоне наблюдения;

- распознавание трехмерного объекта на предмет принадлежности лица живому человеку в зоне интереса с помощью измерения статических и динамических характеристик трехмерной модели лица, которые содержат информацию о признаках лица, его движении, а также о степени интерактивного взаимодействия пользователя с аппаратурой;

- обнаружение муляжа головы;

- выявление активных (взаимодействующих с системой) пользователей на основе обобщения результатов обнаружения лица живого человека в зонах интереса;

- выявление пассивных (не взаимодействующих с системой) пользователей с помощью скрытой съемки всех объектов, присутствующих в сцене;

- идентификация личности по физическим и поведенческим характеристикам лица человека;

- идентификация ситуации загруженности каналов в системе контроля доступа, работающей как система массового обслуживания;

- идентификация типов криминальной ситуации за счет анализа действий обнаруженных активных и пассивных пользователей и принятия решения о типе ситуации в зоне наблюдения в соответствии с приложением.

Основными отличительными свойствами предлагаемого метода являются:

1) введение дополнительной защиты от опознания муляжа головы;

2) идентификация пользователя по физическим и поведенческим биометрическим характеристикам лица;

3) распознавания активных с системой пользователей по интерактивному сценарию и скрытое наблюдение за пассивными пользователями;

4) распознавания типа ситуации и выявление криминальной ситуации в зоне наблюдения, идентификация ситуации загруженности каналов системы контроля доступа.

Техническая реализация заявляемого способа включает осуществление следующих операций:

а. получение трехмерного изображения при помощи использования трехмерных сенсоров, среди которых, по крайней мере, один сенсор взаимодействует непосредственно с пользователем, а несколько других могут быть использованы для скрытого наблюдения за пользователем и окружающими его объектами;

b. определение зон интереса путем применения метода проекций трехмерных и двумерных изображений и анализа элементов изображений целиком, построения карт черт по вероятности;

с. применение быстрых методов обнаружения лица в трех различных режимах, а именно: обнаружение, слежение, обобщение, а также применение преобразования обнаруженного трехмерного объекта к первой нормализованной форме лица;

d. применение точных методов детекции локальных элементов лица и приведение первой нормализованной формы лица ко второй, третьей и четвертой формам, т.е. антропометрический граф, поверхность, текстура;

е. быстрый метод измерения и сравнения с шаблоном поведенческой биометрической характеристики

f. - подпись головы.

Таким образом, формируется многоцелевая гибкая работа системы, которая, в зависимости от параметризации биометрической задачи и приложения, например, точность, производительность и другие ограничения, осуществляет несколько режимов, в том числе:

- режим распознавания трехмерного объекта лица живого человека;

- режим идентификации лица;

- режим обнаружения активных и пассивных пользователей;

- режим обнаружения ситуации загруженности каналов системы контроля доступа, работающей как система массового обслуживания;

- режим обнаружения криминальной ситуации.

Высокая производительность данного метода достигается путем использования методов слежения за трехмерным объектом, приведенным к первой нормализованной форме лица, при этом применяют быстрый метод измерения и сравнения с шаблоном поведенческой биометрической характеристики - подпись мимикой лица. Высокая точность и скорость работы метода достигается путем использования точных методов детекции локальных черт и представления лица в трех различных нормализованных формах, т.е. второй, третьей, четвертой. Помимо этого, используют быстрый метод измерения и сравнения с шаблоном поведенческой биометрической характеристики фонемная подпись, получаемой как результат выполнения пользователем команд системы. Последовательность команд выбирается случайным образом, что обеспечивает защиту системы от муляжа. Команды пользователю могут быть сигналом к его действию, где действия могут носить визуальный, аудиальный или кинестетический характер (действие по позиционированию себя перед камерой, произнесение фразы, действия над предметами). Дополнительно применяют быстрый метод измерения и сравнения с шаблоном поведенческой биометрической характеристики - фонемно-мимической подписи, получаемой как результат выполнения пользователем команд системы, и быстрый метод обнаружения активных и пассивных лиц за счет обобщения информации о лице в каждой из зон интереса. При этом применяют метод классификации ситуации по типу, идентификацию криминальной ситуации в зоне наблюдения и ситуации загруженности каналов обработки в системе контроля доступа, в случае ее применения в качестве системы массового обслуживания.

Основные преимущества заявляемого изобретения заключаются в следующих факторах:

1. устойчивость биометрической системы к внешним объектам, таким, например, как очки, борода, маска, что достигается путем использования нескольких трехмерных сенсоров, нескольких типов представлений лица, и применения процедур детекции и обобщения лиц по различным ракурсам;

2. защита биометрической системы распознавания от трехмерного муляжа за счет анализа движений трехмерного объекта, а также его частей в соответствии с интерактивными действиями пользователя, например, визуальными, аудиальными, кинестетическими, на определенный набор команд системы и сравнения соответствующих типов статических, в частности, холистическая модель, антропометрические точки, поверхность лица, текстура, и динамических подписей лица, т.е. голос, голова, мимика, фонемы, фонемо-мимическая;

3. защита биометрической системы распознавания от управляемого муляжа-голограммы, что достигается благодаря использованию набора интерактивных команд, поступающих из блока генератора команд (СУБД) на дисплей системы и принуждающих пользователя к выполнению механических, т.е. кинестетических, действий над материальным объектом, находящимся в зоне обнаружения, например, поднять предмет, нажать кнопку;

4. распознавание активных по отношению к системе пользователей, взаимодействующих с системой, за счет применения интерактивного сценария работы с различными типами сенсоров;

5. распознавание пассивных пользователей, не контактирующих с аппаратурой, за счет скрытого наблюдения;

6. распознавание ситуации загруженности каналов системах контроля доступа (как системы массового обслуживания) для улучшения пропускной способности работы биометрической системы;

7. распознавание криминальной ситуации и защита биометрической системы распознавания от несанкционированного доступа в случае проникновения зарегистрированного пользователя с несанкционированными пользователями или опасными объектами, что достигается путем скрытого обнаружения присутствия всех возможных пользователей или определенных типов объектов рядом с головой живого человека;

8. использование статических и динамических подписей как физических, так и поведенческих биометрических характеристик для распознавания лица.

Заявляемое изобретение включает в себя способ и систему автоматической проверки, является ли трехмерный объект в зоне обнаружения лицом живого человека.

Предлагаемый способ и система поясняются иллюстрациями на фиг.1-8, на которых, в частности, приведен возможный внешний вид системы:

на фиг.1 представлена схема взаимодействия различных элементов всей системы и отдельных устройств обнаружения, нормализации, распознавания, принятия решений;

на фиг.2 приведен пример визуального сообщения пользователя, т.е. позиционирования, в соответствии с визуальными командами;

на фиг.3 приведен пример аудиального сообщения пользователя в соответствии с командами;

фиг.4 дает пример детектирования интерактивного и пассивного пользователя через скрытое наблюдение;

фиг.5 дает пример первой нормализованной формы лица, т.е. холистическая модель лица;

на фиг.6 приведен пример второй нормализованной формы лица, т.е. антропометричекий граф лица;

фиг.7 дает пример третьей нормализованной формы лица, т.е. цветовая сегментация текстуры трехмерхного изображения лица;

фиг.8 иллюстрирует пример четвертой нормализованной формы лица, т.е. модель поверхностей.

Данная система скомпонована из следующих элементов: - система обнаружения трехмерных объектов и проверки их на предмет принадлежности лица живому человеку в биометрических системах, состоящая из:

1) блока активных сенсоров, включающего в себя сенсоры трехмерных изображений, стереомикрофон, кинестетический сенсор, например клавиатура, планшет, и дисплей, которые размещаются на сцене для непосредственной интерактивной работы с пользователем; при этом блок активных сенсоров представляет собой набор датчиков для ввода информации различного типа, в частности, трехмерного изображения, аудиосигнала, кинестетического сигнала, о зоне наблюдения; для ввода трехмерного изображения могут использовать активные камеры со структурированной подсветкой или пассивные стереоскопические системы;

2) блока пассивных сенсоров, включающего в себя сенсоры трехмерных изображений, которые размещаются на сцене для скрытого наблюдения за пользователями;

3) блока захвата и предобработки сигналов изображения, голоса или кинестетического сигнала;

4) блока памяти для записи кадров трехмерных изображений;

5) устройства обнаружения трехмерного объекта и первичной нормализации, состоящего из блоков захвата зоны интереса, детектирования, слежения, обобщения, которые могут быть реализованы на отдельных процессорах, и блока разделяемой памяти, в которую записывается и с которой считывается информация о лицеподобном трехмерном объекте, приведенная к первой нормализованной форме лица;

6) устройства нормализации форм трехмерного объекта, состоящего из блоков нормализации трехмерного объекта, блока антропометрического анализа, анализа текстуры, анализа поверхностей и блока разделяемой памяти, в которую записывается и с которой считывается информация о лицеподобном трехмерном объекте, приведенная ко второй, третьей и четвертой нормализованным формам лица, и блока генерации статической подписи;

7) устройства нормализации движения трехмерного объекта, состоящего из блоков распознавания движения головы, распознавания мимики лица, распознавания фонем, синхронизации фонем и мимики лица, распознавания кинестетических сигналов и блоков разделяемой памяти, в которую записывается и считывается информация о подписи головы, о голосовой подписи, мимической подписи, фонемно-мимической подписи, кинестетической подписи;

8) устройства принятия решений, состоящего из системы управления базой данных, состоящей из команд, эталонов подписей, метрик сравнения, оценок распознавания, базы данных, состоящей из команд, эталонов подписей, метрик сравнения, оценок распознавания лица, блока принятий решений о распознавании принадлежности лица живому человеку в каждой из зон интереса, блока подсчета активных и пассивных лиц, блока идентификации лица, блока распознавания криминальной ситуации.

- стереокамеры, представляющие собой две или более камеры, выполняющие роль оптических датчиков, разнесенные на определенное расстояние и скалиброванные относительно друг друга; при этом сбор аудиосигналов от пользователя осуществляют путем использования стереомикрофона, производящего захват сигнала по двум каналам, что позволяет производить дополнительную очистку сигнала от шума, а сбор кинестетических сигналов от пользователя осуществляют путем использования клавиатуры или любого другого сенсора, которые требуют физического контакта с аппаратурой.

В качестве простейшей конфигурации системы для защиты от муляжа-голограммы производят только детектирование сигнала превосходящего определенный порог. Для более качественной защиты от управляемой голограммы целесообразно использовать устройство, измеряющее вес или рост пользователя, устройство, измеряющее подпись человека ручкой, устройство, считывающее пин-код, набираемый на клавиатуре. В качестве сенсора для захвата аудиосигнала может быть использован такой микрофон или стереомикрофон, который позволяет дополнительно производить очистку шумов. Данный блок размещают в непосредственной близости от пользователя, проходящего биометрический контроль, с целью интерактивной работы пользователя с системой. Активный пользователь получает команды от системы при помощи дисплея, на который выводят интерактивные сообщения пользователю произвести действия визуального например, "спозиционировать лицо и взгляд в камеру", аудиального, например, "сказать что-либо", и кинестетического характера, например, "выполнить механическое действие". Сценарий работы пользователя с системой может быть фиксирован или его выбирают некоторым случайным образом с целью дополнительной защиты системы от муляжа. Пример активного сценария работы приведен на фиг.2 и фиг.3.

Блок пассивных сенсоров представляет собой набор трехмерных сенсоров для ввода трехмерного изображения.

Количество и взаимную ориентацию сенсоров выбирают таким образом, чтобы обеспечить съемку всего периметра зоны наблюдения. В частности некоторые активные сенсоры трехмерных изображений могут работать в режиме поиска пассивных пользователей. В качестве минимальной конфигурации системы активных и пассивных сенсоров - выбирают один трехмерный сенсор, работающий в двух режимах поиска активных и пассивных пользователей.

Блоки захвата и предобработки сигналов изображения, голоса и кинестетического сигнала проводят захват сигнала, очистку сигнала от шумов и препроцессинг сигнала, в частности, для локальной нормализации яркости, в удобное представление сигнала для методов распознавания.

В блоках буферной памяти хранят поступающие от сенсоров трехмерных изображений кадры трехмерных изображений, а также информация об областях интереса в зоне наблюдения.

Блок захвата зоны интереса выполняет оценку зоны наблюдения и определяет множество зон интереса. Для этого с помощью блока осуществляют следующие шаги:

1) проводят стереореконструкцию всей зоны наблюдения, т.е. строят карту диспаратности, характеризующую удаленность объектов наблюдения от камеры, что является основной характеристикой трехмерного изображения;

2) строят проекции трехмерного изображения по направлениям, т.е. выбирают двумерные изображения;

3) проводят фильтрацию изображения, например используют градиентные низкочастотные фильтры, фильтры Габора, цветовую сегментацию;

4) далее процедурами анализа изображения целиком, т.е. холистически, определяют глобальные характеристики области интереса, такие как преобладание тона лица, трехмерного объекта, горизонтальных и вертикальных границ лица, наличие кластеров локальных черт лица или лица целиком. Процедурами анализа изображения целиком могут быть, например, методы проекций и методы сопоставления шаблонов. На фиг.5-7 показан пример стереореконструкции, цветовой сегментации, преобразования по Габору;

5) по оценкам характеристик трехмерного изображения на данном и предыдущем кадре принимают решение о важности зоны интереса и устанавливают приоритет.

В блоке детектирования производят анализ карт черт следующим образом:

1) специфицируют пирамиду двумерных изображений на основе полученной вычисленной карты диспаратности;

2) разделяют трехмерную информацию на два множества: множество проекций - двумерных изображений и множество карт диспаратности; во множестве двумерных изображений дополнительно выделяют информация о цвете, то есть выделяют три множества карт черт, отвечающих за репрезентативность и информативность модели лица. По этой информации в дальнейшем строят нормализованные формы;

3) выбирают карту черт изображений, в частности цветовую карту, карту Габора, карту диспаратности;

4) проводят кластеризацию признаков по яркости, тону или диспартатности, по размерам регионов интереса, используя, в частности, метод К-средних, нейронные сети Кохонен или радиально-базисные сети;

5) выделяют связные компоненты и локальные объекты;

6) на основе геометрии лица анализируют расположение локальных черт и находят лицо.

При формировании решения о детекции лица используют, по крайней мере, одно из трех представлений моделей лица:

a) представление с помощью локальных черт, объединенных в кластеры черт: брови и глаза; ноздри, усы, рот, подбородок; щеки и нос;

b) представление с помощью цветовой сегментации;

c) представление с помощью анализа карты диспаратности - анализа выпуклости множества соответственных точек, в ряде источников именуемых «точками соответствия».

С помощью блока слежения в зоне интереса увеличивают скорость работы блока детекции за счет использования информации о предыдущем кадре и движении объекта. Для этого выполняют следующую последовательность шагов:

1) выделяют набор опорных точек представления лица в одной из трех форм, характеризующих лицо на уже найденном кадре трехмерного изображения;

2) анализируют оптический поток множества точек и вычисляют параметры движения;

3) на следующем кадре ищут наиболее вероятную соответственную точку в локальной окрестности опорной точки;

4) проверяют консистентность точек - в случае если объект обнаружен с низкой степенью уверенности, запускают процедуры из блока детекции.

С помощью блока обобщения повышают точность работы блока детекции за счет использования множества кадров трехмерных изображений следующим образом:

1) выделяют набор опорных точек представления лица в одной из трех форм, характеризующих лицо на уже найденном кадре трехмерного изображения;

2) анализируют оптический поток множества точек трехмерных изображений, построенный по серии из нескольких кадров;

3) ненайденные точки и точки, найденные с низкой вероятностью, уточняют процедурами реконструкции и проверки нормализованного лица на консистентность и информативность.

Лицеподобный трехмерный объект представляет собой разделяемую память, с которой работает процесс обнаружения лица на каждом кадре. Данные о трехмерном изображении и лице хранят в первой нормализованной форме лица. В первой нормализованной форме описывается:

1) целостная холистическая информация о лице, в частности центр тяжести головы, размеры трехмерного объекта;

2) представление лица в виде набора кластеров черт, например лицо как набор из трех кластеров «глаза/брови», «ноздри/усы/губы/ подбородок», «щеки/нос».

3) представление лица в виде трехмерного объекта, характеризуемого картой диспаратности;

4) представление лица в виде цветовой карты, определяющей тон кожи лица.

Устройство распознавания и нормализации статических форм трехмерного объекта состоит из:

- группы блоков проверки статических элементов трехмерного объекта на предмет присутствия лица живого человека в зоне обнаружения. На вход устройство получает трехмерный объект, находящийся в первой нормальной форме, далее объект последовательно уточняется тремя различными представлениями лица, а именно граф антропометрических черт объекта, текстура объекта, поверхности объекта, и приводится соответственно ко второй, третий и четвертой нормализованной формы лица.

Нормализованные формы отличаются по степени точности, надежности и скорости построения. По полученным нормализованным формам строят статическую подпись лица, которая в зависимости от параметров приложения, например веса важности, степени редукции, может использоваться в качестве биометрической характеристики для определения лица живого человека или идентификации личности по лицу. Другим применением нормализованных форм является их использование для построения различных моделей движения лица и генерации по ним динамической подписи лица, которая включает в себя голосовую подпись, подпись головы, мимическую подпись, фонемно-мимическую подпись, кинестетическую подпись.

С помощью блока антропометрического анализа осуществляют следующие действия:

1) построение эвристических шаблонов в зоне интереса, например, по цветовой сегментации;

2) выбор пирамиды изображений в соответствии с удаленностью объекта от камеры, т.н. карта диспаратности;

3) построение множества двумерных изображений по проекциям трехмерного изображения в соответствии с пирамидой изображения;

4) фильтрацию по градиентным фильтрам и фильтрам Габора в зависимости от выбранного направления проектирования трехмерного изображения и пирамиды изображений;

5) построение репрезентативных и информативных карт для лица и локальных черт;

6) кластеризацию черт на текущем кадре, в результате которой нормализуется яркость изображения локальных черт;

7) идентификацию объекта лица на основе экспертных эвристических правил;

8) уточнение всех антропометрических черт лица точными алгоритмами обнаружения черт, в частности методами активных и деформируемых шаблонов;

9) обнаружение соответственных точек по картам черт, уточняется карта диспаратности и антропометрические черты лица верифицируется сопоставлением с уточненной картой диспаратности;

10) верификацию модели лица на консистентность с помощью вычисления трехмерных координат и расстояний для антропометрических точек;

11) реконструкцию модели лица в виде трехмерного графа;

12) нормализацию трехмерного графа и построение второй нормализованной форму.

Во второй нормализованной форме описывается следующая информация:

1) двумерная информация о лице в виде множества антропометрических точек и расстояний, определяемых методами криминалистической идентификации;

2) трехмерная информация о локальных чертах;

3) набор графов лица в разных ракурсах.

В блоке анализа текстуры осуществляют:

1) построение множества двумерных изображений по проекциям трехмерного изображения;

2) представление изображений в модель HSB из RGB и выделение первой компоненты тона (hue);

3) пороговую фильтрацию или цветовую сегментацию (например, цветовую сегментацию по методу К-средних);

4) выбор связных компонент по тону и обнаружение локальных объектов;

5) приведение модели лица в третью нормализованную форму.

В третьей нормализованной форме описывается следующая информация:

1) локальные признаки поверхностей по цветовым комбинациям;

2) перепады тона и яркостей.

Одно из главных предназначений блока анализа текстуры - получение эвристик для ускорения процесса детектирования черт лица.

В блоке анализа поверхностей осуществляют:

1) построение подмножества карты диспаратности, где соответственные точки найдены с низкой вероятностью, на этих подмножествах с помощью метода проекции строят двумерные изображения, уточняют соответственные точки, производят реконструкцию и сглаживание трехмерных поверхностей;

2) выделение базисных опорных поверхностей лица и трехмерных элементов лица, соответствующим неподвижной части лица;

3) построение трехмерных объектов на поверхности лица;

4) нахождение признаков трехмерного объекта (интегральные характеристики, характеристик по уровням поверхностей, выпуклости);

5) приведение модели лица в четвертую нормализованную форму;

6) в случае наличия внешних объектов (очки, шляпа, усы) уточнение четвертой нормализованной формы на основе второй и третьей.

В четвертой нормализованной форме описывается:

1) тип трехмерной формы и ее признаки;

2) тип линий уровня и ее признаки;

3) выпуклость поверхности и ее признаки.

В блоке редукции признаков производят выбор наиболее важных для приложения признаков, то есть осуществляют процедуру редукции признаков всех нормализованных форм, определяют выборку и устанавливают веса важности признаков в данной выборки. Данные параметры подбирают в зависимости от биометрического приложения: идентификация лица, обнаружение лица живого человека и муляжа, поиск активных/пассивных пользователей, распознавание криминальной ситуации.

Устройство распознавания и нормализации динамических форм трехмерного объекта состоит из группы блоков распознавания звука, распознавания кинестетического сигнала, и распознавания движения элементов трехмерного объекта на предмет присутствия лица живого человека в зоне обнаружения. Для распознавания движения используется одна из нормализованных форм лица. Движение трехмерного объекта последовательно уточняется путем применения процедур нормализации и построения подписей: речевая подпись, подпись головы, мимическая подпись, фонемно-мимическая и кинестетическая подпись.

С помощью блока распознавания движения головы производят следующие шаги:

1) выбор точек слежения на трехмерном объекте, для этого используют первую нормализованную форму лица и такие признаки, как центр тяжести головы, опорные точки лица, характеризующие неподвижные части лица;

2) слежение за объектами - построение траектории движения центра головы и траектории движения плоскости лица, характеризующей фокусировку и взгляд лица, где траектория движения строится как адекватный результат интерактивной работы пользователя с системой в соответствии со случайным сценарием;

3) дискретизация траектории по главным компонентам и выбор основных состояний, где тип состояния определяется типом ракурса головы, то есть пространственной ориентацией головы;

4) построение графа переходов одного состояния лица в другое;

5) уточнение параметров движения, такие как скорость, ускорение;

6) построение подписи головы, которая представляет собой набор состояний и переходов в соответствии с шаблоном сценария и может быть реализована с помощью графа, конечного автомата, скрытых марковских моделей и др.

В блоке распознавания фонем производят следующие шаги:

1) устранение в сигнале шумов;

2) сегментация сигнала по участкам интереса;

3) дискретизация сигнала;

4) распознавание фонем за счет извлечения локально-частотных свойств сигнала;

5) уточнение параметров речи, таких как интенсивность, громкость, темп, интонация;

6) построение речевой подписи, которая представляет собой набор состояний и переходов в соответствии с шаблоном сценария и может быть реализована с помощью графа, конечного автомата, скрытых марковских моделей и др.

В блоке распознавания кинестетических сигналов осуществляют:

1) детектирование сигнала о контакте пользователя с аппаратурой;

2) фильтрацию сигнала по порогу;

3) принятие решения о муляже-голограмме или детектировании активного пользователя лице.

С помощью блока распознавания мимики лица производят следующие шаги:

1) выбор локальных объектов на трехмерном объекте, для этого используют нормализованные формы лица №2, №3, №4 и такие элементы головы как брови, глаза, губы, челюсть;

2) слежение за трехмерными локальными объектами - строят траектории движения локальных объектов, где траектория движения представляет собой адекватный результат интерактивной работы пользователя с системой в соответствии со случайным сценарием;

3) дискретизация траектории по главным компонентам и выбор основных состояний, где типы состояний определяют, например, следующим образом:

a) брови подняты/опущены вверх;

b) глаз широко открыт/опущенно веко/закрыт;

c) рот (открыт/закрыт/растянут в улыбку);

d) челюсть поджата/опущена/скошена влево/вправо/выдвинута вперед;

4) построение графа переходов одного состояния лица в другое;

5) уточнение параметров движения, такие как скорость, ускорение;

6) построение траектории изменения мимики, где каждое мимическое состояние определяют состояниями и переходами локальных черт, таких как брови, глаз, рот, челюсть;

7) дискретизация траектории по главным компонентам и выбор основных состояний мимики;

8) построение мимической подписи, которая представляет собой набор состояний мимики и переходов в соответствии с шаблоном сценария и может быть реализована с помощью графа, конечного автомата, скрытых марковских моделей и др.

С помощью блока синхронизации фонем и мимики лица

1) строят пересечение множеств мимических состояний с множеством фонемных состояний;

2) выбирают наиболее вероятные переходы состояний;

3) строят фонемно-мимическую подпись, которая представляет собой набор состояний фонем и мимики и переходов в соответствии с шаблоном сценария и может быть реализована с помощью графа, конечного автомата, скрытых марковских моделей и др.

В блоке редукции признаков производят выбор наиболее важных для приложения динамических подписей, то есть осуществляют процедуру редукции подписей, определяют выборку и устанавливают веса важности подписей в данной выборке. Данные параметры подбирают в зависимости от биометрического приложения: идентификация лица, обнаружение лица и муляжа, поиск активных/пассивных пользователей, распознавание криминальной ситуации или ситуации загруженности каналов системы контроля доступа.

Устройство принятия решений состоит из следующих блоков: базы данных команд и эталонов, системы управления базой данных, блока распознавания лица живого человека, блока подсчета активных и пассивных лиц, блока идентификации лица, блока идентификации ситуации.

База данных представляет собой таблицы, в которых размещают информацию о типе приложения, сценарии команд, команды пользователю, хранимые эталоны подписей лица, регистрируемые шаблоны биометрических характеристик, шаблоны ситуаций, метрики сравнения.

С помощью системы управления базой данных производят формирование таблиц, выборку данных по запросу, выборку метрик сравнений, производят сравнение подписей с эталонами и формируют решение в зависимости от типа приложения.

В блоке распознавания принадлежности лица живому человеку сравнивают распознанные статические и динамические подписи лица с эталонными, производят обобщенную оценку о присутствии лица в данной