Способ и устройство для фотореалистического трехмерного моделирования лица на основе изображения

Способ и устройство для фотореалистического трехмерного моделирования лица на основе изображения

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к обработке изображений, а более конкретно - к способу и устройству для фотореалистического трехмерного моделирования лица на основе изображения.

Уровень техники

Автоматическое фотореалистическое трехмерное моделирование лица рассматривают как очень важную задачу в области компьютерной графики из-за его широкой применяемости в различных областях, таких как создание виртуального пространства, компьютерные игры, видеоконференции и анимация.

Хотя лазерный сканер, фиксирующий точное трехмерное изображение сложного объекта, и устройство, измеряющее расстояние с использованием структурированного света, в настоящее время доступны, их стоимость все еще высока и их не очень удобно использовать. Технологии интерактивного моделирования лица с помощью компьютера требуют профессиональной, тяжелой работы. Так, интенсивные усилия были посвящены тому, чтобы позволить обычным пользователям персонального компьютера (ПК) более легко реконструировать (воспроизводить, воссоздавать) более реалистические модели человеческих лиц. Другими словами, требуется разработать алгоритм, которым может легко управлять обычный пользователь ПК, для предоставления возможности автоматического создания необходимых лиц из несовершенных входных данных, которые получают с использованием экономичных устройств получения изображений, таких как цифровые камеры.

Системы для автоматического воспроизведения модели лица могут быть грубо разделены на несколько категорий согласно используемому источнику данных о трехмерной форме лица. Некоторые исследователи разработали методы получения лицевых данных от лазерных сканеров или устройств структурированного света. Проблемы, возникающие при использовании этих методов, состоят в том, что эти устройства являются дорогими и их трудно использовать.

Много усилий было посвящено созданию модели лица из фронтальной проекции (вида спереди) и профильной проекции (вида сбоку). Однако при использовании обычной карманной камеры без специального вспомогательного устройства трудно достичь строго ортогональное соотношение между двумя изображениями, так что информация о форме, полученная непосредственно из различных проекций, имеет некоторые противоречия. Эта проблема еще не решена.

Некоторые системы полагаются на указанные пользователем характерные точки на нескольких изображениях, что требует трудоемких ручных процедур и большого количества времени. Среди других подходов способы, использующие оптический поток, и стереоскопические способы, кажется, делают самый большой шаг к полной автоматизации процесса реконструкции, но результирующие модели включают в себя значительный шум и противоестественно искажают поверхность лица.

Чтобы избежать нежелательных искажений модели лица и увеличить надежность, некоторые исследователи используют морфируемую (трансформируемую, интеллектуально модифицируемую) модель лица, которая позволяет использовать ограниченное количество характерных точек. Морфируемую модель лица сравнивают с реконструированными трехмерными точками или исходными изображениями, и требуется большое количество основанной на модели подстройки для восстановления формы. Эти подходы в большой степени зависят от того, насколько точным и обширным является набор характерных точек.

В другом способе для получения точной модели при использовании стереоскопической реконструкции восстановление формы ограничено только изменяющей свою форму моделью, которая соответствует дополнительным наложенным ограничениям, таким образом ухудшая точность модели.

Некоторые исследователи пробовали формировать модель только из одного фронтального изображения на основе априорной информации о глубине. Однако результирующее качество модели в этом случае далеко от фотореалистического.

Важной проблемой при моделировании лица является автоматическое выделение лицевых особенностей (черт лица). Были предложены различные способы обнаружения (выделения) лицевых особенностей, такие как моделирование лицевых особенностей на основе внешнего вида, алгоритмы на основе человеческого зрения, поиск определенных образцов краев (резких переходов яркости) и образцов пикселей с низкой интенсивностью, использование морфологических операторов и т.д. Несмотря на очевидный прогресс в этой области, много работы все еще необходимо выполнить для улучшения точности и надежности для создания алгоритмов анализа лица «с качеством, присущим человеку».

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Настоящее изобретение предлагает способ и устройство для фотореалистического трехмерного моделирования лица на основе изображения с использованием двух изображений, которые включают в себя фронтальное и профильное изображения, или трех изображений, которые включают в себя фронтальное, почти фронтальное и профильное изображения.

Согласно одному из аспектов настоящего изобретения предложен способ создания трехмерной фотореалистической модели головы, данный способ содержит: (a) обнаружение фронтальных и профильных особенностей во вводимых фронтальном и профильном изображениях; (b) генерацию трехмерной модели головы путем подгонки трехмерной универсальной модели, используя обнаруженные особенности лица; (c) генерацию реалистической текстуры из вводимых фронтального и профильного изображений и (d) отображение текстуры на трехмерную модель головы.

Согласно конкретным вариантам осуществления настоящего изобретения генерация трехмерной модели головы на этапе (b) может дополнительно содержать этап генерации информации глубины из фронтального изображения и почти фронтального изображения, на котором универсальную модель подгоняют (настраивают), используя особенности лица, для определения трехмерной формы конкретного лица и генерируют, подогнанную трехмерную модель головы, используя информацию глубины.

Обнаружение фронтальных особенностей на этапе (a) может содержать: обнаружение области кожи; обнаружение области лица; обнаружение ограничивающих глаза рамок; обнаружение радужных оболочек; нормализацию фронтального изображения, обнаружение контуров глаз, обнаружение бровей, обнаружение контура губ, обнаружение контура носа и обнаружение контура подбородка и щек.

Нормализация фронтального изображения может содержать вращение фронтального изображения так, чтобы линия между центрами радужных оболочек стала горизонтальной, и повторное масштабирование фронтального изображения к предварительно определенному разрешению.

Обнаружение особенностей профиля на этапе (a) может содержать: обнаружение области профиля; обнаружение кривой профиля; обнаружение опорных (реперных) точек; и обнаружение контура уха.

Генерация информации глубины из фронтального и почти фронтального изображений может содержать: определение характерных точек на фронтальном изображении; выполнение основанного на модели Lucas-Kanade отслеживания характерных точек для поиска соответствующих точек на почти фронтальном изображении; получение плотной карты различий с помощью интерполяции данных, используя сравнение соответствий; и преобразование карты различий в информацию глубины. В этом случае преобразование карты различий в информацию глубины может содержать: получение разностного значения между максимальным и минимальным значениями различий; определение коэффициента с помощью деления разностного значения на ширину головы и умножения полученного результата на предварительно определенную константу; и получение значения глубины пикселя, умножая данный коэффициент на значение, полученное вычитанием минимального значения различия из измеренного значения различия.

Подгонка универсальной модели на этапе (b) может содержать: преобразование кривых особенностей, обнаруженных на изображениях, в двумерные точки, соответствующие особенностям, определенным в трехмерной универсальной модели, используя соотношения длин для характерных точек на кривой лицевых особенностей трехмерной универсальной модели; и подгонку трехмерной универсальной модели с помощью 3-этапной трансформации на основе функции с радиальным смещением (RBF) на основе соответствий между особенностями изображений и характерными точками трехмерной универсальной модели.

Генерация реалистической текстуры на этапе (c) может содержать: выполнение коррекции цвета в вводимых изображениях для компенсации различных условий освещения или различий цветового баланса между камерами; генерацию фронтальной и профильной текстуры путем отображения фронтального и профильного изображения на общую плоскость UV на основе соответствия между вершинами трехмерной модели и проецируемыми двумерными позициями; и объединение фронтальной и профильной текстур и искусственной текстуры, используя сплайновый алгоритм в разных разрешениях для завершения текстурирования.

Согласно другому аспекту настоящего изобретения предложено устройство для создания трехмерной фотореалистической модели головы, данное устройство содержит: блок обнаружения особенностей лица, который обнаруживает фронтальные и профильные особенности во вводимых фронтальном и профильном изображениях; блок подгонки модели лица, который генерирует трехмерную модель головы путем подгонки трехмерной универсальной модели, используя обнаруженные особенности лица; блок генерации текстуры, который генерирует реалистическую текстуру из вводимых фронтального и профильного изображений; и блок отображения, отображающий текстуру на трехмерную модель головы, сгенерированную в блоке подгонки модели лица.

Согласно определенным вариантам осуществления настоящего изобретения блок подгонки модели лица может содержать узел генерации информации глубины, который извлекает информацию глубины из фронтального изображения и почти фронтального изображения и генерирует трехмерную модель головы, выполняя подгонку универсальной модели, используя особенности лица, обнаруженные в блоке обнаружения особенностей лица, и информацию глубины, сгенерированную в узле генерации информации глубины.

Блок обнаружения особенностей лица может содержать: узел обнаружения фронтальных особенностей, который обнаруживает фронтальные особенности; и узел обнаружения особенностей профиля, который обнаруживает особенности профиля. Узел обнаружения фронтальных особенностей может содержать: узел обнаружения области кожи, который обнаруживает область кожи; узел обнаружения области лица, который обнаруживает область лица; узел обнаружения ограничивающих глаза рамок, который обнаруживает ограничивающие глаза рамки; узел обнаружения радужной оболочки, который обнаруживает радужные оболочки; и узел нормализации фронтального изображения, который нормализует фронтальное изображение.

Узел обнаружения фронтальных особенностей дополнительно может содержать по меньшей мере один из узлов: узел обнаружения контура глаз, узел обнаружения бровей, узел обнаружения контура губ, узел обнаружения контура носа и узел обнаружения контура подбородка и щек.

Узел обнаружения особенностей профиля может содержать узел обнаружения области профиля, узел обнаружения кривой профиля, узел обнаружения опорных точек и узел обнаружения контура уха.

Блок генерации информации глубины может содержать: узел обнаружения характерных точек, который определяет характерные точки на фронтальном изображении и находит соответствующие характерные точки на почти фронтальном изображении; узел получения различий, который получает плотную карту различий с помощью интерполяции данных, используя сравнение соответствий; и узел преобразования различий в информацию глубины, который преобразует карту различий в информацию глубины.

Блок подгонки универсальной модели может содержать: узел преобразования в двумерные точки, который преобразует кривые особенностей, обнаруженных на изображениях, в двумерные точки, соответствующие особенностям, определенным в трехмерной универсальной модели, используя соотношения длин для характерных точек на кривой лицевых особенностей трехмерной универсальной модели; и узел подгонки полигональной модели, который выполняет подгонку трехмерной универсальной модели с помощью 3-этапной трансформации на основе RBF (функции с радиальным смещением) на основе соответствий между особенностями изображений и характерными точками трехмерной универсальной модели.

Блок генерации текстуры может содержать: узел компенсации вводимого изображения, который компенсирует различные условия освещения или различия цветового баланса между камерами с помощью выполнения коррекции цвета в вводимых изображениях; узел генерации фронтальной/профильной текстуры, который генерирует фронтальную и профильную текстуры с помощью отображения фронтального и профильного изображений на общую UV плоскость на основе соответствия между вершинами трехмерной модели и проецируемыми двумерными позициями; и узел завершения текстурирования, который объединяет фронтальную и профильную текстуры и искусственную текстуру, используя сплайновый алгоритм в разных разрешениях для завершения текстурирования.

Согласно другому аспекту настоящего изобретения предложен считываемый компьютером носитель информации, который содержит компьютерную программу для осуществления описанного выше способа фотореалистического трехмерного моделирования головы на основе изображения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Указанные выше и другие признаки и преимущества настоящего изобретения станут более очевидными при подробном описании примерных вариантов его осуществления со ссылкой на прилагаемые чертежи, на которых:

Фиг. 1 - последовательность операций способа фотореалистического трехмерного моделирования лица на основе изображения согласно настоящему изобретению.

Фиг. 2 показывает подробный процесс моделирования вместе с фотографиями.

Фиг. 3 показывает фронтальную и профильную проекции универсальной модели.

Фиг. 4 показывает обычные входные фронтальное, почти фронтальное и профильное изображения.

Фиг. 5 - структурная схема устройства для фотореалистического трехмерного моделирования лица на основе изображения согласно настоящему изобретению.

Фиг. 6 показывает подробную конфигурацию блока обнаружения особенностей лица.

Фиг. 7 показывает подробную конфигурацию узла обнаружения фронтальных особенностей.

Фиг. 8 и 9 - подробная последовательность операций обнаружения фронтальных особенностей (извлечение).

Фиг. 10 показывает пример обнаружения изображения области, которая, вероятно, принадлежит коже, и области лица, на котором меньший эллипс соответствует начальной области, и больший эллипс соответствует обнаруженному результату.

Фиг. 11 показывает другой пример обнаружения изображения области, которая, вероятно, принадлежит коже, и области лица.

Фиг. 12A - структурная схема узла обнаружения области лица на фиг. 7.

Фиг. 12B - последовательность операций обнаружения области лица.

Фиг. 13 показывает краткую модель для обнаружения области лица.

Фиг. 14A - структурная схема узла обнаружения ограничивающих глаза рамок на фиг. 7.

Фиг. 14B - последовательность операций обнаружения ограничивающих глаза рамок.

Фиг. 15 показывает пример изображения разновидностей глаз.

Фиг. 16 показывает другой пример изображения разновидностей глаз.

Фиг. 17 показывает результат обнаружения ограничивающих глаза рамок.

Фиг. 18A - структурная схема узла обнаружения радужной оболочки на фиг. 7.

Фиг. 18B - последовательность операций обнаружения центра и радиуса радужной оболочки.

Фиг. 19 показывает примеры обнаруженных радужных оболочек.

Фиг. 20 - последовательность операций аппроксимации для обнаружения контура глаза.

Фиг. 21 - график интенсивности красного канала в области глаза по горизонтальному направлению, который используется для обнаружения контура глаза.

Фиг. 22 показывает точки, используемые для обнаружения контура глаза и обнаруженные контуры глаз.

Фиг. 23 показывает обнаружение вертикального расположения бровей.

Фиг. 24 показывает ограничивающие брови рамки.

Фиг. 25 показывает обнаруженные брови.

Фиг. 26 - последовательность операций обнаружения верхней и нижней губ.

Фиг. 27 показывает итерационное уточнение прямоугольника губ.

Фиг. 28 показывает изображение функции губ с инициализированными точками губ.

Фиг. 29 показывает силы, действующие в точках контура губ.

Фиг. 30 показывает один этап модификации контура губ.

Фиг. 31 - последовательность операций обнаружения боковой стороны носа в процессе обнаружения контура носа.

Фиг. 32 показывает шаблон для крыла носа.

Фиг. 33 показывает крылья носа - кандидаты, обнаруженные на изображении.

Фиг. 34 показывает размещение основных характерных точек для кривой носа.

Фиг. 35 показывает обнаруженные кривые носа.

Фиг. 36A - структурная схема узла обнаружения контура подбородка и щек на фиг. 7.

Фиг. 36B - последовательность операций обнаружения контура подбородка и щек.

Фиг. 37 показывает изменение формы подбородка/щек модели.

Фиг. 38 показывает процесс подгонки подбородка модели.

Фиг. 39 показывает все обнаруженные особенности на фронтальных изображениях.

Фиг. 40 - подробная структурная схема узла обнаружения особенностей профиля.

Фиг. 41 - последовательность операций обнаружения особенностей профиля.

Фиг. 42 показывает случай, когда обнаружение области профиля закончилось неудачей, и появились прерывистые области кожи и носа.

Фиг. 43 показывает другой случай, когда обнаружение области профиля закончилось неудачей, и появилась дефектная область носа.

Фиг. 44 показывает другой случай, когда обнаружение области профиля закончилось неудачей, и появилась дефектная область кожи.

Фиг. 45 - изображение для объяснения обычной функции профиля.

Фиг. 46 показывает обнаружение верхней точки переносицы носа и нижней точки носа.

Фиг. 47 показывает обнаружение опорных точек подбородка и шеи.

Фиг. 48 показывает оценку опорных точек губ.

Фиг. 49 показывает автоматически обнаруженные особенностей профиля (которые не включают в себя ухо).

Фиг. 50 - последовательность операций обнаружения контура уха.

Фиг. 51 - последовательность операций инициализации уха.

Фиг. 52 показывает шаблон кривой, используемый для обнаружения профиля уха.

Фиг. 53 показывает нормализованное изображение, точки калибровки и область поиска уха, используемые для инициализации расположения уха при обнаружении контура уха.

Фиг. 54 показывает границу кожи и волос в области лица около области уха.

Фиг. 55 показывает результаты инициализации уха с использованием информации цвета, в которой красные сегменты соответствуют шаблону уха.

Фиг. 56 показывает результаты инициализации уха с использованием информации краев для уха, которая может выполняться, когда обнаружение уха на профильном изображении с использованием только информации цвета закончилось неудачей.

Фиг. 57 показывает результаты обнаружения уха на профильном изображении.

Фиг. 58 показывает входные кривые лицевых особенностей для подгонки модели.

Фиг. 59 - структурная схема блока подгонки модели лица на фиг. 5.

Фиг. 60 - последовательность операций подгонки исходной модели в блоке подгонки модели лица.

Фиг. 61 показывает ключевые точки, извлеченные из кривых фронтальных особенностей.

Фиг. 62 показывает универсальную (верхняя строка) и созданные модели лица (нижняя строка).

Фиг. 63 - структурная схема блока генерации текстуры на фиг. 5.

Фиг. 64 - последовательность операций генерации текстуры.

Фиг. 65 показывает изображение фронтальной текстуры на UV плоскости.

Фиг. 66 показывает изображение профильной текстуры на UV плоскости.

Фиг. 67 показывает заключительное изображение текстуры, полученное из входного изображения и искусственной текстуры.

Фиг. 68 показывает улучшенные изображения, полученные с использованием текстурированной модели и искусственной текстуры уха.

Фиг. 69 показывает примерную пару лицевых стереоизображений.

Фиг. 70 - структурная схема блока генерации информации глубины на фиг. 5.

Фиг. 71 - последовательность операций генерации информации глубины из фронтального и почти фронтального изображений.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

Варианты осуществления настоящего изобретения будут описаны со ссылкой на прилагаемые чертежи.

Краткое содержание способа и устройства для фотореалистического трехмерного моделирования лица на основе изображения согласно настоящему изобретению будет описано до его подробного описания, т.е. относительно обнаружения особенностей лица, подгонки модели лица, генерации текстуры и трехмерной реконструкции, используя пару стереоскопических изображений.

Устройство моделирования согласно настоящему изобретению использует два или три изображения лица, фронтальное и профильное изображения для двух изображений и фронтальное, почти фронтальное и профильное изображения для трех изображений, для генерации фотореалистической трехмерной полигональной (многоугольной) модели лица.

Условия получения изображений просты: хороший контраст и резкость, а также достаточное освещение в лицевой области.

Фиг. 1 - последовательность операций способа фотореалистического трехмерного моделирования лица на основе изображения согласно настоящему изобретению. Фиг. 2 показывает подробный процесс моделирования вместе с фотографиями.

Как показано на фиг. 1 и 2, процесс моделирования включает в себя следующие операции. Сначала выполняют автоматическое обнаружение фронтальных особенностей и полуавтоматическое обнаружение особенностей профиля (операция 100). Затем универсальную трехмерную модель головы (универсальную полигональную модель) трансформируют так, чтобы она соответствовала фронтальным лицевым особенностям (операция 120). Далее выполняют автоматическую основанную на модели стереоскопическую оценку фронтальной фотографии для получения карты глубины; и модель снова трансформируют так, чтобы она соответствовала особенностям профиля и вычисленной с помощью стереоскопических изображений карте глубины (операция 140). Наконец, создают текстуру модели из фронтальной и профильной фотографий вместе с искусственной кожей в некоторых областях (операция 160). Созданную текстуру отображают на соответствующую модель головы для генерации трехмерной модели головы (операция 180).

Использование и карты глубин, и особенностей профиля для выполнения подгонки модели кажется избыточным. Однако карта глубины обеспечивает избыточную и подробную геометрическую информацию, которая заставляет заключительную модель выглядеть более реалистично.

Если почти фронтальное изображение не доступно, то процессы, использующие почти фронтальное изображение, могут быть опущены в способе трехмерного моделирования лица согласно настоящему изобретению. Удовлетворительные результаты могут быть получены даже в этом случае.

В способе трехмерного моделирования лица согласно настоящему изобретению новые модели создаются в структуре подгонки универсальной модели. То есть конкретное лицо создают с помощью подгонки универсальной модели к входным данным человека. Универсальную модель, которую называют «универсальной полигональной моделью» на фиг. 2, можно рассматривать как априорное знание о человеческих лицах, что упрощает автоматизацию процесса и улучшает надежность способа моделирования лица. Универсальная модель, показанная на фиг. 3, включает в себя 7138 вершин и 14 096 треугольников, которые не включают в себя глазные яблоки и волосы.

Универсальную модель устанавливают в стандартную фронтальную ориентацию. То есть ось X направлена справа налево, ось Z - направление, в котором смотрят глаза, и ось Y направлена снизу вверх, формируя правосторонний координатный кадр. Такие направления осей будут использоваться по всему последующему описанию, при условии, что нет никакого специального объяснения. Фиг. 4 показывает типичные вводимые фронтальное, почти фронтальное и профильное изображения.

Фиг. 5 - структурная схема устройства фотореалистического трехмерного моделирования лица на основе изображения согласно настоящему изобретению. Устройство включает в себя блок 500 обнаружения особенностей лица, блок 510 подгонки модели лица, блок 520 генерации текстуры и блок 530 отображения. Устройство может дополнительно включать в себя блок 540 генерации информации глубины.

Блок 500 обнаружения особенностей лица обнаруживает особенности лица на вводимых фронтальном и профильном изображениях. Блок 510 подгонки модели лица генерирует трехмерную модель лица, которая соответствует предварительно определенной универсальной модели, используя обнаруженные особенности лица. Когда устройство дополнительно включает в себя блок 540 генерации информации глубины, то блок 510 подгонки модели лица генерирует трехмерную модель лица с помощью подгонки универсальной модели, используя особенности лица, обнаруженные в блоке 500 обнаружения особенностей лица, и информацию глубины лица, сгенерированную блоком 540 генерации информации глубины.

Блок 520 генерации текстуры генерирует реалистическую текстуру из входных изображений. Текстура при необходимости может быть искусственной текстурой. Блок 530 отображения отображает текстуру на трехмерную модель лица, сгенерированную в блоке 510 подгонки модели лица. Блок 540 генерации информации глубины извлекает информацию глубины лица из фронтального и почти фронтального изображений.

1. Обнаружение особенностей лица

Как показано на фиг. 6, блок 500 обнаружения особенностей лица включает в себя узел 600 обнаружения фронтальных особенностей, который обнаруживает фронтальные особенности лица, и узел 650 обнаружения особенностей профиля, который обнаруживает особенности профиля.

1.1. Обнаружение фронтальных особенностей

Обращаясь к фиг. 7, узел 600 обнаружения фронтальных особенностей включает в себя узел 700 обнаружения области кожи, узел 705 обнаружения области лица, узел 710 обнаружения ограничивающих глаза рамок, узел 715 обнаружения радужной оболочки и узел 720 нормализации фронтального изображения.

Блок 600 обнаружения фронтальных особенностей может дополнительно включать в себя по меньшей мере одно из: узел 725 обнаружения контура глаз, узел 730 обнаружения бровей, узел 735 обнаружения контура губ, узел 740 обнаружения контура носа и узел 745 обнаружения контура подбородка и щек, если требуется.

Будет описан процесс обнаружения фронтальных особенностей. Фиг. 8 и 9 - последовательность операций обнаружения фронтальных особенностей (извлечение). Процесс обнаружения фронтальных особенностей включает в себя обнаружение области кожи (операция 800), обнаружение области лица (операция 810), обнаружение ограничивающих глаза рамок (операция 820), обнаружение радужной оболочки (операция 830), нормализацию фронтального изображения (операция 840), обнаружение контура глаз (операция 900), обнаружение бровей (операция 910), обнаружение контура рта (губ) (операция 920), обнаружение контура носа (операция 930) и обнаружение контура лица (подбородка и щек) (операция 940).

Каждый этап выполняют при условии, что предыдущий этап был успешно выполнен, и предварительно обнаруженные особенности имеют удовлетворительную точность. С этой целью, если существует погрешность в обнаружении особенностей, то пользователю разрешают вручную исправлять погрешность обнаружения особенностей после каждого этапа.

1.1.1. Обнаружение кожи

Предварительно подготовленный (обученный) байесовский классификатор максимальной вероятности (МВ) в нормализованном r-g хроматическом цветовом пространстве используют для моделирования и обнаружения цвета кожи. Нормализованное r-g цветовое пространство выбирают потому, что оно позволяет быстрое и простое преобразование из RGB пространства, и из-за заведомо хорошего качества байесовского классификатора МВ при моделировании цвета кожи.

Обучение выполняют с помощью сбора двух видов статистических данных - p((r,g)|skin) и p((r,g)|¬skin), которые вычисляют с использованием гистограмм кожи и «не-кожи», сформированные из областей обучающих изображений, принадлежащих лицу и не принадлежащих лицу. Изображение области, которая, вероятно, принадлежит коже, создают с помощью вычисления этого показателя для каждого пикселя входного кадра:

Это удовлетворяет байесовскому критерию максимальной вероятности при условии, что априорные вероятности кожи и «не-кожи» равны. Результирующее изображение области, которая, вероятно, принадлежит коже, показано на фиг. 10 и 11.

1.1.2. Обнаружение области лица

Фиг. 12A - структурная схема узла 705 обнаружения области лица на фиг. 7. Узел 705 обнаружения области лица включает в себя узел 1230 инициализации области лица, который инициализирует наибольший связанный компонент цвета кожи, как область лица, узел 1240 стабилизации эллипса, который инициализирует и расширяет эллипс, перемещая граничные точки эллипса, основанного на инициализированной области лица, до тех пор, пока эллипс не будет устойчив, и узел 1250 определения области лица, который определяет ограничивающую устойчивый эллипс рамку как область лица.

Фиг. 12B - последовательность операций обнаружения области лица. Согласно настоящему изобретению область лица обнаруживают как овальную область, и используется основанная на модели методика изменения формы эллипса. Обращаясь к фиг. 13, овальную модель инициализируют в ожидаемой области лица (операция 1200). Ожидаемая область лица может быть наибольшим связанным компонентом цвета кожи или одним из двух наибольших компонентов, имеющих сопоставимые размеры, который расположен ближе к центру изображения.

Граничные точки эллипса перемещают, основываясь на инициализированной области лица, для инициализации и расширения эллипса так, чтобы он стал устойчивым (операция 1210). Эта операция будет подробно описана.

Распределением пикселей цвета кожи внутри эллипса и изменением формы модели управляют, используя множество прямоугольных образцов, установленных на границе эллипса. Смещение каждого образца определяется согласно следующим правилам.

Сначала два значения рассчитывают следующим образом:

где N_inside - количество пикселей кожи, которые лежат внутри и образца, и эллипса; N_outside - количество пикселей кожи, которые лежат внутри образца и вне эллипса; и S - область образца. P_in и P_out имеют большие значения, если образец находится внутри области лица. P_in и P_out имеют меньшие значения, если образец находится вне области лица. P_in имеет большее значение и P_out имеет меньшее значение, если эллипс находится на границе области лица.

Если P_in < T_in (T_in - пороговое значение), то образец перемещают внутрь со скоростью V_in. Иначе, если P_out > T_out (T_out является пороговым значением), то образец перемещают наружу со скоростью V_out. То есть если мало пикселей кожи расположено во внутренней области образца, то образец расположен вне области лица, так что образец перемещают внутрь; а если количество пикселей кожи и внутри, и вне образца достаточно, то образец перемещают наружу.

Процесс изменения формы модели включает в себя вычисление перемещений для всех образцов и подгонку эллипса к центру перемещаемых образцов. Эллипс ограничен тем, что он имеет фиксированную ориентацию (по главной вертикальной оси). Ограничивающую результирующий стабилизированный эллипс рамку определяют в качестве области лица (операция 1220).

Фиг. 10 и 11 показывает некоторые результаты обнаружения области лица. На фиг. 10 и 11 меньший эллипс соответствует начальной области, а больший эллипс соответствует обнаруженному результату.

1.1.3. Обнаружение ограничивающих глаза рамок

Фиг. 14A - структурная схема узла 710 обнаружения ограничивающих глаза рамок на фиг. 7. Обращаясь к фиг. 14A, узел 710 обнаружения ограничивающих глаза рамок включает в себя узел 1450 генерации размытого изображения, который генерирует размытое изображение с помощью фильтрации нижних частот, узел 1460 бинаризации (преобразования в двоичную форму) изображения, который генерирует новое изображение, вычисляя среднее значение каждого пикселя и соседних с ним пикселей на изображении, полученном с помощью вычитания размытого изображения из исходного изображения, и преобразовывает в двоичную форму новое изображение, используя предварительно определенное пороговое значение, узел 1470 поиска глаз-кандидатов, который ищет связанные сегменты на изображении, которое было преобразовано в двоичную форму в узле бинаризации изображения, как глаза-кандидаты, и узел 1480 определения ограничивающих глаза рамок, который определяет ограничивающие глаза рамки, оценивая глаза-кандидаты на основе формы, размера и относительного расположения.

Фиг. 14B - последовательность операций обнаружения ограничивающих глаза рамок.

Размытое изображение создают с помощью фильтрации нижних частот (операция 1400). Размытое изображение вычитают из исходного изображения (операция 1410). Рассчитывают среднее значение каждого пикселя и соседних с ним пикселей в результирующем изображении. Создают новое изображение, используя среднее значение, и его преобразуют в двоичную форму, используя предварительно определенное пороговое значение (операция 1420). Найденные связанные сегменты становятся глазами-кандидатами (операция 1430). Ограничивающие глаза рамки определяют, оценивая глаза-кандидаты на основе формы, размера и относительного расположения (операция 1440).

В частности, обнаружение ограничивающих глаза рамок в настоящем изобретении основано на обнаружении приблизительно имеющих форму и размер глаза разновидностей в красном канале цветного изображения лица в нескольких масштабах. Красный канал выбирают потому, что радужные оболочки глаз, даже в случае светлых глаз (синих, зеленых), имеют небольшое значение красной составляющей, в то время как глазные белки и окружающая кожа имеют относительно большое значение красной составляющей. Экспериментально доказано, что использование красного канала дает лучшие результаты, чем использующие уровень серого способы на основе изображения.

Сначала исходное изображение R-канала (красного канала) предварительно обрабатывают, чтобы сохранить только ту часть лица, которая определена ограничивающим эллипс прямоугольником, обнаруженным в предыдущем процессе, и масштабируют к фиксированной ширине. Интенсивность красного канала также увеличивают до максимального диапазона на этом этапе.

Затем вариационное изображение V_na(x,y), которое представляет вероятность того, что каждое пятно является глазом, рассчитывают с помощью следующей формулы:

где p и r представляют расположение... пикселей; I - изображение красного канала после предварительной обработки; R_n,x,y - прямоугольник размером (n x 5), центрированный в точке (x, y); P_n,r - эллипс размером (n x n/2), центрированный в точке r; α - коэффициент масштабирования, n представляет ожидаемый размер глаз.

Вариационное изображение рассчитывают, используя 4 комбинации 'n' и α для устранения возможных ошибок при обнаружении лица и чтобы справиться с обработкой различных форм глаз. Фиг. 15 и 16 иллюстрируют примерные полученные вариационные изображения глаза, используя следующие различные комбинации коэффициентов:

n = OPTIMAL_FACE_WIDTH (оптимальная ширина лица)/30, α = 0,6,

n = OPTIMAL_FACE_WIDTH/25, α = 0,6,

n = OPTIMAL_FACE_WIDTH/30, α = 1,4 и

n = OPTIMAL_FACE_WIDTH/25, α = 1,4.

Затем связанные компоненты в ограниченных с помощью порога вариационных изображениях проверяют на удовлетворение критериям формы, размера и относительного расположения для получения наиболее соответствующих рамок глаз. Результаты, полученные из различных вариационных изображений, объединяют в соответствии со следующей стратег