Обнаружение блика в кадре данных изображения

Обнаружение блика в кадре данных изображения

Иллюстрации

Показать все

Реферат

УРОВЕНЬ ТЕХНИКИ

[0001] Различные мобильные устройства оснащены встроенной камерой. Фотографии, полученные с помощью мобильных устройств, могут содержать различные типы дефектов, такие как размытые области (смаз), нечеткие или расфокусированные области, области с бликом и др. Прежде чем фотография сцены получена, сцена может быть отображена на экране видоискателя. Определение момента совершения съемки для получения кадра с минимальным количеством дефектов на нем, может быть проблемной задачей. Дефекты в отснятых изображениях могут быть вызваны одной или несколькими различными причинами: ограниченным разрешением матрицы камеры, недостатками оптической системы электронного устройства, применением алгоритмов кодирования данных, а также нечувствительными или неподходящими алгоритмами сжатия. Недостатки в использовании мобильных камер, такие как дрожания рук или неидеальные условия освещения, также могут стать причиной возникновения дефектов на полученных изображениях. К числу таких дефектов можно отнести оптические искажения, смаз, вызванный ограниченной скоростью затвора; зашумленности; эффект сглаживания; расфокусировку; блик на изображениях и т.д. Подобные дефекты могут негативно повлиять на обработку отснятого изображения.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

[0002] В настоящем описании представлены системы, машиночитаемые носители и способы обнаружения блика в кадре данных изображения. Сначала кадр подвергается предварительной обработке. Определяется множество связных компонент в предварительно обработанном кадре. Рассчитывается множество статистик для одной или нескольких связных компонент в множестве связных компонент. Происходит принятие решения для одной или нескольких связных компонент, на основе рассчитанного множества статистик о том, является ли данная связная компонента засветом. Определяется наличие блика в кадре.

[0003] Описаны системы, машиночитаемые носители и способы предварительного анализа данных на изображении, например, кадра (текущего вида или сцены) на дисплее видоискателя до момента совершения съемки изображения, а также осуществления контроля создания изображений с помощью камеры, встроенной в портативное электронное устройство. В различных вариантах осуществления, результаты предварительного анализа кадра отображаются в виде визуальных сигналов на экране в режиме реального времени. Данные визуальные сигналы могут существенно упростить процесс получения снимков и улучшить качество полученных снимков.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0004] Вышеуказанные и другие особенности настоящего изобретения будут более очевидными из приведенного ниже описания и прилагаемой формулы изобретения, рассматриваемых совместно с прилагаемыми чертежами. Представленные чертежи демонстрируют лишь несколько вариантов реализации описываемого изобретения в соответствии с раскрытием данного изобретения и, следовательно, не должны рассматриваться как ограничивающие область описываемого изобретения. Изобретение будет раскрыто с дополнительной конкретизацией и подробностями посредством прилагаемых чертежей.

[0005] Фиг. 1A иллюстрирует экран электронного устройства, содержащий фрагмент кадра на экране видоискателя с наличием области смаза в кадре в соответствии с реализацией настоящего описания.

[0006] Фиг. 1Б иллюстрирует фрагмент кадра, проиллюстрированного на Фиг. 1A, после бинаризации в соответствии с реализацией настоящего описания.

[0007] Фиг. 2 является блок-схемой алгоритма, иллюстрирующего реализацию обнаружения областей смаза и расфокусировки в соответствии с реализацией настоящего описания.

[0008] Фиг. 3 является блок-схемой алгоритма, иллюстрирующего реализацию обнаружения бликов в соответствии с реализацией настоящего описания.

[0009] Фиг. 4A иллюстрирует пример лапласиан-изображения, полученного из фрагмента, изображенного на Фиг. 1A в соответствии с реализацией настоящего описания.

[0010] Фиг. 4Б иллюстрирует границы объектов для фрагмента 1А, полученного из лапласиан-изображения, проиллюстрированного на Фиг. 4А, с помощью применения фильтра нулевого контура в соответствии с реализацией настоящего описания

[0011] Фиг. 5А иллюстрирует профиль второй производной в направлении градиента для точки 402 на Фиг. 4А в соответствии с одним из вариантов реализации настоящего изобретения.

[0012] Фиг. 5Б иллюстрирует представление в пространстве признаков в виде восьми векторов (расположенных под углом 45 градусов между друг другом) и эллипс, соответствующий тензору инерции, вычисленный для них в соответствии с реализацией настоящего описания.

[0013] Фиг. 6А иллюстрирует пример кадра, содержащего блик в соответствии с реализацией настоящего описания.

[0014] Фиг. 6Б иллюстрирует фрагмент кадра, проиллюстрированного на Фиг. 6А, после бинаризации в соответствии с реализацией настоящего описания.

[0015] Фиг. 7А, 7Б иллюстрируют примеры бинаризации исходного кадра на Фиг. 6А с различными субоптимальными порогами бинаризации в соответствии с реализацией настоящего описания.

[0016] Фиг. 8 иллюстрирует обнаруженную односвязную область, пример блика, градиент яркости которого направлен к центру в соответствии с реализацией настоящего описания.

[0017] Фиг. 9А, 9Б и 9В иллюстрируют примеры скриншотов экранов, включающих прямоугольную сетку для обозначения дефектов в соответствии с реализацией настоящего описания.

[0018] Фиг. 10 иллюстрирует пример скриншота экрана, включающего гексагональную сетку для обозначения дефектов в соответствии с реализацией настоящего описания.

[0019] Фиг. 11А, 11Б, и 11В иллюстрируют примеры скриншотов экранов, которые включают цветовое представление для обозначения типов и уровня обнаруженных дефектов в кадре в соответствии с реализацией настоящего описания.

[0020] Фиг. 12 иллюстрирует линию вокруг области обнаруженного блика в кадре и позволяет скорректировать границу дефекта в соответствии с реализацией настоящего описания.

[0021] Фиг. 13 иллюстрирует пример компьютерной системы или устройства для применения техник, описанных здесь.

[0022] Нижеследующее подробное описание содержит ссылки на прилагаемые иллюстрации. На чертежах одинаковые символы обычно используются для идентификации одинаковых компонентов, если контекст не требует иного. Варианты реализации, представленные в подробном описании, чертежах и формуле изобретения, не служат для ограничения области его применения. Помимо этого могут использоваться другие варианты реализации, а также могут вноситься другие изменения, которые не вызывают отступления от сущности или объема представленного в данном описании предмета изобретения. Важно отметить, что компоненты раскрываемого изобретения, представленного и проиллюстрированного в настоящем описании, можно сочетать, взаимно заменять и применять множеством различных способов, при этом все они являются равнозначными и относятся к области раскрываемого изобретения.

ДЕТАЛЬНОЕ ОПИСАНИЕ

[0023] Применения различных описанных реализаций относятся к анализу кадра данных изображения, с целью обнаружения дефектов в данном кадре. Кадр может представлять собой данные, отображаемые в видоискателе. Обнаруженные дефекты могут быть проанализированы перед выводом изображения пользователю. Оценка кадра на наличие в нем дефектов может быть использована для того, чтобы исключить съемку изображений, которые плохо подходят или совсем непригодны для распознавания. Предварительные результаты обнаружения дефектов в кадре могут отображаться непосредственно на экране мобильного устройства для того, чтобы улучшить условия съемки для повышения качества изображения. Например, дефекты могут быть выделены визуально, или же пользователь может быть информирован об обнаруженных дефектах в кадре посредством мобильного устройства.

[0024] В другом варианте реализации, производится анализ кадра отображаемой на экране видоискателя электронного устройства сцены. Отображение кадра на экране мобильного устройства может производиться в режиме реального времени без записи видео или съемки изображения и без сохранения кадра в долгосрочной памяти электронного устройства. Анализ может выполняться на нескольких кадрах, далее выбирается кадр, содержащий наименьшее количество шума и дефектов. Этот кадр может быть отображен наряду с результатами обнаруженных дефектов в виде визуальных сигналов. Соответственно смаз, расфокусировка и блик могут быть обнаружены, и области с дефектами могут быть отображены на дисплее электронного устройства.

[0025] В другом варианте реализации, захват изображения, представленного в кадре, может осуществляться автоматически, если уровень дефектов в кадре не превышает некоторое пороговое значение. Соответственно, предварительный анализ кадра на основе данных, полученных при помощи линзы камеры, может быть использован для определения момента, когда снять и сохранить в памяти устройства изображение сцены, представленной в кадре.

[0026] В последующем описании, термин «кадр» обозначает некий контент, например, изображение, отображаемое на экране электронного устройства, получаемое с использованием видоискателя камеры. Этот кадр может передаваться на дисплей электронного устройства в режиме реального времени без осуществления записи видео или съемки/сохранения изображения в долгосрочной памяти.

[0027] Существует множество портативных электронных устройств с экранами, способными отображать текст и/или изображения. Эти портативные устройства обычно оснащены камерой, которая позволяет данным устройствам снимать изображения. К устройствам с дисплеем и (или) сенсорным экраном и камерой относятся многие портативные устройства, такие как ноутбуки, планшетные компьютеры, смартфоны, мобильные телефоны, карманные персональные компьютеры (КПК) и т.д. Существуют различные способы, предназначенные для облегчения автоматического получения или съемки изображения документа, содержащего текст, так чтобы уровень дефектов в кадре не превышал некоторого порогового значения.

[0028] Фиг. 1А представляет пример экрана электронного устройства 102, содержащем кадр 108 в видоискателе в соответствии с одним из вариантов реализации данного изобретения. Электронное устройство 102 имеет экран дисплея 104 и кнопку камеры 106 для запуска и выполнения съемки изображения/кадра камерой, встроенной в электронное устройство. Кнопка 106 может быть отображена на экране электронного устройства в виде виртуальной кнопки, в зависимости от интерфейса устройства, или реально существующей (т.е. физическая кнопка на экране или другой части устройства 102 связана с системным блоком электронного устройства 102). Кадр 108, отображаемый на экране дисплея 104 электронного устройства 102, может быть получен при помощи видоискателя камеры, который передает отображение документа на экран дисплея 104. Кадр 108 представляет собой сигнал, фиксируемый оптической системой (АЦП, фотоматрицей) и выводимый на экран 104 устройства 102. Некоторые электронные устройства позволяют отображать кадр в реальном времени без совершения съемки документа. Кадр 108 на экране устройства 102 обладает одним из описанных выше дефектов, а именно текст в кадре смазан. Это усложняет дальнейшую его обработку или делает ее практически невозможной. Например, результат бинаризации данного фрагмента текста, предствленного на Фиг. 1А, показан на Фиг. 1Б.

[0029] Обнаружения искажений границ объектов является достаточно универсальным средством, и может быть применен не только для систем распознавания, но и в любых других прикладных задач обработки изображений/кадров, например в системах сканирования, видео и фотокамерах, системах контроля качества печати, зрения робота и др.

[0030] Характеристики алгоритмов обнаружения смаза и расфокусировки могут включать в себя:

- Достоверность обнаруженной области с дефектом;

- Эффективность или высокая производительность;

- Устойчивость к высоким шумам, которые особенно свойственны изображениям/кадрам, полученным при помощи камеры, встроенной в мобильные устройства;

- Устойчивость к неравномерности освещения, к слишком низкому или слишком высокому уровню освещения; и

- Устойчивость к гистограммным преобразованиям (например, эквализации).

[0031] Приведенные выше характеристики могут значительно осложнить задачу обнаружение области смаза в каждом конкретном случае. Одним из способов упрощения задачи является сужение класса обрабатываемых изображений до тех, которые включают в себя определенные типы объектов. Например, изображения, которые включают в себя изображения клеток или бактерий, текстурированных объектов, текст, изображения штрих-кодов или свет и тень и т.д. Если ожидаемый тип объекта на изображении известен заранее, можно определить признаки, характерные не только для самих объектов, но и для их смаза на этих объектах. Однако даже при сужении класса изображений задача обнаружения смаза может оставаться достаточно сложной из-за требований к производительности и устойчивости к шуму.

[0032] Один или более следующих признаков может быть использован для определения наличия смаза или расфокусировки в кадре:

- Признаки в частотной области;

- Особенности в гистограмме градиента;

- Отсутствие насыщенных цветов;

- Особенности в распределении границ по направлениям; и

- Локальная корреляция (размытие границ, параллельных движению).

На основе анализа этих параметров и их сочетаний можно определять тип и области искажений на изображениях.

[0033] Возможность обнаруживать границы на изображениях с искажениями зависит от степени этих искажений, относительного размера и контраста информационных элементов в этом изображении. Так, маленькие или слабоконтрастные буквы практически нечитаемые при слабом размытии, хотя большие или сильноконтрастные буквы остаются хорошо читаемыми при той же (или даже большей) степени размытости. Как описано более подробно ниже, относительный размер и контрастность информационных элементов могут приниматься во внимание при определении дефектов и областей этих дефектов.

[0034] Дополнительно к обнаружению дефектов или искажения на изображении, полезным может оказаться обнаружение степени данных искажений. Кроме того, определение типа искажения, например, смаза, расфокусировки или блика, также может оказаться полезным. Тип искажения в одной или нескольких областях можно определить путем экстраполяции информации из соседних областей.

[0035] В одном из вариантов реализации, съемка изображения камерой, встроенной в электронное устройство, выполняется при нажатии кнопки для запуска и выполнения съемки изображения. Однако можно не просто сфотографировать изображение по нажатию на кнопку, а проанализировать его, чтобы определить, не превышает ли количество искажений некий заранее заданный порог. Кнопка пуска нажата, анализ кадра может быть начат.Примером кнопки, по нажатию на которую может быть инициирован анализ кадра, может быть кнопка 106, проиллюстрированная на Фиг. 1А.

[0036] Видоискатели электронных устройств могут обеспечивать передачу данных изображения на экран устройства в реальном времени. Анализ кадра на наличие в нем дефектов может быть выполнен для каждого кадра или для подмножества кадров, полученных через видоискатель. К примеру, анализу может быть подвергнут каждый десятый кадр, отображаемый в видоискателе. Допустимы и другие показатели частоты, например, один из 2, 4, 6, 100 или 200 кадров. Каждый кадр или каждый выбранный кадр может быть проанализирован для выявления одной или нескольких видов дефектов: смаза, расфокусировки, бликов или шума. Выбор и анализ кадра может выполняться без прерывания отображения данных изображения в видоискателе.

[0037] Обнаружение смаза и расфокусировки

[0038] Согласно различным вариантам реализации изобретения, для обнаружения размытия (смаза) и расфокусировки может быть использован фильтр Лапласа. Выводы о наличии смаза или расфокусировки в кадре могут быть сделаны на основе анализа вторых производных яркости кадра в окрестности их точек пересечения нуля. Если область содержит объекты с контрастными границами, то точки пересечения нуля детектируются легко. В противном случае отсутствие контрастных границ говорит о высоком уровне шума или сильной степени размытости.

[0039] В одном из вариантов реализации, для обнаружения границ объекта используются методы второго порядка. К таким методам относятся LoG (Laplacian of Gaussian) и DoG (Difference of Gaussian) фильтры.

[0040] Применение фильтра может быть эффективно вычислено за линейное время на основе количества пикселей на изображении. В случае использования лапласиана аппроксимация второй производной по заданному направлению функции яркости представляет собой срез на изображении лапласиана, проходящий через пиксель вдоль этого направления. Это приближение в окрестности анализируемой точки далее называется «профилем точки».

[0041] При выборе параметров для DoG или LoG фильтрации можно учитывать особенности класса изображений и особенности устройства камеры, чтобы при известных параметрах шума и характеристиках объектов на изображении наилучшим образом обнаружить наличие искажений.

[0042] В фильтре LoG сначала используется сглаживание Гаусса, затем применяется фильтр Лапласа. Фильтр DoG представляет собой разность двух сглаженных по методу Гаусса изображений, полученных путем свертки исходного изображения с помощью функции Гаусса, имеющей различные степени сглаживания (стандартное отклонение). Для настройки фильтров, используются параметры σ₁ и σ₂ (стандартное отклонение) при сглаживании методом Гаусса:

[0043] Далее может производиться проверка фильтра нулевого контура («zero checking»), т.е. когда результирующее значение переходит из отрицательного значения в положительное, или наоборот. Результатом применения вышеописанных фильтров является изображение с границами объектов на исходном изображении.

[0044] В процессе обнаружения смаза или расфокусировки можно анализировать не все изображение целиком, а только границы объектов. Наличие объектов с хорошо выделяемыми границами характерно для достаточно обширных классов изображений. Такие дефекты, как смаз и расфокусировка, обычно приводят к уменьшению четкости границ.

[0045] Для многих кадров характерно наличие перепада яркости на границах объектов. В случае неискаженных изображений такие перепады обычно представляют собой скачкообразные изменения яркости на границах объектов. Срез идеального изображения документа близок к «ступеньке». Сделав срез через все изображение, можно получить функцию, близкую к кусочно-постоянной или ступенчатой функции. Однако, из-за несовершенства регистрирующей системы, последствий дискретизации и других процессов, ступенчатая функция размывается и накладывается шум. Тем не менее, на изображениях с незначительными искажениями границы текста представляют собой хорошо детектируемые (различимые) скачкообразные изменения яркости.

[0046] После прохождения света через оптическую систему и регистрации изображения на фотодетекторе могут произойти различные искажения исходного изображения, такие как неравномерное освещение, смаз, расфокусировка и шумы. Если изображение обрабатывается и сжимается, то могут быть внесены дополнительные искажения (например, при использовании JPEG, или другого алгоритма сжатия с потерями, который становятся причиной JPEG артефактов). Всем перечисленным искажениям подвергаются и границы объектов. Таким образом, для реальных границ объектов в кадре, перепады яркости представляют собой постепенное зашумленное изменение значения яркости. Тем самым, анализируя профиль яркости на границах, можно сделать вывод о типе и степени искажений.

[0047] Ссылаясь на Фиг. 2 предположения о наличии смаза или расфокусировки в исходном изображении (201) формулируются на основе анализа вторых производных яркости изображения (шаг 202). Для этого сначала находятся границы объектов (шаг 203), затем для точек границ строятся профили второй производной вдоль направления градиента (шаг 204) и собирается статистика о параметрах этих профилей вдоль различных направлений (шаг 205). Анализируя статистику (шаг 206), можно установить наличие и тип искажения 207 (например, смаз или расфокусировка), степень искажения, направление смаза, и т.д. Кроме того, степень искажения изображения также можно частично определить на основании статистических данных (208).

[0048] На шаге 202, чтобы получить производные второго порядка для исходного изображения (201)кадра, могут быть использован любой лапласиан фильтр, или фильтр, представляющий собой некоторую аппроксимацию лапласиана. Для уменьшения влияния шумов кадр предварительно может быть сглажен, для чего может использоваться сглаживание Гаусса или любой другой существующий метод сглаживания, например медианный фильтр, адаптивный медианный фильтр, и т.д.. Также могут быть использованы преобразования, объединяющие в себе оба вида фильтрации, например, такие как LoG (Laplacian of Gaussian) фильтрация, представляющая собой фильтрацию с помощью Гауссиана, или DoG фильтрация (Difference of Gaussian). [0049] Сглаженное изображение, к которому был применен фильтр Лапласиана, либо любую его аппроксимацию будем называть изображением Лапласа. Примером изображения Лапласа является фрагмент, проиллюстрированный на Фиг. 4А. Вид фильтра (сглаживание и аппроксимация) и параметры фильтрации (например, стандартное отклонение сглаживания по Гауссу) могут быть подобраны таким образом, чтобы учесть особенности класса изображений или особенности оптической системы фото-устройства.

[0050] На шаге 203 к полученному изображению Лапласа применяется фильтр нулевого контура. Как показано на Фиг. 4Б. Результатом такой фильтрации является изображение с выделенными границами толщиной в один пиксель. При этом возможно появление ложных границ, возникновение которых обычно связано с зашумленностью исходного изображения. Чтобы сократить число ложных границ, для фильтра нулевого контура задается некое пороговое значение. Порог устанавливает минимальную величину перепада яркости между соседними или близкими пикселями на изображении Лапласа, при которой точка пересечения нулевого уровня считается границей. Порог может быть вычислен на основе параметров примененного сглаживания и зашумленности исходного изображения, например на основе значения дисперсии шума. Таким образом, пороговое значение можно подобрать. В некоторых случаях информация о шуме может быть известна заранее, например некоторые фотокамеры могут предоставлять оценку шума исходя из настроек фотосъемки.

[0051] На шаге 204, для каждой точки границ анализируемого кадра (как показано на Фиг. 4Б) рассчитывается направление градиента в соответствующих им точках на изображении Лапласа (проиллюстрированного на Фиг. 4А) и строится профиль второй производной вдоль направления градиента.

[0052] Далее для полученных профилей вторых производных рассчитываются локальные экстремумы (например, точки 502 и 503 на Фиг. 5А), собирается информация об абсолютных значениях экстремумов и их расстояниях до соответствующей точки пересечения нулевого уровня («смещение экстремума»). Например, Фиг. 5А иллюстрирует абсолютное значение 504 экстремума 502 и соответствующее ему смещение 505 от точки пересечения нулевого контура 501. Могут быть дополнительно посчитаны другие параметры профиля. На шаге 205 на Фиг. 2, вышеуказанная информация собирается независимо для максимальных и минимальных значений экстремумов, и отдельно для различных направлений градиента.

[0053] В одной из реализаций, для упрощения сбора статистики (например, на шаге 205 на Фиг. 2) и последующего анализа результатов (на шаге 206 на Фиг. 2), перед построением профиля направление градиента можно квантовать, например, на угол в 45 градусов (Фиг. 5Б). Таким образом, статистика собирается отдельно для каждого из восьми выделенных направлений.

[0054] Дополнительно, для каждого экстремума можно также рассчитывать степень его надежности, чтобы исключить ошибочно определенные экстремумы из подсчета статистики. Можно считать, что локальный экстремум является ненадежным, если нельзя достоверно установить его положение. Например, такая ситуация возможна, когда экстремум сильно растянут или в его окрестности находятся два или более локальных всплеска. Большая доля ненадежных экстремумов может служить признаком сильных искажений в кадре. Например, на Фиг. 5А, экстремум 503 может считаться ненадежным.

[0055] Все изображение может быть разбито на неперекрывающиеся области любой формы. Сбор статистики происходит в пределах каждой области. Разбиение на области применяется, чтобы учесть возможные различия в направлении смаза в разных областях кадра. Например, направление смаза может различаться из-за дрожания камеры в момент съемки, или при фотографировании близких объектов. В фокусе могут оказаться не все объекты, и часть кадра может быть расфокусирована. Также в качестве областей могут быть выбраны связные компоненты границ (каждая связная компонента представляет собой отдельный объект или его часть). Таким образом, наличие смаза и расфокусировки может быть проверено отдельно для каждого объекта в кадре, что позволяет использовать детектор, например, для обнаружения движущихся объектов на статичном фоне.

[0056] Разбиение кадра на непересекающиеся области также может служить одним из инструментов, предназначенных для передачи визуального сигнала пользователю о наличие дефекта на кадре, по крайней мере, в одной из областей на экране видоискателя. Например, области кадра на экране видоискателя, содержащие один из видов дефекта, могут быть закрашены определенным цветом. Интенсивность окраски области может соответствовать степени искажения на кадре.

[0057] Сетка непересекающихся областей может быть представлена в различных видах и формах. Например, сетка неперекрывающихся областей может быть представлена в виде квадратных областей (Фиг. 9А) или прямоугольных областей (Фиг. 9Б, 9В). Можно использовать тип сетки и с иной формой ячеек, например, в виде ромбов, параллелограммов и т.д. Форма области не ограничен четырехугольником. Область может быть представлена в виде любой возможной плоской геометрической фигуры. В одном из вариантов реализации области могу быть представлены в виде шестиугольников, и сетка имеет форму ячеек сот. Пример сетки в форме пчелиных сот показан на Фиг. 10. Кроме того, геометрические формы могут быть повернуты на некоторый угол, например на 30, 45, 60 или 90 градусов (Фиг. 9Б). Сетка может включать фигуры различной формы; например, она может состоять из квадратов и прямоугольников, и т.п. Основным назначением областей является разделение кадра на несколько частей способом, подходящим для применения в определенном электронном устройстве, для выявления определенных дефектов или для определенного пользователя. Кроме того, тип сетки может быть выбран пользователем при настройке или быть заданным по умолчанию. Сетка может быть частично прозрачной. Значение прозрачности может быть выбрано в настройках. Оно может изменяться от показателя абсолютной прозрачности до абсолютной непрозрачности.

[0058] Как уже упоминалось выше, сетка очень удобна для демонстрации или визуального представления обнаруженных дефектов пользователю. Например, сетка может быть использована для обозначения той части экрана, которая содержит один или несколько типов дефектов. Также сетка позволяет показать и тип обнаруженного дефекта (смаз, расфокусировка, шум и пр.). Чтобы различать тип обнаруженного дефекта, каждому дефекту для наглядности может быть назначен в соответствие один или несколько типов сигнала. Один из возможных сигналов - использование различных цветов для обозначения различных дефектов. В этом примере тип дефекта в конкретной области определяет цвет, используемый для окрашивания этой области. Например, если кадр содержит дефекты лишь одного типа, области могут быть закрашены одним цветом (например, черным, как показано на Фиг. 11А). На Фиг. 11А области с дефектами 1101 закрашены черным цветом. Кроме того, интенсивность окраски области может зависеть от степени искажения (Фиг. 11Б). Например, яркий цвет 1102 используется для явно выраженных дефектов, например, нечитаемого текста, который в дальнейшем будет невозможно распознать. Частично прозрачный цвет 1103 можно применять для отметки слабо выраженных дефектов (искажений).

[0059] В других вариантах реализации, области могут быть закрашены с применением различных цветов для визуализации типа дефекта, как показано на Фиг. 11В. В одном варианте реализации закрашивание области черным цветом 1104 показывает, что область содержит некий конкретный тип дефекта, например, смаз. Для идентификации других типов дефектов могут быть использованы другие цвета. К примеру, закрашенная белым цветом область 1105 содержит дефект другого типа, например, расфокусированный текст. Части кадра, содержащие изображение высокого качества, также могут быть выделены цветом. Например, зеленым цветом может быть выделена область, в котором никаких дефектов не обнаружено. При использовании различных цветов для маркировки различных типов дефектов можно варьировать цвета по интенсивности, так чтобы интенсивность отражала степень искажения.

[0060] Статистика о параметрах профилей второй производной собирается отдельно для каждой области (шаг 205) и затем анализируется (шаг 206). Могут быть использованы следующие признаки: среднее значение, дисперсия, коэффициент асимметрии, и другие параметры, посчитанные для каждого из параметров профиля второй производной (например, абсолютные величины локальных максимумов, минимумов, смещений максимумов и минимумов, и т.д.). Также признаками могут служить количество выявленных пиков, процентное соотношение «ненадежных» пиков (для которых не удалось достоверно определить положение максимума или минимума), корреляции между «длиной» и высотой пиков.

[0061] Так как информация для статистики может быть собрана отдельно для каждого выделенного направления градиента, то и признаки (среднее значение, дисперсия и т.д.) могут быть вычислены для каждого направления отдельно. Таким образом, в случае восьми выделенных направлений (углы кратные 45 градусам), каждый признак можно представить в виде восьми векторов (например, как проиллюстрировано на Фиг. 5Б), в которых длина вектора соответствует величине признака вдоль этого направления.

[0062] В одном из вариантов реализации в рамках шага 206, полученные признаки могут быть переданы любому обученному классификатору, который на основе этих признаков сможет определить тип искажения и его параметры (207). Например, среднее расстояние от точки пересечения нулевого уровня до пиков (среднее значение смещения экстремума от точки пересечения нулевого контура) на второй производной дают оценку степени смаза границ. Чем больше расстояние, тем больше смаз. Кроме того, классификатор может быть обучен на основе результатов последующего распознавания (OCR (оптического распознавания символов)/IСR (интеллектуального распознавания символов)) анализируемого кадра. Например, классификатор может изменить полученные параметры для обнаружения смаза или расфокусировки на основе количества неверно распознанных символов.

[0063] В другом способе реализации, в рамках шага 206, набор векторов можно описать набором характеристик инвариантных к сдвигу и поворотам, например средней длиной вектора, вытянутостью векторов в каком-либо направлении, и т.д.. В качестве таких характеристик можно использовать различные моменты (например, центральные моменты, множество инвариантных моментов Ху, их комбинации, и т.д.). Посчитанные признаки впоследствии передаются любому предварительно обученному классификатору для дальнейшего анализа. Такая реализация позволяет существенно уменьшить размерность пространства признаков для классификатора и сделать признаки более устойчивыми к недостатку статистических данных в одном или более выделенных направлений, например, в случае, когда по какому-то направлению градиента отсутствует достаточное количество границ.

[0064] Например, набор векторов для каждого признака можно рассматривать как конструкцию из материальных точек с некоторыми весами на концах векторов. Для такой конструкции может быть вычислен тензор инерции (например, 510), который представляет собой комбинацию центральных моментов второго порядка. Веса могут быть выбраны, например, на основе пропорциональности количеству надежных пиков в направлении вектора, или исходя из любых других соображений. Далее рассчитываются характеристики тензора инерции (такие как эксцентриситет и след матрицы тензора), которые впоследствии анализируются классификатором.

[0065] По признакам тензора инерции можно определить признаки искажений. Так на основе эксцентриситета можно понять, какой дефект присутствует в кадре - смаз или расфокусировка. Для расфокусировки характерны значения эксцентриситета близкие к нулю. След тензора инерции дает представление о степени смаза или расфокусировки. Направление смаза совпадает с собственным вектором тензора инерции с наибольшим собственным значением.

[0066] Иногда характеристики изображения могут быть выявлены на осноке использования дополнительных данных, кроме собственных значений тензора инерции. Например, множество инвариантных моментов Ху можно использовать в дополнение к множеству собственных значений тензора инерции. Как один из примеров, инварианты множества Ху могут быть рассчитаны по следующим формулам:

где μ_ij - это центральные моменты. Опционально в вышеописанных формулах вместо центральных моментов могут быть включены соответствующие их нормированные величины. Нормировка может быть вычислена по следующей формуле:

[0067] Отдельную задачу представляет собой обнаружение объектов с малой шириной, например, тонких линий, особенно в случаях малой площади этих объектов и при наличии шума. Описываемый детектор позволяет настраивать (менять) параметры фильтра для получения изображение Лапласа. Поэтому параметры фильтра возможно подобрать таким образом, чтобы границы объектов с малой шириной были более устойчивы к шуму и их было легче обнаружить.

[0068] На шаге 208 происходит установление степени искажений в кадре. Одним из результатов работы детекторов, может быть, например, вывод на экран визуального представления (визуализации) дефектных областей в кадре. На Фиг. 11А-11В показаны примеры возможных визуальных представлений (визуализаций). Также результатом работы детекторов может быть вывод на экран сообщений о степени искажения или непригодности кадра для дальнейшей его обработки. Если на изображении обнаружены сильные дефекты, сообщение может содержать для пользователя совет изменить условия съемки. Например, если обнаружен тот или иной дефект в кадре, в видоискателе выделяется цветом именно та область (текст), в которой этот дефект присутствует. Определенный цвет области может указывать пользователю о типе обнаруженного в данной области дефекта. Так, например желтый цвет может быть условным сигналом того, что в данной области обнаружен смаз; в то время как красный цвет может сигнализировать о расфокусировке, и т.д. Интенсивность закрашивания области может свидетельствовать о степени искажения.

[0069] 0069 Помимо этого в зависимости от типа дефекта система может выдавать пользователю рекомендации по улучшению условий съемки. Например, если на кадре обнаружен блик, то пользователю может быть выдано сообщение с советом изменить условия освещения таким образом, чтобы избежать блика. Если текст размыт -пользователь может получить совет стабилизировать устройство перед моментом съемки. Если дефектов в кадре не обраружено, или дефекты оказались незначительными (например, ниже заранее заданного порогового значения), то электронное устройство может сделать снимок автоматически. Также пользователь может осущес