Система и способ преобразования тонов плоских и объемных изображений

Система и способ преобразования тонов плоских и объемных изображений

Иллюстрации

Показать все

Реферат

Изобретение относится к области цифровой обработки изображений и может применяться для улучшения качества плоских и объемных изображений, а точнее для адаптивного повышения глобального и локального контраста.

Известно большое число патентов и публикаций, посвященных трансформации или коррекции тонов (или градаций) для улучшения визуального качества 2D и 3D изображений. Десятки патентов описывают различные варианты применения способов, основанных на выравнивании гистограмм (histogram equalization), для адаптивной коррекции тонов, например, патент США 7020333 [1]. В способах, основанных на выравнивании гистограмм, функция преобразования тонов является результатом процедуры оптимизации, которая пытается подобрать такую функцию преобразования, которая приведет существующую гистограмму тонов изображения к некоему желаемому виду. Однако невозможно установить желаемый вид гистограммы для всех возможных типов изображений, поэтому способы, основанные на выравнивании гистограмм, имеют ограниченное применение.

Большая часть существующих патентов и опубликованных заявок посвящена явному заданию функции преобразования тонов и подбору параметров данной функции в автоматическом режиме. Например, патент США 7023580 [2] описывает способ преобразования тонов, использующий адаптивную сигмоидную функцию. В патенте США 6026181 [3] подходящая единая для всего изображения функция преобразования выбирается на основе классификации сцены на изображении. Такая единая функция преобразования тонов не может обеспечить коррекцию локального контраста в ряде областей изображения.

Существует несколько патентов и выложенных патентных заявок, в которых функция преобразования тонов устанавливается для локальных областей изображения. Патент США 7724981 [4] заявляет способ, включающий выполнение следующих этапов: разбиение изображения на непересекающиеся блоки, для каждого блока определяются значения точки черного (наиболее темных тонов) и точки белого (наиболее светлых тонов), для каждого пикселя получают новое значение, используя его предыдущее значение, его положение в плоскости изображения, значения точек черного и белого для данного блока и для соседних блоков.

Патент США 6771814 [5] описывает способ, включающий в себя разбиение изображения на блоки, вычисление среднего значения для каждого блока, определение значения насыщения для того, чтобы найти возможную степень улучшения контраста, получение гистограммы тонов для каждого блока, генерация для каждого блока функции трансформации тонов на основе данной гистограммы и значений насыщения, преобразование всех пикселов изображения с помощью функций преобразования тонов.

В патенте США 8160387 [6] интенсивность изображения изменяется в соответствии с коэффициентами усиления, которые устанавливаются для локальных областей и зависят от значений коэффициентов усиления соседних областей.

Выложенная патентная заявка США 20090097747 [7] описывает процесс контрастирования, при котором для каждой локальной области используется специфическая кривая преобразования тонов. Затем, для того чтобы подавить возникающие артефакты на краях областей, эти пикселы на краях областей подвергают преобразованию с помощью функции, получаемой из функций преобразования соседних областей.

Это техническое решение выбрано в качестве прототипа заявляемого изобретения.

Все упомянутые здесь способы применения функций преобразования уровней в локальных областях не выполняют глобальной коррекции изображения и не гарантируют отсутствия резкого скачкообразного изменения функции преобразования тонов на границе между локальными областями. Подобные скачкообразные изменения функции преобразования могут вести к образованию нежелательных визуальных искажений в виде ложных контуров.

Задача, на решение которой направлено заявляемое изобретение, состоит в том, чтобы в автоматическом режиме улучшить визуальное качество плоских и объемных изображений, а именно повысить глобальный и локальный контраст изображений без формирования нежелательных артефактов и искажений.

Технический результат достигается за счет разработки способа преобразования тонов плоских и объемных изображений. Способ преобразования тонов плоских и объемных изображений заключается в выполнении следующих операций:

- выбирают функцию преобразования тонов, основываясь на анализе распределения тонов элементов всего изображения.

- изменяют для каждого элемента изображения параметры функции преобразования тонов, основываясь на анализе распределения тонов элементов локальной окружающей области, и таким образом, что параметры изменяются плавно для соседних элементов изображения;

- преобразуют тон каждого элемента изображения с помощью функции преобразования тонов с параметрами, полученными для данного элемента изображения на предыдущем этапе.

Также технический результат достигается за счет разработки системы преобразования тонов плоских и объемных изображений.

Заявляемая система содержит:

- модуль выбора функции преобразования тонов, выполненный с возможностью осуществления выбора типа функции и ряда параметров функции преобразования тонов на основе анализа распределения тонов всего изображения, при этом исходное изображение поступает на вход данного модуля, а функция преобразования тонов с рядом параметров передается в модуль изменения параметров функции преобразования тонов и в модуль преобразования тонов;

- модуль изменения параметров функции преобразования тонов, выполненный с возможностью изменения парамеров функции преобразования тонов для каждого элемента изображения на основе анализа распределения тонов элементов локальной окружающей области, причем параметры изменяются плавно для соседних элементов изображения, исходное изображение и функция преобразования тонов с рядом параметров поступают на вход данного модуля, а измененные для каждого пиксела параметры функции преобразования тонов передаются в модуль преобразования тонов;

- модуль преобразования тонов, выполненный с возможностью преобразования тона каждого элемента изображения посредством функции преобразования тонов с параметрами, специфичными для данного элемента изображения и полученными из модуля изменения параметров функции преобразования тонов, причем на вход данного модуля поступают исходное изображение, функция преобразования тонов и измененные для каждого элемента изображения параметры данной функции.

Далее сущность заявляемого изобретения поясняется в деталях со ссылками на графические материалы.

Фиг.1. Блок-схема основных этапов способа преобразования тонов плоских и объемных изображений.

Фиг.2. Иллюстрация выбора параметров кубического слайна Эрмита, используемого в качестве функции преобразования тонов в предпочтительном варианте реализации изобретения.

Фиг.3. Блок-схема этапа изменения для каждого элемента изображения параметров функции преобразования тонов на основе анализа распределения тонов элементов локальной окружающей области, где параметры изменяются плавно для соседних элементов изображения.

Фиг.4. Иллюстрация для предпочтительного варианта реализации изобретения этапа изменения для каждого элемента изображения параметров функции преобразования тонов.

Фиг.5. Пример преобразования тонов для сканированного изображения.

Фиг.6. Блок-схема системы преобразования тонов плоских и объемных изображений.

Фиг.7. Блок-схема модуля изменения параметров функции преобразования тонов.

Блок-схема основных этапов способа показана на фиг.1. На этапе 101 выбирают функцию преобразования тонов, основываясь на анализе распределения тонов элементов всего изображения. В плоских (или планарных) изображениях элементами изображения являются пикселы. Изобретение применимо как для черно-белых (в шкале серого), так и для цветных изображений. В объемных (вольюметрических) изображениях элементами изображения являются воксели. На этапе 102 изменяют для каждого элемента изображения (пикселя или вокселя) параметры функции преобразования тонов, основываясь на анализе распределения тонов элементов локальной окружающей области и таким образом, что параметры изменяются плавно для соседних элементов изображения.

Для объемных изображений локальная область может быть как плоской, в каком либо из сечений, так и объемной. На этапе 103 преобразуют тон каждого элемента изображения с помощью функции преобразования тонов с параметрами специфичными для данного элемента изображения и полученными на предыдущем этапе.

Этап выбора функции преобразования тонов (101) включает выбор типа функции и выбор значений неизменяемых параметров функции. Множество различных функций может быть использовано в качестве функции преобразования тонов (функций или кривых передачи уровней), например, это могут быть кусочно-линейные функции, гамма-коррекция, полиномиальные и функции S-образной формы. S-образные кривые позволяют увеличить как глобальный, так и локальный контраст изображения. Существуют десятки различных S-образных функций, например, сигмоидная функция, гиперболический тангенс, кубические полиномы и сплайны. В предпочтительном варианте реализации изобретения в качестве S-образной кривой используется кубический сплайн Эрмита, который в параметрической форме задается выражением:

F(t)=(l-3t²+2t³)×P₀+t²×(3-2t)×P₁+t×(1-2t+t²)×Q₀-t²×(1-t)×Q₁,

где P₀ - начальная точка кривой, P₁ - конечная точка, Q₀ и Q₁ -направляющие вектора из начальной и конечной точки соответственно, параметр t изменяется от 0 до 1.

Фиг.2 иллюстрирует способ выбора ряда параметров кубического сплайна Эрмита на основе анализа распределения тонов элементов всего изображения. Функция преобразования тонов 201, т.е. зависимость значения тона на выходе от значения на входе, нормализована в диапазон [0, 1], значения y-координат (ось значений на выходе) начальной и конечной точек кривой жестко заданы P_0y=0 и P_0y=1. Для того чтобы вычислить значения х-координат (ось значений на входе) начальной и конечной точек кривой Р_0х и P_1x анализируется Н-глобальная гистограмма яркости изображения 202. Начальная точка кривой Р_0х соответствует самым темным тонам изображения (так называемой, точке черного):

P 0 x = min ( D , min { i | H [ i ] ≥ H 0 } , min { i | ∑ k = 0 i H [ k ] ≥ C 0 } )

где Н₀, С₀ и D - пороговые значения соответственно по уровню гистограммы, по площади гистограммы и по яркости. Порог D вводят, чтобы избежать излишнего затемнения изображения.

Конечная точка кривой Р_1х соответствует самым светлым тонам изображения (так называемой точке белого):

P 1 x = max ( max { i | H [ i ] ≥ H 1 } , max { i | ∑ k = 1 255 H [ k ] ≥ C 1 } )

где H₁ и С₁ - пороговые значения соответственно по уровню и по площади гистограммы.

Конечная и начальная точка являются фиксированными для всего изображения. Это обеспечивает повышение глобального контраста изображения. Для того чтобы кубический сплайн Эрмита имел S-образную форму, вектора Q₀ и Q₁ должны быть направлены вправо-вверх так, как это показано на фиг.2. Значения этих векторов изменяются для каждого элемента изображения и зависят от глобального и локального порогов бинаризации между тонами элементов переднего плана и фона всего изображения и локальной области. Известно множество способов адаптивного вычисления порога бинаризации. В предпочтительном варианте реализации изобретения используется хорошо известный способ Оцу (Otsu) согласно статье N.Otsu, "А threshold selection method from grey level histogram", IEEE Transactions on System Man Cybernetics, vol. 9 no. 1, 1979, pp.62-66 [8].

Фиг.3 демонстрирует блок-схему этапа (102) изменения для каждого элемента изображения параметров функции преобразования тонов на основе анализа распределения тонов элементов локальной окружающей области и таким образом, что параметры изменяются плавно для соседних элементов изображения. На шаге 301 изображение разбивается на локальные перекрывающиеся области. Анализ для каждой локальной области распределения тонов элементов переднего плана и фона выполняют на шаге 302. Шаг 303 - это формирование матрицы с параметрами функции преобразования тонов, где каждый элемент матрицы соответствует локальной области и зависит от результата анализа распределения тонов элементов переднего плана и фона в этой области. На шаге 304 сглаживают матрицу с параметрами функции преобразования тонов для обеспечения плавного изменения тонов между соседними локальными областями. Извлечение с помощью интерполяции параметров функции из сглаженной матрицы с параметрами функции преобразования тонов для каждого элемента изображения выполняют на шаге 305.

Фиг.4 иллюстрирует этап 102 для предпочтительного варианта реализации изобретения. Исходное изображение 401 разбивается на перекрывающиеся области. В качестве примера показаны 3 такие области: 402, 403 и 404. Для каждой локальной области вычисляется гистограмма яркости тонов. На фиг.4 гистограмма 405 соответствует области 402, гистограмма 406 соответствует области 403, а гистограмма 407 соответствует области 404. Для каждой гистограммы, т.е. распределения тонов, вычисляются ширина диапазона тонов W1 в данной локальной области и порог бинаризации Оцу Tl (см. [8]). Если ширина диапазона тонов меньше, чем предопределенное значение, как, например, на гистограмме 405, то предполагается, что в данной локальной области есть элементы только переднего плана или только фона. В этом случае в соответствующую ячейку матрицы 408 с параметрами функции преобразования тонов записывают глобальный порог бинаризации Т. Если ширина диапазона тонов больше, чем предопределенное значение, как, например, на гистограммах 406 и 407, то предполагается, что в данной локальной области есть элементы и переднего плана, и фона. В этом случае в сответствующую ячейку матрицы 408 с параметрами функции преобразования тонов записывают локальный порог бинаризации Т1. Заметим, что нет необходимости определять, какие именно элементы изображения относятся к переднему плану или фону. Достаточно определить, есть ли в данной локальной области одновременно элементы, относящиеся к обоим этим классам или только к одному из этих классов. Сглаживание матрицы 408 с параметрами функции преобразования тонов выполняют с помощью усредняющего фильтра низких частот. В результате получается сглаженная матрица 409, значения которой влияют на значения векторов Q₀ и Q₁ кубического сплайна Эрмита 411 при обработке каждого элемента изображения 410 следующим образом:

Если (K>0.5), то Q_0x=1+A×(K-0.5); Q_0y=0; Q_lx=l; Q_ly=0;

иначе

Q0x=1; Q0y=0; Q1x=1+A×(0.5 - K); Q1y=0;

где А коэффициент в диапазоне от 1 до 6, K извлекают из матрицы с параметрами функции преобразования тонов с помощью билинейной интерполяции.

Описанный подход обеспечивает различную форму S-образной функции преобразования тонов для каждого пиксела изображения и плавное изменение функции для соседних пикселов изображения, что ведет к увеличению глобального и локального контраста изображения без формирования заметных нежелательных артефактов/искажений.

Пример преобразования тонов для сканированного изображения показан на фиг.5, где 5.1 - исходное изображение, 5.2 -результат преобразования тонов.

Блок-схема модулей системы показана на фиг.6. Модуль выбора функции преобразования тонов (601) выбирает тип функции и ряд параметров функции преобразования тонов, основываясь на анализе распределения тонов всего изображения. На вход данного модуля поступает исходное изображение. Результат работы модуля - функция преобразования тонов с рядом параметров передается в модуль изменения параметров функции преобразования тонов (602) и в модуль преобразования тонов (603). Модуль изменения параметров функции преобразования тонов изменяет для каждого элемента изображения параметры функции преобразования тонов на основе анализа распределения тонов элементов локальной окружающей области и таким образом, что параметры изменяются плавно для соседних элементов изображения. На вход данного модуля поступают исходное изображение и функция преобразования тонов с рядом параметров. Измененные для каждого пиксела параметры функции преобразования тонов передаются в модуль преобразования тонов. Модуль преобразования тонов преобразует тон каждого элемента изображения посредством функции преобразования тонов с параметрами, специфичными для данного элемента изображения и полученными из модуля изменения параметров функции преобразования тонов. На вход данного модуля поступают исходное изображение, функция преобразования тонов и измененные для каждого элемента изображения параметры данной функции.

На фиг.7 показана блок-схема модуля изменения параметров функции преобразования тонов (602) заявляемой системы. Модуль разбиения изображения на области (701) разбивает изображение на перекрывающиеся локальные плоские/объемные области. На вход модуля поступает исходное изображение. Локальные области передаются в модуль анализа изображения (702). Модуль анализа изображения анализирует для каждой локальной области распределение тонов элементов переднего плана и фона. На вход модуля поступают локальные области изображения. Результаты анализа распределения тонов передаются в модуль генерации матрицы параметров функции преобразования тонов (703). Модуль генерации матрицы параметров функции преобразования тонов генерирует матрицу параметров функции преобразования тонов, где каждой локальной области соотвествует элемент матрицы, зависящий от распределения тонов элементов переднего плана и фона в данной локальной области. На вход модуля поступают результаты анализа распределения тонов. Матрица параметров функции преобразования тонов передается в модуль сглаживания (704). Модуль сглаживания выполняет низкочастотную фильтрацию матрицы параметров функции преобразования тонов.

Все перечисленные модули системы могут быть выполнены в виде системы на кристалле (SoC), программируемой логической матрицы (FPGA) или специализированной интегральной схемы (ASIC). Функции данных модулей понятны из их описания, а также из описания заявляемого способа преобразования тонов плоских и объемных изображений.

Таким образом, заявляемые способ и система комбинируют глобальную и локальную коррекцию тонов за счет выбора функции преобразования тонов, ряд параметров которой фиксирован для всего изображения, а ряд изменяется для локальной области в зависимости от распределения тонов в данной области. Использование перекрывающихся локальных областей, сглаживание матрицы с параметрами функции преобразования тонов и применение билинейной интерполяции при извлечении параметров из матрицы обеспечивают плавное изменение функции, как между соседними локальными областями, так и между соседними элементами изображения, гарантируя, таким образом, отсутствие заметных артефактов и искажений.

Также, в отличие от существующих способов, заявляемый способ в предпочтительном варианте реализации использует S-образный кубический сплайн Эрмита в качестве функции преобразования тонов. Установка единых для всего изображения начальной и конечной точек сплайна обеспечивает повышение глобального контраста. Управляющие вектора зависят от распределения тонов в локальной области и адаптивно регулируют форму кривой.

При этом большинство существующих методов предназначены для обработки только плоских (2D) изображений, в то время как заявляемые способ и система могут использоваться для улучшения качества как плоских, так и объемных (волюметрических) цветных и монохромных изображений.

Изобретение, в первую очередь, предназначено для улучшения визуального качества сканированных изображений в сканерах и копирах. Особенно эффективно использование данного изобретения для улучшения копирования оригиналов, содержащих одновременно слабоконтрастный текст или графику в областях светлого и темного фона. Также изобретение может быть использовано для улучшения визуального качества фотографий в любых устройствах для фотографирования и просмотра фотографий, например в мобильных устройствах с камерой, цифровых фотокамерах, телевизорах и мониторах. Кроме того, предлагаемые система и способ могут быть использованы для улучшения визуального качества объемных медицинских изображений, например, при визуализации томографических изображений.

Хотя указанный выше вариант реализации изобретения был изложен с целью иллюстрации, специалистам ясно, что возможны разные модификации, добавления и замены, не выходящие за рамки объема и смысла настоящего изобретения, раскрытого в прилагаемой формуле изобретения.

1. Способ преобразования тонов плоских и объемных изображений, предусматривающий выполнение следующих операций:- выбирают функцию преобразования тонов на основе анализа распределения тонов элементов всего изображения.- изменяют для каждого элемента изображения параметры функции преобразования тонов, основываясь на анализе распределения тонов элементов локальной окружающей области и таким образом, что параметры изменяются плавно для соседних элементов изображения;- преобразуют тон каждого элемента изображения с помощью функции преобразования тонов с параметрами, полученными для данного элемента изображения на предыдущем этапе.

2. Способ по п.1, отличающийся тем, что выбор функции преобразования тонов предусматривает выполнение следующих операций:- выбирают тип функции;- выбирают значения неизменяемых параметров функции;

3. Способ по п.1, отличающийся тем, что при выборе типа функции преобразования тонов рассматривают следующие типы функций: кусочно-линейные, гамма-коррекция, полиномиальные и функции S-образной формы;

4. Способ по п.1, отличающийся тем, что в качестве функции S-образной формы выбирают кубический сплайн Эрмита:F(t)=(1-3t²+2t³)×P₀+t²×(3-2t)×P₁+t×(1-2t+t²)×Q₀-t²×(1-t)×Q₁,где начальная точка P₀ зависит от значения самых темных тонов всего изображения, конечная точка P₁ зависит от значения самых светлых тонов всего изображения, вектора Q₀ и Q₁ зависят от глобального и локального порогов бинаризации между тонами элементов переднего плана и фона всего изображения и локальной области.

5. Способ по п.1, отличающийся тем, что изменение для каждого элемента изображения параметров функции преобразования тонов состоит из следующих этапов:- разбивают изображение на локальные перекрывающиеся области;- анализируют для каждой локальной области распределение тонов элементов переднего плана и фона;- формируют матрицу с параметрами функции преобразования тонов, где каждый элемент матрицы соответствует локальной области и зависит от результата анализа распределения тонов элементов переднего плана и фона в этой области;- сглаживают матрицу с параметрами функции преобразования тонов для обеспечения плавного изменения тонов между соседними локальными областями;- извлекают с помощью интерполяции параметры функции из сглаженной матрицы с параметрами функции преобразования тонов для каждого элемента изображения.

6. Способ по п.1, отличающийся тем, что анализ для каждой локальной области распределения тонов включает в себя определение ширины диапазона тонов и порога бинаризации между элементами переднего плана и фона.

7. Способ по п.1, отличающийся тем, что при формировании матрицы с параметрами функции преобразования тонов используют следующее правило: если ширина диапазона тонов больше предопределенного значения, то записывают в соответствующую ячейку матрицы локальный порог бинаризации, в противном случае записывают глобальный порог бинаризации.

8. Способ по п.1, отличающийся тем, что сглаживание матрицы с параметрами функции преобразования тонов выполняют с помощью усредняющего фильтра низких частот.

9. Способ по п.1, отличающийся тем, что извлекают параметры функции из матрицы с параметрами функции преобразования тонов с помощью билинейной интерполяции.

10. Способ по п.1, отличающийся тем, что при преобразовании тона каждого элемента изображения с помощью кубической кривой Эрмита используют следующие параметры: начальная точка Р₀ зависит от значения самых темных тонов всего изображения, конечная точка P₁ зависит от значения самых светлых тонов всего изображения, вектора Q₀ (Q_0x, Q_0y) и Q₁ (Q_1x, Q_1y) зависят от значений в матрице с параметрами функции преобразования тонов:

если (K>0.5), то	Q0x=1+A×(K-0.5); Q0y=0; Qlx=1; Qly=0;
иначе	Q0x=1; Q0y=0; Q1x=1+A×(0.5-K); Q1y=0;

где А коэффициент в диапазоне от 1 до 6, K извлекают из матрицы с параметрами функции преобразования тонов с помощью интерполяции.

11. Система преобразования тонов плоских и объемных изображений, которая содержит:- модуль выбора функции преобразования тонов, выполненный с возможностью осуществления выбора типа функции и ряда параметров функции преобразования тонов на основе анализа распределения тонов всего изображения, при этом исходное изображение поступает на вход данного модуля, а функция преобразования тонов с рядом параметров передается в модуль изменения параметров функции преобразования тонов и в модуль преобразования тонов;- модуль изменения параметров функции преобразования тонов, выполненный с возможностью изменения параметров функции преобразования тонов для каждого элемента изображения на основе анализа распределения тонов элементов локальной окружающей области, причем параметры изменяются плавно для соседних элементов изображения, исходное изображение и функция преобразования тонов с рядом параметров поступают на вход данного модуля, а измененные для каждого пиксела параметры функции преобразования тонов передаются в модуль преобразования тонов;- модуль преобразования тонов, выполненный с возможностью преобразования тона каждого элемента изображения посредством функции преобразования тонов с параметрами, специфичными для данного элемента изображения и полученными из модуля изменения параметров функции преобразования тонов, причем на вход данного модуля поступают исходное изображение, функция преобразования тонов и измененные для каждого элемента изображения параметры данной функции.

12. Система по п.11, отличающаяся тем, что модуль изменения параметров функции преобразования тонов содержит:- модуль разбиения изображения на области разбивает изображение на перекрывающиеся локальные плоские/объемные области, на вход модуля поступает исходное изображение, локальные области передаются в модуль анализа изображения;- модуль анализа изображения анализирует для каждой локальной области распределение тонов элементов переднего плана и фона, на вход модуля поступают локальные области изображения, результаты анализа распределения тонов передаются в модуль генерации матрицы параметров функции преобразования тонов;- модуль генерации матрицы параметров функции преобразования тонов генерирует матрицу параметров функции преобразования тонов, где каждой локальной области соответствует элемент матрицы, зависящий от распределения тонов элементов переднего плана и фона в данной локальной области, на вход модуля поступают результаты анализа распределения тонов, матрица параметров функции преобразования тонов передается в модуль сглаживания;- модуль сглаживания выполняет низкочастотную фильтрацию матрицы параметров функции преобразования тонов.