Устройство фильтрации динамических цифровых изображений в условиях ограниченного объема априорных данных

Устройство фильтрации динамических цифровых изображений в условиях ограниченного объема априорных данных

Иллюстрации

Показать все

Реферат

Предлагаемое изобретение относится к информационно-измерительным устройствам и может быть использовано в вычислительной технике, в системах управления и обработки изображений и видеосигналов.

При решении задач сглаживания изображений с целью ослабления действующих аддитивных помех рассматривается модель статического изображения, которая представляет собой двумерную дискретную последовательность Y_i,j, i = 1, N ¯ ,   j = 1, M ¯ , вида:

Y i , j = S i , j + η i , j ,   i = 1, N ¯ ,   j = 1, M ¯   ( 1 )

где S_i,j - полезная двумерная составляющая (исходное неискаженное изображение), ηi,j - аддитивная шумовая составляющая, N- количество строк, M - количество столбцов двумерного массива изображения.

Изображение можно рассматривать как прямоугольную матрицу Y={Y_i,j}, со строками i и столбцами j, где N и M определяют размер матрицы изображения в пикселях.

В случае динамического изображения рассматривается модель, которая представляет собой двумерную дискретную последовательность Y i , j ( k ) ,   i = 1, N ¯ ,   j = 1, M ¯   k = 1, K ¯ , вида:

Y i , j ( k ) ,   S i , j ( k ) ,   η i , j ( k ) ,   i = 1, N ¯ ,   j = 1, M ¯   k = 1, K ¯   ( 2 )

где S i , j ( k ) - полезная двумерная составляющая (исходное неискаженное изображение), η i , j ( k ) - аддитивная шумовая составляющая, N- количество строк, M - количество столбцов двумерного массива изображения, К -количество кадров двумерного массива динамического изображения.

Основная решаемая задача - фильтрация динамических цифровых изображений в условиях ограниченного объема априорных данных.

Подобная задача может возникнуть: 1) в работе приемо-передающих устройств дальней или космической связи; 2) в радиотехнике при обработке сигналов; 3) в системах цифровой обработки динамических изображений; 4) в метеорологии и экономике при обработке результатов измерений.

При обработке динамических изображений используется два основных подхода. Первый из них основан на использовании корреляционной связи между кадрами. Предполагается, что кадры в пределах небольшого интервала времени изменяются незначительно, при этом можно применить все методы, описанные выше, где в качестве пространства обработки используется зависимость амплитуда - номер кадра.

Данный подход имеет недостатки, связанные с выбором количества кадров для обработки. Наличие в видеоряде динамических сцен приводит к расфокусировке и искажению полезного сигнала.

Второй подход для фильтрации динамических изображений основан на обработке кадра как отдельного изображения, и, как следствие, рассмотренные методы повторяют все недостатки методов фильтрации статических изображений.

Известен способ скользящего среднего [Гонсалес Р. Цифровая обработка изображений / Р.Гонсалес, Р.Вудс. - М.: Техносфера. - 2005. - 1072 с.]. Для его использования достаточно одной реализации Y_i,j, i = 1, N ¯ ,   j = 1, M ¯ исходного процесса.

Для исходного изображения определяется размер маски сглаживающего фильтра m, т.е. натуральное число m<N. Способ скользящего среднего предполагает запоминание исходного изображения Y_i,j, i = 1, N ¯ ,   j = 1, M ¯ , определение размера маски фильтра m (ширины «скользящего окна»), для которого производится вычисление среднего арифметического, S ¯ i , j = 1 m ⋅ m ⋅ ∑ i = 1 m ∑ j = 1 m Y i , j замену центрального из значений Y_i,j, i = 1, N ¯ ,   j = 1, M ¯ найденным средним S ¯ i , j , сдвиг «скользящего окна» на одно значение вправо,

вычисление среднего арифметического выбранных значений реализации, и так до тех пор, пока маска фильтра не переместится по всему изображению.

Ширину "окна" выбирают нечетной, т.к. сглаженное значение рассчитывается для центрального значения.

Признаки устройства-аналога, совпадающие с признаками заявляемого технического решения, следующие: запоминание дискретного сигнала, выделение временных отрезков, нахождение среднего арифметического значения сигнала, попавших в выделенные отрезки времени, замена исходной двумерной дискретной реализации результатов измерений сглаженными значениями.

Недостатками известного устройства являются:

- неспособность обрабатывать строки или столбцы изображения, находящиеся на границах маски в случае, если центр фильтра приближается к границам изображения;

- способ скользящего среднего вызывает автокорреляцию остатков, даже если она отсутствовала в исходной полезной составляющей (эффект Слуцкого-Юла).

Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:

- если ширина "окна" сглаживания равна 2p+1, то первые p и последние p значений исходной реализации результатов измерений не подвергаются обработке;

- поскольку центральное значение "окна" сглаживания вычисляется как среднее арифметическое соседних, то значения оценки полезной составляющей становятся зависимыми.

В качестве нелинейных фильтров используются фильтры, основанные на порядковых статистиках [Гонсалес Р. Цифровая обработка изображений / Р.Гонсалес, Р.Вудс. - М: Техносфера. - 2005. - 1072 с]. Отклик такого фильтра определяется предварительным упорядочиванием (ранжированием) значений пикселей, покрываемых маской фильтра, и последующим выбором значения, находящегося на определенной позиции упорядоченной последовательности (т.е. имеющего определенный ранг). Фильтрация сводится к замещению исходного значения (в центре маски) на полученное значение отклика фильтра. Наиболее известен медианный фильтр, который заменяет центральное значение маски фильтра на значение медианы распределения всех значений результатов измерений, принадлежащих области маски фильтра. Чтобы выполнить медианную фильтрацию для элемента изображения, необходимо сначала упорядочить по возрастанию значения пикселей внутри маски, затем найти значение медианы и присвоить полученное значение обрабатываемому элементу.

Признаки устройства-аналога, совпадающие с признаками заявляемого технического решения, следующие: дискретизация сигнала по времени, запоминание входной реализации результатов измерения, выделение временных отрезков, замена входной реализации результатов измерения сглаженными значениями.

Недостатками известного устройства являются:

- неспособность обрабатывать строки или столбцы изображения, находящиеся на границах маски в случае, если центр фильтра приближается к границам изображения;

- вследствие нелинейности метода обработки нельзя строго разграничить влияние медианной фильтрации на сигнал и шум;

- медианное сглаживание можно рассматривать только как эффективный метод предварительной обработки входной реализации результатов измерений в случае импульсных помех.

Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:

- медианная фильтрация является нелинейным методом обработки;

- зависимость эффективности сглаживания результатов измерений от формы полезной и шумовой составляющей.

Структурная схема устройства, реализующего рассмотренный способ, содержит генератор таковых импульсов, коммутатор, блок управления, регистр хранения, блок ранжирования, блок выбора среднего значения, выходной регистр, где хранится оценка исходной дискретной реализации результатов измерений.

Известен способ наименьших квадратов и устройство для кусочно-линейной аппроксимации [Бендат Дж., Пирсол А. Прикладной анализ случайных данных: Пер. с англ. - М.: Мир, 1989. - 540 с., авторское свидетельство №1624479]. Для использования данного способа достаточно одной одномерной реализации Y₁, Y₂,…,Y_N исходного процесса.

Способ наименьших квадратов позволяет для результатов измерений Y₁, Y₂,…,Y_N исходного процесса получить оценку, k = 1, N ¯ , минимизируя целевую функцию вида

∑ k = 1 N ( Y k − S ¯ k ) 2 → min .

В случае, когда S ¯ k представляет собой полином первой степени S ¯ k a + b ⋅ k , коэффициенты a и b можно найти, минимизируя целевую функцию вида:

∑ k = 1 N ( Y k − ( a + b ⋅ k ) ) 2 → min   ( 3 )

Дифференцируя выражение (3) по a и b и приравнивания к нулю, получаем систему линейных уравнений:

{ − 2 ∑ k = 1 N ( Y k − ( a + b ⋅ k ) ) = 0 − 2 ∑ k = 1 N ( Y k − ( a + b ⋅ k ) ) ⋅ k = 0 .

Решением системы является

b = ∑ k = 1 N k ⋅ Y k − 1 N ∑ k = 1 N k ⋅ ∑ k = 1 N Y k ∑ k = 1 N k 2 − 1 N ( ∑ k = 1 N k ) 2 ,

a = ∑ k = 1 N Y k N − b ⋅ ∑ k = 1 N Y k N .

При оценке S ¯ k a + b ⋅ k сумма квадратов отклонений значений оценки от значений реализации измерений является минимальной.

Признаки устройства-аналога, совпадающие с признаками заявляемого технического решения, следующие: запоминание дискретного сигнала, аппроксимация по методу наименьших квадратов, замена исходной дискретной реализации результатов измерений аппроксимированными значениями.

Недостатками известного способа являются:

- при использовании данного способа необходима априорная информация о функции полезно сигнала;

- ошибка полезной составляющей имеет вдоль реализации, в общем случае, нелинейную зависимость и достигает своих максимальных значений на границах интервала аппроксимации;

- при не полиноминальной модели оценки полезной составляющей строгое решение задачи минимизации целевой функции способа наименьших квадратов не всегда существует в силу нелинейности решаемой системы уравнений;

- ограниченность способа наименьших квадратов к распараллеливанию и построению системы многоканальной обработки.

Причины, препятствующие достижению требуемого технического результата, заключается в следующем:

- эффективность оценки полезной составляющей зависит от объема реализации, статистических характеристик аддитивного шума и наличия априорной информации о функциональной зависимости модели полезной составляющей.

Структурная схема устройства для кусочно-линейной аппроксимации содержит группу последовательно соединенных регистров, первый и второй вычитатели, сумматор, первый и второй накапливающие сумматоры, элементы задержки, генератор тактовых импульсов, два умножителя и два делителя на постоянный коэффициент.

Известен способ и устройство фильтрования шума видеосигналов (патент №2364937 МПК G06K 9/40). Изобретение относится к области обработки видеоинформации, в частности к способам пространственно-временного устранения шумов в видеоизображениях. Техническим результатом является повышение скорости фильтрования шумов видеоизображения с обеспечением высокого качества шумоподавления без внесения искажений. Способ фильтрования шума видеосигналов устойчив к движению и основанный на определении локальной структуры и на нелокальном усреднении в соответствии с определенной структурой кадра и с использованием данных о текущем кадре и соседних кадрах, при котором определяют локальную структуру изображения путем последовательного свертывания предопределенных шаблонов с соседними пикселями и путем отбора образцового шаблона RP_c, который выдает наименьшую ошибку после свертывания, выполняют пространственно-временную фильтрацию с помощью взвешенного усреднения значений пикселя в поисковом окне от опорного кадра, причем результат пространственно-временной фильтрации вычисляют следующим образом:

Re s P x l = 1 N o r m 2 ⋅ ∑ − T / 2 T / 2 ∑ − K / 2 K / 2 ∑ − L / 2 L / 2 w f ⋅ p i x r ( x r + p , y r + s , t r ) )

где pix_r(x_r, y_r, t_r) обозначает опорный пиксель от опорного кадра t_r=t_c+t с координатами x_r и y_r, индекс p изменяется от − L 2 до L 2 в направлении X, индекс s изменяется от − K 2 до K 2 в направлении Y, индекс t изменяется от − T 2 до T 2 в области времени, T - число опорных кадров, вовлеченных в процесс фильтрования, w_f - вес опорного пикселя pix_r(x_r, y_r, t_r), нормирующий множитель вычисляют как

N o r m 2 = ∑ − T / 2 T / 2 ∑ − K / 2 K / 2 ∑ − L / 2 L / 2 w f ,

вес w_f каждого опорного пикселя определяют следующим образом:

w f = { w ( x r , y r , σ r , σ f )   е с л и   R P c = R P r 0   в   п р о т и в н о м   с л у ч а е ,

если образцовый шаблон RP_c текущего пикселя совпадает с образцовым шаблоном опорного пикселя RP_r, то опорный пиксель считают корректным, в противном случае, когда образцовые шаблоны текущего пикселя и опорного пикселя разные, считают, что опорный пиксель является некорректным и исключают его из процесса удаления шумов.

Признаки устройства-аналога, совпадающие с признаками заявляемого технического решения, следующие: считывание кадров видеопоследовательности, фильтрация видеоизображения с обеспечением высокого качества шумоподавления без внесения искажений.

Недостатками известного способа являются:

- при использовании данного способа необходима априорная информация о функции полезного сигнала;

- при не полиноминальной модели оценки полезной составляющей строгое решение задачи минимизации целевой функции способа наименьших квадратов не всегда существует в силу нелинейности решаемой системы уравнений;

- ограниченность способа наименьших квадратов к распараллеливанию и построению системы многоканальной обработки;

- ресурсоемкие вычислительные затраты.

Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:

- эффективность зависит от объема реализации, статистических характеристик шума и наличия априорной информации о функциональной зависимости модели полезной составляющей.

Структурная схема устройства для фильтрования шума видеосигналов содержит блок памяти, блок оценки уровня, блок размывки, блок вычисления веса фильтра, блок применения фильтра, блок определения локальной структуры, регистры.

Наиболее близким к изобретению является устройство для обработки изображений на основе двумерного способа размножения оценок (патент №2406130, МПК G06F 17/17). Рассматриваемое устройство-прототип предполагает: исходное изображение поступает в каждый из K каналов, где разбивается на m интервалов по строкам и столбцам. Разбиение получается делением на интервалы исходной дискретной реализации случайными числами равномерного закона распределения. Для каждого полученного массива производится аппроксимация значений исходной дискретной реализации плоскостью, описывающейся уравнением первой степени двумерным методом наименьших квадратов. Таким образом, определяются K оценок исходной двумерной дискретной реализации для каждого полученного массива. Процедура разбиения исходной двумерной дискретной реализации на m интервалов случайной длины повторяется K раз в соответствии со способом РАЗОЦ [Патент №2207622, МПК 7 G06F 17/18.]. Результирующая двумерная оценка полезной составляющей определяется как среднее арифметическое по объему размноженных оценок в каждый момент времени. Полученные значения поступают на выход устройства. Недостатками известного устройства-прототипа являются:

- невозможность реализации известного способа в реальном масштабе времени;

- отсутствие практических рекомендаций по выбору количества интервалов разбиения и количества размножений оценок;

- большие вычислительные затраты.

Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:

- для использования способа размножения необходимо запоминать всю входную реализацию, то есть кадр видеопоследовательности.

Устройство для обработки изображений на основе двумерного способа размножения оценок содержит (фиг.1): блок хранения входной реализации, коммутаторы, блок управления, регистр сдвига выборки случайных чисел столбцов и регистр сдвига выборки случайных чисел строк, блок подачи последовательно случайных чисел границ интервалов разбиения изображения с выходов регистров хранения выборки случайных чисел, блок задержки выборки случайных чисел столбцов и строк, блок хранения оценки, блок задержки, счетчик, блок проверки условия, блока разбиения на интервалы, генератор случайных чисел, блока устранения связанных значений, блок ранжирования, регистр хранения выборки случайных чисел, блок аппроксимации, блок хранения оценки, арифметически суммирующее устройство, блок хранения оценки полезной составляющей, генератором тактовых импульсов.

Суть предлагаемого устройства фильтрации динамических цифровых изображений в условиях ограниченного объема априорных данных заключается в следующем. Упрощенная математическая модель входной последовательности результатов измерений представляется в соответствии с выражением (2).

На основе двумерного метода размножения оценок предлагается устройство фильтрации динамических цифровых изображений в условиях ограниченного объема априорных данных. При этом происходит выделение кадра из последовательности. Далее рассматриваются разбиения исходного кадра по строкам N и столбцам M на интервалы случайной длины. Разбиения формируются путем деления промежутка (1, N) случайными числами α t ,1 1 , α t ,2 1 , … , α t , m − 1 1 и промежутка (1, М) случайными числами 2 α t ,1 2 , α t ,2 2 , … , α t , m − 1 2 на m интервалов (фиг.2):

Δ t ,1 1 = [ 1 ; α t ,1 1 ] ,   Δ t ,2 1 = [ α t ,1 1 ; α t ,2 1 ] , … , Δ t , m 1 = [ Δ t , m − 1 1 ; N ] ,

где верхний индекс 1 обозначает разбиение по строкам; А - случайная длина интервала разбиения; t = 1, K ¯ - текущее размножение; K - число размножений.

Разбиение по столбцам формируется путем разбиения промежутка (1, M) числами α t ,1 2 , α t ,2 2 , … , α t , m − 1 2 на m интервалов:

Δ t ,1 2 = [ 1 ; α t ,1 2 ] ,   Δ t ,2 2 = [ α t ,2 2 ; α t ,2 1 ] , … , Δ t , m 1 = [ Δ t , m − 1 1 ; N ] ,

где верхний индекс 2 обозначает разбиение по столбцам.

Разбиение по строкам и столбцам делит двумерный сигнал на массивы с различным количеством элементов по ширине и длине. Для каждого полученного массива, с помощью аппроксимации значений исходного изображения плоскостью, описывающейся уравнением первой степени вида S ˜ i , j = A ⋅ i + C , получается набор оценок { S ˜ i , j t } t = 1, K ¯ ,   j = 1, N ¯   j = 1, M ¯ .

Значения коэффициентов A, B и C определяются с помощью двумерного метода наименьших квадратов, для нахождения которых минимизируется целевая функция вида:

∑ i = 1 N ∑ j = 1 M ( Y i , j − S ˜ i , j ) 2 → min ,

∑ i = 1 N ∑ j = 1 M ( Y i , j − A ⋅ i − B ⋅ j − C ) 2 → min .

Дифференцируя последнее выражение по А, В и С и приравнивания к нулю, получаем систему линейных уравнений:

{ d ( ∑ i = 1 N ∑ j = 1 M ( Y i , j − A ⋅ i − B ⋅ j − C ) 2 → min ) 2 / d A = 0, d ( ∑ i = 1 N ∑ j = 1 M ( Y i , j − A ⋅ i − B ⋅ j − C ) 2 → min ) 2 / d B = 0, d ( ∑ i = 1 N ∑ j = 1 M ( Y i , j − A ⋅ i − B ⋅ j − C ) 2 → min ) 2 / d C = 0 ;

{ M ⋅ N ⋅ A ( 2 3 ⋅ N + 1 3 ) + 1 2 ⋅ M ⋅ N ⋅ B ⋅ ( M + 1 ) ⋅ ( N + 1 ) + M ⋅ N ⋅ C ( N + 1 ) − 2 ∑ i = 1 N ∑ j = 1 M ( Y i , j ⋅ i ) = 0 M ⋅ N ⋅ B ( 2 3 ⋅ M + 1 3 ) + 1 2 ⋅ M ⋅ N ⋅ A ⋅ ( M + 1 ) ⋅ ( N + 1 ) + M ⋅ N ⋅ C ( M + 1 ) − 2 ∑ i = 1 N ∑ j = 1 M ( Y i , j ⋅ j ) = 0 M ⋅ N ⋅ A ( N + 1 ) + M ⋅ N ⋅ B ⋅ ( M + 1 ) + 2 ⋅ M ⋅ N ⋅ C − 2 ∑ i = 1 N ∑ j = 1 M Y i , j = 0

Решением системы является

A = 6 ⋅ ( ∑ j = 1 M ( ∑ i = 1 N Y i , j ( 2 ⋅ i − N − 1 ) ) ) M ⋅ N ⋅ ( N 2 − 1 ) ,

B = 6 ⋅ ( ∑ j = 1 M ( ∑ i = 1 N Y i , j ( 2 ⋅ j − M − 1 ) ) ) M ⋅ N ⋅ ( M 2 − 1 ) ,

C = ( ∑ j = 1 M ( ∑ i = 1 N Y i , j ( − 7 ⋅ N ⋅ M + M + 6 ⋅ M ⋅ i − 6 ⋅ i + N + 5 + 6 ⋅ N ⋅ j − 6 ⋅ j ) ) ) M ⋅ N ⋅ ( M − 1 ) ⋅ ( N − 1 )

Процедура разбиения строк и столбцов (1,N) и (1,M) на m интервалов случайной длины повторяется K раз. При этом для каждого разбиения формируется двумерная оценка с помощью метода наименьших квадратов.

Результирующая оценка S i , j − t , (где к=1:К) определяется как среднее арифметическое размноженных оценок S ¯ i , j t = ∑ k = 1 K S ˜ i , j k K ,   i = 1, N ¯ ,   1, M ¯ , t - текущий номер кадра видеопоследовательности. Для увеличения эффективности обработки динамических изображений предлагается использовать корреляционную связь между кадрами. Предполагается, что кадры в пределах небольшого интервала времени изменяются незначительно, при этом в качестве пространства обработки используется зависимость амплитуда - номер кадра. В связи с этим предлагается использов