Способ и устройство для цикл-фильтрации данных изображения

Способ и устройство для цикл-фильтрации данных изображения

Реферат

 

Изобретение относится к телевидению, в частности к обработке данных изображения, а именно к способу и устройству для цикл-фильтрации данных изображения. Технический результат - уменьшение эффекта квантования, возникающего при кодировании и декодировании данных изображения. Сущность изобретения заключается в том, что способ цикл-фильтрации содержит этапы выделения флага, указывающего, требуют ли данные изображения цикл-фильтрации с использованием распределения коэффициентов обратного преобразования (КОП) обратно преобразованных данных изображения и вектора перемещения, указывающего на разницу между предшествующим кадром и текущим кадром. Соответствующие флагу данные изображения затем фильтруются предварительно определенным способом, если флаг указывает на необходимость цикл-фильтрации. Использование флагов и адаптивного фильтра уменьшает эффект квантования и позволяет снизить объем вычислений, требуемых для фильтрации. Кроме того, фильтрация может выполняться посредством параллельной обработки данных без умножения и деления, что позволяет использовать более простые аппаратные средства. 2 с. и 29 з.п.ф-лы, 8 ил., 1 табл.

Настоящее изобретение относится к обработке данных изображения, в частности к способу и устройству для цикл-фильтрации данных изображения, чтобы уменьшить эффект квантования.

Как правило, стандарты для кодирования изображения, например в формате MPEG Международной Организации Стандартизации (МОС) и в формате Н.263, рекомендуемые Международным Союзом Электросвязи (МСЭ), включают блочную оценку движения и дискретное косинусное преобразование блоков (ДКП). Большинство стандартов кодирования изображений использует ДКП для блоков из 8х8 пикселей для упаковки информации с небольшим числом коэффициентов преобразования. Эта блочная схема ДКП основана на свойствах локальной пространственной корреляции изображений.

Однако при восстановлении данных изображения на блочной основе имеет место значительное искажение изображения, например имеют место блокирующие артефакты у границы блока, угловые выбросы в точках пересечения блоков и низкочастотный шум переходных процессов у краев изображения ("звон"). Это объясняется тем, что данные изображений проходят через ДКП в блоках из 8х8 пикселей до квантования. Такое искажение данных является значительным при высокой степени сжатия изображения.

Блокирующие артефакты вызываются шумом сетки вдоль границы блока в относительно однородной области. Шум сетки указывает на следы обработки на блочной основе на краях между блоками, когда сжатые данные после их восстановления отображаются на экране. Таким образом, края между блоками становятся заметными. Угловой выброс формируется там, где встречаются углы блоков из 8х8 пикселей. Кроме того, низкочастотный шум является типичным явлением Гиббса, вызванным округлением, когда коэффициенты высокочастотных составляющих ДКП квантуются для максимального сжатия изображения. Из-за низкочастотных помех может иметь место перекрытие изображений с предварительно определенным интервалом.

Было предложено несколько способов для уменьшения блокирующих артефактов, угловых выбросов и низкочастотного шума, возникающих при выполнении блочного кодирования. Способ однократной адаптивной фильтрации (ОАФ) для уменьшения эффекта квантования распакованных изображений формата JPEG был предложен Д. Л.Ли, Г.С.Кимом и Г.В.Парком в работе "Уменьшение блокирующего эффекта JPEG-изображений адаптивной фильтрацией сигнала" [Press IEEE Trans. "Обработка Изображений", 1997 г.]. Известен способ, в котором используется двухмерный фильтр, чтобы уменьшить блокирующий артефакт, тогда как одномерный (1-D) фильтр используется для снижения ступенчатых помех (см. работу "Нелинейный пространственный вариант заключительной обработки изображения блочного кодирования", IEEE Trans. on ASSP, Vol. 34, N 5, pp. 1258-1267, 1986). Известен также итеративный алгоритм восстановления изображения с использованием теории проектирования на выпуклые объекты, описанный в работе "Проекционная пространственно-адаптивная реконструкция блочно-преобразованных сжатых изображений", IEEE Trans. on Image processing, Vol. 4., N 7, pp. 896-908, Июль 1995. Кроме того, опубликована статья "Алгоритм деблокирования для сжатых изображений в формате JPEG, используя представления элементарной волны", IEEE Trans. System Video Technology, Vol. 7, N 2, pp. 433-437, 1997.

Однако вышеуказанные способы требуют сложных вычислений.

Для того чтобы решить указанные выше технические задачи, задачей настоящего изобретения является создание способа и устройства цикл-фильтрации данных изображений, способных обеспечить кодирование с низкой скоростью передачи информации в битах в секунду без сложных вычислений и обеспечивающих снижение эффектов квантования, таких как блокирующие артефакты, угловые выбросы и низкочастотный шум, вызванные блочным декодированием.

Согласно одному из аспектов изобретения предложен способ цикл-фильтрации для уменьшения эффекта квантования, возникающего при кодировании и декодировании данных изображений, включающий следующие стадии: выделение флага, указывающего на необходимость использования цикл-фильтрации данных изображений с использованием распределения коэффициентов обратного преобразования (КОП) инверсно квантованных данных и изображений и вектора перемещения, указывающего на разницу между предшествующим кадром и текущим кадром, и фильтрацию данных изображений, соответствующих флагу, предварительно определенным образом, если флаг указывает на необходимость цикл-фильтрации.

На стадии (а) предпочтительно, чтобы флаг выделялся из области дискретного косинусного преобразования (ДКП) каждого блока, если кадр изображения, который должен быть подвержен цикл-фильтрации, представляет собой внутренний кадр, и из остаточного сигнала и опорного кадра, если кадр изображения, который должен быть подвержен цикл-фильтрации, представляет собой промежуточный кадр.

Предпочтительно, чтобы флаг содержал флаг блокировки, указывающий на необходимость уменьшения блокирующих артефактов у границ блока, и флаг помехи, указывающий на необходимость снижения низкочастотного шума по краям изображения.

В случае, когда данные изображений представляют собой внутренний кадр, флаг блокировки внутреннего кадра предпочтительно включает флаг блокировки по горизонтали (ФБГ) и флаг блокировки по вертикали (ФБВ), при этом выделение ФБГ и ФБВ внутреннего кадра включает следующие стадии: расчет коэффициентов ДКП блока из 8х8 пикселей после инверсного квантования сжатых данных изображений, допуская, что пиксель А (коэффициент ДК) расположен в верхнем крайнем левом углу блока 8х8, состоящего из 64 пикселей, пиксель B расположен вправо от пикселя A и пиксель C расположен под пикселем A, ФБГ и ФБВ устанавливаются в состояние "1", указывая на необходимость цикл-фильтрации, если коэффициенты пикселей не равны нулю; ФБВ устанавливается в состояние "1", указывая на необходимость цикл-фильтрации, если только верхний ряд инверсно квантованного блока 8х8 не равен нулю, и ФБГ устанавливается в "1", указывая на необходимость цикл-фильтрации, если крайний левый столбец инверсно квантованного блока 8х8 не равен нулю.

При выделении флага помех из внутреннего кадра, предполагая, что пиксель A (коэффициент ДК) располагается в верхнем крайнем левом углу блока 8х8, состоящего из 64 пикселей, пиксель B расположен вправо от пикселя A и пиксель C расположен ниже пикселя A, флаг помех предпочтительно устанавливается в "1", указывая на необходимость цикл-фильтрации, когда любой пиксель, кроме пикселей A, B и C инверсно квантованного блока 8х8, имеет коэффициент, не равный нулю. Флаг блокировки текущего промежуточного кадра содержит предпочтительно флаг блокировки по горизонтали и флаг блокировки по вертикали, причем, допуская, что опорный кадр включает предварительно определенное число опорных блоков, блок опорного кадра, прогнозируемый вектором перемещения (MV_xMV_y) блока A_c текущего промежуточного кадра, является блоком перемещения X; выделение ФБГ и ФБВ блока A_c текущего промежуточного кадра включает следующие стадии: анализ степени перекрытия между блоком перемещения X и опорными блоками; побитовая логическая операция "И" ФБГ и ФБВ опорных блоков, имеющих предварительно определенное количество перекрывающихся пикселей, и установление результата побитовой операции "И" в качестве ФБГ и ФБВ блока A_c в плоскости текущего видеообъекта.

Предпочтительно выделение флагов блокировки по горизонтали и по вертикали в блоке A_c текущего промежуточного кадра дополнительно включает этап установки флага блокировки опорного макроблока в качестве флага блокировки текущего макроблока, если вектор перемещения текущего макроблока является пропущенным макроблоком, имеющим нулевой вектор перемещения.

Предпочтительно выделение флагов блокировки по горизонтали и по вертикали в блоке A_c текущего промежуточного кадра дополнительно включает этап заполнения блока данных незначащей информацией после копирования флага блокировки.

Предпочтительно выделение флага помех в блоке A_c текущего промежуточного кадра в случае, когда кадр изображения является промежуточным кадром, включает следующие этапы: установка флага помех текущего блока A_c в состояние "1", если любая переменная составляющая коэффициентов обратного преобразования (КОП) остаточного сигнала промежуточных блоков 8х8 не равна нулю, и установка флага помех в состояние "0", если все переменные составляющие коэффициентов обратного преобразования являются нулями; установка флага помех в "1", когда текущий блок находится в режиме прогнозирования блока 8х8 для передачи вектора перемещения в макроблоке.

Предпочтительно в случае, когда видеоданные представляют собой промежуточный кадр, флаг помех промежуточного кадра включает первый флаг помех (ФПО) и второй флаг помех (ФП1), причем выделение первого и второго флагов помех ФПО и ФП1 в блоке A_c текущего промежуточного кадра включает следующие стадии: установка первого флага помех ФПО текущего блока в состояние "1", если постоянные составляющие коэффициентов обратного преобразования остаточного сигнала промежуточных макроблоков 8х8 не равны нулю; в противном случае - установка ФПО текущего блока A_c в состояние "0", и установка второго флага помех ФП1 текущего блока в состояние "1", если любая переменная составляющая коэффициентов обратного преобразования остаточного сигнала промежуточных кадров 8х8 не равна нулю; в противном случае - установка ФП1 текущего блока в состояние "0".

Предпочтительно, при условии, что заданный блок, составляющий кадр, подлежащий цикл-фильтрации, - это блок I, и блок, смежный блоку I, - блок J, разница между текущим блоком I, и квантованным предшествующим блоком I не превышает предварительно определенную величину и разница между текущим блоком J и квантованным предшествующим блоком J не превышает предварительно определенную величину, фильтрация деблокирования на стадии фильтрации не выполняется.

Предпочтительно фильтрация деблокирования для уменьшения артефактов блокирования включает следующие этапы: выполнение первой фильтрации для изменения предварительно определенного числа пикселей у горизонтальной границы блока между блоками I и J, если флаги помех блоков I и J указывают на отсутствие необходимости снижения низкочастотного шума и оба ФБГ блоков I и J указывают на необходимость уменьшения артефактов блокирования; сравнение разности между двумя смежными пикселями по границе блока с показателем квантования Н.263 QP, если оба флага помех блоков I и J указывают на отсутствие необходимости снижения низкочастотного шума и, по меньшей мере, один из ФБГ блоков I и J указывает на отсутствие необходимости уменьшения блокирующих артефактов или если, по меньшей мере, один из флагов помех блоков I и J указывает на необходимость снижения низкочастотного шума; изменение предварительно определенного числа пикселей, которое меньше этого числа для первой фильтрации, если разница между двумя пикселями не превышает QP.

Предпочтительно фильтрация деблокирования для уменьшения артефактов блокирования включает следующие этапы: выполнение первой фильтрации для изменения предварительно определенного числа пикселей у границы блока между блоками I и J, если флаг помех блока I указывает на отсутствие необходимости снижения низкочастотного шума и оба блока I и J являются внутренними блоками, сравнение разницы между двумя смежными пикселями по границе блока с показателем квантования Н.263 QP, если флаг помех блока I указывает на отсутствие необходимости снижения низкочастотного шума и, по меньшей мере, один из ФБГ блоков I и J указывает на отсутствие необходимости уменьшения артефактов блокировки и выполнение второй фильтрации для изменения предварительно определенного числа значений пикселей, которое меньше, чем это число для первой фильтрации, если разница между двумя пикселями меньше величины QP; выполнение первой фильтрации, если флаг помех блока I указывает на отсутствие необходимости снижения низкочастотного шума, причем ни блок I, ни блок J не являются внутренними блоками, имеется постоянная составляющая коэффициента обратного преобразования (КОП) остаточного сигнала блока I или блока J и оба ФБГ блоков I и J находятся в состоянии "1", выполнение второй фильтрации, если флаг помех блока I указывает на отсутствие необходимости снижения низкочастотного шума, причем ни блок I, ни блок J не являются внутренними блоками; имеется постоянная составляющая коэффициента обратного преобразования (КОП) остаточного сигнала блока I или J, и, по меньшей мере, один из ФБГ блоков I и J равен нулю, и выполнение второй фильтрации, если флаг помех блока I указывает на необходимость снижения низкочастотного шума.

Предпочтительно фильтрация деблокирования для уменьшения артефактов блокирования включает следующие этапы: выполнение первой фильтрации для изменения предварительно определенного числа значений пикселей у границы блока между блоками I и J, если второй флаг помех ФП1 блока I указывает на отсутствие необходимости снижения низкочастотного шума, ни блок I, ни блок J не являются внутренними блоками и оба ФБГ блоков I и J указывают на необходимость уменьшения артефактов блокирования, сравнение разницы между двумя смежными пикселями по границе блока с показателем квантования Н.263 QP, если ФП1 блока I указывает на отсутствие необходимости снижения низкочастотного шума; ни блок I, ни блок J не являются внутренними блоками и, по меньшей мере, один из ФБГ блоков I и J указывает на отсутствие необходимости уменьшения артефактов блокирования; выполнение второй фильтрации для изменения предварительно определенного числа значений пикселей, которое меньше, чем это число для первой фильтрации, если разница между двумя пикселями меньше величины QP; выполнение первой фильтрации, если ФП1 блока I указывает на отсутствие необходимости снижения низкочастотного шума; ни блок I, ни блок J не являются внутренними блоками; по меньшей мере, один из ФПО блоков I и J находится в состоянии "1" и оба ФБГ блоков I и J находятся в состоянии "1", выполнение второй фильтрации, если ФП1 блока I указывают на отсутствие необходимости снижения низкочастотного шума; ни блок I, ни блок J не являются внутренними блоками; по меньшей мере, один из ФПО блоков I и J находится в состоянии "1", и, по меньшей мере, один из ФБГ блоков I и J не находится в состоянии "1"; и выполнение второй фильтрации, если ФП1 блока I не равен нулю.

Предпочтительно, при условии, что шесть пикселей на границе горизонтального блока между блоками I и J обозначены как A, B, C, D, E и F, где пиксели C и D - ближайшие пиксели на границе горизонтального блока, пиксели A и F представляют собой самые дальние пиксели, а пиксели B и D - средние; в ходе первой фильтрации осуществляется фильтрация нижних частот с коэффициентами (1,1,1,2,1,1,1) для шести пикселей, и вторая фильтрация выполняется для пикселей C и D, при которой два пикселя C и D заменяются на C=C+(D-C)/4 и D=D+(D-C)/4, если абсолютное значение разницы между пикселями C и D меньше, чем QP Н.263.

Предпочтительно операция снижения низкочастотного шума выполняется на стадии фильтрации, если флаг помех указывает на необходимость выполнения такой фильтрации; эта операция не выполняется, если флаг помех указывает на отсутствие необходимости снижения низкочастотного шума, причем операция фильтрации низкочастотного шума включает следующие этапы (а) обнаружение горизонтальных и вертикальных краев данных изображений и (b) выполнение двухмерной (2-D) адаптивной фильтрации сигнала в блоке 8х8, в котором должны быть снижены низкочастотные помехи. На этапе (а) для обнаружения горизонтального края, при условии, что пиксель [m, n] - текущий пиксель, пиксель [m] [n+1] располагается вправо от пикселей [m, n], пиксель [m][n-1] располагается влево от пикселя [m, n], разница между пикселем [m][n] и пикселем [m] [n+1] выражена как A1, разница между пикселем [m][n] и пикселем [m][n-1] выражена как A2; QP - показатель квантования H. 263, когда ((A1>QP) и (A2>QP)), или (A1>2QP), или (A2>2QP); текущий пиксель обнаруживается как краевой пиксель, и отображение края, край [m][n] становится равным 1. Кроме того, на этапе (а) для обнаружения вертикального края, при условии, что текущий пиксель представляет собой пиксель [m,n], пиксель [m+1][n] расположен выше пикселя [m,n]; нижний пиксель является пикселем [m-1][n]; разница между пикселем [m][n] и пикселем [m+l][n] равна A'1; разница между пикселем [m] [n] и пикселем [m-1][n] равна A'2. При этом QP - показатель квантования H. 263, когда удовлетворяется условное выражение ((A'1>QP) и (A'2>QP)), или (A'1>2QP) или (A'2>2QP), текущий пиксель обнаруживается, как краевой пиксель, и отображение края, край [m][n] становится равным "1". На этапе (b) адаптивной фильтрации сигнала окно фильтра с четырьмя входами используется для блока 8х8, чтобы определить, является ли центральный пиксель окна фильтра краевым пикселем, и фильтрация выполняется, если центральный пиксель является краевым пикселем; в противном случае выполняется взвешенная фильтрация.

Предпочтительно фильтрация для подавления низкочастотного шума на стадии фильтрации стадии не выполняется, если разница между текущим блоком I и квантованным предшествующим блоком I не больше, чем предварительно определенное значение, и разница между текущим блоком J и квантованным предшествующим блоком J не больше, чем предварительно определенное значение.

Предпочтительно фильтрация для снижения низкочастотного шума выполняется на этапе фильтрации, если флаг помех блока I указывает на необходимость в такой фильтрации; в противном случае, эта фильтрация не выполняется.

Предпочтительно фильтрация для снижения низкочастотного шума выполняется, когда блок I является внутренним блоком, когда блок I - не внутренний блок и находится в режиме прогнозирования блока 8х8 и когда блок I - не внутренний блок и не находится в режиме прогнозирования блока 8х8, и ФП1 блока I указывает на отсутствие необходимости в фильтрации для снижения низкочастотного шума, и такая фильтрация не выполняется, когда ФП1 блока I указывает на отсутствие необходимости в фильтрации для снижения низкочастотного шума.

Предпочтительно фильтрация для снижения низкочастотного шума включает следующие этапы: (а) обнаружение горизонтальных и вертикальных краев данных изображений и (b) выполнение двухмерной (2-D) адаптивной фильтрации сигнала в блоке 8х8, из которого должна удаляться низкочастотная помеха. На этапе (а) обнаружения горизонтального края, при условии, что пиксель [m,n] - текущий пиксель, пиксель [m][n+1] располагается вправо от пикселя [m,n], пиксель [m] [n-l] располагается влево от пикселя [m,n], причем разница между пикселем [m][n] и пикселем [m][n+1] равна A1, разница между пикселем [m][n] и пикселем [m][n-1] равна A2, QP представляет собой показатель квантования H. 263, когда удовлетворяется условное выражение ((A1>QP) и (A2>QP)) или (A1>2QP) или (A2>2QP), текущий пиксель обнаруживается как краевой пиксель, и отображение края, край [m][n] становится равным "1". Кроме того, на этапе (а) обнаружения вертикального края, при условии, что текущий пиксель является пикселем [m,n], пиксель [m+1][n] расположен выше пикселя [m, n], пиксель [m-1][nl расположен ниже пикселя [m, n], разница между пикселем [m][n] и пикселем [m+1] [n] составляет A'1, разница между пикселем [m][n] и пикселем [m-1] [n] составляет A'2 и QP - показатель квантования H.263, когда удовлетворяется условное выражение ((A'1>QP) и (A'2 >QP)) или (A'1>2QP) или (A'2>2QP), текущий пиксель обнаруживается как краевой пиксель, и отображение края, край [m] [n] становится равным "1". Кроме того, на стадии (b) адаптивной фильтрации сигнала окно фильтра с 4-мя входами применяется к блоку 8х8, чтобы определить, является ли центральный пиксель окна фильтра краевым пикселем; фильтрация выполняется, если центральный пиксель является краевым пикселем; в противном случае выполняется взвешенная фильтрация.

Предпочтительно для уменьшения угловых выбросов, формируемых в точке, где встречаются углы четырех блоков, когда данные изображения подвергаются блочному кодированию и декодированию, способ цикл-фильтрации дополнительно включает следующие этапы: (а) обнаружение углового выброса блока 8х8 инверсно квантованных данных изображения и (b) компенсация обнаруженного углового выброса. На стадии (а) обнаружения, при условии, что A, B, C и D - четыре пикселя вокруг точки, где встречаются четыре угла, и значения [0], [1] , [2] и [3] представляют собой значения пикселей A, B, C и D соответственно, среднее число значений пикселей устанавливается как (A+B+C+D+2)/4, разница между каждым значением пикселя для среднего значения сравнивается с показателем квантования Н.263 QP, и количество пикселей с угловыми выбросами накапливается для обнаружения углового выброса, если разница превышает QP. Кроме того, на этапе компенсации (b), при условии, что A₁, и A₂ - пиксели, смежные пикселю A, а A₃ - пиксель, диагональный пикселю A в том же блоке пикселя A, A', A'₁ и A'₂ - компенсированные величины пикселей A, A₁ и A₂, соответственно, когда обнаружен только один кандидат углового выброса и этот обнаруженный кандидат - пиксель A, разница между пикселями A и A₃ меньше, чем 3QP/2, компенсация углового выброса выполняется с использованием следующих уравнений: A' = (4A+B+C+2D+4)/8; A'₁ = (A'+3A₁+2)/4; A'₂ = (A'+3A₂+2)/4, и, когда количество кандидатов больше двух, выбирается тот кандидат, который имеет самое большое отличие от (A₃ + B₃ + C₃ + D₃ + 2)/4, и компенсация углового выброса выполняется в этой точке так же, как это делается в случае только одного кандидата.

Согласно другому аспекту изобретения заявлено устройство для цикл-фильтрации данных изображения, обеспечивающее уменьшение эффекта квантования, возникающего при кодировании и декодировании данных изображения, указанное устройство содержит: блок выделения флага для выделения флага, указывающего на необходимость цикл-фильтрации данных изображения с использованием распределения коэффициентов обратного преобразования (КОП) данных и изображение вектора перемещения, указывающего разницу между предшествующим кадром и текущим кадром; деблокирующий фильтр для фильтрации деблокирования данных изображения путем анализа флага блокирования, выделенного блоком выделения флага, компенсатор угла выброса для обнаружения углового выброса данных, отфильтрованных с деблокированием, и для компенсации обнаруженного углового выброса; фильтр для снижения низкочастотных помех в отфильтрованных данных, скомпенсированных по угловому выбросу путем анализа флага помех, выделенного блоком выделения флага; при этом указанные флаги включают в себя флаг блокировки, указывающий на необходимость уменьшения артефактов блокирования у границ блока, и флаг помех, указывающий на необходимость снижения низкочастотного шума у краев изображения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ Вышеуказанные задачи и преимущества настоящего изобретения поясняются в последующем описании предпочтительных вариантов осуществления изобретения со ссылками на чертежи, на которых представлено следующее: фиг. 1 - блок-схема устройства для цикл-фильтрации данных изображения, обеспечивающего уменьшение эффекта квантования блочных данных изображения; фиг. 2 - структура декодера, соответствующего Н.263+, использующего блок 8х8 коэффициентов дискретного косинусного преобразования (ДКП), инверсно квантованного инверсным квантователем декодера; фиг. 3 - иллюстрация взаимосвязи между блоком 8х8 (А_с) во внутреннем кадре и смежными блоками опорного кадра; фиг. 4 - пример, иллюстрирующий выделение флага блокировки по горизонтали (ФБГ), флага блокировки по вертикали (ФБВ) и флага помех (ФП) в плоскости промежуточного видеообъекта (ППО); фиг. 5 - представление границ блока и расположения пикселей, смежных границам блока, для иллюстрации фильтрации, реализуемой фильтром деблокирования, для уменьшения артефактов блокирования; фиг. 6А - иллюстрация краев изображения, на которых имеют место угловые выбросы из-за квантования; фиг. 6B - угловой выброс, формируемый квантованием; фиг. 6C - кординаты точек угла для компенсации углового выброса; фиг. 7A - представление ядра двухмерного (2-D) адаптивного фильтра сигнала (АФС); фиг. 7B - пример блока 10х10 для обнаружения края и адаптивной фильтрации сигнала; фиг. 8 - представление результата заполнения Bf_Y блока данных.

ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНЫХ ВАРИАНТОВ На фиг. 1 представлено устройство 10 для цикл-фильтрации данных изображения для снижения эффекта квантования, возникающего, когда данные изображения сформированы блочным кодированием и декодированием, реализуемым системой с общим кодером и декодером. Устройство 10 содержит блок 100 выделения флага, фильтр 110 деблокирования, компенсатор 120 углового выброса и фильтр 130 для снижения помех. Блок выделения флага 100 выделяет флаг, используя распределение коэффициентов обратного преобразования (КОП) инверсно квантованных данных изображения и вектор перемещения, указывающий на разницу между предшествующим кадром и текущим кадром. Флаг является информацией, указывающей, требует ли декодированное изображение цикл-фильтрации, и состоит из флага блокировки и флага помех. Флаг блокировки указывает на необходимость уменьшения артефактов блокировки у границы блока, а флаг помех указывает на необходимость снижения низкочастотной помехи (низкочастотного шума) у краев изображения. Флаг блокировки состоит из ФБГ, указывающего на выполнение цикл-фильтрации пикселей смежных блоков по горизонтальной границе блока, и ФБВ, указывающего на выполнение цикл-фильтрации пикселей смежных блоков по вертикальной границе блока.

Выделение флага выполняется во внутренних и промежуточных кадрах. Настоящее изобретение исходит из того, что каждый промежуточный кадр состоит из кадра P и кадра РВ. Распределение коэффициентов КОП инверсно квантованных данных изображения используется для выделения флага во внутренних кадрах. При выделении флага в промежуточных кадрах используется вектор перемещения, указывающий на разницу между предшествующим кадром и текущим кадром. Подробное описание этого процесса приведено ниже.

Фильтр 110 деблокирования проверяет флаг блокирования, выделенный блоком 100 выделения флага, использующим одномерные (1-D) фильтры нижних частот (ФНЧ) для фильтрации по горизонтали и вертикали, осуществляя, таким образом, фильтрацию деблокирования данных изображения.

Компенсатор выброса 120 обнаруживает угловой выброс данных, прошедших через фильтр 110 деблокирования, и компенсирует обнаруженные угловые выбросы.

Фильтр 130 подавления помехи проверяет флаг помех, выделенный блоком выделения флага 100, использующим двухмерный адаптивный фильтр сигнала (АФС) в фильтре подавления помех и компенсации углового выброса данных. Основная идея способа цикл-фильтрации данных изображения в соответствии с настоящим изобретением состоит в адаптивной фильтрации с использованием пространственной частоты и временной информации для снижения эффекта квантования.

Кроме того, учитываются субъективное качество изображения, максимальное отношение сигнал-шум и сложность вычислений. В частности, если основная идея реализована с использованием программного обеспечения и аппаратных средств, сложность вычислений является решающим фактором. Анализируется распределение коэффициентов обратного преобразования для выделения информации о артефактах блокирования и низкочастотных помехах в каждом блоке 8х8. Фильтр нижних частот и двухмерный адаптивный фильтр сигнала (АФС) адаптивным образом применяются к каждому блоку 8х8 с использованием флагов блокировки и помех.

В настоящем изобретении реализуются два его варианта: с флагом помех, устанавливаемым в виде одного флага помех (ФП) в первом варианте, и устанавливаемым в виде двух, т.е. первого и второго, флагов помех ФПО и ФП1, во втором варианте. Если при дальнейшем их описании нет ссылки на первый или второй вариант, это означает, что применяются оба варианта. Кроме того, в случае, когда используется только первый или только второй вариант, соответствующий вариант обязательно упоминается.

Ниже описывается выделение флага артефактов блокирования и флага помех с помощью блока выделения флага 100.

1. Информация о артефактах блокирования и низкочастотном шуме Для того чтобы снизить эффекты квантования в формате Н.263+, определены два типа флагов: флаги блокирования и флаги помех. Флаги блокирования и флаги помех выделяются из зоны КОП каждого блока 8х8 во внутреннем макроблоке (МБ). Кроме того, флаги промежуточных макроблоков вычисляются из остаточного сигнала и флагов опорной плоскости видеообъекта (ОПО).

1.1. Информация флагов для внутреннего макроблока Распределение коэффициентов обратного преобразования (коэффициенты ДКП после инверсного квантования) определяется в декодере. На фиг. 2 представлена блок-схема декодера Н.263+ и коэффициента ДКП после обратного преобразования. В блоке обратного преобразования 8х8 на фиг. 2 коэффициенты A, B и C используются для принятия решения по флагу блокировки и флагу помех.

Если только коэффициент в положении A (постоянная составляющая) среди 64 коэффициентов ДКП блока 8х8, показанного на фиг. 2, имеет нулевое значение, 64 пикселя кодированного блока 8х8 имеют те же самые значения в пространственной области. Таким образом, блок, имеющий только постоянную составляющую, может создавать артефакты блокирования по горизонтали и по вертикали. В этом случае флаги блокирования по горизонтали и по вертикали блока устанавливаются в положение "1".

Если коэффициенты в верхнем ряду инверсно квантованного блока 8х8 имеют ненулевые значения, восемь пикселей в каждом столбце имеют одно и то же значение в пространственной области. Этот блок может создавать вертикальные артефакты блокировки по вертикали, так что флаг блокировки по вертикали устанавливается в состояние "1".

Если коэффициенты в дальнем левом столбце имеют ненулевые значения, восемь пикселей в каждом ряду имеют одно и то же значение в пространственной области. Этот блок может создавать артефакты блокировки по горизонтали, так что флаг блокировки по горизонтали устанавливается в состояние "1".

В первом варианте флаг помех устанавливается в состояние "1", если коэффициенты, не равные нулю, существуют в позициях, отличных от A, B и C на фиг. 2. Во втором варианте, первый флаг помех ФПО устанавливается в состояние "1", если коэффициенты, не равные нулю, существуют в позициях, отличных от кроме A, B и C на фиг. 2.

Наличие этих высокочастотных коэффициентов указывает на то, что блок включает края изображения. Следовательно, блок создает низкочастотные помехи (низкочастотный шум) по краям изображения из-за округления высокочастотных коэффициентов. Во втором варианте второй флаг помех ФП1 во внутреннем макроблоке не используется.

1.2. Распространение информации флага на промежуточный макроблок (ПМБ) В первом варианте флаги блокировки в опорных кадрах распространяются на следующий промежуточный макроблок с использованием векторов перемещения. Кроме того, остаточный сигнал промежуточного блока используется для определения флага промежуточного блока. Распространение флага блокировки из опорного кадра на промежуточный кадр происходит следующим образом.

На фиг. 3 показана взаимосвязь между блоком 8х8 (A_c) в промежуточном кадре и смежных блоках опорного кадра. Прохождение флага блокировки описывается векторами перемещения MV_x и MV_y следующим образом. На фиг. 3 A_r, B_r, C_r и D_r представляют собой блоки опорного кадра. A_c - блок в текущем промежуточном кадре и X - блок перемещения A_c, который оценивается с использованием вектора перемещения (MV_x, MV_y). Прежде всего анализируется степень перекрытия вектора перемещения X и опорного блока. Если используются только блоки, в которых область, перекрытая промежуточным блоком перемещения X и опорным блоком, шире, чем используемые пиксели 2х2, можно вычислить флаги блокировки по горизонтали и вертикали текущего блока A_с побитовым способом с помощью логической операции "И" для ФБГ и ФБВ опорных блоков, которые перекрываются блоком X, оцененным по вектору перемещения.

Например, если MV_x = 5 и MV_y = 3,5, оцененный по вектору перемещения блок X перекрывается четырьмя опорными блоками A_r, B_r, C_r и D_r. Здесь все четыре перекрытых области шире, чем пиксели 2х2. Таким образом, ФБГ и ФБВ текущего блока A_c могут вычисляться из четырех опорных блоков A_r, B_r, C_r и D_r, как показано на фиг. 4. Здесь знак & указывает на побитовую логическую операцию "И".

Ниже описывается флаг помех (ФП) в промежуточном кадре. Прежде всего ФП опорного блока A_c устанавливается в состояние "1", если коэффициент обратного преобразования остаточных сигналов в блоке 8х8 промежуточного кадра не равен нулю. Перенос четырех векторов перемещения для одного макроблока определяется как режим прогнозирования блока 8х8. Режим прогнозирования блока 8х8 относится к занятой области, имеющей высокочастотную составляющую. Таким образом, определяется, находится ли блок 8х8 в режиме прогнозирования, и ФП блока, имеющего режим прогнозирования 8х8, устанавливается в состояние "1".

Что касается второго варианта, то блокировочные флаги блокировки в опорном кадре (изображение I или изображение P или часть изображения P улучшенных кадров РВ) распространяются на следующий промежуточный макроблок с использованием векторов перемещения. Кроме того, остаточный сигнал промежуточного блока используется для принятия решения по флагу промежуточного блока. Если текущий макроблок - пропущенный макроблок (COD-1), то флаги блокировки шести блоков (четыре для Y, один для C_b и один для C_r) в опорном макроблоке дублируются в соответствующих блоках текущего макроблока.

Распространение флага блокировки опорного кадра на промежуточный кадр осуществляется так же, как и в первом варианте. Тем не менее, для расчета ФБГ и ФБВ текущего блока A_c логическая операция "И" применяется к блокам, чья область перекрытия блоком X - шире, чем пиксель 1х1, в отличие от первого варианта, в котором логическая операция "И" применяется к блокам, чья область перекрытия блоком X - шире, чем пиксели 2х2. Например, если MV_x-5 и MV_y-3,5, оцененный по вектору перемещения блок X перекрывается четырьмя опорными блоками A_r, B_r, C_r и D_r. Здесь четыре перекрытых области шире пикселя 1х1.

Ниже приведено пояснение для флага помех в промежуточном кадре. Прежде всего анализируется коэффициент обратного преобразования остаточных сигналов в блоке 8х8 промежуточного макроблока. ФПО блока A_c устанавливается в состояние "1", если постоянная составляющая коэффициента обратного преобразования не равна нулю и все другие составляющие также равны нулю. Кроме того, ФП1 опорного блока A_c устанавливается в "1", если любая переменная составляющая коэффициента обратного преобразования остаточных сигналов не равна нулю. Режим прогнозирования блоков 8х8 учитывается при фильтрации для снижения помех.

2. Способ цикл-фильтрации с использованием флага Фильтр 110 деблокирования, компенсатор 120 углового выброса и фильтр 130 подавления помех подробно описы