Способы кодирования/декодирования видео, устройства кодирования/декодирования видео и программы для них

Способы кодирования/декодирования видео, устройства кодирования/декодирования видео и программы для них

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к технологиям кодирования/декодирования видео, использующим контурный фильтр, который уменьшает шум блочности и т.п.

Испрашивается приоритет по заявке на патент Японии № 2011-051444, поданной 09 марта 2011 г., содержимое которой включено в настоящее описание посредством ссылки.

УРОВЕНЬ ТЕХНИКИ

Используемые в настоящем описании понятия определены следующим образом.

- «Форма поиска»: совокупность точек поиска вокруг целевого пикселя сравнения шаблонов или форма, образуемая этой совокупностью.

- «Форма шаблона»: группа пикселей, используемых для вычисления степени сходства между целевым пикселем и каждой точкой поиска при выполнении сравнения шаблонов или форма, образуемая этой группой пикселей. Одинаковая форма используется для группы пикселей вокруг целевого пикселя и для группы пикселей вокруг каждой точки поиска, и значения пикселей в позициях с одинаковым относительным взаимным расположением сравниваются друг с другом.

В технологиях обработки изображения, в качестве методики уменьшения шума при создании изображения и уменьшения повреждений поврежденного изображения, были предложены различные фильтры шумоподавления. Среди прочего, известно, что фильтры шумоподавления в соответствии со способом нелокальных средних величин (см. Непатентный Документ 1) демонстрируют высокий эффект шумоподавления. Здесь и далее, фильтры шумоподавления в соответствии со способом нелокальных средних величин именуются как фильтры NLM.

Фиг. 18 является схемой, описывающей фильтр NLM. На Фиг. 18 одна квадратная ячейка является точкой поиска, а совокупность точек поиска является формой поиска. P 0 является целевым пикселем шумоподавления, а P S является пикселем точки поиска в цели поиска. T 0 и T S являются формами шаблона, и форма формы T 0 шаблона источника сравнения точно такая же, что и у формы T S шаблона цели поиска.

В фильтре NLM соответствующие пиксели в форме T 0 шаблона источника сравнения и форме T S шаблона цели поиска сравниваются друг с другом, и вычисляется степень сходства между шаблонами. В целом, вычисление степени сходства между шаблонами использует сумму квадратов разностей (SSD) или сумму абсолютных разностей (SAD).

Фиг. 19 является схемой, иллюстрирующей входы и выход модуля исполнения фильтра NLM. По существу, модуль 1000 исполнения фильтра NLM вводит четыре фрагмента информации, включающие в себя: целевое изображение шумоподавления, форму поиска, форму шаблона и коэффициент шумоподавления, и формирует результирующее изображение с подавленным шумом. В качестве коэффициента шумоподавления дисперсия как типичное значение задается, когда доступно исходное изображение, к которому применяется шум, и соответствующее значение устанавливается пользователем, когда исходное изображение отсутствует.

Модуль 1000 исполнения фильтра NLM вычисляет значение пикселя с подавленным шумом для каждого пикселя следующим образом. В нижеследующем будет описан пример, который использует SSD для вычисления степени сходства между шаблонами.

(1) Начальное значение переменной S W суммы весовых коэффициентов задается равным 0, а начальное значение переменной S P суммы значений пикселя задается равным 0.

(2) Нижеследующие процессы повторяются для всех точек поиска внутри формы поиска.

(2-1) В качестве степени сходства между шаблонами вычисляется SSD.

(2-2) Весовой коэффициент W=exp(-SSD/коэффициент шумоподавления)

(2-3) Сумма весовых коэффициентов S W = с у м м а в е с о в ы х к о э ф ф и ц и е н т о в S W + в е с о в о й к о э ф ф и ц и е н т W

(2-4) Сумма значений пикселя S P = с у м м а з н а ч е н и й п и к с е л я S P + в е с о в о й к о э ф ф и ц и е н т W × ( з н а ч е н и е п и к с е л я т о ч к и п о и с к а )

(3) По завершению процессов (2) для всех точек поиска внутри формы поиска значение пикселя с подавленным шумом целевого пикселя шумоподавления получается при помощи следующего уравнения:

(значение пикселя с подавленным шумом)=сумма значений пикселя SP/сумма весовых коэффициентов SW

Модуль 1000 исполнения фильтра NLM выполняет процесс шумоподавления, используя одно значение и одну форму для всех пикселей целевого изображения шумоподавления, когда одно значение задано в качестве каждого из следующего: входного коэффициента шумоподавления, входной формы поиска и входной формы шаблона, и выполняет процесс шумоподавления наряду с переключением значения и форм для каждой соответствующей точки, когда задана группа фрагментов данных, соответствующая каждому пикселю.

Более того, чтобы удалить искажение от кодирования, фильтр шумоподавления с фильтром удаления блочности установлен в «HM», что является тестовой моделью «Высокоэффективного Кодирования Видео» стандартов кодирования видео следующего поколения, в отношении которых «Экспертной Группой по Движущимся Изображениям (MPEG)» и «Экспертной Группой по Кодированию Видео (VCEG)» в настоящее время осуществляются мероприятия по международной стандартизации (см. Непатентный Документ 2).

ДОКУМЕНТЫ ПРЕДШЕСТВУЮЩЕГО УРОВНЯ ТЕХНИКИ

НЕПАТЕНТНЫЕ ДОКУМЕНТЫ

Непатентный Документ 1: A. Buades, B. Coil, и J. M. Morel, «A non-local algorithm for image denoising”, Proc. IEEE Int. Conf. on Computer Vision and Pattern Recognition, vol. 2, pp. 60-65, June, 2005.

Непатентный Документ 2: Thomas Wiegand, Woo-Sin Han, Benjamin Bross, Jens-Rainer Ohm, и Gary S. Sullivan, «WD1: Working Draft 1 of High-Efficiency Video Coding», ITU-T SG16 WP3 и ISO/IEC JTC1/SC29/WG11 3rd Meeting: Guangzhou, CN, 7-15 October, 2010.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ЗАДАЧИ, РЕШАЕМЫЕ С ПОМОЩЬЮ ИЗОБРЕТЕНИЯ

Как описано выше, чтобы удалить искажения от кодирования, в «HM» «Высокоэффективного Кодирования Видео» в стандартах кодирования видео следующего поколения установлен фильтр шумоподавления с фильтром удаления блочности, однако можно предположить, что эффективность кодирования может быть повышена в сравнении с традиционными фильтрами удаления блочности, если в HM вводится вышеупомянутый фильтр NLM.

Тем не менее, огромна вычислительная сложность фильтра NLM, так что существует вероятность того, что время вычисления, требуемое для декодирования, значительно увеличится, если устройство декодирования будет вычислять фильтры NLM для всех пикселей.

Как описано выше, сравнение шаблонов выполняется для каждого целевого пикселя шумоподавления и каждой точки поиска внутри произвольной формы поиска, используя произвольную форму шаблона для вычисления степени сходства между шаблонами. В результате, если предположить, что, например, формой шаблона является блок N × N , а формой поиска является M × M , то вычислительная сложность порядка N 2 × M 2 требуется для выполнения вычисления шумоподавления для одного пикселя. Вследствие этого, чтобы использовать фильтр NLM в устройстве декодирования и т.п., требуется технология снижения вычислительной сложности.

Цель настоящего изобретения состоит в решении вышеописанных задач и предоставлении технологии снижения вычислительной сложности фильтра шумоподавления, сдерживая при этом снижение эффективности кодирования. Следует отметить, что здесь в качестве эффективности кодирования используется, например, коэффициент BD, который является одной из международных методик оценки и вычисляется из качества изображения и количества бит.

СРЕДСТВА ДЛЯ РЕШЕНИЯ ЗАДАЧ

Для решения вышеприведенных задач настоящее изобретение исполняет следующие процессы фильтрации при кодировании видео или декодировании видео, используя контурный фильтр, который выполняет сравнение шаблонов между шаблоном, который является источником сравнения для целевого пикселя шумоподавления в декодированном изображении, и шаблоном для каждой из точек поиска, которые являются целями поиска внутри формы поиска в декодированном изображении, и удаляет шум целевого пикселя, используя весовые коэффициенты в соответствии со степенями сходства между шаблонами и взвешенной суммой значений пикселя в точках поиска.

(1) Степень отклонения между целевым пикселем и окрестным пикселем целевого пикселя вычисляется, используя декодированное изображение.

(2) Степень отклонения используется в качестве индекса, используемого для ограничения формы шаблона, и процесс ограничения формы шаблона исполняется таким образом, что чем ниже степень отклонения относительно максимального значения степени отклонения внутри декодированного изображения, тем меньше форма шаблона.

Более того, дополнительно может быть добавлен следующий процесс (3).

(3) Обнаруживается излишне назначенная область в форме шаблона, ограниченной процессом (2), и выполняется повторная установка формы шаблона, чтобы дополнительно ограничить форму шаблона.

Как описано выше, несмотря на то, что обычно форма шаблона уникально задается для всего кадра как фиксированное значение, можно снизить вычислительную сложность сравнения шаблонов посредством введения процесса ограничения формы шаблона для каждого пикселя с помощью приведенных выше процессов (1) и (2). Дополнительно, можно дополнительно снизить вычислительную сложность посредством дополнительного исполнения процесса (3).

Соответственно, можно снизить вычислительную сложность контурного фильтра, сдерживая при этом снижение эффективности кодирования кодирования/декодирования видео.

ПОЛЕЗНЫЕ ЭФФЕКТЫ ИЗОБРЕТЕНИЯ

В соответствии с настоящим изобретением, можно снизить вычислительную сложность, сдерживая при этом снижение эффективности кодирования, посредством введения процесса ограничения формы шаблона для сокращения количества пикселей в шаблонах, между которыми выполняется сравнение в процессе контурного фильтра при кодировании/декодировании видео.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 является схемой, иллюстрирующей пример конфигурации устройства кодирования видео, к которому применяется вариант осуществления настоящего изобретения.

Фиг. 2 является блок-схемой обработки устройства кодирования видео.

Фиг. 3 является блок-схемой обработки устройства кодирования видео.

Фиг. 4 является схемой, иллюстрирующей пример конфигурации устройства декодирования видео, к которому применяется вариант осуществления настоящего изобретения.

Фиг. 5 является блок-схемой обработки устройства декодирования видео.

Фиг. 6 является блок-схемой обработки устройства декодирования видео.

Фиг. 7 является схемой, иллюстрирующей первый пример конфигурации модуля обработки фильтра шумоподавления.

Фиг. 8 является блок-схемой обработки модуля обработки фильтра шумоподавления.

Фиг. 9 является схемой, описывающей пример ограничения формы шаблона модулем установки формы шаблона.

Фиг. 10 является схемой, иллюстрирующей второй пример конфигурации модуля обработки фильтра шумоподавления.

Фиг. 11 является блок-схемой обработки модуля обработки фильтра шумоподавления.

Фиг. 12A является схемой, описывающей пример способа обнаружения степени отклонения.

Фиг. 12B является схемой, описывающей пример способа обнаружения степени отклонения.

Фиг. 13 является схемой, иллюстрирующей гистограмму степеней отклонения, как, впрочем, и взаимосвязь между пороговыми значениями и установкой областей.

Фиг. 14A является схемой, описывающей пример установки количества выборок в соответствии с соотношением интеграции.

Фиг. 14B является схемой, описывающей пример установки количества выборок в соответствии с соотношением интеграции.

Фиг. 15A является схемой, описывающей оператор Собеля в примере способа обнаружения направления границы.

Фиг. 15B является схемой, описывающей показатели в соответствии с направлениями в примере способа обнаружения направления границы.

Фиг. 15C является схемой, описывающей способ для назначения показателей в примере способа обнаружения направления границы.

Фиг. 16A является схемой, описывающей целевую область вычисления в примере способа повторной установки формы шаблона.

Фиг. 16B является схемой, описывающей признак шума блочности в примере способа повторной установки формы шаблона.

Фиг. 16C является схемой, описывающей установку четырех углов в примере способа повторной установки формы шаблона.

Фиг. 17 является схемой, иллюстрирующей пример конфигурации системы, когда вариант осуществления настоящего изобретения реализуется при помощи программы программного обеспечения.

Фиг. 18 является схемой, описывающей фильтр NLM.

Фиг. 19 является схемой, иллюстрирующей входы и выход модуля исполнения фильтра NLM.

ВАРИАНТЫ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Здесь и далее варианты осуществления настоящего изобретения будут описаны со ссылкой на чертежи. Сначала будут описаны примеры устройства кодирования видео и устройства декодирования видео, к которым применяются варианты осуществления настоящего изобретения. Следует отметить, что описываемые ниже устройство кодирования видео и устройство декодирования видео являются примерами устройств, к которым применяются варианты осуществления настоящего изобретения, и варианты осуществления настоящего изобретения не обязательно ограничиваются конфигурациями этих устройств.

[ПРИМЕР ПРИМЕНЕНИЯ К УСТРОЙСТВУ КОДИРОВАНИЯ ВИДЕО]

Фиг. 1 является схемой, иллюстрирующей пример конфигурации устройства кодирования видео, к которому применяется вариант осуществления настоящего изобретения. В показанном на Фиг. 1 устройстве кодирования видео модуль 101 хранения исходного изображения является модулем хранения для всех изображений входной последовательности, которая является целью кодирования, и он последовательно выводит целевые изображения кодирования кадров.

В устройстве кодирования видео на Фиг. 1 иллюстрируется пример, в котором модуль 113 обработки фильтра шумоподавления хранит как опорную форму поиска, так и опорную форму шаблона в качестве фиксированных значений. Более того, иллюстрируется пример, в котором в качестве коэффициента шумоподавления определяется коэффициент шумоподавления, который обеспечивает оптимальную эффективность кодирования в сравнении с тем, что присутствует у исходного изображения, который закодирован в битовом потоке в качестве служебных данных коэффициента шумоподавления. Когда как форма поиска, так и форма шаблона или одно из них подаются извне, посредством, например, установки пользователя, то необходимо передать эти формы устройству декодирования, но установка извне может быть реализована посредством кодирования этих форм в качестве служебных данных аналогично коэффициенту шумоподавления, и, следовательно, описание этого опущено в примере применения к настоящему устройству кодирования и в примере применения к устройству декодирования.

Модуль 102 определения размера блока определяет размер блока, с помощью которого осуществляется разделение на предварительно определенный Блок Кодирования и исполняется кодирование, и выводит целевой блок и размер блока. Модуль 103 определения размера предсказания определяет размер предсказания блока, с помощью которого предсказываются значения пикселя целевого блока, и выводит целевой блок и размер предсказания. Модуль 104 определения методики предсказания определяет методику, которая обеспечивает наивысшую эффективность кодирования из методик, включающих в себя: внутрикадровое предсказание и межкадровое предсказание, когда предсказываются значения пикселя целевого блока, и выводит блок предсказания и информацию предсказания, когда используется эта методика. Для формирования разностного блока вычисляется разность между целевым блоком, который выводится модулем 103 определения размера предсказания, и блоком предсказания.

Модуль 105 определения размера преобразования определяет размер преобразования, с помощью которого осуществляется разделение разностного блока, и выводит разделенные разностные блоки размера преобразования, как, впрочем, и размер преобразования. Модуль 106 дискретного косинусного преобразования применяет дискретное косинусное преобразование (DCT) к разностным блокам и выводит коэффициенты DCT. Модуль 107 квантования квантует коэффициенты DCT и выводит квантованные коэффициенты DCT.

Модуль 108 обратного квантования выполняет обратное квантование над квантованными коэффициентами DCT для восстановления коэффициентов DCT. Модуль 109 обратного дискретного косинусного преобразования применяет обратное дискретное косинусное преобразование к коэффициентам DCT и выводит декодированный разностный блок. Декодированный разностный блок складывается с блоком предсказания для формирования частичного декодированного изображения. Модуль 110 хранения декодированного изображения является модулем хранения для хранения частичного декодированного изображения и изображений, к которым также может осуществляться обращение в устройстве декодирования. Модуль 111 внутрикадрового предсказания обращается к частичному декодированному изображению, которое хранится в модуле 110 хранения декодированного изображения, и выводит блок предсказания и информацию предсказания.

Модуль 112 определения коэффициента шумоподавления определяет коэффициент шумоподавления, который обеспечивает оптимальную эффективность кодирования, обращаясь к декодированному изображению и исходному изображению, и выводит коэффициент шумоподавления.

Модуль 113 обработки фильтра шумоподавления является фильтром, который удаляет шум декодированного изображения, используя способ обработки изображения, который выполняет сравнение шаблонов между шаблоном, который является источником сравнения для целевого пикселя шумоподавления в декодированном изображении, и шаблоном для каждой из точек поиска, которые являются целями поиска со ссылкой на декодированное изображение в качестве целевого изображения шумоподавления, и удаляет шум целевого пикселя, используя весовые коэффициенты в соответствии со степенью сходства между шаблонами и взвешенной суммой значений пикселя в точках поиска. Данный процесс фильтрации формирует отфильтрованное декодированное изображение, в котором уменьшено искажение от кодирования. Данный модуль 113 обработки фильтра шумоподавления, в частности, отличается от известного уровня техники. Его подробный вариант осуществления будет описан ниже.

Модуль 114 обработки адаптивного контурного фильтра (ALF) выполняет процесс фильтрации над отфильтрованным декодированным изображением таким образом, чтобы оно было ближе к исходному изображению, и выводит декодированное изображение после ALF и коэффициенты ALF. Буфер 115 кадра является модулем хранения для хранения декодированного изображения после ALF. Модуль 116 межкадрового предсказания обращается к буферу 115 кадра и выводит блок предсказания и информацию предсказания.

Модуль 117 кодирования информации последовательности кодирует информацию, уникальную для входной последовательности, такую как количество пикселей в вертикальном направлении и горизонтальном направлении видео, и затем выводит служебные данные информации последовательности в модуль 125 хранения битового потока. Модуль 118 кодирования размера блока принимает размер блока от модуля 102 определения размера блока, выполняет кодирование и затем выводит служебные данные размера блока. Модуль 119 кодирования размера предсказания принимает размер предсказания от модуля 103 определения размера предсказания, выполняет кодирование и затем выводит служебные данные размера предсказания. Модуль 120 кодирования информации предсказания принимает информацию предсказания от модуля 104 определения методики предсказания, выполняет кодирование и затем выводит служебные данные информации предсказания.

Модуль 121 кодирования размера преобразования принимает размер преобразования от модуля 105 определения размера преобразования, выполняет кодирование и затем выводит служебные данные размера преобразования. Модуль 122 кодирования квантованного коэффициента DCT принимает квантованные коэффициенты DCT от модуля 107 квантования, выполняет кодирование и затем выводит служебные данные DCT. Модуль 123 кодирования коэффициента шумоподавления принимает коэффициент шумоподавления, который определен модулем 112 определения коэффициента шумоподавления, выполняет кодирование и затем выводит служебные данные коэффициента шумоподавления. Модуль 124 кодирования коэффициента ALF принимает коэффициенты ALF, выполняет кодирование и затем выводит служебные данные ALF. Модуль 125 хранения битового потока является модулем хранения для хранения каждых служебных данных и выводит битовый поток в качестве результата кодирования, по завершению кодирования всей последовательности.

Модуль 126 хранения информации кодирования является модулем хранения для хранения информации кодирования, обращение к которой также может осуществляться со стороны устройства декодирования. Обращение к данной информации кодирования, которая хранится в модуле 126 хранения информации кодирования, осуществляется со стороны, и она используется модулем 113 обработки фильтра шумоподавления и другими модулями.

[ПОТОК ОБРАБОТКИ УСТРОЙСТВА КОДИРОВАНИЯ ВИДЕО]

Фиг. 2 и Фиг. 3 иллюстрируют блок-схему обработки устройства кодирования видео, показанного на Фиг. 1. Устройство кодирования видео выполняет следующие процессы.

- Сначала, на этапе S101, входная последовательность сохраняется в модуле 101 хранения исходного изображения.

- Далее, на этапе S102, информация последовательности кодируется и сохраняется в модуле 125 хранения битового потока.

- Далее, на этапе S103, над всеми целевыми кадрами кодирования выполняется циклическая обработка, вплоть до этапа S118.

- Далее, на этапе S104, над всеми Блоками Кодирования (CU) целевого изображения кодирования выполняется циклическая обработка, вплоть до этапа S114.

- Далее, на этапе S105, размер блока определяется, кодируется и сохраняется в модуле 125 хранения битового потока.

- Далее, на этапе S106, размер предсказания определяется, кодируется и сохраняется в модуле 125 битового потока.

- Далее, на этапе S107, вычисляется разность между целевым блоком и методикой, которая обеспечивает наивысшую эффективность кодирования среди блока предсказания внутрикадрового предсказания и блока предсказания межкадрового предсказания.

- Далее, на этапе S108, информация предсказания сохраняется в модуле 125 хранения битового потока.

- Далее, на этапе S109, размер преобразования определяется, кодируется и сохраняется в модуле 125 хранения битового потока.

- Далее, на этапе S110, выполняется дискретное косинусное преобразование (DCT).

- Далее, на этапе S111, выполняется квантование, и квантованные коэффициенты DCT кодируются и сохраняются в модуле 125 хранения битового потока.

- Далее, на этапе S112, выполняется обратное квантование и обратное дискретное косинусное преобразование.

- Далее, на этапе S113, блок предсказания, примененный на этапе S107, складывается с декодированным разностным блоком после обратного преобразования.

- Далее, на этапе S114, частичное декодированное изображение, полученное посредством сложения, сохраняется в модуле 110 хранения декодированного изображения.

- По завершению циклической обработки для всех CU целевого изображения кодирования, на этапе S115, вычисляется коэффициент шумоподавления, который обеспечивает оптимальную эффективность кодирования, используя декодированное изображение и исходное изображение.

- Далее, на этапе S116, над декодированным изображением исполняется процесс фильтрации шумоподавления, при помощи настоящей методики, используя вычисленный коэффициент шумоподавления, и коэффициент шумоподавления кодируется и сохраняется в модуле 125 хранения битового потока.

- Далее, на этапе S117, исполняется адаптивный контурный фильтр (ALF), и коэффициенты ALF кодируются и сохраняются в модуле 125 хранения битового потока.

- Далее, на этапе S118, декодированное изображение после ALF сохраняется в буфере 115 кадра.

- По завершению циклической обработки для всех целевых кадров кодирования, на этапе S119, выводится битовый поток, и обработка завершается.

[ПРИМЕР ПРИМЕНЕНИЯ К УСТРОЙСТВУ ДЕКОДИРОВАНИЯ ВИДЕО]

Фиг. 4 является схемой, иллюстрирующей пример конфигурации устройства декодирования видео, к которому применяется вариант осуществления настоящего изобретения. Здесь и далее будет описано устройство декодирования видео, показанное на Фиг. 4. Модуль 201 хранения битового потока является модулем хранения для входного битового потока и выводит каждый фрагмент служебной информации по мере необходимости. Модуль 202 декодирования информации последовательности принимает служебные данные информации последовательности и декодирует информацию, которая является уникальной для последовательности, такую как количество пикселей в вертикальном направлении и горизонтальном направлении видео.

Модуль 203 декодирования размера блока принимает служебные данные размера блока и декодирует информацию, указывающую размер блока, с помощью которого осуществляется разделение на предварительно определенный Блок Кодирования и кодирование. Модуль 204 декодирования размера предсказания принимает служебные данные размера предсказания и выводит размер предсказания, который применялся в устройстве кодирования видео.

Модуль 205 декодирования информации предсказания принимает служебные данные информации предсказания и выводит информацию предсказания. Модуль 206 декодирования размера преобразования принимает служебные данные размера преобразования и выводит размер преобразования, который применялся в устройстве кодирования видео. Модуль 207 декодирования квантованного коэффициента DCT принимает размер преобразования и служебные данные DCT и выводит квантованные коэффициенты DCT. Модуль 208 декодирования коэффициента шумоподавления принимает служебные данные коэффициента шумоподавления и выводит коэффициент шумоподавления. Модуль 209 декодирования коэффициента ALF принимает служебные данные ALF и выводит коэффициенты ALF.

Модуль 210 обратного квантования выполняет обратное квантование над квантованными коэффициентами DCT для восстановления коэффициентов DCT. Модуль 211 обратного дискретного косинусного преобразования применяет обратное дискретное косинусное преобразование к коэффициентам DCT и выводит декодированный разностный сигнал. Модуль 212 формирования блока предсказания принимает информацию предсказания, частичное декодированное изображение и опорный кадр и формирует блок предсказания. Модуль 213 формирования частичного декодированного изображения складывает блок предсказания с декодированным разностным сигналом для формирования частичного декодированного изображения. Модуль 214 хранения декодированного изображения является модулем хранения для хранения частичного декодированного изображения.

Модуль 215 обработки фильтра шумоподавления является фильтром, который удаляет шум декодированного изображения, используя способ обработки изображения, который выполняет сравнение шаблонов между шаблоном, который является источником сравнения для целевого пикселя шумоподавления в декодированном изображении, и шаблоном для каждой из точек поиска, которые являются целями поиска со ссылкой на декодированное изображение в качестве целевого изображения шумоподавления, и удаляет шум целевого пикселя, используя весовые коэффициенты в соответствии со степенью сходства между шаблонами и взвешенной суммой значений пикселя в точках поиска, и данный процесс фильтрации формирует отфильтрованное декодированное изображение, в котором уменьшено искажение на краях блока. Данный модуль 215 обработки фильтра шумоподавления, в частности, отличается от известного уровня техники. Его подробный вариант осуществления будет описан ниже.

Модуль 216 обработки ALF принимает коэффициенты ALF, выполняет обработку фильтра над отфильтрованным декодированным изображением, так чтобы оно было близко к исходному изображению, и выводит декодированное изображение после ALF. Следует отметить, что данное декодированное изображение после ALF становится итоговым декодированным изображением при декодировании. Буфер 217 кадра является модулем хранения для хранения декодированного изображения после ALF. Модуль 218 хранения информации кодирования является модулем хранения для хранения информации кодирования, и обращение к данной информации кодирования, хранящейся в модуле 218 хранения информации кодирования, осуществляется со стороны, и она используется модулем 215 обработки фильтра шумоподавления и другими модулями.

[ПОТОК ОБРАБОТКИ УСТРОЙСТВА ДЕКОДИРОВАНИЯ ВИДЕО]

Фиг. 5 и Фиг. 6 иллюстрируют блок-схему обработки устройства декодирования видео, показанного на Фиг. 4. Устройство декодирования видео выполняет следующие процессы.

- Сначала, на этапе S201, входной битовый поток сохраняется в модуле 201 хранения битового потока.

- Далее, на этапе S202, декодируется информация последовательности.

- Далее, на этапе S203, над всеми целевыми кадрами декодирования выполняется циклическая обработка, вплоть до этапа S214.

- Далее, на Этапе S204, над всеми Блоками Кодирования (CU) целевого изображения декодирования выполняется циклическая обработка, вплоть до этапа S211.

- Далее, на этапе S205, декодируется размер блока.

- Далее, на этапе S206, декодируется размер предсказания.

- Далее, на этапе S207, декодируется информация предсказания и формируется блок предсказания.

- Далее, на этапе S208, декодируется размер преобразования.

- Далее, на этапе S209, декодируются квантованные коэффициенты DCT.

- Далее, на этапе S210, выполняются обратное квантование и обратное дискретное косинусное преобразование.

- Далее, на этапе S211, формируется декодированный блок, при помощи блока предсказания на этапе S207 и результата этапа S210, и сохраняется в модуле 214 хранения декодированного изображения.

- По завершению циклической обработки над всеми CU целевого изображения декодирования, на этапе S212, декодируется коэффициент шумоподавления, и над частичным декодированным изображением исполняется процесс фильтрации шумоподавления, используя настоящую методику.

- Далее, на этапе S213, декодируются коэффициенты ALF, и исполняется процесс ALF.

- Далее, на этапе S214, декодированное изображение после ALF сохраняется в буфере 217 кадра.

- По завершению циклической обработки для всех целевых кадров декодирования, на этапе S215, кадры из буфера 217 кадра выводятся в очередности номера кадра, чтобы сформировать выходную последовательность, и обработка завершается.

[ПРИМЕР 1 МОДУЛЯ ОБРАБОТКИ ФИЛЬТРА ШУМОПОДАВЛЕНИЯ]

Фиг. 7 является схемой, иллюстрирующей первый пример конфигурации модуля обработки фильтра шумоподавления. Модуль 30 обработки фильтра шумоподавления, показанный на Фиг. 7, является контурным фильтром, который используется в качестве вышеописанного модуля 113 обработки фильтра шумоподавления в устройстве кодирования видео, показанном на Фиг. 1. В дополнение, модуль 30 обработки фильтра шумоподавления также используется в качестве вышеописанного модуля 215 обработки фильтра шумоподавления в устройстве декодирования видео, показанном на Фиг. 4.

Модуль 30 обработки фильтра шумоподавления снабжен модулем 301 установки коэффициента шумоподавления, модулем 302 исполнения фильтра NLM, модулем 303 хранения формы поиска, модулем 304 хранения формы шаблона, модулем 305 обнаружения степени отклонения и модулем 306 установки формы шаблона.

Модуль 301 установки коэффициента шумоподавления формирует коэффициенты шумоподавления, которые соответствуют позициям пикселя целевого изображения шумоподавления, используя предварительно определенный опорный коэффициент шумоподавления и информацию кодирования. В целом, в диапазоне от средней скорости до низкой скорости, шум блочности становится заметным на краях блока обработки предсказания Блок Предсказания и блока обработки преобразования Блок Преобразования, и, следовательно, коэффициенты шумоподавления в позициях пикселя вблизи этих краев устанавливаются таким образом, чтобы они были выше тех, что используются внутри блока, используя информацию кодирования.

Модуль 303 хранения формы поиска и модуль 304 хранения формы шаблона являются модулями хранения для хранения каждой формы в качестве фиксированного значения. Модуль 305 обнаружения отклонения и модуль 306 установки формы шаблона предусмотрены в целях введения процесса ограничения формы шаблона на попиксельной основе. В обычных фильтрах NLM форма шаблона, как правило, задается в качестве фиксированного значения для всего кадра. В противоположность, в настоящем варианте осуществления, в качестве предварительной обработки фильтра NLM посредством модуля 302 исполнения фильтра NLM модуль 305 обнаружения степени отклонения обнаруживает степени отклонения от окрестных пикселей для каждого из пикселей декодированного изображения, которое является целевым изображением шумоподавления, а модуль 306 установки формы шаблона классифицирует степени отклонения, обнаруженные модулем 305 обнаружения степени отклонения, по нескольким уровням и устанавливает форму шаблона (от большой к маленькой) каждого из пикселей в соответствии со степенью отклонения (от высокой к низкой).

Модуль 302 исполнения фильтра NLM вводит целевое изображение шумоподавления, коэффициенты шумоподавления для пикселей, установленные модулем 301 установки коэффициента шумоподавления, форму шаблона для каждого пикселя, установленную модулем 306 установки формы шаблона, и форму поиска, заданную от модуля 303 хранения формы поиска, и выводит изображение с подавленным шумом. Обработка, выполняемая модулем 302 исполнения фильтра NLM, аналогична той, которую выполняет обычный фильтр NL