Устройство кодирования изображений, устройство декодирования изображений, способ кодирования изображений и способ декодирования изображений

Устройство кодирования изображений, устройство декодирования изображений, способ кодирования изображений и способ декодирования изображений

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству кодирования изображений и способу кодирования изображений для кодирования со сжатием и передачи изображения, а также к устройству декодирования изображений и способу декодирования изображений для декодирования кодированных данных, передаваемых посредством устройства кодирования изображений, чтобы восстанавливать изображение.

Уровень техники

Традиционно, в соответствии со способами кодирования видео по международным стандартам, к примеру, MPEG и ITU-T H-26x, после того, как входной видеокадр разделяется на макроблоки, каждый из которых является пиксельным блоком 16×16, и прогнозирование с компенсацией движения выполняется для каждого макроблока, сжатие информации выполняется посредством выполнения ортогонального преобразования и квантования для сигнала ошибки прогнозирования в единицах блоков.

Тем не менее, проблема состоит в том, что по мере того, как коэффициент сжатия становится высоким, эффективность сжатия уменьшается в результате ухудшения качества в качестве опорного изображения прогнозирования, которое используется при выполнении прогнозирования с компенсацией движения.

Чтобы разрешать эту проблему, в соответствии с таким способом кодирования, как MPEG-4 AVC/H.264 (см. непатентную ссылку 1), искажение в виде блочности, которое возникает в опорном изображении прогнозирования при квантовании коэффициентов ортогонального преобразования, пытаются удалять посредством выполнения процесса фильтрации блочности в контуре.

Фиг. 17 является блок-схемой, показывающей устройство кодирования изображений, раскрытое в непатентной ссылке 1.

В этом устройстве кодирования изображений, при приеме сигнала изображения, который является целью, которая должна быть кодирована, модуль 101 разделения на блоки разделяет сигнал изображения на макроблоки и выводит сигнал изображения в единицах макроблоков в модуль 102 прогнозирования в качестве разделенного сигнала изображения.

При приеме разделенного сигнала изображения из модуля 101 разделения на блоки, модуль 102 прогнозирования вычисляет сигнал ошибки прогнозирования посредством прогнозирования сигнала изображения каждого цветового компонента в каждом макроблоке в кадре или между кадрами.

В частности, при выполнении прогнозирования с компенсацией движения между кадрами, модуль прогнозирования выполняет поиск вектора движения в единицах либо самих макроблоков, либо каждого из субблоков, на которые каждый макроблок более точно разделяется.

Модуль прогнозирования затем выполняет прогнозирование с компенсацией движения для опорного сигнала изображения, сохраненного в запоминающем устройстве 107, посредством использования вектора движения, чтобы формировать изображение прогнозирования с компенсацией движения, и определяет разность между сигналом прогнозирования, показывающим изображение прогнозирования с компенсацией движения, и разделенным сигналом изображения, чтобы вычислять сигнал ошибки прогнозирования.

Модуль 102 прогнозирования также выводит параметры для формирования сигналов прогнозирования, которые модуль прогнозирования определяет при получении сигнала прогнозирования, в модуль 108 кодирования переменной длины.

Например, параметры для формирования сигналов прогнозирования включают в себя фрагменты информации, такой как режим внутреннего прогнозирования, показывающий то, как выполнять пространственное прогнозирование в каждом кадре, и вектор движения, показывающий величину движения между кадрами.

При приеме сигнала ошибки прогнозирования из модуля 102 прогнозирования, модуль 103 сжатия квантует сигнал ошибки прогнозирования, чтобы обнаруживать сжатые данные после выполнения процесса DCT (дискретного косинусного преобразования) для сигнала ошибки прогнозирования, чтобы удалять корреляцию сигналов из этого сигнала ошибки прогнозирования.

При приеме сжатых данных из модуля 103 сжатия, модуль 104 локального декодирования выполняет обратное квантование сжатых данных и затем выполняет процесс обратного DCT для сжатых данных, обратно квантованных таким образом, чтобы вычислять сигнал ошибки прогнозирования, соответствующий сигналу ошибки прогнозирования, выводимому из модуля 102 прогнозирования.

При приеме сигнала ошибки прогнозирования из модуля 104 локального декодирования, сумматор 105 суммирует сигнал ошибки прогнозирования и сигнал прогнозирования, выводимый из модуля 102 прогнозирования, чтобы формировать локальное декодированное изображение.

Контурный фильтр 106 удаляет искажение в виде блочности, накладываемое на сигнал локального декодированного изображения, показывающий локальное декодированное изображение, сформированное посредством сумматора 105, и сохраняет сигнал локального декодированного изображения с удаленным искажением в запоминающем устройстве 107 в качестве опорного сигнала изображения.

При приеме сжатых данных из модуля 103 сжатия, модуль 108 кодирования переменной длины энтропийно кодирует сжатые данные, чтобы выводить поток битов, который является кодированным результатом.

При выводе потока битов, модуль 108 кодирования переменной длины мультиплексирует параметры для формирования сигналов прогнозирования, выводимых из модуля 102 прогнозирования, в поток битов и выводит этот поток битов.

В соответствии со способом, раскрытым в непатентной ссылке 1, контурный фильтр 106 определяет интенсивность сглаживания согласно информации, включающей в себя разрешение квантования, режим кодирования, степень варьирования вектора движения и т.д. для пикселов около границы блока DCT, чтобы предоставлять уменьшение искажения, возникающего на границе блока.

Как результат, качество опорного сигнала изображения может быть повышено, и эффективность прогнозирования с компенсацией движения в последующих процессах кодирования может быть повышена.

Напротив, проблема в способе, раскрытом в непатентной ссылке 1, состоит в том, что компоненты верхних частот сигнала теряются с увеличением коэффициента сжатия, при котором кодируется сигнал, и, следовательно, весь экран сглаживается слишком сильно, и кодированное видео становится размытым.

Чтобы разрешать эту проблему, непатентная ссылка 2 раскрывает технологию применения фильтра Винера в качестве контурного фильтра 106 и формирования этого контурного фильтра 106 таким образом, что искажение в зависимости от квадратической ошибки между сигналом изображения, который должен быть кодирован, который является сигналом исходного изображения, и опорным сигналом изображения, соответствующим этому сигналу изображения, минимизируется.

Фиг. 18 является пояснительным чертежом, показывающим принцип для того, чтобы повышать качество опорного сигнала изображения с использованием фильтра Винера в устройстве кодирования изображений, раскрытом в непатентной ссылке 2.

На Фиг. 18, сигнал s соответствует сигналу изображения, который должен быть кодирован, который вводится в модуль 101 разделения на блоки, показанный на Фиг. 17, и сигнал s' соответствует либо сигналу локального декодированного изображения, выводимому из сумматора 105, показанного на Фиг. 17, либо сигналу локального декодированного изображения, в котором искажение, возникающее на границе блока, уменьшается посредством контурного фильтра 106, раскрытого в непатентной ссылке 1.

Более конкретно, сигнал s' является сигналом, в котором искажение (шум) e при кодировании накладывается на сигнал s.

Фильтр Винера задается как фильтр, который применяется к сигналу s' таким образом, чтобы минимизировать это искажение (шум) e при кодировании с использованием критерия искажения в зависимости от квадратической ошибки. Типично, коэффициенты w фильтрации могут быть определены посредством использования следующего уравнения (1) как из матрицы R_s's' автокорреляции сигнала s', так и из матрицы R_ss' взаимной корреляции между сигналами s и s'. Размер матриц R_s's' и R_ss' соответствует числу отводов определенного фильтра.

Посредством применения фильтра Винера, имеющего коэффициенты w фильтрации, сигнал s"шляпка", качество которого повышено ("^", присоединенный к букве алфавита, упоминается как "шляпка", поскольку данная заявка является электронной заявкой на патент в Японии), обнаруживается в качестве сигнала, соответствующего опорному сигналу изображения. Устройство кодирования изображений, раскрытое в непатентной ссылке 2, определяет коэффициенты w фильтрации в каждом из двух или более различных чисел отводов для каждого полного кадра изображения, которое является целью, которая должна быть кодирована, и после определения фильтра, имеющего число отводов, которое оптимизирует объем кода коэффициентов w фильтрации и искажение (e'=s"шляпка"-s), которое вычисляется после того, как процесс фильтрации реализуется с использованием критерия искажения в зависимости от скорости передачи, дополнительно разделяет сигнал s' на множество блоков, имеющих определенный размер, выбирает, применять или нет фильтр Винера, имеющий оптимальное число отводов, которое определяется выше, к каждому блоку и передает информацию по активации/деактивации фильтра для каждого блока.

Как результат, дополнительный объем кода, требуемый для того, чтобы выполнять процесс фильтрации Винера, может быть уменьшен, и качество изображения прогнозирования может быть повышено.

Документы предшествующего уровня техники

Непатентные ссылки

Непатентная ссылка 1. Стандарты MPEG-4 AVC (ISO/IEC 14496-10)/H.ITU-T 264

Непатентная ссылка 2. T.Chujoh, G.Yasuda, N.Wada, T.Watanabe, T.Yamakage, "Block-based Adaptive Loop Filter", VCEG-AI18, Конференция ITU-T SG16/Q.6, июль 2008 года

Раскрытие изобретения

Поскольку традиционное устройство кодирования изображений имеет такую структуру, как указано выше, один фильтр Винера рассчитывается для всего кадра, который является целью, которая должна быть кодирована, информация, показывающая то, применять или нет процесс фильтрации Винера, применяется к каждому из блоков, которые составляют каждый кадр. Тем не менее, проблема состоит в том, что поскольку идентичный фильтр Винера применяется к любому блоку каждого кадра, возникает случай, когда фильтр Винера не всегда является оптимальным фильтром для каждого блока, и качество изображений не может быть повышено в достаточной степени.

Настоящее изобретение осуществлено, чтобы разрешать вышеуказанную проблему, и, следовательно, цель настоящего изобретения заключается в том, чтобы предоставлять устройство кодирования изображений, устройство декодирования изображений, способ кодирования изображений и способ декодирования изображений, которые позволяют повышать точность повышения качества изображений.

В соответствии с настоящим изобретением, предусмотрено устройство кодирования изображений, в котором модуль фильтрации включает в себя модуль классификации областей для извлечения оценочной величины каждой из областей, которые составляют локальное декодированное изображение, полученное посредством модуля локального декодирования, чтобы классифицировать каждую из областей на класс, которому область принадлежит, согласно оценочной величине, и модуль составления и обработки фильтра, для каждого класса, которому одна или более областей, из областей, которые составляют локальное декодированное изображение, принадлежат, формирования фильтра, который минимизирует ошибку, возникающую между вводимым изображением и локальным декодированным изображением в каждой из одной или более областей, принадлежащих классу, чтобы компенсировать искажение, накладываемое на одну или более областей, посредством использования фильтра.

Поскольку модуль фильтрации в соответствии с настоящим изобретением включает в себя модуль классификации областей для извлечения оценочной величины каждой из областей, которые составляют локальное декодированное изображение, полученное посредством модуля локального декодирования, чтобы классифицировать каждую из областей на класс, которому область принадлежит, согласно оценочной величине, и модуль составления и обработки фильтра для, для каждого класса, которому одна или более областей, из областей, которые составляют локальное декодированное изображение, принадлежат, формирования фильтра, который минимизирует ошибку, возникающую между вводимым изображением и локальным декодированным изображением в каждой из одной или более областей, принадлежащих классу, чтобы компенсировать искажение, накладываемое на одну или более областей, посредством использования фильтра, предоставляется преимущество возможности повышать точность повышения качества изображений.

Краткое описание чертежей

Фиг. 1 является блок-схемой, показывающей устройство кодирования изображений в соответствии с вариантом 1 осуществления настоящего изобретения;

Фиг. 2 является блок-схемой, показывающей контурный фильтр 6 устройства кодирования изображений в соответствии с вариантом 1 осуществления настоящего изобретения;

Фиг. 3 является блок-схемой последовательности операций способа, показывающей процесс, выполняемый посредством контурного фильтра 6 устройства кодирования изображений в соответствии с вариантом 1 осуществления настоящего изобретения;

Фиг. 4 является пояснительным чертежом, показывающим пример классов, на которые четыре области (область A, область B, область C и область D), которые составляют локальное декодированное изображение, классифицируются;

Фиг. 5 является пояснительным чертежом, показывающим 16 блоков (K), которые составляют локальное декодированное изображение;

Фиг. 6 является пояснительным чертежом, показывающим пример потока битов, сформированного посредством узла 8 кодирования переменной длины;

Фиг. 7 является блок-схемой, показывающей устройство декодирования изображений в соответствии с вариантом 1 осуществления настоящего изобретения;

Фиг. 8 является блок-схемой, показывающей контурный фильтр 25 устройства декодирования изображений в соответствии с вариантом 1 осуществления настоящего изобретения;

Фиг. 9 является блок-схемой, показывающей контурный фильтр 25 устройства декодирования изображений в соответствии с вариантом 1 осуществления настоящего изобретения;

Фиг. 10 является блок-схемой последовательности операций способа, показывающей процесс, выполняемый посредством контурного фильтра 25 устройства декодирования изображений в соответствии с вариантом 1 осуществления настоящего изобретения;

Фиг. 11 является блок-схемой последовательности операций способа, показывающей процесс, выполняемый посредством контурного фильтра 6 устройства кодирования изображений в соответствии с вариантом 2 осуществления настоящего изобретения;

Фиг. 12 является пояснительным чертежом, показывающим пример выбора фильтра Винера для каждого из блоков (K), которые составляют локальное декодированное изображение;

Фиг. 13 является блок-схемой последовательности операций способа, показывающей процесс, выполняемый посредством контурного фильтра 25 устройства декодирования изображений в соответствии с вариантом 2 осуществления настоящего изобретения;

Фиг. 14 является блок-схемой последовательности операций способа, показывающей процесс, выполняемый посредством контурного фильтра 6 устройства кодирования изображений в соответствии с вариантом 3 осуществления настоящего изобретения;

Фиг. 15 является блок-схемой последовательности операций способа, показывающей процесс для первого кадра, выполняемого посредством контурного фильтра 6;

Фиг. 16 является блок-схемой последовательности операций способа, показывающей процесс для второго или последующего кадра, выполняемого посредством контурного фильтра 6;

Фиг. 17 является блок-схемой, показывающей устройство кодирования изображений, раскрытое в непатентной ссылке 1; и

Фиг. 18 является пояснительным чертежом, показывающим принцип для того, чтобы повышать качество опорного сигнала изображения с использованием фильтра Винера.

Осуществление изобретения

Далее, для того чтобы подробнее пояснять это изобретение, предпочтительные варианты осуществления настоящего изобретения описываются со ссылкой на прилагаемые чертежи.

Вариант 1 осуществления

Фиг. 1 является блок-схемой, показывающей устройство кодирования изображений в соответствии с вариантом 1 осуществления настоящего изобретения. На Фиг. 1 модуль 1 разделения на блоки выполняет процесс разделения сигнала изображения, который является вводимым изображением и который является целью, которая должна быть кодирована, на макроблоки и вывода сигнала изображения в единицах макроблоков в модуль 2 прогнозирования в качестве разделенного сигнала изображения.

При приеме разделенного сигнала изображения из модуля 1 разделения на блоки, модуль 2 прогнозирования выполняет процесс прогнозирования для разделенного сигнала изображения в кадре или между кадрами, чтобы формировать сигнал прогнозирования.

В частности, при выполнении прогнозирования с компенсацией движения между кадрами, модуль прогнозирования обнаруживает вектор движения в единицах макроблоков или каждого из субблоков, на которые макроблок более точно разделяется, как из разделенного сигнала изображения, так и из опорного сигнала изображения, показывающего опорное изображение, сохраненное в запоминающем устройстве 7, чтобы формировать сигнал прогнозирования, показывающий изображение прогнозирования, из вектора движения и опорного сигнала изображения.

После формирования сигнала прогнозирования модуль прогнозирования затем выполняет процесс вычисления сигнала ошибки прогнозирования, который является разностью между разделенным сигналом изображения и сигналом прогнозирования.

Кроме того, при формировании сигнала прогнозирования, модуль 2 прогнозирования определяет параметры для формирования сигналов прогнозирования и выводит параметры для формирования сигналов прогнозирования в узел 8 кодирования переменной длины.

Например, параметры для формирования сигналов прогнозирования включают в себя фрагменты информации, к примеру, режим внутреннего прогнозирования, показывающий то, как выполнять пространственное прогнозирование в кадре, и вектор движения, показывающий величину движения между кадрами.

Модуль обработки прогнозирования состоит из модуля 1 разделения на блоки и модуля 2 прогнозирования.

Модуль 3 сжатия выполняет процесс выполнения процесса DCT (дискретного косинусного преобразования) для сигнала ошибки прогнозирования, вычисленного посредством модуля 2 прогнозирования, чтобы вычислять DCT-коэффициенты при квантовании DCT-коэффициентов, чтобы выводить сжатые данные, которые являются DCT-коэффициентами, квантованными таким образом, в узел 4 локального декодирования и узел 8 кодирования переменной длины. Модуль 3 сжатия составляет модуль сжатия разностных изображений.

Узел 4 локального декодирования выполняет процесс выполнения обратного квантования сжатых данных, выводимых из модуля 3 сжатия, и выполнения процесса обратного DCT для сжатых данных, обратно квантованных таким образом, чтобы вычислять сигнал ошибки прогнозирования, соответствующий сигналу ошибки прогнозирования, выводимому из модуля 2 прогнозирования.

Сумматор 5 выполняет процесс суммирования сигнала ошибки прогнозирования, вычисленного посредством узла 4 локального декодирования, и сигнала прогнозирования, сформированного посредством модуля 2 прогнозирования, чтобы формировать сигнал локального декодированного изображения, показывающий локальное декодированное изображение.

Модуль локального декодирования состоит из узла 4 локального декодирования и сумматора 5.

Контурный фильтр 6 выполняет процесс выполнения процесса фильтрации для компенсации искажения, накладываемого на сигнал локального декодированного изображения, сформированный посредством сумматора 5, чтобы выводить сигнал локального декодированного изображения, фильтрованный таким образом, в запоминающее устройство 7 в качестве опорного сигнала изображения при выводе информации по фильтру, который контурный фильтр использует при выполнении процесса фильтрации, в узел 8 кодирования переменной длины. Контурный фильтр 6 составляет модуль фильтрации.

Запоминающее устройство 7 является носителем записи для сохранения опорного сигнала изображения, выводимого из контурного фильтра 6.

Узел 8 кодирования переменной длины выполняет процесс энтропийного кодирования сжатых данных, выводимых из модуля 3 сжатия, информации фильтра, выводимой из контурного фильтра 6, и параметров для формирования сигналов прогнозирования, выводимых из модуля 2 прогнозирования, чтобы формировать поток битов, показывающий эти кодированные результаты. Узел 8 кодирования переменной длины составляет модуль кодирования переменной длины.

Фиг. 2 является блок-схемой, показывающей контурный фильтр 6 устройства кодирования изображений в соответствии с вариантом 1 осуществления настоящего изобретения.

На Фиг. 2, запоминающее устройство 11 кадров является носителем записи для сохранения только одного кадра сигнала локального декодированного изображения, сформированного посредством сумматора 5.

Модуль 12 классификации областей выполняет процесс извлечения оценочной величины каждой из областей, которые составляют локальное декодированное изображение, показанное посредством одного кадра сигнала локального декодированного изображения, сохраненного в запоминающем устройстве 11 кадров, чтобы классифицировать каждую из областей на класс, которому область принадлежит, согласно оценочной величине.

Модуль 13 составления и обработки фильтра выполняет процесс формирования, для каждого класса, которому одна или более областей, включенных в области, которые составляют локальное декодированное изображение, принадлежат, фильтра Винера, который минимизирует ошибку, возникающую между сигналом изображения, который является целью, которая должна быть кодирована, и сигналом локального декодированного изображения в каждой из одной или более областей, которые принадлежат классу, и использования фильтра Винера, чтобы компенсировать искажение, накладываемое на область.

Модуль 13 составления и обработки фильтра также выполняет процесс вывода информации фильтра по фильтру Винера в узел 8 кодирования переменной длины.

Далее поясняется работа устройства кодирования изображений.

При приеме сигнала изображения, который является целью, которая должна быть кодирована, модуль 1 разделения на блоки разделяет сигнал изображения на макроблоки и выводит сигнал изображения в единицах макроблоков в модуль 2 прогнозирования в качестве разделенного сигнала изображения.

При приеме разделенного сигнала изображения из модуля 1 разделения на блоки, модуль 2 прогнозирования обнаруживает параметры для формирования сигналов прогнозирования, которые модуль прогнозирования использует для того, чтобы выполнять процесс прогнозирования для разделенного сигнала изображения в кадре или между кадрами. Затем, модуль прогнозирования формирует сигнал прогнозирования, показывающий изображение прогнозирования, с использованием параметров для формирования сигналов прогнозирования.

В частности, модуль прогнозирования обнаруживает вектор движения, который является параметром для формирования сигналов прогнозирования, используемым для выполнения процесса прогнозирования между кадрами, из разделенного сигнала изображения и опорного сигнала изображения, сохраненных в запоминающем устройстве 7.

После получения вектора движения модуль 2 прогнозирования затем формирует сигнал прогнозирования посредством выполнения прогнозирования с компенсацией движения для опорного сигнала изображения посредством использования вектора движения.

После формирования сигнала прогнозирования, показывающего изображение прогнозирования, модуль 2 прогнозирования вычисляет сигнал ошибки прогнозирования, который является разностью между сигналом прогнозирования и разделенным сигналом изображения, и выводит сигнал ошибки прогнозирования в модуль 3 сжатия.

При формировании сигнала прогнозирования, модуль 2 прогнозирования также определяет параметры для формирования сигналов прогнозирования и выводит параметры для формирования сигналов прогнозирования в узел 8 кодирования переменной длины.

Например, параметры для формирования сигналов прогнозирования включают в себя фрагменты информации, к примеру, режим внутреннего прогнозирования, показывающий то, как выполнять пространственное прогнозирование в кадре, и вектор движения, показывающий величину движения между кадрами.

При приеме сигнала ошибки прогнозирования из модуля 2 прогнозирования, модуль 3 сжатия вычисляет DCT-коэффициенты посредством выполнения процесса DCT (дискретного косинусного преобразования) для сигнала ошибки прогнозирования и затем квантует DCT-коэффициенты.

Модуль 3 сжатия затем выводит сжатые данные, которые являются DCT-коэффициентами, квантованными таким образом, в узел 4 локального декодирования и узел 8 кодирования переменной длины.

При приеме сжатых данных из модуля 3 сжатия, узел 4 локального декодирования выполняет обратное квантование сжатых данных и затем переносит процесс обратного DCT для сжатых данных, обратно квантованных таким образом, чтобы вычислять сигнал ошибки прогнозирования, соответствующий сигналу ошибки прогнозирования, выводимому из модуля 2 прогнозирования.

После того, как узел 4 локального декодирования вычисляет сигнал ошибки прогнозирования, сумматор 5 суммирует сигнал ошибки прогнозирования и сигнал прогнозирования, сформированный посредством модуля 2 прогнозирования, чтобы формировать сигнал локального декодированного изображения, показывающий локальное декодированное изображение.

После того, как сумматор 5 формирует сигнал локального декодированного изображения, контурный фильтр 6 выполняет процесс фильтрации для компенсации искажения, накладываемого на сигнал локального декодированного изображения, и сохраняет сигнал локального декодированного изображения, фильтрованный таким образом, в запоминающем устройстве 7 в качестве опорного сигнала изображения.

Контурный фильтр 6 также выводит информацию по фильтру, который контурный фильтр использует при выполнении процесса фильтрации, в узел 8 кодирования переменной длины.

Узел 8 кодирования переменной длины выполняет процесс энтропийного кодирования сжатых данных, выводимых из модуля 3 сжатия, информации фильтра, выводимой из контурного фильтра 6, и параметров для формирования сигналов прогнозирования, выводимых из модуля 2 прогнозирования, чтобы формировать поток битов, показывающий эти кодированные результаты.

В это время, хотя модуль кодирования переменной длины также энтропийно кодирует параметры для формирования сигналов прогнозирования, устройство кодирования изображений альтернативно может мультиплексировать параметры для формирования сигналов прогнозирования в поток битов, который формирует устройство кодирования изображений, и выводить этот поток битов без энтропийного кодирования параметров для формирования сигналов прогнозирования.

Далее конкретно поясняется процесс, выполняемый посредством контурного фильтра 6.

Фиг. 3 является блок-схемой последовательности операций способа, показывающей процесс, выполняемый посредством контурного фильтра 6 устройства кодирования изображений в соответствии с вариантом 1 осуществления настоящего изобретения.

Во-первых, запоминающее устройство 11 кадров контурного фильтра 6 сохраняет только один кадр сигнала локального декодированного изображения, сформированного посредством сумматора 5.

Модуль 12 классификации областей извлекает оценочную величину каждой из областей, которые составляют локальное декодированное изображение, показанное посредством одного кадра сигнала локального декодированного изображения, сохраненного в запоминающем устройстве 11 кадров, и классифицирует каждую из областей на класс, которому область принадлежит, согласно оценочной величине (этап ST1).

Например, для каждой области (каждого блока, имеющего произвольный размер (M×M пикселов)), модуль классификации областей извлекает дисперсию сигнала локального декодированного изображения, DCT-коэффициенты, вектор движения, параметр квантования DCT-коэффициентов и т.п. в области в качестве оценочной величины и выполняет классификацию класса на основе этих фрагментов информации. В этом случае, M является целым числом, равным или превышающим 1.

Например, когда дисперсия сигнала локального декодированного изображения в области используется в качестве оценочной величины в случае, если каждая из областей классифицируется на один из класса 1-N (N является целым числом, равным или превышающим 1), (N-1) пороговых значений подготавливается заранее, и дисперсия сигнала локального декодированного изображения сравнивается с каждым из (N-1) пороговых значений (th₁<th₂<...<th_N-1), и класс, которому область принадлежит, идентифицируется.

Например, когда дисперсия сигнала локального декодированного изображения равна или превышает th_N-3 и меньше th_N-2, область классифицируется на класс N-2. Кроме того, когда дисперсия сигнала локального декодированного изображения равна или превышает th₂ и меньше th₃, область классифицируется на класс 3.

В этом случае, хотя пример, в котором (N-1) пороговых значений подготавливается заранее, показывается, эти пороговые значения могут быть изменены динамически для каждой последовательности или каждого кадра.

Например, при использовании вектора движения в области в качестве оценочной величины, модуль классификации областей вычисляет средний вектор, который является средним значением векторов движения, или средний вектор, который является средним значением векторов движения, и идентифицирует класс, которому область принадлежит, согласно величине или направлению вектора.

В этом случае, средний вектор имеет компоненты (компоненты x и y), каждый из которых является средним значением соответствующих компонентов векторов движения.

Напротив, средний вектор имеет компоненты (компоненты x и y), каждый из которых является средним значением соответствующих компонентов векторов движения.

Когда модуль 12 классификации областей классифицирует каждую из областей в один из классов 1-N, модуль 13 составления и обработки фильтра формирует для каждого класса, которому одна или более областей, включенных в области, которые составляют локальное декодированное изображение, принадлежат, фильтр Винера, который минимизирует ошибку, возникающую между сигналом изображения, который является целью, которая должна быть кодирована, и сигналом локального декодированного изображения в каждой из одной или более областей, которые принадлежат классу (этапы ST2-ST8).

Например, в случае, если локальное декодированное изображение состоит из четырех областей (область A, область B, область C и область D), как показано на Фиг. 4, когда области A и C классифицируются на класс 3, область B классифицируется на класс 5, и область D классифицируется на класс 6, модуль составления и обработки фильтра формирует фильтр Винера, который минимизирует ошибку, возникающую между сигналом изображения, который является целью, которая должна быть кодирована, и сигналом локального декодированного изображения в каждой из областей A и C, принадлежащих классу 3.

Модуль составления и обработки фильтра дополнительно формирует фильтр Винера, который минимизирует ошибку, возникающую между сигналом изображения, который является целью, которая должна быть кодирована, и сигналом локального декодированного изображения в области B, принадлежащей классу 5, а также формирует фильтр Винера, который минимизирует ошибку, возникающую между сигналом изображения, который является целью, которая должна быть кодирована, и сигналом локального декодированного изображения в области D, принадлежащей классу 6.

Например, в случае составления фильтра с переменным числом отводов при формировании фильтра Винера, который минимизирует ошибку, модуль 13 составления и обработки фильтра вычисляет затраты, как показано ниже, для каждого различного числа отводов и затем определяет число отводов и значения коэффициентов фильтра, которые минимизируют затраты.

Cost=D+λ⋅R(2)

- где D является суммой квадратических ошибок между сигналом изображения, который является целью, которая должна быть кодирована в области, к которой применяется целевой фильтр, и фильтрованным сигналом локального декодированного изображения, λ является константой, и R является объемом кодов, которые формируются в контурном фильтре 6.

Хотя в этом случае затраты задаются посредством уравнения (2), этот случай является только примером. Например, только сумма D квадратических ошибок может задаваться как затраты.

Кроме того, другое оцененное значение, к примеру, сумма абсолютных значений ошибки может быть использовано вместо суммы D квадратических ошибок.

После формирования фильтра Винера для каждого класса, которому одна или более областей принадлежат, модуль 13 составления и обработки фильтра определяет то, является или нет каждый из блоков, которые составляют локальное декодированное изображение (например, каждая из локальных областей, которая меньше каждой из областей A-D, которая составляет локальное декодированное изображение), блоком, для которого модуль составления и обработки фильтра должен выполнять процесс фильтрации (этапы ST9-ST16).

Более конкретно, для каждого из блоков, которые составляют локальное декодированное изображение, модуль 13 составления и обработки фильтра сравнивает ошибки, возникающие между сигналом изображения, который является целью, которая должна быть кодирована, и сигналом локального декодированного изображения в блоке между до и после процесса фильтрации.

Например, в случае, если локальное декодированное изображение состоит из 16 блоков (K) (K=1, 2, ..., и 16), как показано на Фиг. 5, модуль составления и обработки фильтра сравнивает сумму квадратических ошибок, возникающих между сигналом изображения, который является целью, которая должна быть кодирована, и сигналом локального декодированного изображения в каждом блоке (K) между до и после процесса фильтрации.

Блок 1, блок 2, блок 5 и блок 6, показанные на Фиг. 5, соответствуют области A, показанной на Фиг. 4, блок 3, блок 4, блок 7 и блок 8, показанные на Фиг. 5, соответствуют области B, показанной на Фиг. 4, блок 9, блок 10, блок 13 и блок 14, показанные на Фиг. 5, соответствуют области C, показанной на Фиг. 4, и блок 11, блок 12, блок 15 и блок 16, показанные на Фиг. 5, соответствуют области D, показанной на Фиг. 4.

Хотя модуль составления и обработки фильтра сравнивает сумму квадратических ошибок между до и после процесса фильтрации, модуль составления и обработки фильтра альтернативно может сравнивать либо затраты (D+λ∙R), показанные посредством уравнения (2), либо сумму абсолютных значений ошибки между до и после процесса фильтрации.

Когда сумма квадратических ошибок, обнаруженная после процесса фильтрации, меньше суммы квадратических ошибок, обнаруженной перед процессом фильтрации, модуль 13 составления и обработки фильтра определяет то, что блок (K) является блоком, который является целью для фильтрации.

Напротив, когда сумма квадратических ошибок, обнаруженная после процесса фильтрации, равна или превышает сумму квадратических ошибок, обнаруженную перед процессом фильтрации, модуль составления и обработки фильтра определяет то, что блок (K) является блоком, который не является целью для фильтрации.

Модуль 13 составления и обработки фильтра затем вычисляет затраты при выполнении процесса фильтрации, который приводит к тому, что затраты становятся минимумом, на этапах ST1-ST16, и затраты при невыполнении про