Устройство и способ обработки изображений

Устройство и способ обработки изображений

Иллюстрации

Показать все

Реферат

Область техники, к которой относиться изобретение

Настоящее раскрытие относится к устройству и способу обработки изображений и, в частности, к устройству и способу обработки изображений, способным подавлять блочный шум.

Уровень техники

В последние годы получили широкое распространение устройства, обрабатывающие цифровым способом информацию изображений, которые в этом случае для передачи и накопления информации с высокой эффективностью выполняют кодирование изображения со сжатием, адаптируя способ кодирования, при котором сжатие выполняется посредством ортогонального преобразования, такого как дискретное косинусное преобразование, и компенсацию движения, используя избыточность, однозначную для информации изображения. Примерами способа кодирования являются стандарты MPEG (Moving Picture Experts Group) или H.264 и MPEG-4 Часть 10 (Advanced Video Coding (перспективное видеокодирование); здесь далее упоминаемый как H.264/AVC) и т.п.

Кроме того, в настоящее время, чтобы дополнительно повысить эффективность кодирования по сравнению с H.264/AVC, группой JCTVC (Joint Collaboration Team-Video Coding, группа совместного сотрудничества - видеокодирование), являющейся совместной группой по стандартизации ITU-T (Международного союза электросвязи -сектор телекоммуникаций) и ISO/IEC (Международной организации по стандартизации / Международной электротехнической комиссии) была разработана стандартизация способа кодирования, названного HEVC (High Efficiency Video Coding, видеокодирование с высокой эффективностью). Для стандарта HEVC проект Комитета, являющийся первым проектом технических требований, был выпущен в феврале 2012 г. (например, смотрите непатентный документ 1).

В проекте HEVC на данный момент деблокирующий фильтр, адаптивный контурный фильтр и адаптивный фильтр смещения выполнены с возможностью встраивания в контур и существуют два параметра деблокирующего фильтра, которыми являются параметр β и параметр Тс. Параметр β имеет 52 значения от 0 до 51 и фиксируется как 64 при вводе более 51. Параметр Тс имеет 54 значения и фиксируется как 13 при ввода более 53.

Диапазон параметра квантования QP, который может использоваться в HEVC, составляет от 0 до 51, но диапазон смещения параметра деблокирующего фильтра составляет от -26 до 26. Поэтому, теоретически, диапазон ввода в LUT (Look Up Table, таблица поиска) для параметра деблокирующего фильтра составляет от 0 до 77.

Перечень литературы

Непатентные документы

Непатентный документ 1: Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Thomas Wiegand, "High efficiency video coding (HEVC) text specification draft 6", JCTVC-H1003 ver20, 2012.2.17

Раскрытие изобретения

Проблемы, решаемые изобретением

Однако, поскольку параметр квантования QP, являющийся реальным вводом параметра деблокирующего фильтра в LUT, равен 0-51, значение смещение до максимума не используется.

Кроме того, как описано выше, даже если используется значение 64, которое является максимальным значением параметра β, и значение 13, которое является максимальным значением параметра Тс в HEVC, имели место случаи, в которых блочный шум, являющийся видимым, остается в некоторых последовательностях.

Настоящее раскрытие было сделано с точки зрения такой ситуации и является пригодным для подавления блочного шума.

Решения проблем

Устройство обработки изображений, соответствующее первому варианту настоящего раскрытия, содержит: блок декодирования, формирующий изображение посредством декодирования кодированного потока; и блок фильтра, выполняющий фильтрацию с помощью фильтра, использующего параметр, полученный путем расширения диапазона параметра фильтра для управления фильтром таким образом, чтобы увеличивать силу фильтрации, с целью формирования блочной границы изображения блоком декодирования.

Диапазон параметра фильтра расширяется так, чтобы увеличивать силу фильтрации фильтра в состоянии, совместимом с существующим диапазоном.

Диапазон параметра фильтра регулируется так, чтобы быть непрерывным на существующем участке и на расширенном участке.

Диапазон параметра фильтра расширяется добавлением нового параметра фильтра.

Параметром фильтра является пороговое значение, используемое при определении, выполнять или не выполнять фильтрацию.

Фильтр является деблокирующим фильтром и параметр фильтра является параметром, используемым при определении, требуется или не требуется деблокирующий фильтр или при определении выбора силы фильтрации.

Диапазон параметра фильтра расширяется в линейной форме.

Угол наклона линейной формы может регулироваться.

Диапазон параметра фильтра расширяется в криволинейной форме.

Фильтр является деблокирующим фильтром и параметр фильтра является параметром, используемым при определении выбора силы фильтрации деблокирующего фильтра или используемым при ограничении, когда выполняется фильтрация фильтром.

Блок фильтра может выполнять фильтрацию фильтром, использующим параметр, расширяемый путем обновления таблицы, используя угол наклона вычислительного выражения, которое в качестве цели выражает параметр фильтра с блочной границей изображения, формируемой блоком декодирования.

Блок фильтра может выполнять фильтрацию фильтром, использующим параметр, расширяемый путем добавления смещения параметра фильтра к параметру фильтра, с блочной границей изображения, формируемой блоком декодирования в качестве цели.

Параметр фильтра может содержать два типа параметров, которые используют общее смещение, и дополнительно может обеспечиваться блок вычисления параметра, вычисляющий два типа параметров, используя общее смещение.

Параметр фильтра может содержать два типа параметров и дополнительно могут обеспечиваться блок вычисления первого параметра, вычисляющий первый параметр фильтра, используя смещение первого параметра, и блок вычисления второго параметра, вычисляющий второй параметр фильтра, используя смещение первого параметра, разность между первым и вторым параметрами фильтра и смещение второго параметра.

Фильтр является деблокирующим фильтром.

Фильтр является фильтром с адаптивным смещением.

Блок декодирования может декодировать кодированный поток в процессорном блоке, имеющем иерархическую структуру.

Способ обработки изображений устройства обработки изображений первого варианта настоящего раскрытия содержит этап, на котором: формируют изображение, декодируя кодированный поток; и выполняют фильтрацию фильтром, использующим параметр, полученный путем расширения диапазона параметра фильтра для управления фильтром таким образом, чтобы увеличивать силу фильтрации, с блочной границей изображения, формируемой блоком декодирования в качестве цели.

Устройство обработки изображений, соответствующее второму варианту настоящего раскрытия, содержит: блок фильтра, выполняющий фильтрацию с помощью фильтра, использующего параметр, полученный расширением диапазона параметра фильтра, для управления фильтром, так чтобы увеличивать силу фильтрации, с блочной границей локально декодированного изображения в качестве цели; блок кодирования, формирующий кодированный поток, кодируя изображение, используя изображение, подвергнутое фильтрации фильтром блока фильтра; и передающий блок, передающий кодированный поток, сформированный блоком кодирования.

Способ обработки изображений устройства обработки изображений второго варианта настоящего раскрытия содержит этапы, на которых: выполняют фильтрацию фильтром, используя параметр, полученный путем расширения диапазона параметра фильтра, для управления фильтром таким образом, чтобы увеличивать силу фильтрации, с блочной границей локально декодированного изображения в качестве цели; формируют кодированный поток, кодируя изображение и используя для этого изображение, подвергнутое фильтрации фильтром; и передают сформированный кодированный поток.

В первом варианте настоящего раскрытия кодированный поток декодируется, чтобы сформировать изображение. Затем, с помощью блочной границы, используемой в качестве цели, выполняется фильтрация фильтром, используя параметр, полученный расширением диапазона параметра фильтра для управления фильтром, чтобы увеличить силу фильтрации.

Кроме того, во втором варианте настоящего раскрытия с помощью блочной границы локально декодированного изображения, используемой в качестве цели, выполняют фильтрацию фильтром, использующим параметр, полученный расширением диапазона параметра фильтра для управления фильтром, чтобы увеличить силу фильтрации. Затем формируют кодированный поток, кодируя изображение, использующее изображение, подвергнутое фильтрации фильтром, и сформированный кодированный поток передается.

Кроме того, устройство обработки изображений, описанное выше, может быть независимым устройством или может быть внутренним блоком, который конфигурирует устройство кодирования изображений или устройство декодирования изображений.

Результаты изобретения

В соответствии с первым вариантом настоящего раскрытия, возможно декодировать изображение. В частности, возможно подавлять блочный шум.

В соответствии со вторым вариантом настоящего раскрытия, возможно кодировать изображение. В частности, возможно подавлять блочный шум.

Краткое описание чертежей

Фиг. 1 - блок-схема примерной типичной структуры устройства кодирования изображения.

Фиг. 2 - блок-схема последовательности выполнения операций примерного потока процесса кодирования.

Фиг. 3 - блок-схема примерной типичной структуры устройства декодирования изображения.

Фиг. 4 - блок-схема последовательности выполнения операций примерного потока процесса декодирования.

Фиг. 5 - значение и график параметра α деблокирующего фильтра в способе AVC.

Фиг. 6 - значение и график параметра β деблокирующего фильтра в способе AVC.

Фиг. 7 - значения параметров β и Тс, соответствующих параметру квантования Q в способе HEVC.

Фиг. 8 - взаимосвязь параметра квантования QP и параметра β в первом способе расширения настоящего способа.

Фиг. 9 - значения и график параметра квантования QP и параметра β в случае расширения как линейной функции для k=2.

Фиг. 10 - значения и график параметра квантования QP и параметра β в случае расширения как линейной функции для k=4.

Фиг. 11 - значения и график параметра квантования QP и параметра β в случае расширения как линейной функции для k=8.

Фиг. 12 - значения и график параметра квантования QP и параметра β в случае расширения как экспоненциальной функции.

Фиг. 13 - значения и график параметра квантования QP и параметра Тс в первом способе расширения по настоящей технологии.

Фиг. 14 - блок-схема примера конфигурации деблокирующего фильтра, к которому применяется настоящая технология.

Фиг. 15 - блок-схема примера конфигурации блока исполнения фильтра, выполняющего фильтрацию границы яркости.

Фиг. 16 - блок-схема примера конфигурации блока формирования β.

Фиг. 17 - блок-схема примера конфигурации блока формирования расширенного β.

Фиг. 18 - блок-схема другого примера конфигурации блока формирования расширенного β.

Фиг. 19 - блок-схема примера конфигурации блока формирования Тс.

Фиг. 20 - блок-схема примера конфигурации блока формирования расширенного Тс.

Фиг. 21 - блок-схема другого примера конфигурации блока формирования расширенного Тс.

Фиг. 22 - блок-схема примера конфигурации блока исполнения фильтра, выполняющего фильтрацию границы цветового контраста.

Фиг. 23 - блок-схема последовательности выполнения операций процесса фильтрации при деблокировании.

Фиг. 24 - блок-схема последовательности выполнения операций фильтрации границы яркости.

Фиг. 25 - блок-схема последовательности выполнения операций процесса формирования β.

Фиг. 26 - блок-схема последовательности выполнения операций, иллюстрирующая ограничение.

Фиг. 27 - блок-схема последовательности выполнения операций процесса формирования Тс.

Фиг. 28 - блок-схема последовательности выполнения операций, иллюстрирующая другой пример ограничения.

Фиг. 29 - блок-схема последовательности выполнения операций, иллюстрирующая фильтрацию границы цветового контраста.

Фиг. 30 - значения и график параметра квантования QP и параметра β (нового β) во втором способе расширения по настоящей технологии.

Фиг. 31 - взаимосвязь параметра квантования QP и параметра tc и величины регулировки для приближенного выражения.

Фиг 32 - пример параметра β в третьем способе расширения согласно настоящей технологии.

Фиг 33 - пример параметра Тс в третьем способе расширения согласно настоящей технологии.

Фиг. 34 - значения и график параметра квантования QP и параметра β в случае расширения внутри параметра квантования QP (0-51).

Фиг. 35 - блок-схема примера конфигурации блока формирования β.

Фиг. 36 - блок-схема последовательности выполнения операций процесса формирования β.

Фиг. 37 - блок-схема примера конфигурации деблокирующего фильтра, к которому применяется настоящая технология.

Фиг. 38 - блок-схема примера конфигурации блока исполнения фильтра, выполняющего фильтрацию границы яркости.

Фиг. 39 - блок-схема примера конфигурации блока формирования β.

Фиг. 40 - блок-схема примера конфигурации блока формирования Тс.

Фиг. 41 - блок-схема последовательности выполнения операции процесса фильтрации при деблокировании.

Фиг. 42 - блок-схема последовательности выполнения операций, показывающая процесс установки фильтра.

Фиг. 43 - блок-схема последовательности выполнения операций процесса формирования β.

Фиг. 44 - блок-схема последовательности выполнения операций процесса формирования Тс.

Фиг. 45 - передача смещения.

Фиг. 46 - пример синтаксиса.

Фиг. 47 - блок-схема примера конфигурации деблокирующего фильтра, к которому применяется настоящая технология.

Фиг. 48 - блок-схема последовательности выполнения операций, показывающая процесс установки конфигурации фильтра.

Фиг. 49 - блок-схема примера конфигурации деблокирующего фильтра, к которому применяется настоящая технология.

Фиг. 50 - блок-схема последовательности выполнения операций, показывающая процесс установки конфигурации фильтра.

Фиг. 51 - передача смещения.

Фиг. 52 - пример синтаксиса.

Фиг. 53 - пример способа кодирования мультипроекционных изображений.

Фиг. 54 - блок-схема примера конфигурации деблокирующего фильтра, к которому применяется настоящая технология.

Фиг. 55 - пример основной конфигурации устройства декодирования мультипроекционного изображения, к которому применяется настоящая технология.

Фиг. 56 - пример способа кодирования иерархических изображений.

Фиг. 57 - пример основной конфигурации устройства декодирования иерархических изображений, к которому применяется настоящая технология.

Фиг. 58 - пример основной конфигурации устройства декодирования иерархических изображений, к которому применяется настоящая технология.

Фиг 59 - блок-схема примера типичной структуры компьютера.

Фиг. 60 - блок-схема одного из примеров основной структуры телевизионного устройства.

Фиг. 61 - блок-схема одного из примеров основной структуры мобильного телефонного устройства.

Фиг. 62 - блок-схема одного из примеров основной структуры устройства записи/воспроизведения.

Фиг. 63 - блок-схема примера конфигурации устройства получения изображений.

Фиг. 64 - блок-схема примера использования масштабируемого кодирования.

Фиг. 65 - блок-схема другого примера использования масштабируемого кодирования.

Фиг. 66 - блок-схема еще одного примера использования масштабируемого кодирования.

Способ выполнения изобретения

Ниже будут описаны способы выполнения настоящего раскрытия (здесь далее упоминаемые как варианты осуществления). Описание будет сделано в следующем порядке.

1. Общие сведения об устройстве и порядке работы

2. Объяснение традиционного способа

3. Первый вариант осуществления (первый способ расширения)

4. Второй вариант осуществления (второй способ расширения)

5. Третий вариант осуществления (третий способ расширения)

6. Четвертый вариант осуществления (четвертый способ расширения)

7. Пятый вариант осуществления (первый способ передачи смещения)

8. Шестой вариант осуществления (второй способ передачи смещения)

9. Седьмой вариант осуществления (устройство кодирования мультипроекционного изображения/декодирования мультипроекционного изображения)

10. Восьмой вариант осуществления (устройство кодирования иерархического изображения/декодирования иерархического изображения)

11. Девятый вариант осуществления (компьютер)

12. Применения

13. Применения масштабируемого кодирования

1. Общие сведения об устройстве и порядке работы

Пример структуры устройства кодирования изображений

На фиг. 1 представлена конфигурация варианта осуществления устройства декодирования изображений в качестве устройства обработки изображений, к которому применяется настоящее раскрытие.

Устройство 11 кодирования изображений, показанное на фиг. 1, кодирует данные изображения, используя процесс предсказания. Здесь, в качестве способа кодирования используется, например, способ HEVC (High Efficiency Video Coding, видеокодирование высокой эффективности) или ему подобный.

Дополнительно, в способе HEVC определяется блок кодирования (CU). CU также упоминается в отношении блока дерева кодирования (СТВ) и является частичной областью изображения блока картинки, который выполняет ту же самую роль, что и макроблок в способе H.264/AVC. Хотя для последнего фиксирован размер 16×16 пикселей, размер первого не фиксирован и описывается в информации о сжатии изображения в каждой из последовательностей.

Например, в наборе параметров последовательности (SPS), содержащемся в кодированных данных, которые должны выводиться, определяются максимальный размер (LCU (Largest Coding Unit, наибольший блок кодирования)) и минимальный размер (SCU (Smallest Coding Unit, наименьший блок кодирования)) блока кодирования CU.

Внутри каждого LCU может выполняться деление на CU меньшего размера, устанавливая split_flag=1 в диапазоне, не меньшем, чем размер SCU. CU с размером 2N×2N делится на CU с размером N×N, которые на один уровень ниже, когда значение split_flag равно "1".

Дополнительно, CU делится на блоки предсказания (PU), являющиеся областью (частичной областью изображения блока картинки), которая должна подвергаться процессу внутрикадрового или межкадрового предсказания, и делится на блоки преобразования (TU), являющиеся областью (частичной областью изображения блока картинки), которая должна подвергаться процессу ортогонального преобразования. В настоящее время, в соответствии с HEVC можно использовать ортогональное преобразование 16×16 и 32×32 в дополнение к преобразованию 4×4 и 8×8.

Устройство 11 кодирования изображений, показанное на фиг. 1, содержит аналогово-цифровой (A/D) преобразователь 21, буфер 22 перегруппировки кадров, блок 23 арифметических операций, ортогональный преобразователь 24, квантователь 25, кодер 26 без потерь и накопительный буфер 27. Устройство 11 кодирования содержит инверсный квантователь 28, инверсный ортогональный преобразователь 29, блок 30 арифметических операций, фильтр 31а деблокирования, память 32 кадров, переключатель 33, внутрикадровый предсказатель 34, устройство 35 анализа/компенсатора движения, переключатель 36 изображения предсказания и контроллер 37 скорости.

Кроме того, устройство 11 кодирования изображения содержит адаптивный фильтр 41 смещения и адаптивный контурный фильтр 42 между деблокирующим фильтром 31 и памятью 32 кадров.

A/D-преобразователь 21 выполняет аналогово-цифровое преобразование входных данных изображения, выводит данные изображения в буфер 22 перегруппировки кадров и сохраняет в нем данные изображения.

Буфер 22 перегруппировки кадров перегруппирует кадры изображения, хранящиеся в порядке отображения, в порядок кадров для кодирования в соответствии со структурой GOP (Group of Picture, группа картинки). Буфер 22 перегруппировки кадров подает изображение, в котором кадры были перегруппированы, на блок 23 арифметических операций. Кроме того, буфер 22 перегруппировки кадров также подает изображение, в котором кадры были перегруппированы, на внутрикадровый предсказатель 34 устройства 35 анализа/компенсатора движения.

Блок 23 арифметических операций вычитает изображение предсказания, поданное от внутрикадрового предсказателя 34 или устройства 35 анализа/компенсатора движения через переключатель 36 изображения предсказания, из изображения, считанного из буфера 22 перегруппировки изображения и выводит результирующую разностную информацию на ортогональный преобразователь 24.

Например, в случае изображения, на котором выполняется кодирование, блок 23 арифметических операций вычитает изображение предсказания, поданное от внутрикадрового предсказателя 34, из изображения, считанного из буфера 22 перегруппировки кадров. Кроме того, например, в случае изображения, на котором выполняется кодирование, блок 23 арифметических операций вычитает изображение предсказания, поданное от устройства 35 анализа/компенсатора движения, из изображения, считанного из буфера 22 перегруппировки кадров.

Ортогональный преобразователь 24 выполняет ортогональное преобразование, такое как дискретное косинусное преобразование или преобразование Карунена-Лоэва, для разностной информации, поданной от блока 23 арифметических операций, и подает коэффициент преобразования на квантователь 25.

Квантователь 25 квантует коэффициент преобразования, поданный от ортогонального преобразователя 24. Квантователь 25 подает квантованный коэффициент преобразования на кодер 26 без потерь.

Кодер 26 без потерь выполняет кодирование без потерь, такое как кодирование переменной длины и арифметическое кодирование, для квантованного коэффициента преобразования.

Кодер 26 без потерь получает параметр, такой как информация, указывающая режим внутрикадрового преобразования, от внутрикадрового предсказателя 34 и получает от устройства 35 анализа/компенсатора движения такой параметр, как информация, указывающая режим межкадрового предсказания, или информация вектора движения. Кодер 26 без потерь кодирует квантованный коэффициент преобразования и также кодирует каждый полученный параметр (элемент синтаксиса) и устанавливает результат как часть информации заголовка кодированных данных (мультиплексирует результат). Кодер 26 без потерь подает кодированные данные, полученные кодированием, в накопительный буфер 27 и накапливает в нем кодированные данные.

Например, в кодере 26 без потерь выполняется процесс кодирования без потерь, такой как кодирование переменной длины или арифметическое кодирование. В качестве кодирования переменной длины можно упомянуть CAVLC (контекстно адаптированное кодирование переменной длины) и т.п. В качестве арифметического кодирования можно упомянуть САВАС (контекстно адаптированное двоичное арифметическое кодирование) и т.п.

Накопительный буфер 27 временно хранит кодированный поток (данные), подаваемый от кодера 26 без потерь, и выводит сохраненные кодированные данные, например, на последующее записывающее устройство (не показано) или в тракт передачи в качестве кодированного изображения в заданный момент времени. То есть, накопительный буфер 27 является также блоком передачи, чтобы передавать кодированный поток.

Кроме того, коэффициент преобразования, квантованный квантователем 25, также подается на инверсный квантователь 28. Инверсный квантователь 28 выполняет инверсное квантование квантованного коэффициента преобразования, используя способ, соответствующий квантованию квантователем 25. Инверсный квантователь 28 подает полученный коэффициент преобразования на инверсный ортогональный преобразователь 29.

Инверсный ортогональный преобразователь 29 выполняет инверсное ортогональное преобразование для поданного коэффициента преобразования, способом, соответствующим процессу ортогонального преобразования, посредством ортогонального преобразователя 24. Выходной результат, полученный посредством инверсного ортогонального преобразования (восстановленная разностная информация) подается на блок 30 арифметических операций.

Блок 30 арифметических операций добавляет изображение предсказания, поданное от внутрикадрового предсказателя 34 или от устройства 35 анализа/компенсатора движения через переключатель 36 изображения предсказания, к результату инверсного ортогонального преобразования, то есть, к восстановленной разностной информации, поданной от инверсного ортогонального преобразователя 29, чтобы получить локально декодированное изображение (декодированное изображение).

Например, когда разностная информация соответствует изображению, для которого выполняется внутрикадровое кодирование, блок 30 арифметических операций добавляет изображение предсказания, поданное от внутрикадрового предсказателя 34, к разностной информации. Кроме того, например, когда разностная информация соответствует изображению, для которого выполняется межкадровое кодирование, блок 30 арифметических операций добавляет изображение предсказания, поданное от устройства 35 анализа/компенсатора движения, к разностной информации.

Декодированное изображение, являющееся результатом сложения, подается на деблокирующий фильтр 31а и память 32 кадров.

Деблокирующий фильтр 31а подавляет блочное искажение декодированного изображения, соответствующим образом выполняя процесс деблокирующей фильтрации. Деблокирующий фильтр 31 имеет параметры β и Тс, вычисленные на основе параметра квантования QP. Параметры β и Тс являются пороговыми значениями (параметрами), используемыми при определении в отношении деблокирующего фильтра, β и Тс, являющиеся параметрами, которые имеет деблокирующий фильтр 31а, выводятся из β и Тс, которые определяются в способе HEVC.

Кроме того, деблокирующий фильтр 31а может быть выключен по команде пользователя и информация о включении/выключении в отношении того, выполнять ли деблокирующую фильтрацию, вводится в деблокирующий фильтр 31а пользователем посредством операционного блока (не показан) и т.п. Кроме того, значение по умолчанию для каждого смещения описанных выше параметров β и Тс равно 0. Однако, когда значение по умолчанию для каждого смещения описанных выше параметров β и Тс равно значению, отличному от 0, пользователь вводит в деблокирующий фильтр 31а значение посредством операционного блока (не показан) и т.п. Информация о включении/выключении (также упоминаемая как информация флага DisableDeblockingFilter) деблокирующего фильтра и каждое смещение параметров β и Тс кодируется в качестве параметра деблокирующего фильтра кодером 26 без потерь и передается устройству 51 декодирования изображения, показанному на фиг. 3, которое должно быть описано ниже.

Деблокирующий фильтр 31а выполняет деблокирующую фильтрацию на изображении, полученном от блока 30 арифметических операций, используя информацию о включении/выключении и смещении, описанную выше, и β и Тс, которые являются параметрами, полученными из β и Тс, определенных в способе HEVC. Деблокирующий фильтр 31а подает результат фильтрации на адаптивный фильтр 41 смещения. Кроме того, подробная конфигурация деблокирующего фильтра 31а будет описана позже со ссылкой на фиг. 14.

Адаптивный фильтр 41 смещения выполняет процесс фильтрации смещения (SAO: Sample adaptive offset, адаптивное смещение выборки) для подавленного, в основном, звона на изображении после фильтрации деблокирующим фильтром 31а.

Типами фильтров смещения являются, в целом, девять типов, в том числе, два типа смещения полосы, шесть типов смещения края и отсутствующее смещение. Адаптивный фильтр 41 смещения выполняет фильтрацию изображения после фильтрации деблокирующим фильтром 31а, использующим значение смещения для каждой структуры квадродерева, в которой тип фильтра смещения определяется для каждой поделенной области и в каждой поделенной области. Адаптивный фильтр 41 смещения подает изображение после фильтрации в адаптивный контурный фильтр 42.

Кроме того, в устройстве 11 кодирования изображений значение смещения для каждой структуры квадродерева и поделенной области вычисляется адаптивным фильтром 41 смещения и используется. Вычисленное значение смещения для каждой структуры квадродерева и поделенной области кодируется в качестве адаптивного параметра смещения кодером 26 без потерь и передается устройству 51 кодирования изображений, показанному на фиг. 3, которое будет описано позже.

Адаптивный контурный фильтр 42 выполняет процесс адаптивной контурной фильтрации (ALF: AdaptiveLoop Filter) изображения после фильтрации адаптивным фильтром 41 смещения в процессорном блоке, используя коэффициент фильтра. В адаптивном контурном фильтре 42 в качестве фильтра используется двумерный фильтр Винера. Несомненно, также возможно использовать фильтры, отличные от фильтра Винера. Адаптивный контурный фильтр 42 подает результат фильтрации в память 32 кадров.

Кроме того, хотя в примере на фиг. 1 это не показано, в устройстве 11 кодирования изображений коэффициент фильтра вычисляется адаптивным контурным фильтром 42, так что остаточная ошибка между каждым процессорным блоком и оригинальным изображением из буфера 22 перегруппировки кадров минимизируется и используется. Вычисленный коэффициент фильтра кодируется в качестве параметра адаптивного контурного фильтра кодером 26 без потерь и передается устройству 51 кодирования изображений, показанному на фиг. 3, которое будет описано позже.

Память 32 кадров выводит накопленное опорное изображение на внутрикадровый предсказатель 34 или на устройство 35 анализа/компенсатора движения через переключатель 33 в заданный момент времени.

Например, в случае изображения, на котором выполняется внутрикадровое кодирование, память 32 кадров подает опорное изображение на внутрикадровый предсказатель 34 через переключатель 33. Кроме того, когда выполняется межкадровое кодирование, память 32 кадров подает опорное изображение на устройство 35 анализа/компенсатора движения через переключатель 33.

Когда опорное изображение, поданное из памяти 32 кадров, является изображением, на котором выполняется внутрикадровое кодирование, переключатель 33 подает опорное изображение на внутрикадровый предсказатель 34. Кроме того, когда опорное изображение, поданное из памяти 32 кадров, является изображением, на котором выполняется межкадровое кодирование, переключатель 33 подает опорное изображение на устройство 35 анализа/компенсатора движения.

Внутрикадровый предсказатель 34 выполняет внутрикадровое предсказание (предсказание внутри кадра) для формирования изображения предсказания, используя пиксельные значения внутри экрана. Внутрикадровый предсказатель 34 выполняет внутрикадровое предсказание во множестве режимов (режимов внутрикадрового предсказания).

Внутрикадровый предсказатель 34 формирует изображения предсказания во всех режимах внутрикадрового предсказания, оценивает каждое изображение предсказания и выбирает оптимальные режим. Когда оптимальный режим внутрикадрового предсказания выбран, внутрикадровый предсказатель 34 подает изображение предсказания, сформированное в оптимальном режиме, на блок 23 арифметических операций или на блок 30 арифметических операций через переключатель 36 изображения предсказания.

Кроме того, как описано выше, внутрикадровый предсказатель 34 соответственно подает параметр, такой как информация режима внутрикадрового предсказания, указывающий адаптированный режим внутрикадрового предсказания, на кодер 26 без потерь.

Устройство 35 анализа/компенсатора движения выполняет анализ движения для изображения, на котором выполняется межкадровое кодирование, используя входное изображение, подаваемое из буфера 22 перегруппировки кадров, и опорное изображение, подаваемое из памяти 32 кадров, через переключатель 33. Кроме того, устройство 35 анализа/компенсатора движения выполняет процесс компенсации движения в соответствии с вектором движения, определяемым путем анализа движения, формируя, таким образом, изображение предсказания (информацию межкадрового изображения).

Устройство 35 анализа/компенсатора движения формирует предсказанные изображения, выполняя процесс межкадрового предсказания во всех возможных режимах межкадрового предсказания. Устройство 35 анализа/компенсатора движения подает сформированные изображения предсказания на блок 23 арифметических операций или на блок 30 арифметических операций через переключатель 36 изображения предсказания.

Кроме того, устройство 35 анализа/компенсатора подает параметр, такой как информация режима межкадрового предсказания, указывающая адаптированный режим межкадрового предсказания, или информацию о векторе движения, указывающую вычисленный вектор движения, на кодер 26 без потерь.

Переключатель 36 изображения предсказания подает выходной сигнал внутрикадрового предсказателя 34 на блок 23 арифметических операций или на блок 30 арифметических операций в случае изображений, на которых выполняется внутрикадровое кодирование, и подает выходной сигнал устройства 35 анализа/компенсатора на блок 23 арифметических операций или на блок 30 арифметических операций в случае изображения, на котором выполняется межкадровое кодирование.

Контроллер 37 скорости управляет скоростью операции квантования квантователя 25, основываясь на сжатом изображении, накопленном в накопительном буфере 27, так что переполнение или отрицательное переполнение не происходит.

Порядок работы устройства кодирования изображений

Поток процесса кодирования, выполняемого упомянутым выше устройство 11 кодирования изображений, будет описан со ссылкой на фиг. 2.

На этапе S11 A/D-преобразователь 21 выполняет A/D-преобразование входного изображения. На этапе S12 буфер 22 перегруппировки кадров сохраняет изображение, полученное при A/D-преобразовании, и перегруппирует соответствующие картинки, следующие в порядке отображения, в порядок кодирования.

Когда изображение, которое должно обрабатываться и которое подается из буфера 22 перегруппировки кадров, является изображением блока, которое должно подвергаться внутрикадровой обработке, декодированное изображение, на которое должна делаться ссылка, считывается из памяти 32 кадров и подается на внутрикадровый предсказатель 34 через переключатель 33.

На этапе S13, основываясь на этих изображениях, внутрикадровый предсказатель 34 выполняет внутрикадровое предсказание пикселей блока, который должен обрабатываться во всех возможных режимах внутрикадрового предсказания. Кроме того, в качестве декодированного пикселя, на который должна делаться ссылка, используется пиксел, который не фильтруется деблокирующим фильтром 31.

С помощью этой обработки внутрикадровое предсказание выполняется во всех возможных режимах внутрикадрового предсказания и значения функции стоимости вычисляются для всех возможных режимов межкадрового предсказания. Затем, основываясь на вычисленных значениях функции стоимости, выбирается оптимальный режим внутрикадрового предсказания и изображение предсказания, сформированное посредством внутрикадрового предсказания в оптимальном режиме внутрикадрового предсказания, и значение функции стоимости подаются на переключатель 36 изображения предсказания.

Когда изображение, которое должно обрабатываться и которое подается из буфера 22 перегруппировки кадров, является изображением, который должно подвергаться межкадровой обработке, причем изображение, на которое должна делаться ссылка, считывается их памяти 32 кадров и подается на устройство 35 анализа/компенсатора, обработка выполняется с анализом/компенсацией движения, основываясь на этих изображениях.

С помощью этой обработки обработка анализа движения выполняется во всех возможных режимах межкадрового предсказания и значения функции стоимости вычисляются для всех возможных режимов межкадрового предсказания. Основываясь на вычисленных значениях функции стоимости, определяется оптимальный режим межкадрового предсказания. Затем изображение предсказания, сформированное в оптимальном режиме межкадрового предсказания, и его значение функции стоимости подаются на переключатель 36 режима предсказания.

На этапе S15 переключатель 36 изображения п