Устройство и способ обработки изображения

Устройство и способ обработки изображения

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству и способу обработки изображения и, в частности, относится к устройству и способу обработки изображения, способным повысить эффективность кодирования в отношении цветоразностного сигнала.

Уровень техники

В последнее время получило широкое распространение устройство, в котором информация об изображении обрабатывается как цифровая, и изображение сжимается и кодируется, применяя способ кодирования, осуществляющий сжатие, использующее ортогональное преобразование, такое как дискретное косинусное преобразование, и компенсацию движения, используя избыточность, являющуюся характеристикой информации об изображении, с передачей и накоплением информации с высокой эффективностью, которая является задачей в настоящее время. Для способа кодирования, например, существует MPEG (Moving Picture Experts Group, экспертная группа по кинематографии) и т.п.

В частности, MPEG2 (ISO/IEC 13818-2) определяется как общий способ кодирования изображения и является стандартом, содержащим как изображения чересстрочного сканирования, так и изображения построчного сканирования, изображения со стандартной разрешающей способностью и изображения высокой точности. Например, MPEG2 в настоящее время широко используется в качестве широкомасштабного приложения для профессиональных целей и потребительских целей. Благодаря использованию способа сжатия MPEG2, назначается объем кодирования (битовая скорость) 4-8 Мбит/с, если используется, например, для изображения чересстрочного сканирования со стандартной разрешающей способностью 720×480 пикселей. Кроме того, благодаря использованию способа сжатия MPEG2, назначается объем кодирования (битовая скорость) 18-22 Мбит/с, если используются, например, для изображения чересстрочного сканирования со стандартной разрешающей способностью 1920×1088 пикселей. За счет этого возможно осуществление высокой эффективности и изображения превосходного качества.

MPEG2, главным образом, имеет кодирование с высоким качеством изображения, соответствующее широковещательной сети как цели, но не поддерживается по объему кодирования (битовой скорости), которая ниже, чем в MPEG1, то есть способе кодирования с более высокой степенью сжатия. Благодаря распространению мобильных телефонов представляется, что потребности в способе сжатия, таком как этот, будут увеличиваться и стандартизация способа кодирования MPEG4 выполняется в соответствии с этим. В отношении способа кодирования изображения, технические требования ISO/IEC 14496-2 от декабря 1998 г. признаны в качестве международного стандарта.

В качестве графика стандартизации, существует международный стандарт Н.264 и MPEG-4 Часть 10 (Advanced Video Coding (передовое видеокодирование), который ниже упоминается как H.264/AVC).

Кроме того, стандартизация FRExt (Fidelity Range Extension, расширение диапазона точности), который содержит инструменты кодирования, необходимые для управления с RGB, 4:2:2, и 4:4:4 и 8×8 DCT и матрицей квантования, определяемые в MPEG2 как расширение H.264/AVC, была завершена в феврале 2005 г. Благодаря этому FRExt стал способом кодирования, в котором возможно превосходно реализовать шум пленки, который вводится в видео, используя Н.264/AVC, и становится переносчиком, что широко используется в таких применениях, как диски Blu-ray (зарегистрированная торговая марка).

Однако с недавнего времени потребности в кодировании с дополнительной высокой степенью сжатия возросли, например, появилось сжатие изображения с разрешающей способностью приблизительно 4000×2000 пикселей, что в четыре раза больше, чем для изображения с высокой разрешающей способностью, и получили распространение изображения с высокой разрешающей способностью в среде с ограниченной пропускной способностью, такой как Интернет. В результате, в группе VCEG(=Video Coding Experts Group, группа экспертов по видеокодированию) согласно ITU-T, как описано выше, постоянно ведутся исследования по повышению эффективности кодирования.

В качестве одного из улучшений эффективности кодирования, предложен способ, в котором в контуре компенсации движения существует фильтр FIR (например, обратитесь к NPL 1). Возможно до минимума подавить ухудшение опорного изображения и повысить эффективность кодирования информации о сжатии изображения, которая является выходной, определяя коэффициент фильтра FIR в устройстве кодирования, так чтобы ошибка между фильтром FIR и входным изображением минимизировалась, используя фильтр Винера.

Затем, с целью дальнейшего повышения эффективности кодирования, используя H.264/AVC, в настоящее время стандартизация способа кодирования, который упоминается как HEVC (High Efficiency Video Coding), движется вперед благодаря усилиям команды JCTVC (Joint Collaboration Team - Video Coding), являющейся объединенным органом по стандартизации для ITU-T и ISO/IEC. Материал NPL2 был опубликован HEVC в качестве проекта.

Блок кодирования (CU) был определен в HEVC, как тот же самый процессорный блок, что и макроблок в AVC. В отличие от макроблока, используемого в AVC, CU назначается в информации о сжатии изображения в каждой последовательности без фиксации размера до 16×16 пикселей.

CU конфигурируется по уровням от LCU (Largest Coding Unit, наибольший блок кодирования), который является наибольшим, до SCU (Smallest Coding Unit, наименьший блок кодирования), который является наименьшим. То есть в целом возможно считать, что LCU, эквивалентный макроблоку AVC и CU на более низких уровнях, чем LCU (CU, который меньше, чем LCU), эквивалентен субмакроблокам AVC.

Здесь способ выполнен с возможностью использования в HEVC с помощью адаптивного фильтра смещения, предложенного в NPL3. Адаптивный фильтр смещения в HEVC обеспечивается между деблокирующим фильтром и адаптивным контурным фильтром.

В отношении типов адаптивных смещений, существуют два типа, которые упоминаются как смещения полос, шесть типов которых упоминаются как смещения краев и, дополнительно, возможно, что смещения не адаптируются. Затем, возможно разделить изображение на квадродерево и выбрать, проводить ли кодирование, используя типы адаптивных смещений, описанных выше, в каждой из областей. Используя такой способ, можно повысить эффективность кодирования.

Список литературы

Непатентная литература (NPL)

NPL1. Takeshi Chujoh, Goki Yasuda, Naofumi Wada, Takashi Watanabe, Tomoo Yamakage, "Block-based Adaptive Loop Filter", VCEG-AI18, ITU - Telecommunications Standardization SectorSTUDY GROUP 16 Question 6Video Coding Experts Group (VCEG)35th Meeting: Берлин, Германия, 16-18 июля 2008 г.

NPL2 Thomas Wiegand, Woo-jin Han, Benjamin Bross, Jens-Rainer Ohm, Gary J. Sullivian, "WD3: Working Draft 3 of High-Efficiency Video Coding", JCTVC-E603, March 2011.

NPL3 "CE8 Subtest 3:Picture Quality Adaptive Offset", JCTVC-D122, January 2011.

Сущность изобретения

Техническая проблема

Однако способ, предложенный в NPL3, применяется только в отношении сигнала яркости и не применяется к цветоразностному сигналу. Соответственно, необходима поддержка в отношении цветоразностного сигнала.

Настоящее раскрытие учитывает эти обстоятельства и способно улучшить эффективность кодирования в отношении цветоразностного сигнала.

Решение проблемы

Настоящее изобретение, в целом, содержит устройства кодирования и декодирования изображения и способы кодирования и декодирования изображения. В одном из вариантов осуществления устройство декодирования изображения содержит секцию обработки адаптивного смещения сигнала яркости и секцию обработки адаптивного смещения цветоразностного сигнала. Секция обработки адаптивного смещения сигнала яркости выполняет процесс адаптивного смещения сигнала яркости в отношении сигнала яркости изображения, которое должно декодироваться. Секция обработки адаптивного смещения цветоразностного сигнала выполняет процесс адаптивного смещения цветоразностного сигнала в отношении цветоразностного сигнала, основываясь на данных, сформированных процессом адаптивного смещения сигнала яркости секцией обработки адаптивного смещения сигнала яркости, чтобы сформировать декодированное изображение.

Краткое описание чертежей

Фиг.1 - блок-схема примера основной конфигурации устройства кодирования изображения с помощью способа Н.264/AVC.

Фиг.2 - блок-схема примера основной конфигурации устройства декодирования изображения с помощью способа Н.264/AVC.

Фиг.3 - блок-схема примера основной конфигурации устройства кодирования изображения, в которой применяется адаптивный контурный фильтр.

Фиг.4 - блок-схема примера основной конфигурации устройства декодирования изображения, в которой применяется адаптивный контурный фильтр.

Фиг.5 - принцип работы деблокирующего фильтра.

Фиг.6 - способ определения Bs.

Фиг.7 - принцип работы деблокирующего фильтра.

Фиг.8 - пример отношения соответствия индекса А и индекса В и значений альфа и бета.

Фиг.9 - пример отношения соответствия Bs и индекса A и tC0.

Фиг.10 - пример конфигурации блока кодирования.

Фиг.11 - процесс адаптивного смещения в способе HEVC.

Фиг.12 - структура квадродерева.

Фиг.13 - смещение полосы.

Фиг.14 - смещение края.

Фиг.15 - список правил по смещению края.

Фиг.16 - блок-схема примера основной конфигурации устройства кодирования изображения, соответствующего настоящему раскрытию.

Фиг.17 - примеры конфигурации секции адаптивного смещения и секции адаптивного смещения цветового контраста.

Фиг.18 - блок-схема последовательности выполнения операций примера потока процесса кодирования.

Фиг.19 - блок-схема последовательности выполнения операций примера потока процесса адаптивного смещения.

Фиг.20 - блок-схема примера основной конфигурации устройства декодирования изображения.

Фиг.21 - примеры конфигурации секции адаптивного смещения и секции адаптивного смещения цветоразностного сигнала.

Фиг.22 - блок-схема последовательности выполнения операций примера потока процесса декодирования.

Фиг.23 - блок-схема последовательности выполнения операций примера потока процесса адаптивного смещения.

Фиг.24 - блок-схема примера основной конфигурации персонального компьютера.

Фиг.25 - блок-схема примера основной конфигурации телевизионного устройства.

Фиг.26 - блок-схема примера схематичной конфигурации мобильного телефонного блока.

Фиг.27 - блок-схема примера схематичной конфигурации устройства записи и воспроизведения.

Фиг.28 - блок-схема примера схематичной конфигурации устройства получения изображения.

Описание вариантов осуществления

Ниже будут описаны варианты осуществления для реализации настоящего раскрытия. Здесь описания будут выполняться в порядке, перечисленном ниже.

1. Первый вариант осуществления (устройство кодирования изображения).

2. Второй вариант осуществления (устройство декодирования изображения).

3. Третий вариант осуществления (персональный компьютер).

4. Четвертый вариант осуществления (блок телевизионного приемника).

5. Пятый вариант осуществления (блок мобильного телефона).

6. Шестой вариант осуществления (рекордер жестких дисков).

7. Седьмой вариант осуществления (камера).

1. Первый вариант осуществления

Устройство кодирования изображения H.264/AVC

На фиг.1 представлена конфигурация варианта осуществления устройства кодирования изображения, которое кодирует изображение, используя способ кодирования изображения Н.264 и MPEG (Moving Picture Experts Group), Часть 10 (AVC (Advanced Video Coding)). Далее способ кодирования Н.264 и MPEG упоминается как способ H.264/AVC.

В примере, показанном на фиг.1, устройство 1 кодирования изображения выполнено как содержащее секцию 11 A/D-преобразования, буфер 12 перегруппировки изображения, секцию 13 вычислений, секцию 14 ортогонального преобразования, секцию 15 квантования, секцию 16 кодирования без потерь, аккумуляторный буфер 17, секцию 18 инверсного квантования, секцию 19 инверсного ортогонального преобразования и секцию 20 вычислений. Кроме того, устройство 1 кодирования изображения выполнено как содержащее деблокирующий фильтр 21, память 22 кадров, секцию 23 выбора, секцию 24 внутрикадрового предсказания, секцию 25 предсказания и компенсации движения, секцию 26 выбора изображения предсказания и секцию 27 управления скоростью.

Секция 11 A/D-преобразования выполняет аналогово-цифровое (A/D) преобразование введенных данных изображения, выводит их в буфер 12 перегруппировки изображения и запоминает. Буфер 12 перегруппировки изображения перегруппировывает в порядке отображения изображения кадров, которые хранятся в порядке кадров для кодирования в соответствии с конфигурацией GOP (Group of Pictures, группа изображения). Буфер 12 перегруппировки изображения подает изображения с перегруппированным порядком кадров в секцию 13 вычислений. Кроме того, буфер 12 перегруппировки изображения также подает изображения с перегруппированным порядком кадров в секцию 24 внутрикадрового предсказания и в секцию 25 предсказания и компенсации движения.

Секция 13 вычислений вычитает изображение предсказания, которое подается из секции 24 внутрикадрового предсказания или секции 25 предсказания и компенсации движения через секцию 26 выбора изображения предсказания, из изображения, которое считывается из буфера перегруппировки изображения, и выводит разностную информацию в секцию 14 ортогонального преобразования.

Например, в случае изображения, для которого выполняется внутрикадровое кодирование, секция 13 вычислений вычитает изображение предсказания, которое подается от секции 24 внутрикадрового предсказания, из изображения, которое считывается из буфера 12 перегруппировки изображения. Кроме того, например, в случае изображения, в котором выполняется межкадровое кодирование, секция 13 вычислений вычитает изображение предсказания, которое подается от секции 25 предсказания и компенсации движения, из изображения, которое считывается из буфера 12 перегруппировки изображения.

Секция 14 ортогонального преобразования выполняет ортогональное преобразование, такое как дискретное косинусное преобразование, преобразование Карунена-Лоэва или подобное, в отношении разностной информации, которая подается от секции 13 вычислений, и подает коэффициент преобразования в секцию 15 квантования.

Секция 15 квантования квантует коэффициент преобразования, который выводится из секции 14 ортогонального преобразования. Секция 15 квантования устанавливает параметр квантования, основываясь на информации, связанной с целевым значением величины кодирования, которая подается от секции 27 управления скоростью, и выполняет квантование. Секция 15 квантования подает квантованный коэффициент преобразования в секцию 16 кодирования без потерь.

Секция 16 кодирования без потерь выполняет кодирование без потерь, такое как кодирование переменной длины или арифметическое кодирование, в отношении квантованного коэффициента преобразования. Поскольку данные коэффициента квантуются под управлением секции 27 управления скоростью, величина кодирования становится целью, которая устанавливается секцией 27 управления скоростью (или апроксимируется к целевому значению).

Секция 16 кодирования без потерь получает информацию, выражающую внутрикадровое предсказание и т.п., от секции 24 внутрикадрового предсказания и получает информацию, которая выражает режим внутрикадрового предсказания, информацию вектора движения и т.п. от секции 25 предсказания и компенсации движения. Здесь информация, выражающая внутрикадровое предсказание (предсказание внутри экрана), также упоминается ниже как информация о режиме внутрикадрового предсказания. Здесь информация, которая выражает внутрикадровое предсказание (предсказание внутри экрана), также упоминается ниже как информация о режиме внутрикадрового предсказания.

Секция 16 кодирования без потерь кодирует квантованный коэффициент преобразования и устанавливает различную информацию, такую как коэффициент фильтра, информацию о режиме внутрикадрового предсказания, информацию о режиме межкадрового предсказания и параметры квантования, как часть информации заголовка данных кодирования (мультислоение). Секция 16 кодирования без потерь аккумулирует данные кодирования, полученные посредством кодирования, подавая их на аккумуляторный буфер 17.

Например, в секции 16 кодирования без потерь выполняется процесс кодирования без потерь, такой как кодирование с переменной длиной или арифметическое кодирование. В качестве кодирования переменной длины существует CAVLC (Context-Adaptive Variable Length Coding, контекстно адаптивное кодирование переменной длины), которое определяется, используя способ H.264/AVC и т.п. В качестве арифметического кодирования существует САВАС (Context-Adaptive Binary Arithmetic Coding, контекстно адаптивное бинарное арифметическое кодирование) и т.п.

Накопительный буфер 17 временно удерживает данные кодирования, подаваемые от секции 16 кодирования без потерь, и выводит в качестве изображения, кодированного с использованием способа Н.264/AVC, например, на записывающее устройство или на путь прохождения данных, которые не показаны, на более позднем этапе при заданной синхронизации.

Кроме того, коэффициент преобразования, квантованный в секции 15 квантования, также подается в секцию 18 инверсного квантования. Секция 18 инверсного квантования выполняет инверсное квантование квантованного коэффициента преобразования, используя способ, соответствующий квантованию секцией 15 квантования. Секция 18 квантования подает полученный коэффициент преобразования в секцию 19 инверсного ортогонального преобразования.

Секция 19 инверсного ортогонального преобразования выполняет инверсное ортогональное преобразование коэффициента преобразования, который подается, используя способ, соответствующий ортогональному преобразованию, посредством секцией 14 ортогонального преобразования. Выходной результат, после того, как выполнено инверсное ортогональное преобразование, (разностная информация, которая была декодирования) подается в секцию 20 вычислений.

Секция 20 вычислений добавляет изображение предсказания, которое подается от секции 24 внутрикадрового предсказания или от секции 24 предсказания и компенсации движения через секцию 26 выбора изображения предсказания, к результату инверсного ортогонального преобразования, подаваемому секцией 19 инверсного ортогонального преобразования, то есть разностную информацию, которая реконструирована, и получает изображение, которое локально декодировано (декодированное изображение).

Например, в случае, когда разностная информация соответствует изображению, для которого выполнено внутрикадровое кодирование, секция 20 вычислений добавляет изображение предсказания, поданное от секции 24 внутрикадрового предсказания, к разностной информации. Кроме того, например, в случае, когда разностная информация соответствует изображению, для которого выполнено внутрикадровое кодирование, секция 20 вычислений добавляет изображение предсказания, поданное от секции 25 предсказания и компенсации движения, к разностной информации.

Результат вычисления подается на деблокирующий фильтр 21 или в память 22 кадров.

Деблокирующий фильтр 21 удаляет блочное искажение декодируемого изображения, соответствующим образом выполняя процесс деблокирующего фильтра. Деблокирующий фильтр 21 передает результат процесса фильтрации в память 22 кадров. Здесь декодируемое изображение, которое выводится из секции 20 вычислений, пригодно для подачи в память 22 кадров, не проходя через деблокирующий фильтр 21. То есть возможно исключить процесс деблокирующего фильтра, выполняемый деблокирующим фильтром 21.

Память 22 кадров хранит декодируемое изображение, которое подано, и выводит его в секцию 24 внутрикадрового предсказания или в секцию 25 предсказания и компенсации движения через секцию 23 выбора в заданный момент времени вместе с изображением декодирования, которое хранится в качестве опорного изображения.

Например, в случае, когда выполняется внутрикадровое кодирование, память 22 кадров подает опорное изображение в секцию 24 внутрикадрового изображения через секцию 23 выбора. Кроме того, например, в случае, когда выполняется внутрикадровое кодирование, память 22 кадров подает опорное изображение в секцию 25 предсказания и компенсации движения через секцию 23 выбора.

Секция 23 выбора подает опорное изображение в секцию внутрикадрового предсказания 24 в случае, когда опорное изображение, которое подается из памяти 22 кадров, является изображением, для которого выполнено внутрикадровое кодирование. Кроме того, секция 23 выбора подает опорное изображение в секцию 25 предсказания и компенсации движения в случае, когда опорное изображение, которое подается из памяти 22 кадров, является изображением, для которого выполнено межкадровое кодирование.

Секция 24 внутрикадрового предсказания выполняет внутрикадровое предсказание (предсказание в пределах экрана), когда изображение предсказания формируется, используя пиксельное значение в обрабатываемом целевом изображении, которое подается из памяти 22 кадров через секцию 23 выбора. Секция 24 внутрикадрового предсказания выполняет внутрикадровое предсказание, используя множество подготовленных заранее режимов (режимов внутрикадрового предсказания).

В способе H.264/AVC режим внутрикадрового предсказания 4×4, режим внутрикадрового предсказания 8×8 и режим внутрикадрового предсказания 16×16 определяются в отношении сигнала яркости. Кроме того, возможно определить режим предсказания, который независим от сигнала яркости для каждого макроблока по отношению к цветоразностному сигналу. В отношении каждого из блоков яркости 4×4 существует режим внутрикадрового предсказания 4×4, в отношении каждого из блоков яркости 8×8 существует режим внутрикадрового предсказания 8×8 и определяется один режим внутрикадрового предсказания. Для режима внутрикадрового предсказания 16×16 и цветоразностного сигнала один режим предсказания определяется для каждого одного макроблока.

Секция 24 внутрикадрового предсказания формирует изображение предсказания, используя все режимы внутрикадрового предсказания в качестве возможных, оценивает значение функции стоимости каждого режима предсказания, используя входное изображение, которое подается из буфера 12 перегруппировки изображения, и выбирает оптимальный режим. Секция 24 внутрикадрового предсказания подает изображение предсказания, которое формируется, используя оптимальный режим, в секцию 13 вычислений или в секцию 20 вычислений через секцию 26 выбора режима предсказания, когда оптимальный режим внутрикадрового предсказания выбран.

Кроме того, как описано выше, секция 24 внутрикадрового предсказания соответственно подает информацию, такую как режим внутрикадрового предсказания, которая выражает режим внутрикадрового предсказания, адаптированный к секции 16 кодирования без потерь.

Секция 25 предсказания и компенсации движения выполняет предсказание движения (межкадровое предсказание), используя входное изображение, которое подается из буфера 12 перегруппировки изображения, и опорное изображение, которое подается из памяти 22 кадров, через секцию 23 выбора относительно изображения, для которого выполняется межкадровое кодирование. Секция 25 предсказания и компенсации движения выполняет процесс компенсации движения в соответствии с вектором движения, который обнаруживается и формирует изображение предсказания (информация об изображении межкадрового предсказания). Секция 25 предсказания и компенсации движения выполняет таким способом межкадровое предсказание, используя множество режимов (режимов межкадрового предсказания), подготовленных заранее.

Секция 25 предсказания и компенсации движения формирует изображение предсказания, используя все режимы межкадрового предсказания как возможные, оценивает значение функции стоимости для каждого изображения предсказания и выбирает оптимальный режим. Секция 25 предсказания и компенсации движения подает изображение предсказания, которое сформировано, в секцию 13 вычислений или в секцию 20 вычислений через секцию 26 выбора изображения предсказания.

Кроме того, секция 25 предсказания и компенсации движения подает информацию о режиме межкадрового предсказания, которая представляет адаптированный режим межкадрового предсказания, и информацию о векторе движения, которая представляет вычисленный вектор движения в секцию 16 кодирования без потерь.

Секция 26 выбора изображения предсказания подает выходной сигнал секции 24 внутрикадрового предсказания в секцию 13 вычислений или в секцию 20 вычислений в случае, когда для изображения выполнено внутрикадровое кодирование, и подает выходной сигнал секции 25 предсказания и компенсации движения в секцию 13 вычислений или в секцию 20 вычислений в случае, когда для изображения выполнено межкадровое кодирование.

Секция 27 управления скоростью управляет скоростью операции квантования секции 15 квантования, основываясь на сжатом изображении, которое аккумулируется в аккумуляторном буфере 17, так что переполнение или отрицательное переполнение не создается.

Способ декодирования изображения согласно H.264/AVC

На фиг.2 представлена блок-схема, показывающая пример основной конфигурации устройства декодирования изображения, которое реализует сжатие изображения, используя ортогональное преобразование, такое как дискретное косинусное преобразование, преобразование Карунена-Лоэва и т.п., и компенсацию движения. Устройство 31 декодирования изображения, показанное на фиг.2, является устройством декодирования, соответствующим устройству кодирования изображения, показанному на фиг.1.

Данные кодирования, кодированные устройством 1 кодирования изображения, подаются и декодируются устройством 31 декодирования изображения, соответствующим секции 1 кодирования изображения, например, через произвольный маршрут, такой как путь прохождения сигнала или через носитель записи.

Как показано на фиг.2, устройство 31 декодирования изображения выполнено с возможностью использования в нем аккумуляторного буфера 41, секции 42 декодирования без потерь, секции 43 инверсного квантования, секции 44 инверсного ортогонального преобразования, секции 45 вычислений, деблокирующего фильтра 46, буфера 47 перегруппировки изображения и секции 48 цифро-аналогового (D/A) преобразователя. Кроме того, устройство 31 декодирования изображения имеет память 49 кадров, секцию 50 выбора, секцию 51 внутрикадрового прогнозирования, секцию 52 компенсации движения и секцию 53 выбора изображения.

Аккумуляторный буфер 41 накапливает преобразованные данные кодирования. Данные кодирования кодируются, используя устройство 1 кодирования изображения. Секция 42 декодирования без потерь декодирует данные кодирования, считанные в заданный момент времени из аккумуляторного буфера 41, используя способ кодирования секции 16 кодирования без потерь, показанной на фиг.1.

Кроме того, в случае, когда кадр подвергается внутрикадровому кодированию, информация о режиме внутрикадрового кодирования запоминается в секции заголовка данных кодирования. Секция 42 декодирования без потерь декодирует информацию о режиме внутрикадрового предсказания и информация подается в секцию 51 внутрикадрового предсказания. В отношении этого, в случае, когда кадр подвергается внутрикадровому кодированию, информация о векторе движения запоминается в секции заголовка данных кодирования. Секция 42 декодирования без потерь декодирует информацию о векторе движения и информация подается в секцию 52 вектора движения.

Секция 43 инверсного квантования выполняет инверсное квантование для данных коэффициента (коэффициента квантования), который получается посредством декодирования, используя секцию 42 декодирования без потерь с помощью способа, соответствующего способу квантования секции 15 квантования, показанной на фиг.1. То есть секция 43 инверсного квантования выполняет инверсное квантование коэффициента квантования тем же самым способом, что и секция 18 инверсного квантования, показанная на фиг.1.

Секция 43 инверсного квантования подает квантованные данные коэффициента преобразования, то есть коэффициент ортогонального преобразования, в секцию 44 инверсного ортогонального преобразования. Секция 44 инверсного ортогонального преобразования выполняет инверсное ортогональное преобразование коэффициента ортогонального преобразования, используя способ, соответствующий способу ортогонального преобразования секции 14 ортогонального преобразования, показанной на фиг.1 (способу, который является тем же самым, что и в секции 19 инверсного ортогонального преобразования, показанной на фиг.1) и получает остаточные данные декодирования, соответствующие предыдущим остаточным данным, когда ортогональное преобразование выполнялось в устройстве 1 кодирования изображения. Например, выполняется инверсное ортогональное преобразование четвертого порядка.

Остаточные данные декодирования, которые получаются посредством инверсного ортогонального преобразования, подаются в секцию 45 вычислений. Кроме того, изображение предсказания подается от секции внутрикадрового предсказания 51 или от секции 52 компенсации движения через секцию 53 выбора изображения в секцию 45 вычислений.

Секция 45 вычислений добавляет остаточные данные декодирования и изображение предсказания и получает данные изображения декодирования, соответствующие данным предшествующего изображения, где изображение предсказания уменьшено, используя секцию 13 вычислений устройства 1 кодирования изображения. Секция 45 вычислений подает данные изображения декодирования на деблокирующий фильтр 46.

Деблокирующий фильтр подает предоставленное декодируемое изображение в буфер 47 перегруппировки изображения, после того, как искажения блока были удалены.

Буфер 47 перегруппировки изображения выполняет перегруппировку изображения. То есть порядок кадров, которые выстроены в порядке кодирования буфером 12 перегруппировки изображения на фиг.1, перегруппируется на первоначальный порядок для отображения. Секция 48 D/A-преобразования выполняет D/A-преобразование изображения, которое подается из буфера 47 перегруппировки изображения, выводит его на дисплей, который не показан, и отображает. Результат действия деблокирующего фильтра 46 дополнительно подается в память 49 кадров.

Память 49 кадров, секция 50 выбора, секция 51 внутрикадрового предсказания, секция 52 компенсации движения и секция 53 выбора изображения соответствуют памяти 22 кадров, секции 23 выбора, секции 24 внутрикадрового предсказания, секции 25 предсказания и компенсации движения и секции 26 выбора изображения предсказания, соответственно показанным на фиг.1.

Секция 50 выбора считывает изображение, для которого выполняется межкадровая обработка, и изображение, являющееся опорным, из памяти 49 кадров и подает его в секцию 52 компенсации движения. Кроме того, секция 50 выбора считывает изображение, которое используется при внутрикадровом предсказании, из памяти 49 кадров и подает его в секцию 51 внутрикадрового предсказания.

В секции 51 внутрикадрового предсказания информация, представляющая режим внутрикадрового предсказания, которая получена посредством декодирования информации заголовка и т.п., соответственно подается от секции 42 декодирования без потерь. Секция 51 внутрикадрового предсказания формирует изображение предсказания из опорного изображения, полученного из памяти 49 кадров, основываясь на информации, и подает сформированное изображение предсказания в секцию 53 выбора изображения.

Секция 52 компенсации движения принимает информацию, полученную посредством декодирования информации заголовка (информация о режиме предсказания, информация о векторе движения, информация об опорном кадре, флаги, различные типы параметров и т.п.), от секции 42 декодирования без потерь.

Секция 52 компенсации движения формирует изображение предсказания из опорного изображения, полученного из памяти 49 кадров, основываясь на информации, поданной из секции 42 декодирования без потерь, и сформированном изображении предсказания, в секцию 53 выбора изображения.

Секция 53 выбора изображения выбирает изображение предсказания, сформированное секцией 52 компенсации движения или секцией 51 внутрикадрового предсказания, и подает его в секцию 45 вычислений.

Адаптивный контурный фильтр

Далее будет описан адаптивный контурный фильтр (ALF), предложенный в PTL1.

На фиг.3 представлена блок-схема примера конфигурации устройства кодирования изображения, в которой применяется адаптивный контурный фильтр. Здесь, в примере, показанном на фиг.3, для простоты описания не показаны секция 11 A/D-преобразования, буфер 12 перегруппировки изображения, аккумулирующий буфер 17, секция 23 выбора, секция 24 внутрикадрового предсказания, секция 26 выбора изображения предсказания и секция 27 управления скоростью, показанные на фиг.1. Кроме того, соответственно, не показаны стрелки и т.п. Соответственно, в случае примера, показанного на фиг.3, опорное изображение из памяти 22 кадров напрямую вводится в секцию 25 предсказания и компенсации движения и изображение предсказания из секции 25 предсказания и компенсации движения напрямую вводится в секции 13 и 20 вычислений.

То есть устройство 61 кодирования изображения на фиг.3 отличается от устройства 1 кодирования изображения на фиг.1 только там, где между деблокирующим фильтром 21 и памятью 22 кадров добавляется адаптивный контурный фильтр 71.

Адаптивный контурный фильтр 71 выполняет вычисление коэффициента адаптивного контурного фильтра, который является остатком первоначального изображения, полученным из буфера 12 перегруппировки изображения (не показанного на чертеже), минимизируется и выполняет процесс фильтрации на декодируемом изображении, полученном от деблокирующего фильтра 21, используя коэффициент адаптивного контурного фильтра. В качестве фильтра используется, например, фильтр Винера.

Кроме того, адаптивный контурный фильтр 71 посылает вычисленный коэффициент адаптивного контурного фильтра в секцию 16 кодирования без потерь. В секции 16 кодирования без потерь выполняется процесс кодирования без потерь, такой как кодирование с переменной длиной или арифметическое кодирование для коэффициента адаптивного контурного фильтра, который вставлен в секцию заголовка сжатого изображения.

На фиг.4 представлен пример конфигурации устройства декодирования изображения, соответствующего устройству кодирования, показанному на фиг.3. Здесь, в примере, показанном на фиг.4, для простоты описания не показаны аккумулирующий буфер 41, буфер 47 перегруппировки изображения, секция 48 D/A-преобразования, секция 50 выбора, секция 51 внутрикадрового предсказания и секция 53 выбора изображения, показанные на фиг.2. Кроме того, соответственно, не показаны стрелки и т.п. Соответственно, в случае, показанном на фиг.4, опорное изображение из памяти 49 кадров напрямую вводится в секцию 52 компенсации движения и изображение предсказания из секции 52 компенсации движения напрямую вводится в секции 45 вычислений.

То есть устройство 81 кодирования изображения на фиг.4 отличается от устройства 31 кодирования изображения на фиг.2 только там, где между деблокирующим фильтром 46 и памятью 49 кадров добавляется адаптивный контурный фильтр 91.

Коэффициент адаптивного контурного фильтра, декодированный секцией 42 декодирования без потерь и извлеченный из заголовка, подается на адаптивный контурный фильтр 91. Адаптивный контурный фильтр 91 выполняет процесс фильтрации на декодируемом изображении, полученном из деблокирующего фильтра 46, используя поданный коэффициент адаптивного контурного фильтра. В качестве фильтра используется, например, фильтр Винера.

Благодаря этому возможно улучшить качество изображения для декодируемого изображения и, дополнительно, улучшить качество изображения опорного сигнала.

Деблокирующий фильтр

Далее будет описан деблокирующий фильтр, соответствующий фильтру в стандарте H.264/AVC. Деблокирующий фильтр 21 входит в состав контура компенсации движения и удаляет искажение блоков в декодируемом изображении, то есть искажение в области обрабатываемых блоков. Благодаря этому преобразование блочного искажения в изображение, являющееся опорным, подавляется, используя процесс компенсации движения.

В качестве процесса деблокирующего фильтра возможно выбрать способ (a)-(c) из при