Устройство и способ обработки изображений

Устройство и способ обработки изображений

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее раскрытие относится к устройству и способу обработки изображения и, более конкретно, к устройству и способу обработки изображения, способным уменьшить объем кодов, требующихся для управления фильтром адаптивного смещения выборки.

Уровень техники

В последние годы информация изображения обрабатывается как цифровая информация и в этом случае устройство получает широкое распространение, способно сжимать и кодировать изображение, используя способ кодирования для выполнения сжатия посредством ортогонального преобразования и компенсации движения, такой как дискретное косинусное преобразование, использующее избыточность, уникальную для информации изображения, с целью высокоэффективной передачи и накопления информации. Примерами способов кодирования являются MPEG (Moving Picture Experts Group), H.264 и MPEG-4 Часть 10 (Advanced Video Coding (перспективное видеокодирование), упоминаемое как H.264/AVC) и т.п.

В настоящее время для дальнейшего повышения эффективности кодирования по сравнению с H.264/AVC, группой JCTVC (Joint Collaboration Team-Video Coding, группа совместного сотрудничества - видеокодирование), являющейся совместной группой по стандартизации ITU-T и ISO/IEC (например, смотрите непатентный документ 1), стандартизируется способ кодирования, названный HEVC (High Efficiency Video Coding, видеокодирование с высокой эффективностью).

В текущем проекте HEVC используется фильтр адаптивного смещения выборки (SAO). В фильтре адаптивного смещения выборки все сигналы управления между компонентами Y, Cb, Cr передаются независимо.

В отличие от этого, непатентный документ 2 предлагает передачу единым синтаксисом после замены сигнала управления включением/выключением и передачу типа и коэффициентов фильтра независимо между компонентами.

Перечень литературы

Непатентные документы

Непатентный документ 1: Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Thomas Wiegand, "High efficiency video coding (HEVC) text specification draft 7", JCTVC-I1003 ver3, 2012.6.1

Непатентный документ 2: Woo-Shik Kim, Do-Kyoung Kwon, In Suk Chong, Marta Karczewicz, "LCU SAO Enable Flag Coding", JCTVC-I0193, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and КОЛЕС JTC1/SC29/WG11 9-th Meeting: Женева, CH, 27 апреля-7 мая 2012 г.

Раскрытие изобретения

Проблемы, решаемые изобретением

Однако в упомянутом выше предложении информация о типе передается независимо для компонент Y, Cb, Cr и поэтому для управления фильтром адаптивного смещения выборки требуется большой объем кодов.

Настоящее раскрытие сделано с точки зрения таких обстоятельств и объем кодов, требующихся для управления фильтром адаптивного смещения выборки, может быть уменьшен.

Решения проблем

Устройство обработки изображения, соответствующее первому варианту настоящего раскрытия, содержит блок декодирования, выполненный с возможностью осуществления процесса декодирования кодированного потока, чтобы сформировать изображение, и блок фильтра адаптивного смещения выборки, выполненный с возможностью применения фильтра адаптивного смещения выборки к изображению, сформированному блоком декодирования, в соответствии с типом фильтра адаптивного смещения выборки, являющимся общим для компонент изображения.

Тип фильтра адаптивного смещения выборки является общим для компонента яркости и для компонента цветового контраста изображения.

Тип фильтра адаптивного смещения выборки является общим для компонент цветового контраста изображения.

Тип фильтра адаптивного смещения выборки является общим для первого компонента цветового контраста и второго компонента цветового контраста.

Когда типом фильтра адаптивного смещения выборки, соответствующим первому компоненту цветового контраста, является смещение полосы, типом фильтра адаптивного смещения выборки, соответствующим второму компоненту цветового контраста, является смещение полосы.

Когда типом фильтра адаптивного смещения выборки, соответствующим первому компоненту цветового контраста, является смещение края, типом фильтра адаптивного смещения выборки, соответствующим второму компоненту цветового контраста, является смещение края.

Когда типом фильтра адаптивного смещения выборки является смещение края, правило конфигурации смещения края является общим для компонент цветового контраста изображения.

Когда типом фильтра адаптивного смещения выборки, соответствующим первому компоненту цветового контраста, является одномерная конфигурация смещения края, типом фильтра адаптивного смещения выборки, соответствующим второму компоненту цветового контраста, является одномерная конфигурация смещения края.

Когда типом фильтра адаптивного смещения выборки, соответствующим первому компоненту цветового контраста, является двумерная конфигурация смещения края, типом фильтра адаптивного смещения выборки, соответствующим второму компоненту цветового контраста, является двумерная конфигурация смещения края.

Когда типом фильтра адаптивного смещения выборки, соответствующим первому компоненту цветового контраста, является тип, не применяющий смещение, типом фильтра смещения, соответствующим второму компоненту цветового контраста, является тип, не применяющий смещение.

Цветовое пространство изображения имеет формат Y/Cb/Cr.

Устройство обработки изображения дополнительно содержит приемный блок, выполненный с возможностью приема кодированного потока и информации о типе, указывающей тип фильтра адаптивного смещения выборки, общий для компонент изображения, и блок декодирования может использовать информацию о типе, принятую приемным блоком, чтобы декодировать кодированный поток, принятый приемным блоком.

Устройство обработки изображения дополнительно содержит блок деблокирующего фильтра, выполненный с возможностью применения деблокирующего фильтра к изображению, сформированному блоком декодирования, и блок фильтра адаптивного смещения выборки может применять фильтр адаптивного смещения выборки к изображению, к которому деблокирующий фильтр применяется блоком деблокирующего фильтра.

Приемный блок может принимать флаг слияния, указывающий то же самое смещение, что и блок кодирования, соседствующий с текущим блоком кодирования, и блок фильтра адаптивного смещения выборки может использовать флаг слияния, принятый приемным блоком, чтобы применить фильтр адаптивного смещения выборки к изображению, сформированному блоком декодирования.

Способ обработки изображения, соответствующий первому варианту настоящего раскрытия, содержит этапы, на которых выполняют процесс декодирования кодированного потока, чтобы сформировать изображение, и применяют фильтр адаптивного смещения выборки к сформированному изображению в соответствии с типом фильтра адаптивного смещения выборки, являющимся общим для компонент изображения.

В первом варианте настоящего раскрытия кодированный поток декодируется и формируется изображение. Затем фильтр адаптивного смещения выборки применяется к сформированному изображению в соответствии с типом фильтра адаптивного смещения выборки, являющимся общим для компонент изображения.

Следует заметить, что устройство обработки изображения, описанное выше, может быть независимым устройством или может быть внутренним блоком, образующим устройство кодирования изображения или устройство декодирования изображения.

Результаты изобретения

В соответствии с первым вариантом настоящего раскрытия изображение может быть декодировано. В частности, может быть уменьшен объем кодов.

Краткое описание чертежей

Фиг. 1 - блок-схема примера основной конфигурации устройства кодирования изображения.

Фиг. 2 - блок-схема последовательности выполнения операций, объясняющая пример потока процесса кодирования.

Фиг. 3 - блок-схема основного примера конфигурации устройства декодирования изображения.

Фиг. 4 - блок-схема последовательности выполнения операций, объясняющая пример потока процесса декодирования.

Фиг. 5 - объяснение смещения полосы.

Фиг. 6 - объяснение смещения края.

Фиг. 7 - таблица списка правил смещения края.

Фиг. 8 - блок-схема последовательности выполнения операций для объяснения процесса передачи информации управления традиционного SAO.

Фиг. 9 - блок-схема примера конфигурации фильтра адаптивного смещения выборки, к которому применяется настоящее раскрытие.

Фиг. 10 - блок-схема последовательности выполнения операций для объяснения процесса обработки фильтром адаптивного смещения выборки.

Фиг. 11 - блок-схема последовательности выполнения операций для объяснения процесса установки информации управления SAO.

Фиг. 12 - блок-схема последовательности выполнения операций для объяснения процесса передачи информации управления SAO.

Фиг. 13 - блок-схема другого примера конфигурации фильтра адаптивного смещения выборки, к которому применяется настоящее раскрытие.

Фиг. 14 - блок-схема последовательности выполнения операций для объяснения процесса обработки фильтром адаптивного смещения выборки.

Фиг. 15 - блок-схема последовательности выполнения операций для объяснения процесса передачи управляющей информации SAO.

Фиг. 16 - блок-схема примера конфигурации фильтра адаптивного смещения выборки, к которому применяется настоящее раскрытие.

Фиг. 17 - блок-схема последовательности выполнения операций для объяснения процесса фильтрации адаптивного смещения выборки.

Фиг. 18 - блок-схема последовательности выполнения операций для объяснения процесса приема информации управления SAO.

Фиг. 19 - блок-схема другого примера конфигурации фильтра адаптивного смещения выборки, к которому применяется настоящее раскрытие.

Фиг. 20 - блок-схема последовательности выполнения операций для объяснения процесса фильтрации адаптивного смещения выборки.

Фиг. 21 - пример способа кодирования мультипроекционного изображения.

Фиг. 22 - основной пример конфигурации устройства кодирования мультипроекционного изображения, к которому применяется настоящее раскрытие.

Фиг. 23 - основной пример конфигурации устройства декодирования мультипроекционного изображения, к которому применяется настоящее раскрытие.

Фиг. 24 - пример способа кодирования иерархических изображений.

Фиг. 25 - основной пример конфигурации устройства кодирования иерархического изображения, к которому применяется настоящее раскрытие.

Фиг. 26 - пример основной конфигурации устройства декодирования иерархических изображений, к которому применяется настоящая технология.

Фиг. 27 - блок-схема примера основной конфигурации компьютера.

Фиг. 28 - блок-схема примера схемы конфигурации телевизионного устройства.

Фиг. 29 - блок-схема примера схемы конфигурации сотового телефона.

Фиг. 30 - блок-схема примера схемы конфигурации устройства записи/воспроизведения.

Фиг. 31 - блок-схема примера схемы конфигурации устройства получения изображений.

Осуществление изобретения

Здесь далее будут описаны способы выполнения настоящего раскрытия (далее упоминаемые как варианты осуществления). Следует заметить, что описание будет сделано в следующем порядке:

1. Общие сведения об устройстве и порядке работы.

2. Объяснение традиционного способа.

3. Первый вариант осуществления (устройство обработки изображения (сторона кодирования)).

4. Второй вариант осуществления (устройство обработки изображения (сторона декодирования)).

5. Третий вариант осуществления (устройство кодирования мультипроекционного изображения/декодирования мультипроекционного изображения).

6. Четвертый вариант осуществления (устройство кодирования иерархического изображения/декодирования иерархического изображения).

7. Пятый вариант осуществления (компьютер).

8. Пример применения.

1. Общие сведения об устройстве и порядке работы.

Пример конфигурации устройства кодирования изображения

На фиг. 1 представлена конфигурация варианта осуществления устройства кодирования изображения в качестве устройства обработки изображения, к которому применяется настоящее раскрытие.

Устройство 11 кодирования изображения, показанное на фиг. 1, использует для кодирования данных изображения процесс предсказания. В этом случае пример способа кодирования содержит способ HEVC (High Efficiency Video Coding, высокоэффективного видеокодирования).

В этом способе HEVC определяется блок кодирования (CU). CU также упоминается в отношении блока дерева кодирования (СТВ) и является частичной областью изображения блока картинки, который выполняет ту же самую роль, что и макроблок в способе H.264/AVC. В последнем случае размер фиксирован как 16×16 пикселей, а в первом случае размер не фиксирован и в каждой последовательности размер назначается в информации о сжатии изображения.

Например, в наборе параметров последовательности (SPS), содержащемся в кодированных данных, которые должны выводиться, присутствуют максимальный размер CU (LCU (Largest Coding Unit, блок наибольшего размера)) и минимальный размер CU (SCU (Smallest Coding Unit, блок наименьшего размера)).

В каждом LCU флаг разделения (split-flag) равен 1, пока размер не меньше, чем размер SCU, и, соответственно, CU может делиться на блоки CU меньшего размера. Когда значение split_flag равно "1", блок CU, размер которого равен 2N×2Ν, делится на блоки CU размером Ν×Ν, иерархия которых на один уровень ниже.

Дополнительно, CU делится на блоки предсказания (PU), являющиеся областями, служащими в качестве целевых областей внутрикадрового или межкадрового предсказания (частичные области изображения в блоке картинки), и делится на блоки преобразования (TU), являющиеся областями, служащими в качестве целевых блоков ортогонального преобразования (частичные области изображения в блоке картинки). В настоящее время в способе HEVC может использоваться ортогональное преобразование с размерами не только 4×4 и 8×8, но также с размерами 16×16 и 32×32.

В примере, показанном на фиг. 1, устройство 11 кодирования изображения содержит блок 21 аналогово-цифрового (A/D) преобразователя, буфер 22 реорганизации экрана, блок 23 вычислений, блок 24 ортогонального преобразователя, блок 25 квантования, блок 26 кодирования без потерь и накопительный буфер 27. Устройство 11 кодирования также содержит блок инверсного квантования, блок 29 инверсного ортогонального преобразования, блок 30 вычислений, деблокирующий фильтр 31, кадровая память 32, блок 33 переключения, блок 34 внутрикадрового предсказания, блок 35 предсказания/компенсации движения, блок 36 переключения изображения предсказания и блок 37 управления скоростью.

Дополнительно, устройство 11 кодирования изображения содержит фильтр 41 адаптивного смещения выборки и адаптивный контурный фильтр 42, устанавливаемые между деблокирующим фильтром 31 и кадровой памятью 32.

Блок 21 A/D-преобразования выполняет аналогово-цифровое (A/D) преобразование принятых данных изображения и подает преобразованные данные изображения в буфер 22 реорганизации экрана для сохранения в нем данных изображения.

Буфер 22 реорганизации экрана реорганизует изображения кадров, хранящиеся в порядке отображения, в порядок кадров для кодирования в соответствии со структурой GOP (Group of Picture, группа картинки). Буфер 22 реорганизации экрана подает изображения, для которых порядок кадров был перегруппирован, на блок 23 вычислений. Буфер 22 реорганизации экрана подает изображения, для которых порядок кадров был перегруппирован, на блок 34 внутрикадрового предсказания и на блок 35 предсказания/компенсации движения.

Блок 23 вычислений вычитает предсказанное изображение, поданное от блока 34 внутрикадрового предсказания или от блока 35 предсказания/компенсации через блок 36 переключателя предсказанного изображения, из изображения, считанного из буфера 22 реорганизации экрана, и подает результирующую разностную информацию на блок 24 ортогонального преобразования.

Например, в случае изображения с внутрикадровым кодированием блок 23 вычислений вычитает изображение предсказания, поданное от блока 34 внутрикадрового предсказания, из изображения, считанного из буфера 22 реорганизации экрана. Например, в случае изображения с межкадровым кодированием блок 23 вычислений вычитает изображение предсказания, поданное от блока 35 предсказания/компенсации движения, из изображения, считанного из буфера 22 реорганизации экрана.

Блок 24 ортогонального преобразования применяет ортогональное преобразование, такое как дискретное косинусное преобразование и преобразование Карунена-Лоэва, к разностной информации, подаваемой от блока 23 вычислений. Блок 24 ортогонального преобразования подает коэффициенты преобразования на блок 25 квантования.

Блок 25 квантования квантует коэффициенты преобразования, поданные от блока 24 ортогонального преобразования. Блок 25 квантования подает квантованные коэффициенты преобразования на блок 26 кодирования без потерь.

Блок 26 кодирования без потерь применяет кодирование без потерь, такое как кодирование переменной длины или арифметическое кодирование, к квантованным коэффициентам преобразования.

Блок 26 кодирования без потерь получает параметры, такие как информация, указывающая режим внутрикадрового преобразования, от блока 34 внутрикадрового предсказания и получает параметры, такие как информация, указывающая режим межкадрового предсказания, и информация о векторе движения, от блока 35 предсказания/компенсации движения.

Блок 26 кодирования без потерь кодирует квантованные коэффициенты преобразования и полученные параметры (элементы синтаксиса) и т.п. и делает их частью информации заголовка кодированных данных (мультиплексирует). Блок 26 кодирования без потерь подает кодированные данные, полученные в процессе кодирования, в накопительный буфер 27 и сохраняет в нем кодированные данные.

Например, блок 26 кодирования без потерь выполняется процесс кодирования без потерь, такой как кодирование переменной длины или арифметическое кодирование. Примером кодирования переменной длины является CAVLC (контекстно адаптированное кодирование переменной длины). Примером арифметического кодирования является САВАС (контекстно адаптированное двоичное арифметическое кодирование).

Накопительный буфер 27 временно хранит кодированный поток (данные), поданный от блока 26 кодирования без потерь. При заданной синхронизации накопительный буфер 27 на более позднем этапе выводит хранящиеся в нем кодированные данные в качестве кодированного изображения, например, на устройство записи и на путь передачи данных (не показан). Более конкретно, накопительный буфер 27 является также блоком передачи, который передает кодированный поток.

Коэффициенты преобразования, квантованные блоком 25 квантования, также подаются на блок 28 инверсного квантования. Блок 28 инверсного квантования инверсно квантует квантованные коэффициенты преобразования, в соответствии со способом, соответствующим квантованию блоком 25 квантования. Блок 28 инверсного квантования подает полученные коэффициенты преобразования на блок 29 инверсного ортогонального преобразования.

Блок 29 инверсного ортогонального преобразования выполняет инверсное ортогональное преобразование для поданных коэффициентов преобразования согласно способу, соответствующему процессу ортогонального преобразования, выполняемому блоком 24 ортогонального преобразования. Выходной результат, полученный посредством инверсного ортогонального преобразования, (восстановленная разностная информация) подается на блок 30 вычислений.

Блок 30 вычислений добавляет изображение предсказания, поданное от блока 34 внутрикадрового предсказания или от блока 35 предсказания/компенсации движения через блок 36 переключателя изображения предсказания, к восстановленной разностной информации, являющейся результатом инверсного ортогонального преобразования, полученной от блока 29 инверсного ортогонального преобразования, формируя, таким образом, локально декодированное изображение (декодированное изображение).

Например, когда разностная информация соответствует изображению, для которого выполняется внутрикадровое кодирование, блок 30 вычислений добавляет изображение предсказания, поданное от блока 34 внутрикадрового предсказания, к разностной информации. Например, когда разностная информация соответствует изображению, для которого выполняется межкадровое кодирование, блок 30 вычислений добавляет изображение предсказания, поданное от блока 35 предсказания/компенсации движения, к разностной информации.

Декодированное изображение, являющееся результатом сложения, подается на деблокирующий фильтр 31 и кадровую память 32.

Деблокирующий фильтр 31 при необходимости выполняет посредством деблокирующего фильтра обработку декодированного изображения, удаляя, таким образом, блочные искажения из декодированного изображения. Деблокирующий фильтр 31 подает результат обработки фильтром на фильтр адаптивного смещения выборки.

Фильтр 41 адаптивного смещения выборки выполняет процесс адаптивного смещения выборки (SAO), удаляя, главным образом, звон из изображения, отфильтрованного деблокирующим фильтром 31. Фильтр 41 адаптивного смещения выборки подает отфильтрованное изображение на адаптивный контурный фильтр 42.

Типами фильтров смещения являются, в целом, девять типов, в том числе, два типа смещения полосы, шесть типов смещения края и один тип без какого-либо смещения. Фильтр 41 адаптивного смещения выборки устанавливает информацию, указывающую состояние включения/выключения каждого компонента для каждого среза, тип фильтра смещения для каждого LCU, являющегося максимальным блоком кодирования, и смещение (значение). Среди них, тип фильтра устанавливается обычно для компонент Y, Cb, Cr. Фильтр 41 адаптивного смещения выборки использует установленные тип и смещение для применения процесса фильтрации к изображению, отфильтрованному деблокирующим фильтром 31. В приведенном ниже объяснении цветовое пространство будет использоваться в качестве примера, в котором сигнал яркости обозначается как Y, а сигналы цветового контраста обозначаются как Cb, Cr. Более конкретно, они обозначаются просто как Y, Cb, Cr, причем Y представляет компонент яркости, Сb представляет компонент цветового контраста и Cr представляет компонент цветового контраста.

Фильтр 41 адаптивного смещения выборки подает информацию, указывающую установленный тип, на блок 26 кодирования без потерь для ее кодирования. В фильтре 41 адаптивного смещения выборки смещение, объясненное выше, является коэффициентом фильтра. При необходимости, смещение также упоминается как коэффициент. Следует заметить, что подробности фильтра 41 адаптивного смещения выборки будут объяснены позже на фиг. 9.

Например, адаптивный контурный фильтр 42 выполняет процесс адаптивной контурной фильтрации (ALF) для каждого блока LCU, который является максимальным блоком кодирования. В адаптивном контурном фильтре 42 в качестве фильтра используется, например, двумерный фильтр Винера. Следует понимать, что может также использоваться фильтр, отличный от фильтра Винера.

Адаптивный контурный фильтр 42 использует коэффициент фильтра, чтобы применять процесс фильтрации для каждого LCU к изображению, отфильтрованному фильтром 41 адаптивного смещения выборки, и подавать результат процесса фильтрации в кадровую память 32.

Хотя в этом описании подробное описание не приводится, устройство 11 кодирования изображения использует коэффициент фильтра, вычисленный адаптивным контурным фильтром для каждого LCU, так что остаток от первоначального изображения, заданного буфером 12 реорганизации экрана, становится наименьшим. Вычисленный коэффициент фильтра кодируется блоком 26 кодирования без потерь и передается показанному на фиг. 3 устройству декодирования изображения, описанному далее. В этом описании, например, обработка выполняется для каждого LUC, но блок обработки адаптивного контурного фильтра 42 этим не ограничивается.

При заданной синхронизации кадровая память 32 выводит накопленное опорное изображение через блок 33 переключения на блок 34 внутрикадрового предсказания или на блок 35 предсказания/компенсации движения.

Например, в случае, когда выполняется внутрикадровое кодирование, кадровая память 32 подает опорное изображение через блок 33 переключения на блок 34 внутрикадрового предсказания. Например, в случае изображения с межкадровым кодированием кадровая память 32 подает опорное изображение через блок 33 переключения на блок 35 предсказания/компенсации движения.

Когда опорное изображение, подаваемое из кадровой памяти 32, является изображением с внутрикадровым кодированием, блок 33 переключения подает опорное изображение на блок 34 внутрикадрового предсказания. Когда опорное изображение, подаваемое из кадровой памяти 32, является изображением с межкадровым кодированием, блок 33 переключения подает опорное изображение на блок 35 предсказания/компенсация движения.

Блок 34 внутрикадрового предсказания использует пиксельные значения внутри экрана, чтобы выполнить внутрикадровое предсказание (предсказание внутри экрана) для формирования изображения предсказания. Блок 34 внутрикадрового предсказания выполняет внутрикадровое предсказание во множестве режимов (режимов внутрикадрового предсказания).

Блок 34 внутрикадрового предсказания формирует изображения предсказания во всех режимах внутрикадрового предсказания и оценивает каждое изображение предсказания, выбирая, таким образом, оптимальный режим. Когда оптимальный режим внутрикадрового предсказания выбран, блок 34 внутрикадрового предсказания подает изображение предсказания, сформированное в оптимальном режиме, через блок 36 переключения изображения предсказания на блок 23 вычислений и блок 30 вычислений.

Как описано выше, блок 34 внутрикадрового предсказания при необходимости подает параметр, такой как информация о режиме внутрикадрового предсказания и т.п., указывающий режим внутрикадрового предсказания, на блок 26 кодирования без потерь.

Блок 35 предсказания/компенсации движения использует входное изображение, подаваемое из буфера 22 реорганизации экрана, и опорное напряжение, подаваемое из памяти 32 кадров через блок 32 переключения, чтобы выполнить предсказание движения для изображения, которое должно кодироваться в межкадровом режиме. Блок 35 предсказания/компенсации движения выполняет процесс компенсации движения в соответствии с векторами движения, определяемыми путем предсказания движения, формируя, таким образом, изображение предсказания (информация межкадрового изображения).

Блок 35 предсказания/компенсации движения выполняет межкадровое предсказание для всех возможных режимов межкадрового предсказания, чтобы сформировать изображения предсказания. Блок 35 предсказания/компенсации движения подает сформированное изображение предсказания через блок 36 переключения изображения предсказания на блок 23 вычислений и на блок 30 вычислений.

Устройство 35 предсказания/компенсации подает информацию о режиме межкадрового предсказания, указывающую используемый режим межкадрового предсказания, и параметр, такой как информация о векторе движения, указывающая вычисленные векторы движения, на блок 26 кодирования без потерь.

В случае изображения с внутрикадровым кодированием, блок 36 переключения изображения предсказания подает на блок 23 вычислений и блок 30 вычислений выходной сигнал блока 34 внутрикадрового предсказания, а в случае изображения с межкадровым кодированием, блок 36 переключения изображения предсказания подает на блок 23 вычислений и блок 30 вычислений выходной сигнал блока 35 предсказания/компенсации движения.

Блок 37 управления скоростью управляет скоростью операции квантования блока 25 квантования, так чтобы не вызывать переполнение или недогрузки, основываясь на сжатом изображении, накопленном в накопительной буфере 27.

Порядок работы устройства кодирования изображения

Последовательность выполнения операций процесса кодирования, исполняемая устройством 11 кодирования изображения, как она объяснялась выше, будет объяснена со ссылкой на фиг. 2.

На этапе S11 блок 21 A/D-преобразования выполняет A/D-преобразование принятого изображения. На этапе S12 буфер 22 перегруппировки экрана сохраняет изображения, подвергнутые A/D-преобразованию, и группирует их из порядка, в котором отображаются картинки, в порядок, в котором они кодируются.

Когда обрабатываемое целевое изображение, подаваемое из буфера перегруппировки экрана, является изображением блока с внутрикадровой обработкой, упомянутое декодированное изображение считывается из кадровой памяти 32 и подается через блок 33 переключения на блок 34 внутрикадрового предсказания.

На основе этих изображений, на этапе S13 блок 34 внутрикадрового предсказания выполняет внутрикадровое предсказание для пикселей обрабатываемого целевого блока во всех возможных режимах внутрикадрового предсказания. Следует заметить, что пиксель, не отфильтрованный деблокирующим фильтром 31, используется в качестве упоминаемого декодированного пикселя.

С помощью этой обработки внутрикадровое предсказание выполняется во всех возможных режимах внутрикадрового предсказания и значения функции стоимости вычисляются для всех возможных режимов внутрикадрового предсказания. Затем, основываясь на вычисленных значениях функции стоимости, выбирается оптимальный режим внутрикадрового предсказания и изображение предсказания, сформированное посредством внутрикадрового предсказания в оптимальном режиме внутрикадрового предсказания, и его значение функции стоимости подаются на блок 36 переключения изображения предсказания.

Когда обрабатываемое целевое изображение, подаваемое из буфера 22 перегруппировки экрана, является изображением, которое должно получить внутрикадровую обработку, изображение, которое упоминается, считывается из кадровой памяти 32 и подается через блок 33 переключения на блок 35 предсказания/компенсации движения. На основе этих изображений на этапе S14 блок 35 предсказания/компенсации движения выполняет процесс предсказания/компенсации движения.

С помощью этого процесса предсказание движения выполняется во всех возможных режимах межкадрового предсказания, значения функции стоимости вычисляются для всех возможных режимов межкадрового предсказания и оптимальный режим межкадрового предсказания определяется на основе вычисленного значения функции стоимости. Затем изображение предсказания, сформированное в оптимальном режиме межкадрового предсказания, и его значение функции стоимости подаются на блок 36 переключения изображения предсказания.

На этапе S15 блок 36 переключения изображения предсказания определяет в качестве оптимального режима предсказания оптимальный режим внутрикадрового предсказания или оптимальный режим межкадрового предсказания, основываясь на значениях функции стоимости, которые выводятся от блока 34 внутрикадрового предсказания и блока 35 предсказания/компенсации движения. Затем блок 36 переключения изображения предсказания выбирает изображение предсказания в определенном оптимальном режиме предсказания и подает изображение предсказания на блоки 23 и 30 вычислений. Изображение предсказания используется для вычисления на этапах S16, S21, объясняемых позже.

Информация о переключении изображения предсказания подается на блок 34 внутрикадрового предсказания или на блок 35 предсказания/компенсации движения. Когда изображение предсказания выбирается в оптимальном режиме внутрикадрового предсказания, блок 34 внутрикадрового предсказания подает информацию, указывающую оптимальный режим внутрикадрового предсказания (более конкретно, параметр внутрикадрового предсказания) на блок 26 кодирования без потерь.

Когда изображение предсказания выбирается в оптимальном режиме межкадрового предсказания, блок 35 предсказания/компенсации движения подает информацию, указывающую оптимальный режим межкадрового предсказания, и информацию, соответствующую оптимальному режиму межкадрового предсказания (более конкретно, параметр предсказания движения), на блок 26 кодирования без потерь. Информацией, соответствующей оптимальному режиму межкадрового предсказания, является информация о векторе движения, информация об опорном кадре и т.п.

На этапе S16 блок 23 вычислений вычисляет разницу между изображениями, перегруппированными в процессе, выполняемом на этапе S12, и изображением предсказания, выбранным при обработке на этапе S15. При выполнении межкадрового предсказания изображение предсказания подается от блока 35 предсказания/компенсации движения через блок 36 переключения изображения предсказания на блок 23 вычислений. Когда выполняется внутрикадровое предсказание, изображение предсказания подается от блока 34 внутрикадрового предсказания через блок 36 переключения изображения предсказания на блок 23 вычислений.

Объем данных для разностных данных уменьшается по сравнению с первоначальными данными изображения. Поэтому объем данных может сжиматься более сильно по сравнению со случаем, когда изображение кодируется как есть.

На этапе S17 блок 24 ортогонального преобразования выполняет ортогональное преобразование разностной информации, подаваемой от блока 23 вычислений. Более конкретно, выполняется ортогональное преобразование, такое как дискретное косинусное преобразование и преобразование Карунена-Лоэва и т.п., и выводятся коэффициенты преобразования.

На этапе S18 блок 25 кантования квантует коэффициенты преобразования. При этом квантовании скорость управляется, как объясняется для процесса этапа S28, описанного позже.

Как описано выше, квантованная разностная информация локально декодируется следующим образом. Более конкретно, на этапе S19 блок 28 инверсного квантования выполняет инверсное квантование коэффициента преобразования, квантованного блоком 25 квантования, в соответствии с характеристиками, соответствующими характеристикам блока 25 квантования. На этапе S20 блок 29 инверсного ортогонального преобразования выполняет инверсное ортогональное преобразование коэффициентов преобразования, инверсно квантованных блоком 28 инверсного квантования в соответствии с характеристиками, соответствующими характеристикам блока 24 ортогонального преобразования.

На этапе S21 блок 30 вычислений добавляет изображение предсказания, принятое через блок 36 переключения изображения предсказания, к локально декодированной разностной информации и формирует локально декодированное (то есть локально декодированное) изображение (изображение, соответствующее вводу на блок 23 вычислений).

На этапе S22 деблокирующий фильтр 31 выполняет процесс деблокирующей фильтрации изображения, которое выводится из блока 30 вычислений, удаляя, таким образом, блочное искажение. Отфильтрованное изображение, полученное деблокирующим фильтром 31, выводится на фильтр 41 адаптивного смещения выборки.

На этапе S23 фильтр 41 адаптивного смещения выборки выполняет процесс фильтрации адаптивного смещения выборки. При этом процессе тип фильтра смещения, который является общим для компонент Y, Cb, Cr, устанавливается для каждого LCU, который является максимальным блоком кодирования, и дополнительно, для каждого компонента устанавливается смещение. Дополнительно, используя их, процесс фильтрации применяется к изображению, отфильтрованному деблокирующим фильтром 31. Следует заметить, что подробности обработки фильтром адаптивного смещения выборки будут объяснены позже со ссылкой на фиг. 10.

Каждый фрагмент информации, полученный, когда тип информации, общий для компонент, и смещение для каждого компонента подаются на блок 26 кодирования без потерь (которые здесь далее все вместе будут упоминаться как параметры адаптивного смещения), кодируется на этапе S26, объясняемом позже.

На этапе S24 адаптивный контурный фильтр 42 применяет процесс адаптивной контурной фильтрации к изображению, отфильтрованному фильтром 41 адаптивного смещения выборки. Например, процесс фильтрации изображения, фильтруемого фильтром 41 адаптивного смещения выборки, применяется к каждому LCU изображения, используя коэффициенты фильтра, и результат процесса фильтрации подается в кадровую память 32.

Как описано выше, блоки обработки фильтра 41 адаптивного смещения выборки и адаптивный