Устройство для кодирования динамических изображений, устройство для декодирования динамических изображений, способ кодирования динамических изображений и способ декодирования динамических изображений

Устройство для кодирования динамических изображений, устройство для декодирования динамических изображений, способ кодирования динамических изображений и способ декодирования динамических изображений

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение имеет отношение к устройству для кодирования цифровых сигналов изображений, устройству для декодирования цифровых сигналов изображений, способу кодирования цифровых сигналов изображений и способу декодирования цифровых сигналов изображений, используемых для технологии кодирования и сжатия изображений или технологии передачи данных сжатых изображений.

Уровень техники

Система кодирования видеосигналов международного стандарта, такая как MPEG или ITU-T H.26x (например, стандарт "Information Technology Coding of Audio-Visual Objects Part 10: Advanced Video Coding", ISO/IEC 14496-10, 2003 (в дальнейшем называемый непатентным документом 1)), традиционно основывается на использовании стандартизированного формата входного сигнала, называемого форматом 4:2:0. Формат 4:2:0 является форматом, в котором цветовой сигнал динамического изображения в виде компонентов RGB или подобном виде преобразовывается в компонент яркости (Y) и два компонента цветности (Cb, Cr), и количество отсчетов компонента цветности уменьшается на половину от количества компонентов яркости как в горизонтальном, так и в вертикальном направлениях. Компонент цветности визуально различается меньше, чем компонент яркости. В соответствии с этим традиционная система кодирования видеосигнала международного стандарта была основана на предпосылке, что количество первоначальной информации, которая должна быть закодирована, сокращается посредством субдискретизации компонентов цветности перед выполнением кодирования, как упомянуто выше. При кодировании видеосигналов для деловых целей, таких как широковещание видео, может использоваться формат 4:2:2 с субдискретизацией компонентов Cb и Cr для уменьшения количества отсчетов компонентов на половину от количества отсчетов компонента яркости только в горизонтальном направлении. Таким образом, цветовое разрешение в вертикальном направлении становится равным яркости, таким образом, увеличивая цветовую воспроизводимость по сравнению с форматом 4:2:0. С другой стороны, недавний рост разрешения и количества оттенков видеоизображения сопровождался исследованиями системы для выполнения кодирования посредством поддержки количества отсчетов, равного количеству компонентов яркости, без субдискретизации компонентов цветности. Формат, в котором количества отсчетов компонентов яркости и цветности полностью равны, называют форматом 4:4:4. Традиционный формат 4:2:0 был ограничен определениями компонентов Y, Cb и Cr цветового пространства вследствие предпосылки субдискретизации компонентов цветности. Однако в случае формата 4:4:4, поскольку нет различия в соотношении количества отсчетов между цветовыми компонентами, могут непосредственно использоваться компоненты R, G и B в дополнение к компонентам Y, Cb и Cr, и может использоваться множество определений цветового пространства. Примером системы кодирования видеосигнала, нацеленной на формат 4:4:4, является публикация Woo-Shik Kim, Dae-Sung Cho и Hyun Mun Kim, "INTER-PLANE PREDICTION FOR RGB VIDEO CODING", ICIP 2004, October 2004 (в дальнейшем называемая непатентным документом 2).

В формате 4:2:0 кодирования AVC из непатентного документа 1 в области макроблока, составленного из компонентов яркости с размером 16×16 пикселей, соответствующие компоненты цветности являются блоками с размером 8×8 пикселей для обоих компонентов Cb и Cr. При предсказании с компенсацией движения в формате 4:2:0 мультиплексируются информация о размере блока, которая становится элементом предсказания с компенсацией движения только для компонентов яркости, информация опорного изображения, используемая для предсказания, и информации вектора движения каждого блока, и предсказание с компенсацией движения выполняется для компонентов цветности с помощью той же самой информации, как и для компонентов яркости. Формат 4:2:0 имеет такие характеристики в определении цветового пространства, что почти все элементы структурной информации об изображении интегрированы в компонент (текстуры) яркости, для компонента цветности видимость искажений ниже, чем для компонента яркости, и вклад в воспроизводимость видеосигнала является малым, и предсказание и кодирование в формате 4:2:0 основывается на таких характеристиках формата. С другой стороны, в случае формата 4:4:4 три цветовых компонента несут одинаковую информацию о текстуре. Система для выполнения предсказания с компенсацией движения на основе режима предсказания с интер-кодированием, информации опорного изображения и информации вектора движения, зависящих только от одного компонента, не обязательно является оптимальным способом в формате 4:4:4, где цветовые компоненты вносят равные вклады в представление структуры сигнала изображения. Таким образом, система кодирования, предназначенная для формата 4:2:0, выполняет обработку сигналов, отличающуюся от системы кодирования, предназначенной для формата 4:4:4, для выполнения оптимального кодирования, и определения элементов информации, мультиплексированных в закодированном битовом потоке, также являются другими. В результате, чтобы создать устройство для декодирования, способное декодировать сжатые видеоданные во множестве различных форматов, должна быть использована конструкция, в которой битовые потоки для сигналов форматов воспринимаются индивидуально, и, таким образом, конструкция устройства становится неэффективной.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Поэтому задача настоящего изобретения состоит в том, чтобы обеспечить способ формирования битового потока для обеспечения совместимости между битовым потоком, закодированным в пространстве Y, Cb и Cr, как в случае традиционного формата 4:2:0, и битовым потоком, не имеющий различия в соотношении количества отсчетов между цветовыми компонентами, как в случае формата 4:4:4, и полученным посредством сжатия видеосигнала, имеющего свободное определение цветового пространства, и способ декодирования.

Устройство для кодирования динамического изображения, которое принимает, сжимает и кодирует цифровой сигнал динамического изображения, содержит: первый блок определения режима предсказания с интра-кодированием для выполнения предсказания с интра-кодированием над компонентом сигнала, соответствующим компоненту яркости, в случае, когда формат цветности входного сигнала динамического изображения является форматом 4:2:0 или 4:2:2; второй блок определения режима предсказания с интра-кодированием для выполнения предсказания с интра-кодированием над компонентом сигнала, соответствующим компоненту цветности, в случае, когда формат цветности входного сигнала динамического изображения является форматом 4:2:0 или 4:2:2; блок кодирования с переменной длиной для кодирования с переменной длиной первого режима предсказания с интра-кодированием, определенного посредством первого блока определения режима предсказания с интра-кодированием, или второго режима предсказания с интра-кодированием, определенного посредством второго блока определения режима предсказания с интра-кодированием; первый блок формирования изображения предсказания с интра-кодированием для формирования первого изображения предсказания с интра-кодированием на основе первого режима предсказания с интра-кодированием; второй блок формирования изображения предсказания с интра-кодированием для формирования второго изображения предсказания с интра-кодированием на основе второго режима предсказания с интра-кодированием; и блок кодирования для выполнения преобразования и кодирования над сигналом ошибки предсказания, полученным как разность между первым изображением предсказания с интра-кодированием или вторым изображением предсказания с интра-кодированием и соответствующими сигналами цветовых компонентов, включенными во входной сигнал динамического изображения. На основе управляющего сигнала для обеспечения типа формата цветности входного сигнала динамического изображения в случае формата цветности 4:2:0 или 4:2:2 первый блок определения режима предсказания с интра-кодированием и первый блок формирования изображения предсказания с интра-кодированием применяются к компоненту яркости входного сигнала динамического изображения и второй блок определения режима предсказания с интра-кодированием и второй блок формирования изображения предсказания с интра-кодированием применяются к компоненту цветности входного сигнала динамического изображения. В случае формата цветности 4:4:4 первый блок определения режима предсказания с интра-кодированием и первый блок формирования изображения предсказания с интра-кодированием применяются ко всем цветовым компонентам входного сигнала динамического изображения для выполнения кодирования; и блок кодирования с переменной длиной мультиплексирует управляющий сигнал как данные кодирования, которые должны быть применены к элементу последовательности динамического изображения в битовом потоке.

Кодирование/декодирование могут быть совместно выполнены для множества различных форматов цветности, таких как форматы 4:2:0, 4:2:2 и 4:4:4, посредством эффективной конфигурации устройства, и может быть увеличена взаимная совместимость между закодированными видеоданными.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

На сопроводительных чертежах:

фиг.1 - пояснительная схема, показывающая соотношение между последовательностью, изображением, секцией и макроблоком;

фиг.2 - пояснительная схема, показывающая процесс общего кодирования;

фиг.3 - пояснительная схема, показывающая процесс независимого кодирования;

фиг.4 - блок-схема, показывающая конфигурацию устройства для кодирования в соответствии с первым вариантом воплощения настоящего изобретения;

фиг.5 - пояснительные схемы, показывающие режимы предсказания с интра-кодированием для размера N×N (N=4 или 8);

фиг.6 - пояснительные схемы, показывающие режимы предсказания с интра-кодированием для размера 16×16;

фиг.7 - пояснительные схемы, показывающие режимы предсказания с интра-кодированием для компонентов Cb/Cr в форматах 4:2:0/4:2:2;

фиг.8A-8H - пояснительные схемы, показывающие единичные элементы макроблоков;

фиг.9 - пояснительные схемы, показывающие процессы формирования предсказанного изображения с компенсацией движения для компонента Y в форматах 4:2:0/4:2:2 и для формата 4:4:4;

фиг.10 - пояснительная схема, показывающая процесс формирования предсказанного изображения с компенсацией движения для компонентов Cb/Cr в форматах 4:2:0/4:2:2;

фиг.11 - пояснительные схемы, показывающие процессы кодирования разности предсказания для компонента Y в форматах 4:2:0 и 4:2:2;

фиг.12 - пояснительные схемы, показывающие процессы кодирования разности предсказания для компонентов Cb/Cr в форматах 4:2:0 и 4:2:2;

фиг.13 - пояснительная схема, показывающая битовый поток;

фиг.14 - пояснительная схема, показывающая структуру секции;

фиг.15A и 15B - пояснительные схемы, показывающие секцию в формате 4:4:4, закодированную с помощью общего и независимого кодирования;

фиг.16 - блок-схема, показывающая конфигурацию устройства для декодирования в соответствии с первым вариантом воплощения настоящего изобретения;

фиг.17 - пояснительная схема, показывающая внутренний процесс уровня макроблока для блока декодирования с переменной длиной;

фиг.18 - пояснительная схема, показывающая переключение предсказания с интра-кодированием в соответствии с форматом цветности в компонентах Cb/Cr;

фиг.19 - пояснительная схема, показывающая переключение компенсации движения в соответствии с форматом цветности в компонентах Cb/Cr;

фиг.20 - пояснительная схема, показывающая процесс кодирования разности предсказания для компонента Y в форматах 4:2:0, 4:2:2 и для формата 4:4:4;

фиг.21A и 21B - пояснительные схемы, показывающие процессы кодирования разности предсказания для компонентов Cb/Cr в форматах 4:2:0 и 4:2:2;

фиг.22 - пояснительная схема, показывающая внутреннюю конфигурацию блока декодирования разности предсказания для компонентов C1 и C2; и

фиг.23 - пояснительные схемы, показывающие форматы.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Первый вариант воплощения

Первый вариант воплощения настоящего изобретения имеет отношение к устройству для кодирования, которое принимает один из видеосигналов в формате цветности 4:2:0 или 4:2:2, определенный в цветовом пространстве (Y, Cb и Cr), и видеосигнал в формате цветности 4:4:4, определенный в цветовом пространстве (R, G и B), (Y, Cb и Cr) или (X, Y и Z), для выполнения видеокодирования и выдает битовый поток, и к устройству для декодирования, которое принимает закодированный битовый поток, сформированный посредством устройства для кодирования, чтобы восстановить сигнал изображения. Ниже в описании три цветовых компонента будут в общем случае называться компонентами (C0, C1 и C2), и в случае форматов цветности 4:2:0 и 4:2:2 компоненты C0, C1 и C2 будут соответственно рассматриваться как компонент Y, компонент Cb и компонент Cr.

Как показано на фиг.1, устройство для кодирования первого варианта воплощения настоящего изобретения принимает видеосигнал, представленный как последовательные во времени данные экранной информации (в дальнейшем называемые изображением), определенные посредством элементов кадров или полей через последовательную дискретизацию. Элемент данных, включающий в себя выстроенные последовательно во времени изображения, называется последовательностью. Последовательность может быть разделена на некоторые группы изображений (GOP). Группа изображений (GOP) используются с целью обеспечения выполнения декодирования, начиная с произвольной начальной группы изображений (GOP), независимо от других групп изображений (GOP) и произвольного доступа к битовому потоку. Изображение также разделено на квадратные блоки, называемые макроблоками, и к нему применяются процессы предсказания, преобразования или квантования на уровне макроблоков, чтобы выполнить сжатие видеоизображения. Элемент, сформированный посредством объединения множества макроблоков, называется секцией. Секция представляет собой элемент данных, который будет закодирован или декодирован независимо от другой секции. Например, при обработке видеосигналов с разрешением, равным или большим разрешения телевидения высокой четкости (HDTV), в режиме реального времени разделение на секции выполняется для параллельного кодирования или декодирования разделенных секций, и, таким образом, сокращается время вычисления. Когда битовый поток передается через линию, имеющую высокий коэффициент ошибок, даже если некоторая секция разрушена под влиянием ошибки и декодированное изображение искажается, правильный процесс декодирования восстанавливается со следующей секции. В общем случае на границе секции не может использоваться предсказание с использованием зависимости сигнала со смежной секцией. Таким образом, по мере увеличения количества секций увеличивается гибкость параллельного процесса и устойчивость к ошибкам, в то время как производительность кодирования уменьшается.

Макроблок в случае каждого из форматов цветности 4:2:0, 4:2:2 или 4:4:4 определен как блок пикселей с размерами W=H=16, как показано на фиг.23. Чтобы выполнить сжатие видеосигнала через процесс предсказания, преобразования или квантования по макроблокам, закодированные данные макроблока, мультиплексированные в битовом потоке, главным образом содержат два типа информации. Один из них является типом вспомогательной информации, отличающейся от непосредственно видеосигнала, такой как режим предсказания, информация предсказания движения или параметр квантования, и эти элементы информации вместе называются заголовком макроблока. Другой из них является непосредственно информация видеосигнала. В соответствии с первым вариантом воплощения настоящего изобретения видеосигнал, который должен быть закодирован, представляет собой сжатые данные сигнала ошибки предсказания, полученные в результате выполнения предсказания, преобразования или квантования на основе информации заголовка макроблока и представленные в квантованном виде с коэффициентом преобразования. Таким образом, в дальнейшем видеосигнал будет называться данными коэффициентов квантования.

В дальнейшем процесс кодирования сигналов трех цветовых компонентов одного кадра или одного поля на основе общего заголовка макроблока будет называться "процессом общего кодирования", а процесс кодирования сигналов трех цветовых компонентов одного кадра или одного поля на основе индивидуальных независимых заголовков макроблока будет называться "процессом независимого кодирования". Аналогично процесс декодирования данных изображения из битового потока, полученного посредством кодирования сигналов трех цветовых компонентов одного кадра или одного поля на основе общего заголовка макроблока, будет называться "процессом общего декодирования", а процесс декодирования данных изображения из битового потока, полученного посредством кодирования сигналов трех цветовых компонентов одного кадра или одного поля на основе индивидуальных независимых заголовков макроблока, будет называться "процессом независимого декодирования". Устройство для кодирования первого варианта воплощения настоящего изобретения выполнено с возможностью кодировать сигнал цветности 4:4:4 через процесс, выбранный из процесса общего кодирования и процесса независимого кодирования. В процессе общего кодирования три цветовых компонента одного кадра или одного поля вместе определяются как одно изображение, и изображение разделяется на макроблоки, которые объединяют три цветовых компонента (фиг.2). На фиг.2 и в описании ниже три цветовых компонента будут называться компонентами C0, C1 и C2. С другой стороны, в процессе независимого кодирования входной видеосигнал одного кадра или одного поля разделяется на три цветовых компонента, каждый определяется как изображение, и каждое изображение разделяется на макроблоки, содержащие цветовые компоненты сигнала (фиг.3). Другими словами, макроблок, который должен быть подвергнут процессу общего кодирования, содержит отсчет (пиксель) с тремя цветовыми компонентами C0, C1 и C2, в то время как макроблок, который должен быть подвергнут процессу независимого кодирования, содержит отсчет (пиксель) только с одним из компонентов C0, C1 и C2. В соответствии с устройством для кодирования первого варианта воплощения настоящего изобретения определение макроблока на фиг.2 всегда используется для форматов цветности 4:2:0 и 4:2:2, и используется процесс кодирования, эквивалентный "процессу общего кодирования" или "процессу общего декодирования".

Устройство для кодирования

Фиг.4 показывает конфигурацию устройства для кодирования в соответствии с первым вариантом воплощения настоящего изобретения. В дальнейшем информация для назначения формата цветности входного видеосигнала, который должен быть закодирован, будет называться информацией 1 идентификации формата цветности, и информация идентификации, указывающая, какое кодирование выполнено - через процесс общего кодирования или через процесс независимого кодирования - будет называться информацией 2 идентификации общего кодирования/независимого кодирования.

Входной видеосигнал 3 сначала разделяется на данные макроблоков, показанные на фиг.2 или 3, на основе информации 1 идентификации формата цветности и информации 2 идентификации общего кодирования/независимого кодирования. В соответствии с информацией 4 указания только интра-кодирования процесс предсказания с интра-кодированием (блок 5 определения режима предсказания с интра-кодированием для компонента C0, блок 6 определения режима предсказания с интра-кодированием для компонентов C1/C2, блок 7 формирования изображения предсказания с интра-кодированием для компонента C0 и блок 8 формирования изображения предсказания с интра-кодированием для компонентов C1/C2) и процесс предсказания с компенсацией движения (блок 9 обнаружения движения для компонента C0, блок 10 обнаружения движения для компонентов C1/C2 10, блок 11 компенсации движения для компонента C0 и блок 12 компенсации движения для компонентов C1/C2) выполняются, чтобы выбрать наиболее эффективный для кодирования макроблока режим предсказания (блок 14 выбора режима кодирования), разность предсказания преобразовывается или квантуется (блок 18 кодирования разности предсказания для компонента C0, блок 19 кодирования разности предсказания для компонента C1 и блок 20 кодирования разности предсказания для компонента C2) и вспомогательная информация, такая как режим предсказания или информация о движении, и квантованный коэффициент преобразования кодируются с переменной длиной для формирования битового потока 30 (блок 27 кодирования с переменной длиной). Квантованный коэффициент преобразования локально декодируется (блок 24 локального декодирования для компонента C0, блок 25 локального декодирования для компонента C1 и блок 26 локального декодирования для компонента C2), и предсказанное изображение, полученное на основе вспомогательной информации, и данные опорного изображения суммируются для получения локального декодированного изображения. В случае необходимости выполняется фильтрация устранения блочности (блок 28 фильтра устранения блочности) для подавления искажения на границах блоков, сопровождающего квантование, и затем локальное декодированное изображение сохраняется в памяти 13 кадров и/или памяти 12 строк для использования в последующих процессах предсказания. Когда информация 4 указания только интра-кодирования указывает "выполнение только интра-кодирования", будет выполняться только процесс предсказания с интра-кодированием без выполнения процесса предсказания с компенсацией движения.

Далее будут подробно описаны признаки первого варианта воплощения настоящего изобретения, то есть процесс предсказания с интра-кодированием, процесс предсказания с компенсацией движения, процесс кодирования разности предсказания и процесс кодирования с переменной длиной (и полученная в результате конфигурация битового потока), которые выполняют переключение процессов на основе информации 1 идентификации формата цветности, информации 2 идентификации общего кодирования/независимого кодирования, информации 4 указания только интра-кодирования и т.п.

(1) Процесс предсказания с интра-кодированием

Процесс предсказания с интра-кодированием выполняется посредством блока 5 определения режима предсказания с интра-кодированием для компонента C0, блока 6 определения режима предсказания с интра-кодированием для компонентов C1/C2, блока 7 формирования изображения предсказания с интра-кодированием для компонента C0 и блока 8 формирования изображения предсказания с интра-кодированием для компонентов C1/C2, показанных на фиг.4.

В случае форматов цветности 4:2:0 и 4:2:2 для сигнала компонента Y режим 100 предсказания с интра-кодированием для компонента C0 определяется посредством блока 5 определения режима предсказания с интра-кодированием для компонента C0. В этом случае имеется три выбираемых типа режимов: режим предсказания с интра-кодированием с размером 4×4, режим предсказания с интра-кодированием с размером 8×8 и режим предсказания с интра-кодированием с размером 16×16. Для режима предсказания с интра-кодированием с размером 4×4 и режима предсказания с интра-кодированием с размером 8×8 макроблок разделяется на блоки с размером 4×4 пикселей или 8×8 пикселей, и пространственное предсказание с использованием близкого опорного пикселя выполняется для каждого блока, как показано на фиг.5. У этого способа предсказания имеется девять вариантов. Информация о том, какой из этих девяти способов использовался для выполнения предсказания, кодируется как один элемент вспомогательной информации в виде режима предсказания с интра-кодированием. Пиксели, заключенные в прямоугольник с размером 4×4 на фиг.5, являются пикселями, которые должны быть предсказаны, и пиксель, выделенный наклонной штриховкой, является опорным пикселем для формирования предсказанного изображения. Стрелка указывает направление, в котором опорный пиксель воздействует на предсказанное значение. В режиме 2 среднее значение опорных пикселей является предсказанным значением. Фиг.5 показывает пример блока с размером 4×4. Для блока с размером 8×8 пикселей определен аналогичный режим. Через пространственное предсказание, имеющее показанную выше направленность, может быть выполнено эффективное предсказание для структурной информации изображения, такого как контур предмета или шаблон текстуры.

Режим предсказания с интра-кодированием с размером 16×16 используется как режим выполнения предсказания с интра-кодированием для блоков с размером 16×16 без подразделения макроблоков (фиг.6). В этом случае могут быть выбраны четыре типа способов пространственного предсказания, показанные на фиг.6. Этот режим эффективен как режим с увеличением эффектов предсказания посредством малого количества вспомогательной информации для участка изображения, где изображение является однородным.

Для компонентов Cb и Cr посредством блока 6 определения режима предсказания с интра-кодированием для компонентов C1/C2 определяется режим 101 предсказания с интра-кодированием для компонентов C1/C2, отличающийся от компонента Y. (Режимы, соответствующие компонентам C1 и C2, являются режимами 101a и 101b соответственно. Следует отметить, что режимы 101a и 101b всегда равны по значению в случае форматов 4:2:0 и 4:2:2 и один из режимов 101a и 101b мультиплексируется в битовом потоке. Декодер устанавливает декодированные значения как режимы 101a и 101b.) Фиг.7 показывает режимы предсказания с интра-кодированием для компонентов Cb и Cr, которые могут быть выбраны в случае форматов цветности 4:2:0 и 4:2:2. Фиг.7 показывают случай формата 4:2:0, и те же самые режимы используются для формата 4:2:2. Из этих четырех режимов только для режима 0 эквивалентный участок макроблока для компонентов Cb и Cr (блок с размером 8Ч8 пикселей в случае формата 4:2:0 и блок с размером 8×16 пикселей в случае формата 4:2:2) разделяется на блоки с размером 4×4, и предсказывается среднее значение от сторон для блоков с размером 4×4. Например, для блока с размером 4×4 в верхней левой части усредняются все 8 пикселей участков "a" и "x" или усредняются 4 пикселя участков "a" или "x", и одно из этих средних значений используется в качестве предсказанного значения. Для режимов 1, 2 и 3, как в случае, показанном на фиг.5 и 6, выполняется пространственное предсказание, имеющее направленность. В случае форматов цветности 4:2:0 и 4:2:2 элементы структурной информации, такие как текстура изображения, интегрируются в компонент Y, в то время как для компонентов Cb и Cr, которые являются сигналами компонента цветности, не сохраняется никакая структурная информация изображения. В соответствии с этим эффективное предсказание выполняется посредством описанного выше простого режима предсказания.

В случае формата цветности 4:4:4 компоненты C0, C1 и C2 не установлены как компоненты Y, Cb или Cr, а информация о структуре изображения, эквивалентная компоненту Y, содержится в каждом цветовом компоненте в цветовом пространстве R, G, B. Таким образом, удовлетворительная эффективность предсказания не может быть получена посредством предсказания для компонентов Cb и Cr. Таким образом, в соответствии с устройством для кодирования первого варианта воплощения настоящего изобретения в случае формата цветности 4:4:4 для компонентов C0, C1 и C2 режим предсказания с интра-кодированием выбирается посредством процесса, эквивалентного блоку 5 выбора режима предсказания с интра-кодированием для компонента C0. Более определенно, если информация 2 идентификации общего кодирования/независимого кодирования указывает "процесс общего кодирования", компоненты C0, C1 и C2 предсказываются только в одном общем режиме предсказания с интра-кодированием. С другой стороны, если информация идентификации общего кодирования/независимого кодирования указывает "процесс независимого кодирования", компоненты C0, C1 и C2 предсказываются в индивидуально полученных режимах предсказания с интра-кодированием. Другими словами, если формат цветности является форматом 4:4:4, и информация 2 идентификации общего кодирования/независимого кодирования указывает "процесс общего кодирования", все компоненты C0, C1 и C2 подвергаются предсказанию с интра-кодированием в режиме 100 предсказания с интра-кодированием для компонента C0. Если формат цветности является форматом 4:4:4 и информация 2 идентификации общего кодирования/независимого кодирования указывает "процесс независимого кодирования", компоненты C1 и C2 подвергаются предсказанию с интра-кодированием в режимах 101a и 101b предсказания с интра-кодированием для компонентов C1 и C2, полученных независимо от компонента C0 из режима предсказания с интра-кодированием, соответствующего компоненту C0, показанного на фиг.5 или 6.

В соответствии с конфигурацией устройства для кодирования, показанного на фиг.4, если формат цветности является форматом 4:4:4, и информация 2 идентификации общего кодирования/независимого кодирования указывает "процесс общего кодирования", режим предсказания определяется для компонента C0 посредством блока 5 определения режима предсказания с интра-кодированием для компонента C0, и режим предсказания для компонента C0 используется напрямую или в комбинации с блоком 6 определения режима предсказания с интра-кодированием для компонентов C1/C2 для определения только одного режима предсказания с интра-кодированием, оптимального для всех компонентов C0, C1 и C2. Если формат цветности является форматом 4:4:4 и информация 2 идентификации общего кодирования/независимого кодирования указывает "процесс независимого кодирования", режим предсказания определяется для компонента C0 посредством блока 5 определения режима предсказания с интра-кодированием для компонента C0, и оптимальные режимы предсказания с интра-кодированием определяются индивидуально для компонентов C1 и C2 посредством блока 6 определения режима предсказания с интра-кодированием для компонентов C1/C2.

Во всех процессах режима предсказания с интра-кодированием значение периферийного пикселя, который становится опорным пикселем, должно являться локальным декодированным изображением, не подвергнутым фильтрации устранения блочности. Таким образом, значение пикселя перед процессом фильтрации устранения блочности, полученное посредством суммирования сигнала 17b локально декодированной разности предсказания, который является выходной информацией блока 24 локального декодирования для компонента C0, блока 25 локального декодирования для компонента C1 и блока 26 локального декодирования для компонента C2, и предсказанного изображения 34, сохраняется в памяти 29 строк для использования для предсказания с интра-кодированием.

На основе режимов предсказания с интра-кодированием соответствующих цветовых компонентов, определенных через упомянутый выше процесс, предсказанные изображения формируются посредством блока 7 формирования изображения предсказания с интра-кодированием для компонента C0 и блока 8 формирования изображения предсказания с интра-кодированием для компонентов C1/C2. Для блока 7 формирования изображения предсказания с интра-кодированием для компонента C0 и блока 8 формирования изображения предсказания с интра-кодированием для компонентов C1/C2 используются общие с устройством для декодирования элементы, и, таким образом, подробное описание работы будет дано при описании устройства для декодирования.

(2) Процесс предсказания с компенсацией движения

Процесс предсказания с компенсацией движения выполняется посредством блока 9 обнаружения движения для компонента C0, блока 10 обнаружения движения для компонентов C1/C2, блока 11 компенсации движения для компонента C0 и блока 12 компенсации движения для компонентов C1/C2, показанных на фиг.4.

В случае форматов цветности 4:2:0 и 4:2:2 для сигнала компонента Y информация о движении определяется посредством блока 9 обнаружения движения для компонента C0. Информация о движении содержит индекс опорного изображения для указания, какое опорное изображение из данных опорных изображений, сохраненных в памяти 13 кадров, используется для предсказания, и вектор движения, применяемый к опорному изображению, обозначенному посредством индекса опорного изображения.

В блоке 9 обнаружения движения для компонента C0 опорное изображение выбирается из данных опорных изображений предсказания с компенсацией движения, сохраненных в памяти 13 кадров, для выполнения процесса предсказания с компенсацией движения по элементам макроблоков для компонента Y. В памяти 13 кадров сохраняется множество данных опорных изображений для непосредственно предшествующего времени или для множества прошедших/будущих моментов времени, и оптимальное опорное изображение выбирается среди этих данных по элементам макроблоков для выполнения предсказания движения. Имеется семь подготовленных типов размеров блока, которые становятся единичными элементами, для фактического выполнения предсказания с компенсацией движения. Во-первых, как показано на фиг.8A-8D, для макроблоков выбираются любые из размеров 16×16, 16×8, 8×16 и 8×8. Далее, когда выбран размер 8×8, для каждого блока с размером 8×8, как показано на фиг.8E-8H, выбирается любой из размеров 8×8, 8×4, 4×8 и 4×4. Для всех или некоторых размеров блока/размеров подблока на фиг.8A-8H, для вектора движения в пределах предопределенного диапазона поиска и для одного или более пригодных для использования опорных изображений выполняется процесс предсказания с компенсацией движения для каждого макроблока, чтобы получить информацию 102 о движении (вектор движения и индекс опорного изображения) для компонента Y. Для компонентов Cb и Cr используются тот же самый индекс опорного изображения, как и для компонента Y, и вектор движения для компонента Y, чтобы получить информацию 103 о движении для компонентов Cb/Cr (в частности, информация соответствует соотношению количества отсчетов для компонента Y и компонентов Cb и Cr и получается посредством масштабирования вектора движения компонента Y). Этот процесс выполняется посредством блока 10 обнаружения движения для компонентов C1/C2.

Следует отметить, что способы формирования подходящих претендентов для изображений предсказания с компенсацией движения, которые должны быть оценены посредством блока обнаружения движения, и предсказанных изображений, которые должны быть сформированы посредством блока компенсации движения, отличаются для компонента Y и компонентов Cb и Cr в следующем.

Для компонента Y создается не только пиксель (целочисленный пиксель) для позиции, фактически введенной в устройство для кодирования, но также и виртуальные пиксели для позиции 1/2 пикселя, которая является средней точкой между целочисленными пикселями, и пиксели для позиции 1/4 пикселя, которая является средней точкой между 1/2 пикселями, через процесс интерполяции для использования для формирования предсказанных изображений. Эта ситуация показана на фиг.9. На фиг.9, чтобы получить значение пикселя для позиции 1/2 пикселя, используются данные окружающих его 6 пикселей для выполнения фильтрации интерполяции, и, таким образом, получается значение пикселя. Чтобы получить значение пикселя для позиции 1/4 пикселя, используются 2 окружающих его пикселя для выполнения линейной интерполяции через процесс усреднения, и, таким образом, получается значение пикселя. Вектор движения представлен с использованием точности до 1/4 пикселя. С другой стороны, при формировании предсказанного изображения для компонентов Cb и Cr, как показано на фиг.10, значение пикселя для позиции пикселя, обозначенной вектором движения, полученным в результате масштабирования соответствующего вектора движения компонента Y, вычисляется из значений целочисленных пикселей его 4 соседей через процесс взвешенной линейной интерполяции в соответствии с расстоянием между пикселями.

В случае формата 4:4:4 информация о структуре изображения, эквивалентная компоненту Y, содержится в каждом цветовом компоненте в цветовом пространстве R, G, B, в то время как компоненты C0, C1 и C2 не установлены как компоненты Y, Cb или Cr. Таким образом, удовлетворительная эффективность предсказания не может быть получена посредством формирования предсказанного изображения для компонентов Cb и Cr. Таким образом