Устройство для кодирования изображений, устройство для декодирования изображений, способ кодирования изображений и способ декодирования изображений

Устройство для кодирования изображений, устройство для декодирования изображений, способ кодирования изображений и способ декодирования изображений

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение имеет отношение к устройству для кодирования цифровых сигналов изображений, устройству для декодирования цифровых сигналов изображений, способу кодирования цифровых сигналов изображений и способу декодирования цифровых сигналов изображений, используемым для технологии кодирования и сжатия изображений или технологии передачи данных сжатых изображений.

Уровень техники

Система кодирования видеосигналов международного стандарта, такая как MPEG или ITU-T Н.26х (например, стандарт "Information Technology Coding of Audio-Visual Objects Part 10: Advanced Video Coding", ISO/IEC 14496-10, 2003 (в дальнейшем называемый непатентным документом 1)), традиционно основывается на использовании стандартизированного формата входного сигнала, называемого форматом 4:2:0. Формат 4:2:0 является форматом, в котором цветовой сигнал динамического изображения в виде компонентов RGB или подобном виде преобразовывается в компонент яркости (Y) и два компонента цветности (Сb, Сr), и количество отсчетов компонента цветности уменьшается на половину от количества компонентов яркости как в горизонтальном, так и в вертикальном направлениях. Компонент цветности визуально различается меньше, чем компонент яркости. В соответствии с этим традиционная система кодирования видеосигнала международного стандарта была основана на предпосылке, что количество первоначальной информации, которая должна быть закодирована, сокращается посредством субдискретизации компонентов цветности перед выполнением кодирования, как упомянуто выше. С другой стороны, недавний рост разрешения и количества оттенков видеоизображения сопровождался исследованиями системы для выполнения кодирования посредством поддержки количества отсчетов, равного количеству компонентов яркости, без субдискретизации компонентов цветности. Формат, в котором количества отсчетов компонентов яркости и цветности полностью равны, называют форматом 4:4:4. Традиционный формат 4:2:0 был ограничен определениями компонентов Y, Сb и Сr цветового пространства вследствие предпосылки субдискретизации компонентов цветности. Однако в случае формата 4:4:4, поскольку нет различия в соотношении количества отсчетов между цветовыми компонентами, могут непосредственно использоваться компоненты R, G и В в дополнение к компонентам Y, Сb и Сr и может использоваться множество определений цветового пространства. Примером системы кодирования видеосигнала, нацеленной на формат 4:4:4, является публикация Woo-Shik Kim, Dae-Sung Cho и Hyun Mun Kim, "INTER -PLANE PREDICTION FOR RGB VIDEO CODING", ICIP 2004, October 2004 (в дальнейшем называемая непатентным документом 2). Непатентный документ 2 предлагает подход сокращения размера данных, которые должны быть закодированы, посредством предсказания между различными цветовыми компонентами с использованием корреляции, остающейся между цветовыми компонентами. Однако степень корреляции между цветовыми компонентами различается в зависимости от типов содержания видеосигнала и цветовых пространств, и предсказание может произвести неблагоприятное влияние в контексте эффективности кодирования. Кроме того, требуется обработка сигналов по множеству цветовых компонентов, таким образом, возникает проблема в том, что ухудшается эффективность параллельной обработки, например, при выполнении в реальном времени обработки видеосигналов, имеющих чрезвычайно высокое разрешение, как у изображения цифрового кинофильма (имеющего разрешение 4000×2000 пикселей).

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

В формате 4:2:0 усовершенствованного кодирования видеосигналов (далее называемого кодированием AVC) стандарта MPEG-4 из непатентного документа 1 в области макроблока, составленной из компонентов яркости с размером 16×16 пикселей, соответствующие компоненты цветности являются блоками с размером 8х8 пикселей для обоих компонентов Сb и Сr. При предсказании с компенсацией движения формата 4:2:0 мультиплексируются информация о размере блока, которая становится элементом предсказания с компенсацией движения только для компонентов яркости, информация опорного изображения, используемая для предсказания, и информации вектора движения каждого блока, и предсказание с компенсацией движения выполняется для компонентов цветности с помощью той же самой информации, как и для компонентов яркости. Формат 4:2:0 имеет такие характеристики в определении цветового пространства, что почти все элементы информации о структуре (информации о текстуре) изображения интегрированы в компонент яркости, для компонента цветности видимость искажений ниже, чем для компонента яркости, и вклад в воспроизводимость видеосигнала является малым, и предсказание и кодирование в формате 4:2:0 основывается на таких характеристиках. Однако в случае формата 4:4:4 три цветовых компонента несут одинаковую информацию о текстуре. Система для выполнения предсказания с компенсацией движения в режиме предсказания с интеркодированием, зависящего только от одного компонента и основанного на информации опорного изображения и информации вектора движения, необязательно является оптимальным способом в формате 4:4:4, где цветовые компоненты вносят равные вклады в представление структуры сигнала изображения.

Как описано выше в связи с предшествующим уровнем техники, задача настоящего изобретения состоит в обеспечении устройства для кодирования, устройства для декодирования, способа кодирования и способа декодирования, которые увеличивают оптимальность в случае, когда закодированные сигналы динамического изображения не имеют различия в соотношении количества отсчетов между цветовыми компонентами, как в случае формата 4:4:4.

В соответствии с настоящим изобретением в случае проведения кодирования со сжатием посредством ввода цифровых сигналов динамического изображения в формате 4:4:4 подготовлены первый процесс кодирования трех сигналов цветовых компонентов входных сигналов динамического изображения в режиме общего кодирования и второй процесс кодирования трех сигналов цветовых компонентов входных сигналов динамического изображения в соответствующих режимах независимого кодирования. Процесс кодирования выполняется посредством выбора любого процесса из первого процесса кодирования и второго процесса кодирования, и данные сжатия содержат идентифицирующий сигнал для указания, какой процесс выбран.

Кроме того, в случае декодирования данных сжатия цифровых сигналов динамического изображения в формате 4:4:4 подготовлены первый процесс декодирования трех сигналов цветовых компонентов в режиме общего кодирования и второй процесс декодирования трех сигналов цветовых компонентов в соответствующих режимах независимого кодирования. Процесс декодирования выполняется посредством декодирования идентифицирующего сигнала, указывающего, закодированы ли три сигнала цветовых компонентов из данных сжатия в режиме общего кодирования или в соответствующих режимах независимого кодирования, и использования любого процесса из первого процесса декодирования и второго процесса декодирования в соответствии с идентифицирующим сигналом.

В соответствии с настоящим изобретением в случае выполнения кодирования, которое использует несколько цветовых пространств, не ограничиваясь фиксированными цветовыми пространствами с компонентами Y, Сb, Сr и т.д., возможно гибко выбирать информацию режима предсказания с интеркодированием, которая будет использоваться для соответствующих цветовых компонентов, и проводить оптимальный процесс кодирования даже в случае, когда имеются разнообразные определения цветовых пространств.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

В сопроводительных чертежах:

Фиг.1 - пояснительная схема, показывающая иерархическую структуру видеосигналов, состоящих из последовательности, группы изображений (GOP), изображения, секции и макроблока;

Фиг.2 - пояснительная схема, показывающая структуру закодированных данных макроблока;

Фиг.3 - пояснительная схема, показывающая три цветовых компонента, формирующих структуру макроблока в случае "процесса общего кодирования";

Фиг.4 - пояснительная схема, показывающая три цветовых компонента, формирующих структуру макроблока в случае "процесса независимого кодирования";

Фиг.5 - пояснительная схема, показывающая отношение ссылки для направленного во времени предсказания движения между изображениями при "общем кодировании" и "независимом кодировании";

Фиг.6 - пояснительная схема, показывающая иллюстративную структуру битового потока в соответствии с первым вариантом воплощения настоящего изобретения;

Фиг.7 - пояснительная схема, показывающая иллюстративную структуру битового потока данных секции в соответствии с первым вариантом воплощения настоящего изобретения;

Фиг.8 - схематическая структурная диаграмма устройства для кодирования в соответствии с первым вариантом воплощения настоящего изобретения;

Фиг.9 - диаграмма внутренней конфигурации первого блока 5 кодирования изображения;

Фиг.10(а)-10(h) - пояснительные схемы, показывающие семь типов размеров блока, с каждым из которых проводится предсказание с компенсацией движения;

Фиг.11 - внутренняя структурная диаграмма второго блока 7 кодирования изображения;

Фиг.12 - схематическая структурная диаграмма устройства для декодирования в соответствии с первым вариантом воплощения настоящего изобретения;

Фиг.13 - внутренняя структурная диаграмма первого блока 302 декодирования изображения;

Фиг.14 - внутренняя структурная диаграмма второго блока 304 декодирования изображения; и

Фиг.15 - пояснительная схема, показывающая пример того, как распределены данные изображения для трех цветовых компонентов.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Первый вариант воплощения изобретения

Первый вариант воплощения будет иллюстрировать устройство для кодирования, которое эффективно кодирует видеосигналы в формате 4:4:4, не ограниченном заданным цветовым пространством, и устройство для декодирования, которое принимает закодированные битовые потоки, сформированные устройством для кодирования, и декодирует сигналы изображения. Устройство для кодирования в первом варианте воплощения принимает видеосигналы, содержащие три цветовых компонента, такие как RGB, XYZ и YCbCr, и выдает битовые потоки, проводя кодирование со сжатием. Как проиллюстрировано на фиг.1, входные видеосигналы представлены как данные временного ряда экранной информации (в дальнейшем называемой изображением), определенные для каждого кадра или для каждого поля через дискретизацию по времени. Элемент данных, на котором изображения упорядочены во временном ряду, называется последовательностью. Последовательность может быть разделена на некоторые группы изображений (GOP). Группы изображений (GOP) используются для таких целей, как обеспечение выполнения декодирования, начиная с произвольной начальной группы изображений (GOP), независимо от других групп изображений (GOP) и обеспечение произвольного доступа к битовому потоку. Изображение дополнительно разделено на квадратные блоки, называемые макроблоками, и сжатие видеосигнала выполняется на уровне макроблоков с применением процесса предсказания/преобразования/квантования.

Кроме того, элемент, в который объединено множество макроблоков, называется секцией. Секция представляет собой элемент данных, над которым могут быть независимо выполнены кодирование и декодирование в каждой секции. Например, при обработке видеосигналов с разрешением, равным или большим разрешения телевидения высокой четкости (HDTV), в режиме реального времени одно изображение нарезается на множество секций, период времени вычисления уменьшается посредством параллельного кодирования/декодирования соответствующих секций, и битовые потоки передаются через линию, имеющую высокий коэффициент ошибок. В этом случае секция используется с той целью, что, если декодированное изображение искажено из-за разрушения секции, затронутой ошибкой, корректный процесс декодирования восстанавливается со следующей секции. В общем случае предсказание с использованием зависимости сигнала от соседней секции не может быть применено на границе между секциями, и следовательно производительность кодирования снижается вместе с увеличением количества секций. Однако существует такая характеристика, как гибкость параллельной обработки, и способность к восстановлению после ошибок увеличивается.

Сжатие видеосигнала выполняется посредством применения процесса предсказания/преобразования/квантования на уровне макроблоков, и поэтому закодированные данные макроблока, мультиплексированные в битовом потоке, состоят, грубо говоря, из двух типов информации. Один тип информации представляет собой категорию, называемую вспомогательной информацией, отличающейся от самого видеосигнала, например, параметры для режима предсказания, информация предсказания движения и квантования, и эта категория информации в общем случае называется заголовком макроблока. Другой тип информации представляет собой информацию самого видеосигнала. В соответствии с первым вариантом воплощения настоящего изобретения видеосигнал, который должен быть закодирован, представляет собой сжатые данные сигнала с ошибкой предсказания, полученного в результате проведения предсказания/преобразования/квантования на основе информации заголовка макроблока. Видеосигнал представлен в формате квантования с коэффициентом преобразования, и поэтому в дальнейшем будет называться данными, закодированными с помощью коэффициента. Фиг.2 иллюстрирует, как расположены элементы закодированных данных макроблока в первом варианте воплощения изобретения. На фиг.2 заголовок макроблока содержит все элементы вспомогательной информации, предшествующие данным, закодированным с помощью коэффициента, такие как информация режима кодирования/предсказания о типе макроблока/типе субмакроблока/режиме предсказания с интракодированием и т.д., информация предсказания движения о номере, идентифицирующем опорное изображение/векторе перемещения и т.д., параметр квантования относительно коэффициента преобразования и флаг, определяющий наличие/отсутствие применимого коэффициента преобразования, для каждого блока с размером 8х8.

Первый вариант воплощения настоящего изобретения проиллюстрирует: устройство для кодирования, которое кодирует три цветовых компонента выборочно на основе общего заголовка макроблока или на основе независимого заголовка макроблока в соответствии с каждым цветовым компонентом; и устройство для декодирования, которое выполняет процесс декодирования видеосигнала посредством приема битовых потоков, полученных на выходе устройства для кодирования, и определения на основе идентифицирующей информации, извлеченной из битового потока посредством декодирования битового потока, были ли три цветовых компонента закодированы на основе общего заголовка макроблока или на основе независимого заголовка макроблока для каждого цветового компонента. Первый вариант воплощения настоящего изобретения, в частности, проиллюстрирует со ссылкой на некоторые чертежи конфигурации и работу устройства для кодирования и устройства для декодирования, которые выполняют кодирование и декодирование, переключаясь на уровне последовательности между операцией кодирования и декодирования сигналов с тремя цветовыми компонентами на основе общего заголовка макроблока и операцией кодирования и декодирования этих цветовых сигналов на основе независимого заголовка макроблока, соответствующего каждому цветовому компоненту. Таким образом, созданы устройство для кодирования и устройство для декодирования, позволяющие кодировать цветовые компоненты посредством выбора либо случая кодирования цветовых компонентов в соответствии с цветовым пространством, в котором определены входные видеосигналы, и в соответствии со статистической характеристикой видеосигналов с помощью общих параметров предсказания, либо случая кодирования цветовых компонентов с помощью независимых параметров предсказания. Поэтому возможно оптимально кодировать видеосигналы в формате 4:4:4.

В дальнейшем процесс кодирования сигналов трех цветовых компонентов одного кадра или одного поля посредством общего заголовка макроблока называется "процессом общего кодирования", а процесс кодирования сигналов трех цветовых компонентов одного кадра или одного поля посредством индивидуального независимого заголовка макроблока называется "процессом независимого кодирования". Аналогично процесс декодирования данных изображения из битовых потоков, в которые сигналы трех цветовых компонентов одного кадра или одного поля закодированы посредством общего заголовка макроблока, называется "процессом общего декодирования", а процесс декодирования данных изображения из битовых потоков, в которые сигналы трех цветовых компонентов одного кадра или одного поля закодированы посредством индивидуального независимого заголовка макроблока, называется "процессом независимого декодирования". В процессе общего кодирования три цветовых компонента одного кадра или одного поля - все вместе определены как одно изображение и разделены на макроблоки, каждый из которых состоит из объединения трех цветовых компонентов (фиг.3). На фиг.3 и в последующем описании эти три цветовых компонента называются компонентами С0, С1 и С2. С другой стороны, в процессе независимого кодирования входные видеосигналы одного кадра или одного поля разделены на три цветовых компонента, каждый из которых определен как изображение, и каждое изображение разделено на макроблоки, состоящие из одного цветового компонента (фиг.4). Другими словами, макроблок как цель процесса общего кодирования содержит отсчеты (пиксели) трех цветовых компонентов С0, С1 и С2, но макроблок как цель процесса независимого кодирования содержит только отсчеты (пиксели) любого одного компонента С0, С1 и С2.

Фиг.5 иллюстрирует отношение ссылки для предсказания движения во временном направлении между изображениями в устройстве для кодирования/устройстве для декодирования в соответствии с первым вариантом воплощения настоящего изобретения. В этом примере элемент данных, обозначенный толстой вертикальной линией, представляет собой изображение, и отношение между изображением и элементом доступа обозначено пунктиром. В случае процесса общего кодирования/декодирования, как описано выше, одно изображение является данными, представляющими собой видеосигналы, состоящие из объединений трех цветовых компонентов. В случае процесса независимого кодирования/декодирования одно изображение представляет собой видеосигналы, состоящие из любого одного цветового компонента. Элемент доступа представляет собой минимальный элемент данных для обеспечения временной метки, предназначенной, например, для синхронизации видеосигналов со звуковой информацией и т.д. В случае процесса общего кодирования/декодирования один элемент доступа содержит данные для одного изображения. С другой стороны, в случае процесса независимого кодирования/декодирования один элемент доступа содержит три изображения. Причина этого в том, что в случае процесса независимого кодирования/декодирования видеосигналы обновления для одного кадра не будут получены, пока не станут доступны изображения всех трех цветовых компонентов для одного и того же времени отображения. Следует обратить внимание, что числа сверху соответствующих изображений указывают направленную во времени последовательность процесса кодирования/декодирования (соответствуют frame_num в кодировании AVC) изображений. На фиг.5 стрелка между изображениями указывает направление ссылки для предсказания движения. Говоря точнее, в случае процесса независимого кодирования/декодирования ссылка для предсказания движения между изображениями, содержащимися в одном и том же элементе доступа, и ссылка для предсказания движения между разными цветовыми компонентами не выполняются, но процессы кодирования/декодирования исполняются при выполнении ссылки для предсказания с ограничением изображений для цветовых компонентов С0, С1 и С2 сигналами того же самого одного цветового компонента. При такой структуре в случае процесса независимого кодирования/декодирования в соответствии с первым вариантом воплощения настоящего изобретения каждый цветовой компонент может быть закодирован и декодирован совершенно независимо от процесса кодирования/декодирования других цветовых компонентов, тем самым способствуя параллельной обработке.

Информация идентификации, указывающая на то, выполняется ли кодирование на основе процесса общего кодирования или кодирование на основе независимого процесса кодирования, в дальнейшем называется сигналом 1 идентификации общего кодирования/независимого кодирования.

Фиг.6 показывает один пример структуры битового потока, сформированного устройством для кодирования в соответствии с первым вариантом воплощения настоящего изобретения и служащего в качестве цели для процесса приема/декодирования посредством устройства для декодирования в соответствии с первым вариантом воплощения изобретения. Фиг.6 иллюстрирует структуру битового потока от уровня последовательности до уровня секции. Прежде всего, в заголовке высокого порядка на уровне последовательности (в наборе параметров последовательности в случае кодирования AVC) мультиплексирован сигнал 1 идентификации общего кодирования/независимого кодирования. Разделитель AUD представляет собой элемент уровня сетевой абстракции (NAL) для разделителя элементов доступа, который является уникальным элементом уровня NAL для идентификации разделителя элементов доступа при кодировании AVC. Разделитель AUD является информацией, определяющей начало элемента доступа, и независимо от формата данных разделителя AUD кодирования AVC может быть применен к произвольному формату данных, если соответствует своему назначению. Например, разделитель AUD соответствует начальному коду изображения в соответствии со стандартами MPEG-2 и начальному коду плоскости видеообъекта (VOP) в соответствии со стандартами MPEG-4.

Когда сигнал 1 идентификации общего кодирования/независимого кодирования указывает "процесс общего кодирования", элемент доступа содержит закодированные данные для одного изображения. Изображением в это время являются данные, представляющие видеосигналы для одного кадра или одного поля, которые состоят из объединений трех цветовых компонентов, как описано выше. Закодированные фактические данные видеосигналов мультиплексированы в битовом потоке для каждой секции, показанной на фиг.1. С другой стороны, когда сигнал 1 идентификации общего кодирования/независимого кодирования указывает "процесс независимого кодирования", одно изображение является видеосигналом для любого одного цветового компонента в одном кадре или одном поле, и один элемент доступа содержит три изображения. В этом случае секция определена относительно изображения каждого цветового компонента.

Фиг.7 иллюстрирует структуры битовых потоков данных секции в случае процесса общего кодирования и в случае процесса независимого кодирования соответственно. В битовом потоке, закодированном с помощью процесса независимого кодирования, чтобы достичь эффекта, который будет описан позже, для поля заголовка в начале данных секции обеспечивается флаг 2 идентификации цветового компонента (color_channel_idc), с тем, чтобы секция была отличимой относительно того, какому изображению цветового компонента принадлежат данные секции, принятые устройством для декодирования. Секции, имеющие одинаковые значения, группируются с помощью флага 2 идентификации. Другими словами, между секциями, имеющими разные значения флага 2 идентификации цветового компонента, не вводится никакая зависимость кодирования/декодирования (например, ссылка для предсказания движения, изучение вероятности моделирования/формирования контекста для кодирования САВАС и т.д.). Это правило гарантирует независимость индивидуального изображения в пределах элемента доступа в случае процесса независимого кодирования. Кроме того, номер кадра (последовательность обработки кодирования/декодирования изображения, которому принадлежит секция), мультиплексированный в каждом заголовке секции, принимает то же самое значение в изображениях полноцветных составляющих в пределах одного элемента доступа.

Фиг.8 иллюстрирует схему конфигурации устройства для кодирования в соответствии с первым вариантом воплощения настоящего изобретения. На фиг.8 первый блок 5 кодирования изображения выполняет процесс общего кодирования, а вторые блоки 7а-7с кодирования изображения (обеспеченные для трех цветовых компонентов) выполняют процесс независимого кодирования.

Входные видеосигналы 3 подаются на любой элемент множества, состоящего из первого блока 5 кодирования изображения, блока 6 разделения цветовых компонентов и вторых блоков 7а-7с кодирования изображения через переключатель 4. Переключатель 4 активизируется посредством сигнала 1 идентификации общего кодирования/независимого кодирования и подает входные видеосигналы 3 по заданному пути.

Сигнал 1 идентификации общего кодирования/независимого кодирования является сигналом, который, когда входной видеосигнал принимает формат 4:4:4, мультиплексирован в наборе параметров последовательности и осуществляет выбор процесса общего кодирования и процесса независимого кодирования для каждой последовательности. Сигнал 1 идентификации общего кодирования/независимого кодирования мультиплексирован в наборе параметров последовательности в битовом потоке 11 в качестве информации, которая определяет, какой процесс использовался для формирования битового потока 11. Эта структура позволяет устройству для декодирования, которое принимает битовый поток 11, выполнять процесс общего декодирования, когда битовый поток 11 сформирован при помощи процесса общего кодирования, посредством декодирования сигнала 1 идентификации общего кодирования/независимого кодирования в наборе параметров последовательности и проверки его значения, и выполнять процесс независимого декодирования, когда битовый поток 11 сформирован при помощи процесса независимого кодирования.

Если сигнал 1 идентификации общего кодирования/независимого кодирования указывает "процесс общего кодирования", в первом блоке 5 кодирования изображения входные видеосигналы 3 разделяются на макроблоки в виде объединения отсчетов трех цветовых компонентов, как проиллюстрировано на фиг.3, выполняется процесс кодирования для каждого макроблока и закодированные данные выдаются как битовый поток 8. Процесс кодирования посредством первого блока 5 кодирования изображения будет описан позже.

Если сигнал 1 идентификации общего кодирования/независимого кодирования обозначает "процесс независимого кодирования", входные видеосигналы 3 разделяются на сигналы цветовых компонентов С0, С1 и С2 посредством блока 6 разделения цветовых компонентов и подаются на вторые блоки 7а-7с кодирования изображения, соответствующие цветовым компонентам. Во вторых блоках 7а-7с кодирования изображения сигналы, разделенные в соответствии с каждым цветовым компонентом, разделяются на макроблоки, принимающие формат, показанный на фиг.4, и выполняется процесс кодирования для каждого макроблока, посредством чего сигналы выводятся как битовые потоки 9а-9с. Процесс кодирования посредством вторых блоков 7а-7с кодирования изображения будет описан позже.

В блоке 10 мультиплексирования сигнал 1 идентификации общего кодирования/независимого кодирования добавляется к набору параметров последовательности и мультиплексируется в битовом потоке 11. В блоке 10 мультиплексирования осуществляется выбор любого потока из множества, состоящего из битового потока 8 и битовых потоков 9а-9с, соответствующего значению сигнала 1 идентификации общего кодирования/независимого кодирования, и выбранный битовый поток мультиплексируется в битовый поток 11.

Кроме того, хотя подробности будут описаны позже, информация (12а-12с) о весовых коэффициентах квантования для параметров квантования, используемых в процессе кодирования изображения, особенно в процессе квантования/обратного квантования, обеспечивается для каждого из трех цветовых компонентов и подается на вход соответствующих блоков кодирования изображения, в которых выполняется процесс квантования, соответствующий характеристике каждого цветового компонента. Весовые коэффициенты 12а-12с квантования также отправляют блоку 10 мультиплексирования для мультиплексирования в наборе параметров последовательности, чтобы устройство для декодирования использовало те же самые значения коэффициентов 12а-12с, какие были использованы в процессе кодирования.

Кроме того, на вход блоков 5 и 7а-7с кодирования изображения подается сигнал 13 указания только интракодирования, тем самым управляя процессом кодирования. Сигнал 13 указания только интракодирования представляет собой сигнал, который определяет, выполняет ли блок кодирования изображения процесс направленного во времени предсказания на основе предсказания с компенсацией движения. Если сигнал 13 указания только интракодирования указывает "только интракодирование", выполняется закрытое в пределах изображения кодирование относительно всех изображений входных видеосигналов 3 без выполнения направленного во времени предсказания на основе предсказания с компенсацией движения. Кроме того, в этом случае одновременно отключается деблокирующий фильтр цикла интракодирования (подробности будут описаны позже) в блоке кодирования изображения. Если сигнал 13 указания только интракодирования указывает "не только интракодирование", процесс интеркодирования с использованием корреляции между интракодированными и интеркодированными изображениями выполняется относительно изображений входных видеосигналов 3 посредством использования также направленного во времени предсказания на основе предсказания с компенсацией движения. Блок 10 мультиплексирования добавляет сигнал 13 указания только интракодирования к набору параметров последовательности и, таким образом, мультиплексирует набор параметров последовательности с битовым потоком 11. При таком мультиплексировании устройство для декодирования, принимающее битовый поток 11, декодирует сигнал 13 указания только интракодирования, содержащийся в наборе параметров последовательности, и проверяет его значение, посредством чего можно распознать, является ли битовый поток 11 закодированным с использованием только интракодирования или нет. Поэтому, если битовый поток 11 является закодированным с использованием только интракодирования, выполнение деблокирующей фильтрации цикла интракодирования может быть ненужным, и количество вычислений в устройстве для декодирования может быть уменьшено.

Процесс интракодирования для кодирования AVC требует приблизительно в 2-10 раз больше вычислений кодирования по сравнению с процессом интеркодирования, и следовательно данные, закодированные посредством "только интракодирования", имеют значительно больший размер, чем данные, закодированные посредством "не только интракодирования".

Традиционное устройство для декодирования обеспечивает верхний предел размера данных, позволяющий выполнение процесса декодирования, и уменьшает скорость работы и необходимый размер памяти в устройстве в наиболее возможной степени, тем самым стабилизируя работу. Поэтому в случае "только интракодирования" имеется вероятность, что могут быть введены данные, превышающие установленный верхний предел, приводя к проблеме, при которой невозможно определить, может ли выполняться устойчивая работа или нет.

С учетом этого в наборе параметров последовательности предусмотрен флаг для указания того, является ли размер закодированных данных меньше предопределенного количества или превышает его. На основе флага производится процесс определения, и если размер закодированных данных меньше предопределенного количества, то предполагается, что даже традиционное устройство для декодирования может произвести обработку, и поэтому выполняется процесс декодирования. Если размер закодированных данных превышает предопределенное количество, предполагается, что традиционное устройство для декодирования может не выполнить устойчивый процесс, и следовательно может быть выполнен такой процесс, как выдача предупреждения.

Кроме того, информация 14 о размере изображения входного видеосигнала подается на вход блоков 5 и 7а-7с кодирования изображения и конфигурируется для управления процессом кодирования. Информация 14 о размере изображения является информацией, представляющей количество макроблоков с интракодированными изображениями входного видеосигнала 3, которым управляют для установки значения верхнего предела количества макроблоков, содержащихся в секции, если значение информации 14 больше предопределенного порогового значения, и предотвращения того, чтобы секция содержала большее количество макроблоков, чем значение верхнего предела. Информация 14 о размере изображения добавляется к набору параметров последовательности, и набор параметров последовательности мультиплексируется в битовом потоке 11. При таком мультиплексировании, если размер изображения входного видеосигнала 3 является большим (то есть пространственное разрешение является высоким), и устройство для кодирования, и устройство для декодирования могут определить элемент, который может обрабатываться параллельно, и могут равномерно назначать задачи.

Далее будет подробно разъяснена работа первого и второго блоков кодирования изображения.

Схема работы первого блока кодирования изображения

Фиг.9 иллюстрирует внутреннюю конфигурацию первого блока 5 кодирования изображения. На фиг.9 предполагается, что входной видеосигнал 3 принимает формат 4:4:4 и закодирован для каждого макроблока в формате, показанном на фиг.3, в котором макроблок состоит из объединения трех цветовых компонентов. Внутренняя обработка отличается в зависимости от значения сигнала 13 указания только интракодирования.

(1) Случай, в котором сигнал 13 указания только интракодирования указывает "не только интракодирование"

Блок 15 предсказания выбирает опорное изображение из данных опорного изображения для предсказания с компенсацией движения, сохраненных в памяти 16, и выполняет процесс предсказания с компенсацией движения на уровне макроблоков. В памяти 16 хранится множество элементов данных опорного изображения, каждый из которых состоит из трех цветовых компонентов, на множестве самых последних моментов времени либо прошедших и будущих моментов времени. Блок 15 предсказания выполняет предсказание движения, выбирая оптимальное опорное изображение для каждого макроблока из этих опорных изображений. Что касается распределения данных опорного изображения в памяти 16, данные могут быть сохранены отдельно последовательно по плоскостям каждого цветового компонента, и отсчеты соответствующих цветовых компонентов также могут быть сохранены последовательно по точкам. Предусмотрено семь типов размеров блоков, для которых выполняется предсказание с компенсацией движения. Прежде всего, как проиллюстрировано на фиг.10(а)-10(d), выбирается любой из размеров 16×16, 16×8, 8×16 и 8×8 для каждого макроблока. Затем, когда выбран размер 8х8, как проиллюстрировано на фиг.10(е)-10 (h), для каждого блока с размером 8×8 выбирается любой из размеров 8×8, 8×4, 4×8 и 4×4. В процессе общего кодирования, выполняемом посредством первого блока 5 кодирования изображения, для трех цветовых компонентов выбирается и применяется общий размер блока предсказания с компенсацией движения.

Блок 15 предсказания выполняет процесс предсказания с компенсацией движения для каждого макроблока относительно всех или части размеров блока/размеров подблока, показанных на фиг.10, вектора движения в предопределенном диапазоне поиска и одном или более элементов, пригодных для использования опорных изображений, таким образом, выдавая служебную информацию 17 предсказания, содержащую вектор