Способ кодирования изображения, способ декодирования изображения, кодер изображения и декодер изображения

Способ кодирования изображения, способ декодирования изображения, кодер изображения и декодер изображения

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к способу кодирования изображения и кодеру изображения, предназначенным для обработки сжатия, т.е. выполнения сжатия входных сигналов изображения, состоящих из множества компонентов цвета, способу декодирования изображения и декодеру изображения, предназначенным для ввода потока битов, в котором сжаты сигналы изображения, состоящие из множества компонентов цвета, и выполнения обработки декодирования, и потоку битов кодированного изображения, и носителю записи.

Уровень техники

Обычно применяют системы видеокодирования в соответствии с международным стандартом, таким как MPEG и ITU-TH.26x, в основном, при условии, что используется формат входного сигнала, называемый форматом "4:2:0". Формат 4:2:0 представляет собой формат, предназначенный для преобразования цветного сигнала изображения, такого как RGB (KЗC, красный-зеленый-синий), в компонент яркости (Y) и два компонента цветности (СВ и CR) и для уменьшения количества выборок компонентов цветности на половину как в горизонтальном, так и в вертикальном направлениях, относительно количества выборок компонента яркости. Поскольку из-за характеристик зрения человека видимость компонентов цветности низка по сравнению с компонентами яркости обычную систему видеокодирования на основе международного стандарта применяют при условии, что количество информации на объект кодирования уменьшается, благодаря уменьшению количества выборок компонентов цветности перед выполнением кодирования.

С другой стороны, в связи с увеличением разрешающей способности и увеличением градаций видеоотображения в последние годы, исследуют систему кодирования изображения с выборками, идентичными компонентам яркости, полученным без уменьшения частоты выборки компонентов цветности. Формат, в котором количество выборок компонентов яркости и количество выборок компонентов цветности, являются идентичными, называется форматом "4:4:4". В системе кодирования для ввода формата 4:4:4: определяют "высокий профиль 444" (см., например, непатентный документ 1).

Хотя обычный формат 4:2:0 применяют при условии, что выборку компонентов цветности выполняют с пониженной частотой, и она ограничена цветовым пространством Y, CB и CR, в формате 4:4:4, отсутствуют различия по частоте выборки компонентов цветности, поэтому возможно непосредственно использовать R, G и B, вместо Y, CB и CR, и определять, и использовать другие пространства цвета.

Непатентный документ 1: ISO/IEC 14496-10|ITU-TH.264 standart (Advanced Video Coding: AVC)

Сущность изобретения

Проблемы, решаемые изобретением

Когда используют высокий профиль 444, определенный в стандарте ISO/IEC 14496-10|ITU-TH.264 (2005) (ниже сокращенно называется AVC), как и в обычной системе кодирования, необходимо выполнять обработку кодирования и обработку декодирования, используя макроблок в качестве единичного модуля.

Другими словами, поскольку данные трех компонентов цветности включены в один макроблок, данные соответствующих компонентов цвета обрабатывают в порядке единичных модулей макроблока. Такой подход не является предпочтительным для выполнения параллельной обработки кодирования и декодирования.

С другой стороны, в AVC определен формат 4:0:0. Этот формат первоначально был нацелен на обработку кодирования изображения только по компоненту яркости, то есть монохромного изображения. Также возможно использовать способ генерирования трех независимых кодированных данных, путем применения обработки кодирования для соответствующих трех компонентов цвета формата 4:4:4, используя формат 4:0:0. В этом случае, поскольку соответствующие компоненты цвета обрабатывают независимо, возможна параллельная обработка.

Однако поскольку соответствующие компоненты цвета обрабатывают независимо, в настоящем стандарте становится невозможным реализовать обработку установки одинаковой информации времени и использовать однородный режим кодирования для соответствующих компонентов цвета. Поэтому существует проблема, состоящая в том, что в модулях изображения невозможно легко реализовать воспроизведение с произвольным доступом (ускоренное воспроизведение вперед, воспроизведение назад и т.д.) и обработку редактирования.

Эта проблема поясняется ниже. Различные данные, определенные в AVC, расположены в порядке ограничителя модуля доступа (AUD, ОМД), установленного параметра последовательности (SPS, УПП), установленного параметра изображения (PPS, УПИ) и данных изображения. Данные, не связанные с настоящим изобретением, здесь не поясняются.

В AVC определено, что один модуль доступа (AU, МД) состоит из одного изображения (эквивалентного одному кадру или одному полю). При этом возможно обозначить границу модулей доступа, используя ограничитель модуля доступа (AUD). Например, в профиле основной линии AVC, поскольку ограничители модуля доступа расположены на границах соответствующих изображений, становится возможным независимо и легко выделять один модуль доступа путем детектирования ограничителей модулей доступа. Это позволяет декодировать данные для одного изображения.

С другой стороны, когда три компонента цвета кодированы с форматом 4:0:0, используя существующую систему AVC, модуль доступа определен для каждого из компонентов цвета. В соответствии с этим, одно изображение составляется из трех модулей доступа. Поэтому становится невозможным выделять данные для одного изображения путем простого детектирования ограничителей модулей доступа. Невозможно легко реализовать воспроизведение с произвольным доступом и обработку редактирования в модулях изображений. Поскольку обработка кодирования выполняется независимо для каждого из компонентов цвета, трудно устанавливать одинаковую информацию времени и использовать единый режим кодирования.

Таким образом, задача настоящего изобретения состоит в создании способа кодирования изображения и способа декодирования изображения, кодера изображения и декодера изображения, и потока битов кодированного изображения, а также носителя записи, которые позволяют включать данные для одного изображения в один модуль доступа, путем расширения AVC, даже, когда обработку кодирования применяют для соответствующих трех компонентов цвета формата 4:4:4, используя формат 4:0:0, и позволяют устанавливать одинаковую информацию времени и использовать единый режим кодирования для соответствующих компонентов цвета.

Средство решения задачи

В соответствии с настоящим изобретением в способе кодирования изображения, предназначенном для применения обработки сжатия ко входному сигналу изображения, включающему в себя множество компонентов цвета, кодированные данные, полученные в результате независимой обработки кодирования входного сигнала изображения каждого из компонентов цвета, и параметр, обозначающий, какому компоненту цвета соответствуют кодированные данные, мультиплексируют с потоком битов.

Кроме того, в соответствии с настоящим изобретением в способе декодирования изображения для выполнения обработки декодирования на основе ввода потока битов, генерируемого в результате сжатия сигнала изображения, включающего в себя множество компонентов цвета, выполняют обработку декодирования для кодированных данных каждого из компонентов цвета путем использования параметра, обозначающего, какому компоненту цвета соответствуют кодированные данные.

Кроме того, в соответствии с настоящим изобретением, кодер изображения, предназначенный для применения обработки сжатия ко входному сигналу изображения, включающему в себя множество компонентов цвета, включает в себя средство мультиплексирования, предназначенное для мультиплексирования с потоком битов кодированных данных, полученных путем независимой обработки кодирования входного сигнала изображения каждого из компонентов цвета, и параметра, обозначающего, какому компоненту цвета соответствуют кодированные данные.

Кроме того, в соответствии с настоящим изобретением декодер изображения, предназначенный для выполнения обработки декодирования на основе ввода потока битов, генерируемого путем сжатия сигнала изображения, включающего в себя множество компонентов цвета, включает в себя средство детектирования, предназначенное для детектирования параметра, обозначающего какому компоненту цвета соответствуют кодированные данные.

Кроме того, в соответствии с настоящим изобретением в потоке битов, генерируемом в результате кодирования сжатия входного сигнала изображения, включающего в себя множество компонентов цвета, сжатые данные сигнала изображения каждого из компонентов цвета, составляют в виде модулей среза (слоя), и параметр, обозначающий, какому компоненту цвета соответствуют сжатые данные, включенные в данные среза, мультиплексируют с областью заголовка этого среза.

Кроме того, настоящее изобретение направлено на носитель записи, на котором записан поток битов, сгенерированный в результате кодирования сжатия входного сигнала изображения, включающего в себя множество компонентов цвета, и в котором сжатые данные сигнала изображения каждого из компонентов цвета составлены в виде модулей среза, и параметр, обозначающий какому компоненту цвета соответствуют сжатые данные, включенные в данные среза, мультиплексируют с областью заголовка среза.

Эффект изобретения

В соответствии с настоящим изобретением становится возможным легко выполнять воспроизведение с произвольным доступом и обработку редактирования в модулях изображения, используя AUD. Возможно включать данные для одного изображения в один модуль доступа, даже когда обработку кодирования применяют для трех компонентов цвета, используя формат 4:0:0. Кроме того, становится возможным установить одну и ту же информацию времени и использовать единый режим кодирования среди соответствующих компонентов цвета.

Краткое описание чертежей

На фиг. 1 показана диаграмма частей, относящихся к настоящему изобретению, выделенных из синтаксиса кодированных потоков битов, генерируемых кодером изображения в соответствии с настоящим изобретением.

На фиг. 2 показана схема, предназначенная для пояснения определения параметра colour_id, в качестве другого способа обеспечения совместимости с существующим стандартом.

На фиг. 3 показана пояснительная схема, в которой данные всех компонентов цвета, составляющие одно изображение между AUD и AUD, включены в один модуль доступа (AU).

На фиг. 4 показана пояснительная схема, в которой данные четырех компонентов цвета разграничены для каждого компонента цвета с помощью ограничителя и скомпонованы вместе в один модуль доступа.

На фиг. 5 показана пояснительная схема, в которой режимы кодирования формата 4:0:0 и формата 4:4:4 переключают в произвольном модуле.

На фиг. 6 показана схема, поясняющая общую обработку кодирования, в соответствии с седьмым вариантом воплощения настоящего изобретения.

На фиг. 7 показана схема, поясняющая независимую обработку кодирования в соответствии с седьмым вариантом воплощения настоящего изобретения.

На фиг. 8 показана схема, представляющая ссылку на эталонное изображение при прогнозировании движения в направлении времени среди изображений в кодере и декодере в соответствии с седьмым вариантом воплощения настоящего изобретения.

На фиг. 9 показана схема, представляющая пример структуры потока битов, генерируемого в кодере и подвергаемого обработке ввода и декодирования с использованием декодера в соответствии с седьмым вариантом воплощения настоящего изобретения.

На фиг. 10 показана схема, представляющая структуры потока битов данных среза в случаях общей обработки кодирования и независимой обработки кодирования, в соответствии с седьмым вариантом воплощения настоящего изобретения.

На фиг. 11 показана блок-схема, представляющая схематичную структуру кодера в соответствии с седьмым вариантом воплощения настоящего изобретения.

На фиг. 12 показана схема, поясняющая поток 106 битов, мультиплексируемый и выводимый модулем 105 мультиплексирования, показанным на фиг. 11.

На фиг. 13 показана блок-схема, представляющая внутреннюю структуру первого модуля 102 кодирования изображения, показанного на фиг. 11.

На фиг. 14 показана блок-схема, представляющая внутреннюю структуру второго модуля 104 кодирования изображения, показанного на фиг. 11.

На фиг. 15 показана блок-схема, представляющая схематическую структуру декодера в соответствии с седьмым вариантом воплощения настоящего изобретения.

На фиг. 16 показана блок-схема, представляющая внутреннюю структуру первого модуля 302 декодирования изображения, показанного на фиг. 15.

На фиг. 17 показана блок-схема, представляющая внутреннюю структуру второго модуля 304 декодирования изображения, показанного на фиг. 15.

На фиг. 18 показана блок-схема, представляющая модификацию кодера, показанного на фиг. 11.

На фиг. 19 показана блок-схема, представляющая другую модификацию кодера, показанного на фиг. 11.

На фиг. 20 показана блок-схема, представляющая декодер, соответствующий кодеру, показанному на фиг. 18.

На фиг. 21 показана блок-схема, представляющая декодер, соответствующий кодеру, показанному на фиг. 19.

На фиг. 22 показана схема, представляющая структуру кодированных данных информации заголовка макроблока, включенного в поток битов обычного формата YUV 4:2:0.

На фиг. 23 показана схема, представляющая внутреннюю структуру модуля 311 прогнозирования первого модуля 302 декодирования изображения, который обеспечивает совместимость обычного формата YUV 4:2:0 с потоком битов.

На фиг. 24 показана схема, представляющая другой пример структуры потока битов.

На фиг. 25 показана схема, представляющая еще один пример структуры потока битов.

Подробное описание предпочтительного варианта осуществления

Первый вариант воплощения

На фиг. 1 показана схема частей, относящихся к настоящему изобретению, выделенных из синтаксиса кодированного потока битов, генерируемого кодером изображения в соответствии с настоящим изобретением. На фиг. 1 часть (a) обозначает синтаксис информации о заголовке модуля NAL (УАС, уровень абстракции сети), часть (b) обозначает синтаксис SPS (УПП, установленный параметр последовательности), часть (c) обозначает синтаксис PPS (УПИ, установленный параметр изображения), и часть (d) обозначает синтаксис заголовка среза. Другие участки, кроме заштрихованных частей, представляют собой синтаксис, определенный существующим стандартом AVC. Заштрихованные части представляют собой синтаксис, определенный существующим стандартом AVC, но в котором добавлены новые функции в соответствии с настоящим изобретением, или синтаксис, который не определен в существующем стандарте AVC и добавлен вновь в соответствии с настоящим изобретением.

Параметры, определенные в AVC, будут кратко описаны ниже. В части, представленной в позиции (a) на фиг. 1 nal_ref_idc модуля NAL, представляет собой параметр, обозначающий, являются ли данные модуля NAL данными изображения, используемыми для прогнозирования и ссылки. Кроме того, nal_unit_type представляет собой параметр, обозначающий, являются ли данные модуля NAL данными среза, SPS, PPS или ограничителем модуля доступа (AUD).

В части, представленной в позиции (b) на фиг. 1 profile_idc в SPS, обозначает профиль последовательности кодирования. Основная линия, главный, высокий, высокий 444 и т.п. определены как профили в AVC. Seq_parameter_set_id обозначает ID (ИД, идентификатор) SPS. Множество SPS определены в одной последовательности кодирования и управляются по ID. Кроме того, chroma_for mat_idc используется только во время профиля высокий 444 и представляет собой параметр, обозначающий, какой из форматов 4:0:0, 4:2:0, 4:2:2 и 4:4:4 представляет последовательность кодирования.

В части, представленной в позиции (c) на фиг. 1 pic_parameter_set_id в PPS, обозначает ID PPS. Множество PPS определены в одной последовательности кодирования и управляются по ID. Seq_parameter_set_id в PPS представляет собой параметр, обозначающий какому SPS принадлежит этот PPS.

В части, представленной в позиции (d) на фиг. 1 first_mb_in_slice заголовка среза, представляет собой параметр, обозначающий, в каком положении расположены данные ведущего блока экрана в данных среза. Кроме того, slice_type представляет собой параметр, обозначающий, какое из предиктивного кодирования и двойного предиктивного кодирования используется для кодирования данных среза внутри кадра. Кроме того, pic_parameter_set_id представляет собой параметр, обозначающий какому PPS принадлежат данные среза.

Далее поясняются выполняемые операции. Когда обработку кодирования применяют к сигналу изображения трех компонентов цвета, независимо для каждого из компонентов цвета, используя формат 4:0:0, данные, обозначающие обработку независимого кодирования трех компонентов цвета с использованием формата 4:0:0, предоставляют вновь в profile_idc, который представляет собой один из параметров, включенных в SPS, представленный в части (b) по фиг. 1. Параметр colour_id предоставляется вновь в заголовке среза, показанном в части (d) на фиг. 1, для обозначения того, какими из трех компонентов цвета являются кодированные данные, включенные в данные среза.

Когда обработку кодирования выполняют в существующем формате 4:0:0 (монохромное изображение), формате 4:2:0, формате 4:2:2 и формате 4:4:4, параметр colour_id, показанный в части (d) по фиг. 1, не используется. Только в режиме независимого кодирования данных трех компонентов цветов с использованием формата 4:0:0, определенном вновь в соответствии с настоящим изобретением, параметр colour_id используется c тем, чтобы, таким образом, сделать возможным предотвратить влияние на существующий стандарт.

В режиме независимого кодирования данных трех компонентов цвета с использованием формата 4:0:0, определенного вновь в соответствии с настоящим изобретением, параметр colour_id используется для того, чтобы, как показано на фиг. 3, включить данные трех компонентов цвета в один модуль доступа (AU) и вместо данных всех компонентов цвета, составляющих одно изображение между AUD и следующим AUD.

В качестве другого способа обеспечения совместимости с существующим стандартом параметр colour_id может быть определен, как показано на фиг. 2. Когда colour_id определен таким образом, в случае colour_id = 0, это обозначает данные среза, кодированные в формате, в котором данные трех компонентов цвета включены в один макроблок, как в существующем стандарте. В случае других значений, возможно обозначить данные среза, кодированные путем обработки независимого кодирования данных трех компонентов цвета, с использованием формата 4:0:0, описанного в первом варианте воплощения.

Это позволяет составить поток битов, охватывающий как существующую систему, так и систему, описанную в первом варианте воплощения, которая полезна для поддержания совместимости с существующей системой. Когда количество вырезок увеличивается, и дополнительные затраты, связанные с объемом кодирования самого параметра colour_id, влияют на эффективность кодирования, объем самого параметра colour_id можно уменьшить путем выполнения соответствующего кодирования с переменной длиной на основе критерия суждения, определяющего, какую из существующей системы и системы, описанной в первом варианте воплощения, проще выбрать.

Таким образом, в системе кодирования изображения, предназначенной для применения обработки сжатия для ввода сигналов изображения, состоящих из множества компонентов цвета, кодированные данные, полученные в результате независимого применения обработки кодирования ко входным сигналам изображения компонентов соответствующего цвета и параметра, обозначающего, из какого компонента цвета были получены кодированные данные, мультиплексируют с битовым потоком. Это позволяет легко выполнить воспроизведение с произвольным доступом и обработку редактирования в модулях изображения, с использованием AUD.

В системе декодирования изображения для ввода битового потока, в котором сжимают сигнал изображения, состоящий из множества компонентов цвета, и выполняют обработку декодирования, становится возможным легко выполнить обработку декодирования для кодированных данных соответствующих компонентов цвета, используя параметр, обозначающий, из какого компонента цвета были получены кодированные данные.

Поскольку данные трех компонентов цвета включены в один модуль доступа, данные этих трех компонентов цвета одновременно кодируют как изображение IDR (ОМД, обновление мгновенного декодирования).

Изображение IDR определено в AVC. Нормальная обработка декодирования может мгновенно выполняться для изображения IDR. Изображение IDR получают при условии, что изображение IDR используется как верхняя часть воспроизведения с произвольным доступом.

Когда требуется выделить только один компонент цвета из трех компонентов цвета, это можно легко реализовать путем выделения только данных среза colour_id, имеющих определенное значение.

На фиг. 1 параметр colour_id предусмотрен в верхней части заголовка среза. Однако не всегда необходимо располагать colour_id в верхней части заголовка среза. Возможно получить тот же эффект, если параметр colour_id включен в заголовок среза.

Второй вариант воплощения

Как и в первом варианте воплощения, кодированные данные трех компонентов цвета включены в один модуль доступа. Однако, тогда как данные (R, B, G) соответствующих компонентов цвета расположены в порядке в соответствии с первым вариантом воплощения, показанным на фиг. 3, также возможно применять способ компоновки тех же компонентов цвета R, B или G вместе, соответственно, как показано на фиг. 4. Кроме того, также возможно легко выделять только данные с заданным компонентом цвета, путем вставки "разделителя", который не определен в существующем стандарте AVC.

Следовательно, например, становится возможным легко выделять разные процессоры для соответствующих компонентов цвета для выполнения параллельной обработки. Возможно реализовать "разделитель", описанный в настоящем изобретении, без влияния на существующий стандарт, путем расширения нагрузки сообщения SEI (ДИР, дополнительная информация о расширении) в AVC. Само собой разумеется, что возможно получить те же эффекты, когда "разделитель" определен в соответствии с другими способами.

Третий вариант воплощения

Также возможно получить те же эффекты, что и в первом варианте воплощения, путем вставки параметра, обозначающего компонент цвета в части модуля NAL, вместо colour_id в заголовке среза. В AVC, поскольку заголовок среза и данные среза, следующие после заголовка среза, определены как нагрузка модуля NAL, параметр nal_unit_type модуля NAL расширяется так, что он обозначает в этом параметре, каким компонентом цвета являются видеоданные, включенные в нагрузку модуля NAL. Кроме того, путем включения данных по трем компонентам цвета в один модуль доступа (AU), все данные, составляющие одно изображение, размещают между AUD и следующим AUD.

Вследствие этого, как и в первом варианте воплощения, становится возможным легко выполнить воспроизведение с произвольным доступом и обработку редактирования в модулях изображения. Кроме того, когда требуется выделить только один компонент из трех компонентов цвета, становится возможным выделить этот компонент в соответствии только с данными заголовка модуля NAL, без анализа заголовка среза.

Четвертый вариант воплощения

В первом - третьем вариантах воплощения предусмотрено ограничение, такое, что одно и то же значение всегда устанавливается для параметра first_mb_in_slice заголовка кодированного среза, в котором закодированы данные трех компонентов цвета. Параметр first_mb_in_slice обозначает положение первых данных в данных среза на экране.

В системе кодирования, соответствующей обычной AVC, поскольку возможно применять произвольный формат для структуры среза, можно применять различные структуры среза среди соответствующих компонентов цвета. Однако, благодаря установлению таких ограничений, становится возможным декодировать и отображать часть изображения, имеющего правильное состояние цветов, путем сбора данных трех вырезок, имеющих одинаковое значение first_mb_in_slice.

Вследствие этого, когда требуется отобразить определенную часть экрана, например, только центр, становится возможным выполнить обработку декодирования и отображения, используя только данные среза части экрана, вместо всего экрана, в то время как, когда ограничения не предусмотрены, невозможно комбинировать три компонента цвета для получения правильного декодированного изображения, пока весь экран не будет декодирован с использованием данных среза всего экрана, поскольку значения first_mb_in_slice будут разными для соответствующих компонентов цвета. Когда выполняется параллельная обработка, используя соответствующие процессоры для данных соответствующих компонентов цвета, соответствующие элементы данных среза начинаются из одного и того же положения, поэтому становится просто управлять параллельной обработкой.

Пятый вариант воплощения

Дополнительные ограничения предусмотрены так, что одно и то же значение всегда устанавливают для параметра slice_type заголовка среза соответствующих компонентов цвета в дополнение к ограничениям в соответствии с четвертым вариантом воплощения. Параметр slice_type обозначает, например, какое из кодирования внутри кадра, - предиктивного кодирования и двойного предиктивного кодирования, используется для данных среза, следующих после заголовка среза. Если данные среза представляют собой данные кодирования внутри кадра, поскольку обработка прогнозирования внутри кадра не используется, возможно немедленно выполнять обработку декодирования и отображения.

Таким образом, для данных среза в одном и том же положении на экране тип кодирования делается общим для всех компонентов цвета, и выполняют одинаковую обработку кодирования. Это позволяет декодеру выполнять обработку декодирования и отображения с высокой скоростью, подвергая только срез с кодированием внутри кадра обработке декодирования при воспроизведении с произвольным доступом.

Шестой вариант воплощения

Благодаря применению структур, описанных в первом - пятом вариантах воплощения, становится возможным переключать в произвольном модуле режим независимого кодирования данных трех компонентов цвета, с использованием вновь определенного формата 4:0:0, и режим кодирования с форматом 4:4:4.

Например, как показано на фиг. 5, вновь определенный формат 4:0:0 установлен для seq_parameter_set_id = 1 в SPS. Параметр формата 4:4:4 установлен для seq_parameter_set_id = 2. SPS, соответствующие seq_parameter_set_id, установлены с разным pic_paramater_set_id, заданными для них. Это позволяет переключать как формат 4:0:0, так и формат 4:4:4 для модулей изображения.

Следовательно, становится возможным выбирать один из форматов с высокой эффективностью кодирования для выполнения обработки кодирования и выбирать один из удобных форматов, в зависимости от варианта применения, для выполнения обработки кодирования.

В пятом варианте воплощения поясняется, что оба формата переключают в модулях изображения. Однако в соответствии со стандартом AVC, также возможно переключать форматы в модулях среза, в соответствии с той же обработкой.

Настоящее изобретение поясняется с использованием AVC, который представляет собой международный стандарт системы кодирования движущегося изображения. Однако само собой разумеется, что возможно получить те же эффекты, используя другие системы кодирования.

Седьмой вариант воплощения

В седьмом варианте воплощения настоящего изобретения структура и работа устройства для выполнения кодирования и декодирования при изменении кодирования сигналов трех компонентов цвета по общему заголовку макроблока и кодирования сигналов трех компонентов цвета по отдельным заголовкам макроблока в модуле одного кадра (или одного поля) поясняется на основе конкретных чертежей. В следующем пояснении, если только не будет указано другое, термин "один кадр" рассматривается как модуль данных, расположенных в одном кадре или в одном поле.

Предполагается, что заголовок макроблока в соответствии с седьмым вариантом воплощения включает в себя: информацию о кодировании и режиме прогнозирования, такую как тип макроблока, тип "подмакроблока" и режим прогнозирования между кадрами; информацию о прогнозировании движения, такую как идентификационный номер эталонного изображения и вектор движения; и служебную информацию макроблока, помимо данных коэффициента преобразования, такую как параметр квантования для коэффициента преобразования, флаг индикации размера блока преобразования и флаг суждения о присутствии/отсутствии эффективного коэффициента преобразования в модулях в виде блоков размером 8×8.

В следующем пояснении обработка кодирования сигналов трех компонентов цвета одного кадра с общим заголовком макроблока называется "общей обработкой кодирования", и обработка кодирования сигналов трех компонентов цвета одного кадра с отдельными независимыми заголовками макроблока называется "независимой обработкой кодирования". Аналогично, обработка изображения данных фрейма декодирования из потока битов, в которой сигналы трех компонентов цвета одного кадра кодируют по общему заголовку макроблока, называется "общей обработкой декодирования", и обработка декодирования данных изображения кадра из потока битов, в которой сигналы трех компонентов цвета одного кадра кодированы с использованием отдельных независимых заголовков макроблока, называется "независимой обработкой декодирования".

В общей обработке кодирования, в соответствии с седьмым вариантом воплощения, как показано на фиг. 6, входной видеосигнал для одного кадра разделен на макроблоки, которые подвергают общей обработке кодирования в группах по три компонента цвета, состоящих из компонента C0, компонента C1 и компонента C2 соответственно. С другой стороны, при независимой обработке кодирования, как показано на фиг. 7, входной видеосигнал для одного кадра разделяют на три компонента цвета: компонент C0, компонент C1 и компонент C2, и три компонента цвета разделяют на макроблоки, состоящие из компонентов одного цвета, то есть соответствующие макроблоки, которые предполагается подвергнуть независимой обработке кодирования для соответствующего компонента C0, компонента C1 и компонента C2.

Макроблоки, подвергаемые общей обработке кодирования, включают в себя выборки трех компонентов цвета C0, C1 и C2. Эти макроблоки, которые подвергают независимой обработке кодирования, включают в себя выборки любого одного из компонентов C0, C1 и C2.

На фиг. 8 показана ссылка с эталоном при прогнозировании движения в направлении времени среди изображений в кодере и декодере в соответствии с седьмым вариантом воплощения. В этом примере модуль данных, обозначенный жирной вертикальной линией, установлен как изображение и ссылка между изображением и модулем доступа обозначена в виде окружающей пунктирной линии. В случае общей обработки кодирования и декодирования одно изображение представляет собой данные, представляющие видеосигнал для одного кадра, в котором смешаны три компонента цвета. В случае обработки независимого кодирования и декодирования, одно изображение представляет собой видеосигнал для одного кадра любого одного из компонентов цвета.

Модуль доступа представляет собой минимальный модуль данных, обеспечивающий временную метку для синхронизации с аудиоинформацией/информацией звука или тому подобное с видеосигналом. В случае обработки общего кодирования и декодирования данные одного изображения включены в один модуль доступа.

С другой стороны, в случае обработки независимого кодирования и декодирования три изображения включены в один модуль доступа. Это связано с тем, что в случае обработки независимого кодирования и декодирования сигнал воспроизведения видеоизображения для одного кадра не будет получен до тех пор, пока не будут получены изображения в идентичное время отображения для всех трех компонентов цвета. Цифры, указанные над соответствующими изображениями, обозначают порядок обработки кодирования и декодирования в направлении времени изображений (frame_num для AVC (УВК, усовершенствованное видеокодирование), которое представляет собой стандарт системы кодирования со сжатием для данных движущегося изображения).

На фиг. 8 стрелками между изображениями показано направление ссылки при прогнозировании движения. В случае обработки независимого кодирования и декодирования, ссылка прогнозирования движения среди изображений, включенных в идентичный модуль доступа, и ссылка прогнозирования движения среди разных компонентов цвета, не используются. Изображения соответствующих компонентов цвета C0, C1 и C2 кодируют и декодируют при прогнозировании и ссылке на движение только для сигналов идентичных компонентов цвета.

При использовании такой структуры, в случае обработки независимого кодирования и декодирования, в соответствии с седьмым вариантом воплощения, становится возможным выполнять кодирование и декодирование соответствующих компонентов цвета, не полагаясь на обработку кодирования и декодирования других компонентов цвета, вообще. Таким образом, легко выполнять параллельную обработку.

В AVC определено изображение IDR (МОД, мгновенное обновление декодера), которое выполняет, само собой, внутреннее кодирование и выполняет сброс содержания памяти эталонного изображения, используемого для прогнозирования компенсации движения. Поскольку изображение IDR может быть декодировано, без ссылки на любые другие изображения, такое изображение IDR используют как точку произвольного доступа.

В модуле доступа, в случае обработки общего кодирования, один модуль доступа представляет собой одно изображение. Однако в модуле доступа в случае обработки независимого кодирования, один модуль доступа состоит из множества изображений. Таким образом, когда определенное изображение компонента цвета представляет собой изображение IDR, если предположить, что другие остальные изображения компонента цвета также представляют собой изображения IDR, модуль доступа IDR определен для обеспечения функции произвольного доступа.

В следующем пояснении информация идентификации (информация, эквивалентная флагу идентификации общего режима прогнозирования между изображениями, или флагу идентификации общего заголовка макроблока), обозначающая, выполняется ли кодирование с использованием общей обработки кодирования или выполняется обработка с использованием независимого кодирования, называется сигналом идентификации общего кодирования/независимого кодирования.

На фиг. 9 показана структура потока битов, генерируемого кодером, в соответствии с седьмым вариантом воплощения, и подвергаемого обработке ввода и декодирования с помощью декодера, в соответствии с седьмым вариантом воплощения. На чертеже показана структура потока битов от уровня последовательности до уровня кадра. Вначале сигнал идентификации общего кодирования/независимого кодирования мультиплексируют с верхним заголовком уровня последовательности (в случае AVC, SPS (установленный параметр последовательности), и т.д.).

Соответствующие кадры кодируют в модулях модуля доступа. AUD обозначает модуль разделителя модуля доступа NAL, который представляет собой уникальный модуль NAL, предназначенный для идентификации разрыва модуля доступа в AVC. Когда сигнал идентификации общего/независимого кодирования обозначает "кодирование изображения с использованием обработки общего кодирования", кодированные данные для одного изображения включены в модуль доступа.

Предполагается, что изображение в этом случае представляет собой данные, представляющие видеосигнал одного кадра, в котором три компонента цвета смешаны, как описано выше. В этом случае кодированные данные i-ого модуля доступа составляют как набор данных среза Slice(ij), и "j" представляет собой индекс данных среза в одном изображении.

С другой стороны, когда сигнал идентификации общего кодирования/независимого кодирования обозначает "кодирование изображения с использованием обработки независимого кодирования", одно изоб