Устройство обработки изображения и способ

Устройство обработки изображения и способ

Иллюстрации

Показать все

Реферат

Область техники

Настоящее изобретение относится к устройству обработки изображения и способу, и более конкретно, к устройству обработки изображений и способу, которые способны выполнять процесс декодирования в надлежащий момент времени при масштабируемом кодировании видео.

Уровень техники

В последнее время стали широко использоваться устройства для сжатия и кодирования изображения, применяя схему кодирования информации изображения в цифровом виде, и выполняя сжатие с помощью ортогонального преобразования, такого как дискретное косинусное преобразование и компенсацию движения, используя избыточность конкретной информации изображения, с целью передачи информации и накопления с высокой эффективностью, когда информация изображения обрабатываются в цифровом виде. Экспертная группа по вопросам движущегося изображения (MPEG), Н.264, MPEG-4 Часть 10 (Усовершенствованное кодирование видеосигнала) (далее упоминается как Н.264/AVC) и т.п. являются примерами таких схем кодирования.

Таким образом, в целях повышения эффективности кодирования по сравнению с Н.264/AVC, осуществляется работа по стандартизации схемы кодирования, под названием высокоэффективное видекодирование (HEVC), осуществляемая Объединенной командой по видеокодированию (JCTVC), которая является объединенной организацией по стандартизации Международного совета по телекоммуникациям - сектор по стандартизации телекоммуникаций (ITU-T) и Международной организацией по стандартизации (ISO)/Международная электротехническая комиссия (IEC), и непатентный документ 1 был выпущен в качестве проекта схемы.

Между тем, существующие схемы кодирования изображения, такие как MPEG-2 и AVC, имеют функцию масштабируемости деления изображения на множество уровней и кодирования множества уровней.

Другими словами, например, для терминала, имеющего незначительные возможности обработки, такого как мобильный телефон, передается информация сжатия изображения только базового уровня, и воспроизводится движущееся изображение низкого пространственного и временного разрешения или низкого качества изображения, и для терминала, имеющего высокие возможности обработки, такого как телевизор или персональный компьютер, передается информация сжатия изображений улучшенного уровня, а также базовый уровень, и воспроизводится движущееся изображение с высоким пространственным и временным разрешением или высоким качеством изображения. То есть, информация сжатия изображения в соответствии с возможностями терминала или сети может передаваться от сервера без выполнения процесса перекодировки.

В HEVC, можно назначить параметр гипотетического опорного декодера (HRD), так что не возникает переполнение или опустошение буфера, когда выполняется процесс декодирования информации сжатия изображения. В частности, можно назначить HRD параметр для каждого уровня, когда выполняется масштабируемое кодирование видео (смотрите непатентный документ 2).

Перечень ссылок

Непатентная литература

Непатентный документ 1: Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Thomas Wiegand, "Высокоэффективное видеокодирование (HEVC) текст спецификации проекта 9," JCTVC-K1003,2012,10,21

Непатентный документ 2: Jill Воусе, Ye-Kui Wang, "NAL блок заголовка и набор параметров для расширения HEVC," JCTVC-K1007,2012,10,19

Сущность изобретения

Технические задачи, решаемые с помощью изобретения

Тем не менее, когда HRD параметр указан для каждого уровня или временного уровня, служащего в качестве одного из подуровней, трудно определить факт того, выполняется ли процесс декодирования с помощью одного устройства декодирования или множеством устройств декодирования.

Настоящее изобретение было сделано в свете вышеизложенного, и предполагается, что процесс декодирования будет выполняться в надлежащий период времени.

Решения технической задачи

Согласно одному аспекту настоящего изобретения, предусмотрено устройство обработки изображения, включающее в себя приемную секцию, выполненную с возможностью принимать битовый поток, полученный посредством кодирования изображения, имеющего, по меньшей мере, один уровень, и информацию о параметре управления буфером каждого уровня, указывающую, по меньшей мере, что один параметр управления буфером декодера является параметром для выполнения процесса декодирования только в соответствующем уровне, и что параметр управления буфером декодера является параметром для выполнения процесса декодирования соответствующего уровня и нижнего уровня, и секцию декодирования, выполненную с возможностью декодировать битовый поток, принятый приемной секцией, и генерировать изображение.

Уровень может включать в себя уровень и подуровень.

Уровень является ракурсом многоракурсного кодирования.

Уровень представляет собой уровень масштабируемого кодирования видео.

Информация о параметре управления буфером описана в дополнительной расширяющей информации (SEI).

Информация о параметре управления буфером описана в buffering_period_SEI.

Информации о параметре присутствия/отсутствия указывает на наличие или отсутствие параметра для управления буфером декодера, служащего в качестве параметра для выполнения процесса декодирования только соответствующего уровня, описана в vps (набор параметров видео)_extension.

Приемная секция может принять AVC флаг, указывающий, что кодируется уровень ниже, чем соответствующий уровень, посредством MPEG-4 часть 10 Усовершенствованное кодирование видеосигнала (AVC) и информация о параметре управления буферами каждого уровня, указывающая, что параметр для управления буфером декодера, является параметром для выполнения процесса декодирования только соответствующего уровня.

Согласно одному аспекту настоящего изобретения, предусмотрен способ обработки изображения, включающий в себя прием с помощью устройства обработки изображения битового потока, полученного путем кодирования изображения, имеющего, по меньшей мере, один уровень, и информацию о параметре управления буфером каждого уровня, указывающую что, по меньшей мере, один параметр для управления буфером декодера является параметром для выполнения процесса декодирования только в соответствующем уровне, и что параметр для управления буфера декодера является параметром для выполнения процесса декодирования соответствующего уровня и нижнего уровня, прием посредством устройства обработки изображений битового потока, полученного путем кодирования изображения, включающий в себя, по меньшей мере, один уровень, с использованием параметра, соответствующего информации о параметре управления буфером, и декодирование с помощью устройства обработки изображения принятого битового потока и генерацию изображения.

Согласно другому аспекту настоящего изобретения, предусмотрено устройство обработки изображения, включающее в себя секцию установки, выполненную с возможностью устанавливать информацию о параметре управления буфером каждого уровня, указывающую, по меньшей мере, один из параметров для управления буфером декодера, является параметром для выполнения процесса декодирования только соответствующего уровня, и что параметр для управления буфером декодера является параметром для выполнения процесса декодирования соответствующего уровня и нижнего уровня, секцию кодирования, выполненную с возможностью кодировать изображение, имеющее, по меньшей мере, один уровень, и генерировать битовый поток, и секцию передачи, выполненный с возможностью передавать информацию о параметре управления буфером, установленную секцией установки, и битовый поток, генерируемый секцией кодирования.

Уровень может включать в себя уровень и подуровень.

Уровень является ракурсом многоракурсного кодирования.

Уровень представляет собой уровень масштабируемого кодирования видео.

Информация о параметре управления буфером описана в дополнительной расширяющей информации (SEI).

Информация о параметре управления буфером описана в buffering_period_SEI.

Информации о параметре присутствия/отсутствия указывает на наличие или отсутствие параметра для управления буфером декодера, служащего в качестве параметра для выполнения процесса декодирования только соответствующего уровня, описана в vps (набор параметров видео)_extension.

Секция установки может установить AVC флаг, указывающий, что кодируется уровень ниже, чем соответствующий уровень, посредством MPEG-4 часть 10 Усовершенствованное кодирование видеосигнала (AVC) и информация о параметре управления буферами каждого уровня, указывающая, что параметр для управления буфером декодера является параметром для выполнения процесса декодирования только соответствующего уровня.

Согласно другому аспекту настоящего изобретения, предусмотрен способ обработки изображения, включающий в себя установку с помощью устройства обработки изображения информации о параметре управления буфером каждого уровня, указывающую что, по меньшей мере, один из параметров для управления буфером декодера является параметром для выполнения процесса декодирования только соответствующего уровня, и что параметр для управления буфером декодера является параметром для выполнения процесса декодирования соответствующего уровня и нижнего уровня, кодирование, с помощью устройства обработки изображения, изображения, имеющего, по меньшей мере, один уровень, и генерирование битового потока, и передачу посредством устройства обработки изображений информации о параметре управления буфером и генерируемого потока битов.

Согласно одному аспекту настоящего изобретения, принимается битовый поток, полученный путем кодирования изображения, имеющего, по меньшей мере, один уровень и информацию о параметре управления буфером каждого уровня с указанием того, что, по меньшей мере, один параметр для управления буфером декодера является параметром для выполнения процесса декодирования только соответствующего уровня и параметр для управления буфером декодера является параметром для выполнения процесса декодирования соответствующего уровня и нижнего уровня. Затем, принятый битовый поток декодируется для генерирования изображения.

Согласно другому аспекту настоящего изобретения, устанавливается информация о параметре управления буфером каждого уровня, указывающая, что, по меньшей мере, один параметр для управления буфером декодера является параметром для выполнения процесса декодирования только на соответствующем уровне, и что параметр для управления буфера декодера является параметром для выполнения процесса декодирования соответствующего уровня и нижнего уровня, и изображение, имеющее, по меньшей мере, один уровень, кодируется для генерации битового потока. Затем установленная информация о параметре управления буфером и сгенерированный битовый поток, передаются.

Кроме того, описанное выше устройство обработки изображений может быть независимым устройством или представлять собой внутренний блок, составляющий одно устройство кодирования изображения, или устройство декодирования изображения.

Полезные эффекты изобретения

Согласно одному аспекту настоящего изобретения, можно декодировать изображение. В частности, можно выполнить процесс декодирования в надлежащий период времени.

Согласно другому аспекту настоящего изобретения, можно кодировать изображение. В частности, можно выполнить процесс декодирования в надлежащий период времени.

Краткое описание чертежей

Фиг. 1 показывает схему, предназначенную для описания примера конфигурации блока кодирования.

Фиг. 2 представляет собой схему для описания примера пространственного масштабируемого кодирования видео.

Фиг. 3 показывает схему, описывающую пример временного масштабируемого кодирования видео.

Фиг. 4 показывает схему для описания примера масштабируемого кодирования видео отношения сигнал-шум.

Фиг. 5 показывает схему, иллюстрирующую пример синтаксиса HRD параметра HEVC.

Фиг. 6 показывает схему, предназначенную для описания параллельного процесса масштабируемого кодирования видео.

Фиг. 7 показывает схему, иллюстрирующую пример синтаксиса HRD параметра в соответствии с настоящим изобретением.

Фиг. 8 представляет собой схему, иллюстрирующую другой пример синтаксиса HRD параметра в соответствии с настоящим изобретением.

Фиг. 9 показывает схему, иллюстрирующую другой пример синтаксиса HRD параметра в соответствии с настоящим изобретением.

Фиг. 10 является блок-схемой, иллюстрирующей пример основной конфигурации устройства масштабируемого кодирования.

Фиг. 11 является блок-схемой, иллюстрирующей пример основной конфигурации секции кодирования изображения усовершенствованного уровня.

Фиг. 12 является блок-схемой, иллюстрирующей пример основной конфигурации буфера накопления и секции установки HRD типа.

Фиг. 13 представляет собой схему для описания примера уровневой структуры.

Фиг. 14 является блок-схемой алгоритма для описания примера последовательности процесса кодирования.

Фиг. 15 является блок-схемой алгоритма для описания примера последовательности процесса кодирования уровня.

Фиг. 16 является блок-схемой алгоритма для описания процесса кодирования HRD параметра.

Фиг. 17 является блок-схемой алгоритма для описания процесса вычисления HRD параметра.

Фиг. 18 является блок-схемой алгоритма для описания HRD параметра процесса вычисления временного уровня.

Фиг. 19 является блок-схемой алгоритма для описания другого примера процесса кодирования HRD параметра.

Фиг. 20 является блок-схемой, иллюстрирующей пример основной конфигурации устройства масштабируемого декодирования.

Фиг. 21 является блок-схемой, иллюстрирующей пример основной конфигурации секции декодирования изображения усовершенствованного уровня.

Фиг. 22 является блок-схемой, иллюстрирующей пример основной конфигурации буфера накопления и секции декодирования HRD типа.

Фиг. 23 является блок-схемой алгоритма для описания примера последовательности процесса декодирования.

Фиг. 24 является блок-схемой алгоритма для описания примера последовательности процесса декодирования уровня.

Фиг. 25 является блок-схемой алгоритма для описания другого примера последовательности процесса декодирования HRD параметра.

Фиг. 26 является блок-схемой алгоритма для описания другого примера последовательности процесса мониторинга буфера накопления.

Фиг. 27 показывает схему, иллюстрирующую пример синтаксиса vps_extension.

Фиг. 28 показывает схему, иллюстрирующую пример синтаксиса sps_extension.

Фиг. 29 показывает схему, иллюстрирующую пример синтаксиса vps.

Фиг. 30 показывает схему, иллюстрирующую пример семантики layer_id_included_flag.

Фиг. 31 представляет собой схему для описания примера установки LayerSet.

Фиг. 32 показывает схему, иллюстрирующую пример синтаксиса buffering_period_SEI.

Фиг. 33 показывает схему, иллюстрирующую пример синтаксиса buffering__period_SEI.

Фиг. 34 показывает схему, иллюстрирующую пример синтаксиса buffering_period_SEI.

Фиг. 35 показывает схему, иллюстрирующую пример синтаксиса buffering_period_SEI.

Фиг. 36 является блок-схемой, иллюстрирующей еще один пример основной конфигурации секции кодирования изображения усовершенствованного уровня.

Фиг. 37 является блок-схемой, иллюстрирующей пример конфигурации секции установки SEI периода буферизации.

Фиг. 38 является блок-схемой алгоритма для описания примера процесса кодирования уровня.

Фиг. 39 является блок-схемой алгоритма для описания примера процесса кодирования SEI периода буферизации.

Фиг. 40 является блок-схемой, иллюстрирующей еще один пример основной конфигурации секции декодирования изображения усовершенствованного уровня.

Фиг. 41 является блок-схемой, иллюстрирующей пример конфигурации секции декодирования SEI периода буферизации.

Фиг. 42 является блок-схемой алгоритма для описания примера процесса декодирования уровня.

Фиг. 43 является блок-схемой алгоритма для описания примера процесса декодирования SEI периода буферизации.

Фиг. 44 является блок-схемой алгоритма, описывающей пример процесса кодирования HRD параметра в случае AVC флага.

Фиг. 45 является блок-схемой алгоритма для описания примера процесса кодирования SEI периода буферизации в случае AVC флага.

Фиг. 46 показывает схему, иллюстрирующую пример схемы кодирования многоракурсного изображения.

Фиг. 47 показывает схему, иллюстрирующую пример основной конфигурации устройства кодирования многоракурсного изображения, к которому применяется настоящее изобретение.

Фиг. 48 показывает схему, иллюстрирующую пример основной конфигурации устройства декодирования многоракурсного изображения, к которому применяется настоящее изобретение.

Фиг. 49 является блок-схемой, иллюстрирующей пример основной конфигурации компьютера.

Фиг. 50 является блок-схемой, иллюстрирующей пример схематичной конфигурации телевизионного устройства.

Фиг. 51 является блок-схемой, иллюстрирующей пример схематичной конфигурации мобильного телефона.

Фиг. 52 является блок-схемой, иллюстрирующей пример схематичной конфигурации устройства записи/воспроизведения.

Фиг. 53 является блок-схемой, иллюстрирующей пример схематичной конфигурации устройства захвата изображения.

Фиг. 54 представляет собой блок-схему, иллюстрирующую пример использования масштабируемого кодирования видео.

Фиг. 55 представляет собой блок-схему, иллюстрирующую другой пример использования масштабируемого кодирования видео.

Фиг. 56 представляет собой блок-схему, иллюстрирующую другой пример использования масштабируемого кодирования видео.

Описание вариантов осуществления

Далее будет приведено описание вариантов (далее по тексту "вариант осуществления") осуществления данного изобретения. Описание приведено в следующем порядке:

0. Обзор

1. Первый вариант осуществления (устройство кодирования изображения)

2. Второй вариант осуществления (устройство декодирования изображения)

3. Третий вариант осуществления (пример синтаксиса)

4. Четвертый вариант осуществления (пример buffering_period_SEI)

5. Пятый вариант осуществления (пример AVC флага)

6. Шестой вариант осуществления (устройство кодирования многоракурсного изображения/устройство декодирования многоракурсного изображения)

7. Седьмой вариант осуществления (компьютер)

8. Приложения

9. Применение масштабируемого кодирования видео

0. Обзор

Схема кодирования

Далее настоящее изобретение будет описано применительно к применению кодирования и декодирования изображения схемы высокоэффективного кодирования видео (HEVC).

Блок кодирования

В схеме усовершенствованного кодирования видео (AVC), определяется иерархическая структура, основанная на макроблоке и субмакроблоке. Тем не менее, макроблок 16×16 пикселей не является оптимальным для большого кадра изображения, такого как ультравысокой четкости (UHD) (4000×2000 пикселей), служащего как целевой схемы кодирования следующего поколения.

С другой стороны, в HEVC схеме, блок (CU) кодирования определяется, как показано на фиг. 1.

CU также упоминается как древовидный кодер (СТВ) и служит в качестве частичной области изображения блока изображения, осуществляющего такую же роль макроблока в схеме AVC. Последнее относится к размеру 16×16 пикселей, но предшествующий не фиксируется на определенном размере, но указан в информации сжатия изображения в каждой последовательности.

Например, самый большой блок (LCU) кодирования и наименьшей блок (SCU) кодирования из CU указаны в наборе (SPS) параметров последовательности, включенные в состав кодированных данных для вывода.

Так как сплит-флаг = 1 установлен в диапазоне, в котором каждый LCU не меньше, чем SCU, то блок кодирования может быть разделен на CUs, имеющие меньший размер. В примере на фиг. 1, размер LCU равен 128 и наибольшее значение масштабируемой глубины равно 5. CU размера 2N×2N делится на CUs, имеющие размер N×N, служащие в качестве уровня, который на один уровень ниже, когда величина split_flag равна 1.

Кроме того, CU делится на блоки (PUs) предсказания, которые являются областями (отдельные участки изображения блока изображения), выступающие в качестве блоков предсказания внутрикадрового или межкадрового предсказания, и разделены на блоки (TUs) преобразования, которые являются областями (частичные участки изображения блока изображения), выступающей в качестве блоков ортогонального преобразования. В настоящее время в схеме HEVC, в дополнение к 4×4 и 8×8, может быть использовано ортогональное преобразование 16×16 и 32×32.

Как и в схеме HEVC, в случае схемы кодирования, в котором определяется CU и выполняются различные типы процессов в блоках CUs, в схеме AVC, макроблок может рассматриваться как соответствующий LCU, и блок-(субблок) может рассматриваться как соответствующий CU. Дополнительно, в схеме AVC, блок компенсации движения может рассматриваться как соответствующий PU. При этом, поскольку CU имеет иерархическую структуру, размер LCU самого верхнего уровня обычно установлен, чтобы быть больше, чем макроблок в схеме AVC, например, такие, как 128×128 пикселей.

Таким образом, далее предполагается, что LCU включает в себя макроблок в схеме AVC, и предполагается, что CU включает в себя блок (субблок) в схеме AVC. Другими словами, «блок», используемый в нижеследующем описании, обозначает произвольную часть области на изображении и, например, размер, форму и характеристики его не ограничиваются. Другими словами, «блок» включает в себя произвольную область (блок обработки), например, TU, PU, SCU, CU, LCU, субблок, макроблок или срез. Конечно, "блок" включает в себя также и другие частичные области (блоки обработки). При необходимости, чтобы ограничить размер, блок обработки или тому подобное будет надлежащим образом описано.

Выбор режима

Между тем, в схемах кодирования AVC и HEVC, чтобы достичь высокой эффективности кодирования, важно выбрать подходящий режим предсказания.

В качестве примера такого способа отбора используется способ, реализованный в справочной информации по программному обеспечению (см. http://iphome.hhi.de/suehring/tml/index.htm) H.264/MPEG-4 AVC, под названием совместная модель (JM).

В JM, как будет описано позже, можно выбрать два способа определения режима, то есть режим высокой сложности и режим низкой сложности. В обоих режимах, вычисляются значения функции стоимости, относящиеся к соответствующим режимам предсказания, и режим предсказания, имеющий меньшее значение функции стоимости, выбирается в качестве оптимального режима для соответствующего блока или макроблока.

Функция стоимости в режиме высокой сложности представляется в следующей формулой (1):

Здесь Ω обозначает универсальный набор кандидатов режимов для кодирования соответствующего блока или макроблока, и D обозначает дифференциальную энергию между декодированным изображением и входным изображением, когда кодирование выполняется в соответствующем режиме предсказания. λ указывает на неопределенный множитель Лагранжа, как функцию параметра квантования. R обозначает общую величину кодирования, включающую в себя коэффициент ортогонального преобразования, когда выполняется кодирование в соответствующем режиме.

Другими словами, чтобы выполнять кодирование в режиме высокой сложности, необходимо выполнить процесс временного кодирования сразу всеми видами кандидатов, чтобы вычислить параметры D и R и, соответственно, требуется большое количество вычислений.

Функция стоимости в режиме низкой сложности представлена следующей формулой (2):

Здесь D отличается от режима высокой сложности и указывает на величину дифференциальной энергии между предсказанным изображением и входным изображения. QP2Quant (QP) задается в виде функции параметра QP квантования, и HeaderBit указывает на величину кодирования, относящуюся к информации, принадлежащей к заголовку, например, вектор движения или режим, в котором отсутствует коэффициент ортогонального преобразования.

Другими словами, в режиме низкой сложности, необходимо выполнить процесс предсказания для соответствующих кандидатов режимов, но так как декодированное изображение не является необходимым, то нет необходимости выполнять процесс кодирования. Таким образом, можно использовать меньший объем вычислений, чем в режиме повышенной сложности.

Масштабируемое кодирование видео

Между тем, существующие схемы кодирования изображения, такие как MPEG2 и AVC, имеет функцию масштабируемости, как показано на фигурах с 2 по 4. Масштабируемое кодирование видео относится к схеме разделения (располагать в иерархическом порядке) изображения на множество уровней и выполнения кодирования для каждого уровня.

При расположении изображения в иерархическом порядке, одно изображение разделяется на множество изображений (уровней) на основе определенного параметра. В принципе, каждый уровень выполнен с дифференциальными данными таким образом, что избыточность уменьшается. Например, когда одно изображение располагается в иерархическом порядке в два уровня, то существует базовый уровень и усовершенствованный уровень, изображение низкого качества, чем исходное изображение, получают с использованием только данных базового уровня, и исходное изображение (т.е. высококачественное изображение) получают путем объединения данных базового уровня с данными усовершенствованного уровня.

Так как изображение расположено в иерархическом порядке, как описано выше, можно получить изображения различного качества в зависимости от ситуации. Например, для терминала, имеющего низкий функциональный уровень обработки, такого как мобильный телефон, передается информация сжатия изображения только базового уровня и воспроизводится движущееся изображение низкого пространственного и временного разрешения или низкого качества, и для терминала, имеющего высокий функциональный уровень обработки, такой как телевизор или персональный компьютер, передается информация сжатия изображений усовершенствованного уровня, а также информация базового уровня, и воспроизводится движущееся изображение с высоким пространственным и временным разрешением и высоким качеством. Другими словами, информация сжатия изображения в соответствии с возможностями терминала или сети, может быть передана с сервера без выполнения процесса перекодировки.

В качестве параметра, такого, как параметр имеющий функцию масштабируемости, например, реализуется пространственное разрешение (пространственная масштабируемость), как показано на фиг. 2. Когда пространственная масштабируемость отличается, то соответствующие уровня имеют разные разрешения. Другими словами, каждый кадр располагается в иерархическом порядке на два уровня, то есть на базовый уровень с пространственным разрешением ниже, чем у исходного изображения, и на усовершенствованный уровень, который объединяется с изображением базового уровня, для получения исходного изображения (оригинальное пространственное разрешение), как показано на фиг. 2. Конечно, количество уровней является примером, и каждое изображение может быть расположено в иерархическом порядке с произвольным количеством уровней.

В качестве другого параметра, имеющего такую масштабируемость, например, есть временное разрешение (временная масштабируемость), как показано на фиг. 3. В случае временной масштабируемости, соответствующие уровни имеют разные частоты кадров. Другими словами, в этом случае, каждый кадр расположен в иерархическом порядке уровней, имеющих разные частоты кадров, движущееся изображение с высокой частотой кадров может быть получено путем объединения уровня с высокой частотой кадров с уровнем с низкой частотой кадров, и оригинальное движущееся изображение (исходная частота кадров) может быть получено путем объединения всех уровней, как показано на фиг. 3. Число уровней является примером, и каждое изображение может быть расположено в иерархическом порядке с произвольным количеством уровней.

Дополнительно, в качестве другого параметра, имеющего такую масштабируемость, например, используется отношение сигнал-шум (SNR) (SNR масштабируемость). В случае масштабируемости SNR, соответствующие уровни имеют различные отношения SNR. Другими словами, в этом случае, каждое изображение располагается в иерархическом порядке, имеющим два уровня, то есть, базовый уровень SNR, который меньше, чем у исходного изображения, и усовершенствованный уровень, который объединяется с изображением базового уровня для получения оригинала SNR, как показано на фиг. 4. Другими словами, для информации сжатия изображения базового уровня, передается информация, относящаяся к изображению низкого PSNR и изображение с высоким PSNR может быть реконструировано путем объединения информации с информацией сжатия изображения усовершенствованного уровня. Конечно, число уровней является примером, и каждое изображение может быть расположено в иерархическом порядке с произвольным количеством уровней.

Параметр, отличный от описанного в вышеприведенных примерах, может быть применен в качестве параметра, имеющего масштабируемость. Например, есть битовая глубина масштабируемости, при которой, основной уровень включает в себя 8-битное изображение, и 10-битное изображение может быть получено путем добавления усовершенствованного уровня к базовому уровню.

Кроме того, существует масштабируемость цвета, в котором основной уровень включает в себя компонент изображения формата 4:2:0 и компонент изображения формата 4:2:2, что может быть получено путем добавления усовершенствованного уровня в базовый уровень.

Дополнительно, в качестве параметра, имеющего масштабируемость, существует многоракурсность. В этом случае, изображение располагается в иерархическом порядке на уровни с различными ракурсами.

Например, уровни, описанные в настоящем варианте осуществления, включают в себя пространственную, временную, SNR, битовую глубину, цвет и ракурсную масштабируемость кодирования видео, как описано выше.

Кроме того, термин "уровень", используемый в данном описании, включает в себя уровень масштабируемого кодирования видео и каждый ракурс, когда рассматривается многоракурсное кодирование.

Дополнительно, как предполагается, термин "уровень", используемый в данном описании, включает в себя основной уровень (соответствующий суб) и субуровень. В качестве конкретного примера, основной уровень может быть уровнем пространственной масштабируемости, и субуровень может быть выполнен с уровнем временной масштабируемости.

В настоящем варианте осуществления, уровень (японский) и слой имеют тот же смысл, уровень (японский) будет соответствующим образом описан, как уровень.

HRD параметр

Между тем, в HEVC, когда процесс декодирования информации сжатия изображения выполняется, то можно назначить параметр гипотетического опорного декодера (HDR), как показано на фиг. 5, так что отсутствует переполнение или не заполнение буфера. Другими словами, HRD параметр является параметром, используемый для управления буфером декодера. В частности, когда осуществляется масштабируемое кодирование видео, можно указать HRD параметр для каждого уровня в наборе параметров видео (VPS).

Параллельный процесс масштабируемости кодирования видео

В качестве примера, на фиг. 6 показаны два примера (ex1 и ех2) использования последовательности, включающей в себя I кадр, b кадр, В кадр, b кадр и В кадр, проиллюстрированы на левой стороне фиг. 6 в качестве примера временной масштабируемости. В этой последовательности, I кадр, В кадр и В кадр являются нижним временным уровнем и b кадр и b кадр являются верхним временным уровнем.

Здесь, В кадр указывает на кадр, на который ссылаются, и b кадр указывает на кадр, на который не ссылаются.

ex1 является примером, в котором все кадры декодируются устройством #0 декодирования. С другой стороны, ех2 является примером, в котором нижний временной уровень I кадра, В кадра и В кадра будет декодирован устройством #0 декодирования, и верхний временной уровень b кадра и b кадра декодируется устройством #1 декодирования.

На правой стороне фиг. 6, в качестве примера HEVC масштабируемости, показаны два примера (ex11 и ex12), используя последовательность, включающая в себя I кадр, В кадр и В кадр EL (усовершенствованного уровня), выступающего в качестве верхнего уровня, и I кадр, В кадр и В кадр BL (базового уровня), выступающего в качестве нижнего уровня. HEVC Масштабируемость означает масштабируемое кодирование видео, определенное в HEVC.

ex11 является примером, в котором все кадры декодируются устройством #0 декодирования. С другой стороны, ex12 является примером, в котором нижний уровень I кадра, В кадра и В-кадра BL декодируется устройством #0 декодирования, и верхний уровень I кадра, В кадра и В кадра EL декодируется устройством #1 декодирования.

Для каждого уровня HEVC масштабируемости, каждый временной уровень временной масштабируемости на правой стороне выполнен в виде субуровня.

Как описано выше, во временной масштабируемости в предшествующем уровне техники, в HEVC масштабируемости, процесс может быть выполнен с помощью одного устройства декодирования, и параллельный процесс может быть выполнен с помощью множества устройств декодирования. Кроме того, через синтаксис, как показано на фиг. 5, можно указать HRD параметр, служащий в качестве параметра, используемого для управления буфером декодера для каждого уровня или временного уровня, который является одним из субуровней.

Тем не менее, как показано на фиг. 6, трудно обнаружить факт того, выполняется ли процесс декодирования одним устройством декодирования или множеством устройств декодирования.

В связи с этим, в данном изобретении, HRD параметр передается через синтаксис, показанный на фиг. 7. Другими словами, в настоящем изобретении, информация, указывающая, установлен ли HRD параметр, который является параметром для выполнения процесса декодирования только на соответствующем уровне или параметром для выполнения процесса декодирования соответствующего уровня и нижнего слоя. Таким образом, как показано на фиг. 6, четко определено, что процесс декодирования выполняется с помощью одного устройства декодирования или множеством устройств декодирования и, таким образом, можно выполнить процесс декодирования в надлежащий период времени.

Пример HRD параметра

Фиг. 7 показывает схему, иллюстрирующую пример синтаксиса HRD параметра в соответствии с настоящим изобретением. Цифры слева от каждой строки являются номерами строк, которые добавлены для описания.

В качестве примера на фиг. 7, hrd_parameters_type_flag определен в 10-ом ряду. Когда значение hrd_parameters_type_flag равно 1, то значение для выполнения процесса декодирования только соответствующего уровня устанавливается в качестве параметра HRD последующего пункта. Когда значение hrd_parameters_type_flag равно 0, то значение для выполнения процесса декодирования соответствующего уровня и нижнего уровня устанавливается в качестве параметра HRD последующего пункта.

Кроме того, hrd_parameters_type_flag может быть включен в состав, если команда начинается с 11-го ряда.

sub_hrd_parameters_type[I]_flag определен в 25 ряду. Когда значение sub_hrd_parameters_type[I]_flag равно 1, то значение для выполнения процесса декодирования только соответствующего временного уровня устанавливается в качестве суб HRD параметра последующего пункта. Когда значение hrd_parameters_type_flag равно 0, то значение для выполнения процесса декодирования на соответствующем временном уровне и нижнем временном уровне устанавливается в качестве суб HRD параметра последующего пункта.

Фиг. 7 иллюстрирует пример, в котором выполняется указание любым одним способом (либо только соответствующий уровень включен в состав, либо нижний уровень также включается в состав) для каждого уровня и каждого временного уровня, но настоящее изобретение не ограничивается этим примером. Например, может быть использован HRD параметр, в котором HRD параметр указывается обоими способами.

Другой пример HRD параметра

На фиг. 8 показана схема, иллюстрирующая другой пример синтаксиса HRD параметра в соответствии с настоящим изобретением. Цифры слева от каждого ряда показывают номера строк, которые добавлены для описания.

В качестве примера на фиг. 8, hrd_parameters_type1_present_flag опреде