Способ кодирования, способ декодирования, устройство кодирования, устройство декодирования и устройство кодирования и декодирования

Способ кодирования, способ декодирования, устройство кодирования, устройство декодирования и устройство кодирования и декодирования

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Настоящее изобретение относится к способам кодирования изображений, способам декодирования изображений, устройствам кодирования изображений, устройствам декодирования изображений и устройствам кодирования и декодирования изображений.

УРОВЕНЬ ТЕХНИКИ

[0002] Чтобы сжимать аудиоданные и видеоданные, было разработано несколько стандартов кодирования аудио и стандартов кодирования видео. Примеры стандарта кодирования видео включают в себя стандарт ITU-T, называемый H.26x, и стандарт ISO/IEC, называемый MPEG-X (см., например, непатентный документ (NPL) 1). Самый актуальный стандарт кодирования видео представляет собой стандарт, называемый H.264/MPEG-4AVC. Кроме того, стандарт кодирования следующего поколения, называемый "стандартом высокоэффективного кодирования видео (HEVC)", представляет собой объект исследования (см., например, непатентный документ (NPL) 2).

СПИСОК БИБЛИОГРАФИЧЕСКИХ ССЫЛОК

НЕПАТЕНТНЫЕ ДОКУМЕНТЫ

[0003] NPL 1. ISO/IEC 14496-10 "MPEG-4 Part 10 Advanced Video Coding"

NPL 2. Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 8th Meeting: Сан-Хосе, Калифорния, США, 1-10 февраля 2012 года, JCTVC-H1003, "High Efficiency Video Coding (HEVC) text specification draft 6", http://phenix.int-evry.fr/jct/doc_end_user/documents/8_San%20Jose/wg11/JCTVC-H1003-v22.zip

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ЗАДАЧА

[0004] В таком способе кодирования изображений и способе декодирования изображений, требуется уменьшение нагрузки по обработке.

[0005] Таким образом, настоящее изобретение имеет цель предоставления способа кодирования изображений или способа декодирования изображений, которые обеспечивают уменьшение нагрузки по обработке.

РЕШЕНИЕ ЗАДАЧИ

[0006] Чтобы достигать вышеуказанной цели, способ кодирования изображений согласно аспекту настоящего изобретения представляет собой способ кодирования изображений для кодирования одной или более единиц, которые включены в картинку, причем способ кодирования изображений содержит: формирование первого флага, указывающего то, задается или нет время удаления кодированных данных из буфера посредством гипотетического декодера в расчете на единицу, причем буфер предназначен для сохранения кодированных данных; формирование второго флага, указывающего то, является ли интервал между временами удаления единиц постоянным или произвольным, когда время удаления задается в расчете на единицу; и формирование кодированного потока битов, включающего в себя кодированные данные, первый флаг и второй флаг.

[0007] Эти общие и конкретные аспекты могут быть реализованы с использованием системы, способа, интегральной схемы, компьютерной программы или считываемого компьютером носителя записи, такого как постоянная память на компакт-дисках (CD-ROM), а также могут быть реализованы с использованием любой комбинации систем, способов, интегральных схем, компьютерных программ и носителей записи.

ПРЕИМУЩЕСТВА ИЗОБРЕТЕНИЯ

[0008] Настоящее изобретение может предоставлять способ кодирования изображений или способ декодирования изображений, которые обеспечивают уменьшение нагрузки по обработке.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0009]

Фиг. 1 показывает пример синтаксиса VUI согласно варианту 1 осуществления.

Фиг. 2 показывает пример синтаксиса SEI синхронизации картинок согласно варианту 1 осуществления.

Фиг. 3 показывает пример синтаксиса VUI согласно варианту 1 осуществления.

Фиг. 4 показывает пример синтаксиса SEI периода буферизации согласно варианту 1 осуществления.

Фиг. 5 показывает пример синтаксиса SEI синхронизации картинок согласно варианту 1 осуществления.

Фиг. 6A является блок-схемой последовательности операций способа декодирования изображений согласно варианту 1 осуществления.

Фиг. 6B является блок-схемой последовательности операций способа кодирования изображений согласно варианту 1 осуществления.

Фиг. 7A является блок-схемой устройства декодирования изображений согласно варианту 1 осуществления.

Фиг. 7B является блок-схемой модуля определения моментов времени извлечения, включенного в устройство декодирования изображений согласно варианту 1 осуществления.

Фиг. 8A является блок-схемой устройства кодирования изображений согласно варианту 1 осуществления.

Фиг. 8B является блок-схемой модуля определения моментов времени извлечения, включенного в устройство кодирования изображений согласно варианту 1 осуществления.

Фиг. 9 показывает пример синтаксиса SEI задержки CPB для единиц декодирования согласно варианту 1 осуществления.

Фиг. 10 показывает пример структуры кодированного потока битов согласно варианту 1 осуществления.

Фиг. 11 показывает пример структуры кодированного потока битов согласно варианту 1 осуществления.

Фиг. 12 показывает пример дескриптора согласно варианту 1 осуществления.

Фиг. 13 является блок-схемой устройства декодирования изображений (STD) согласно варианту 1 осуществления.

Фиг. 14A показывает пример заполнения буфера согласно варианту 1 осуществления в случае, если извлечение выполняется в расчете на единицу доступа.

Фиг. 14B показывает пример заполнения буфера согласно варианту 1 осуществления в случае, если извлечение выполняется в расчете на единицу декодирования.

Фиг. 15 является блок-схемой последовательности операций способа декодирования изображений согласно варианту 1 осуществления.

Фиг. 16 является блок-схемой последовательности операций способа кодирования изображений согласно варианту 1 осуществления.

Фиг. 17 является блок-схемой кодера согласно варианту 1 осуществления.

Фиг. 18 является блок-схемой декодера согласно варианту 1 осуществления.

Фиг. 19 иллюстрирует общую конфигурацию системы предоставления контента для реализации услуг распространения контента.

Фиг. 20 иллюстрирует общую конфигурацию системы цифрового вещания.

Фиг. 21 иллюстрирует блок-схему, иллюстрирующую пример конфигурации телевизионного приемника.

Фиг. 22 иллюстрирует блок-схему, иллюстрирующую пример конфигурации модуля воспроизведения/записи информации, который считывает и записывает информацию с и на носитель записи, который является оптическим диском.

Фиг. 23 иллюстрирует пример конфигурации носителя записи, который является оптическим диском.

Фиг. 24A иллюстрирует пример сотового телефона.

Фиг. 24B является блок-схемой, показывающей пример конфигурации сотового телефона.

Фиг. 25 иллюстрирует структуру мультиплексированных данных.

Фиг. 26 схематично иллюстрирует то, как каждый поток мультиплексируется в мультиплексированные данные.

Фиг. 27 иллюстрирует то, как видеопоток сохраняется в потоке PES-пакетов.

Фиг. 28 иллюстрирует структуру TS-пакетов и исходных пакетов в мультиплексированных данных.

Фиг. 29 иллюстрирует структуру данных PMT.

Фиг. 30 иллюстрирует внутреннюю структуру информации мультиплексированных данных.

Фиг. 31 иллюстрирует внутреннюю структуру информации атрибутов потока.

Фиг. 32 иллюстрирует этапы для идентификации видеоданных.

Фиг. 33 иллюстрирует пример конфигурации интегральной схемы для реализации способа кодирования движущихся картинок и способа декодирования движущихся картинок согласно каждому из вариантов осуществления.

Фиг. 34 иллюстрирует конфигурацию для переключения между частотами возбуждения.

Фиг. 35 иллюстрирует этапы для идентификации видеоданных и переключения между частотами возбуждения.

Фиг. 36 показывает пример таблицы поиска, в которой стандарты видеоданных ассоциированы с частотами возбуждения.

Фиг. 37A является схемой, показывающей пример конфигурации для совместного использования узла модуля процессора сигналов.

Фиг. 37B является схемой, показывающей другой пример конфигурации для совместного использования узла модуля процессора сигналов.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0010] Базовая основа формирования знаний настоящего изобретения

Относительно традиционных технологий авторы изобретения обнаружили следующую проблему.

[0011] Далее описывается устройство декодирования изображений согласно сравнительному примеру настоящего изобретения.

[0012] Единица доступа (например, эквивалентная картинке) в видео разделяется на единицы декодирования. Кроме того, для каждой из единиц декодирования, задается момент времени извлечения, который представляет собой момент времени, когда устройство декодирования изображений извлекает кодированные данные единицы декодирования из буфера кодированных картинок (CPB). Вследствие этого, устройство декодирования изображений допускает последовательное декодирование кодированных данных единицы декодирования, как только кодированные данные готовы. За счет этого, устройство декодирования изображений не должно ожидать завершения приема всех данных единицы доступа и в силу этого дает возможность уменьшения времени задержки.

[0013] Все параметры для определения момента времени для извлечения каждой из единиц декодирования из CPB описываются, например, в SEI синхронизации картинок. Соответственно, устройство декодирования изображений должно синтаксически анализировать SEI синхронизации картинок в единице доступа каждый раз, чтобы получать момент времени извлечения единицы декодирования. Таким образом, авторы изобретения обнаружили проблему повышения загрузки устройства декодирования изображений.

[0014] Кроме того, возможный способ передачи информации относительно момента времени извлечения единицы декодирования из устройства кодирования изображений в устройство декодирования изображений представляет собой способ включения информации относительно момента времени извлечения каждой из единиц декодирования в кодированный поток битов. Тем не менее, интервалы между моментами времени извлечения единиц декодирования должны отличаться друг от друга в некоторых случаях и могут быть идентичными друг другу в других случаях. Авторы изобретения обнаружили, что в случае, если используются идентичные интервалы, включение информации относительно момента времени извлечения каждой из единиц декодирования в кодированный поток битов, как указано выше, приводит к кодированному потоку битов с избыточной информацией, включенной в него.

[0015] Способ кодирования изображений согласно аспекту настоящего изобретения представляет собой способ кодирования изображений для кодирования одной или более единиц, которые включаются в картинку, причем способ кодирования изображений содержит: формирование первого флага, указывающего то, задается или нет время удаления кодированных данных из буфера посредством гипотетического декодера в расчете на единицу, причем буфер предназначен для сохранения кодированных данных; формирование второго флага, указывающего то, является ли интервал между временами удаления единиц постоянным или произвольным, когда время удаления задается в расчете на единицу; и формирование кодированного потока битов, включающего в себя кодированные данные, первый флаг и второй флаг.

[0016] За счет этого, способ кодирования изображений позволяет задавать постоянные временные интервалы, с которыми устройство декодирования изображений удаляет кодированные данные в расчете на единицу из буфера. Это дает возможность, например, уменьшения нагрузки по обработке в устройстве декодирования изображений.

[0017] Например, имеется вероятность того, что при формировании кодированного потока битов второй флаг включается в управляющую информацию в расчете на группу картинок, которая включается в кодированный поток битов и предоставляется в расчете на группу картинок, включающую в себя одну или более картинок.

[0018] Например, имеется вероятность того, что способ кодирования изображений дополнительно содержит формирование информации общего интервала, когда второй флаг указывает то, что интервал является постоянным, причем информация общего интервала указывает интервал, и при формировании кодированного потока битов, информация общего интервала включается в управляющую информацию в расчете на картинку, которая включается в кодированный поток битов и предоставляется в расчете на картинку.

[0019] Например, имеется вероятность того, что информация общего интервала включает в себя временной интервал между картинками и общее число единиц, включенных в одну картинку.

[0020] Например, имеется вероятность того, что способ кодирования изображений дополнительно содержит формирование информации переменного интервала, когда второй флаг указывает то, что интервал является произвольным, причем информация переменного интервала указывает интервал для каждой из единиц, и при формировании кодированного потока битов, информация переменного интервала включается в управляющую информацию в расчете на картинку.

[0021] Например, имеется вероятность того, что способ кодирования изображений дополнительно содержит формирование информации переменного интервала, когда второй флаг указывает то, что интервал является произвольным, причем информация переменного интервала указывает интервал для каждой из единиц, и при формировании кодированного потока битов, информация переменного интервала включается в управляющую информацию в расчете на единицу, которая включается в кодированный поток битов и предоставляется в расчете на единицу.

[0022] Например, имеется вероятность того, что кодированный поток битов включает в себя транспортный поток и дескриптор, и при формировании кодированного потока битов, второй флаг включается в дескриптор.

[0023] Кроме того, способ декодирования изображений согласно аспекту настоящего изобретения представляет собой способ декодирования изображений для декодирования кодированных данных в расчете на единицу, включенных в одну или более единиц, которые включаются в картинку, причем способ декодирования изображений содержит: получение, из кодированного потока битов, включающего в себя кодированные данные, первого флага, указывающего то, задается или нет время удаления кодированных данных из буфера в расчете на единицу, причем буфер предназначен для сохранения кодированных данных; получение, из кодированного потока битов, второго флага, указывающего то, является ли интервал между временами удаления единиц постоянным или произвольным, когда время удаления задается в расчете на единицу; удаление кодированных данных из буфера в расчете на единицу и с постоянным или произвольным интервалом согласно второму флагу; и декодирование удаленных кодированных данных.

[0024] За счет этого, способ декодирования изображений дает возможность уменьшения нагрузки по обработке.

[0025] Например, имеется вероятность того, что при получении второго флага второй флаг получается из управляющей информации в расчете на группу картинок, которая включается в кодированный поток битов и предоставляется в расчете на группу картинок, включающую в себя одну или более картинок.

[0026] Например, имеется вероятность того, что способ декодирования изображений дополнительно содержит получение информации общего интервала из управляющей информации в расчете на картинку, когда второй флаг указывает то, что интервал является постоянным, причем информация общего интервала указывает интервал, и управляющая информация в расчете на картинку включается в кодированный поток битов и предоставляется в расчете на картинку, и при удалении, когда второй флаг указывает то, что интервал является постоянным, кодированные данные удаляются из буфера в расчете на единицу и с интервалом, указываемым в информации общего интервала.

[0027] Например, имеется вероятность того, что информация общего интервала указывает временной интервал между картинками и общее число единиц, включенных в одну картинку, и при удалении, интервал вычисляется с использованием временного интервала между картинками и общего числа единиц, и кодированные данные удаляются из буфера в расчете на единицу и с вычисленным интервалом.

[0028] Например, имеется вероятность того, что способ декодирования изображений дополнительно содержит получение информации переменного интервала из управляющей информации в расчете на картинку, когда второй флаг указывает то, что интервал является произвольным, причем информация переменного интервала указывает интервал для каждой из единиц, и при удалении, когда второй флаг указывает то, что интервал является произвольным, кодированные данные удаляются из буфера в расчете на единицу и с интервалом, указываемым в информации переменного интервала.

[0029] Например, имеется вероятность того, что способ декодирования изображений дополнительно содержит получение информации переменного интервала из управляющей информации в расчете на единицу, когда второй флаг указывает то, что интервал является произвольным, причем информация переменного интервала указывает интервал для каждой из единиц, и управляющая информация в расчете на единицу включается в кодированный поток битов и предоставляется в расчете на единицу, и при удалении, когда второй флаг указывает то, что интервал является произвольным, кодированные данные удаляются из буфера в расчете на единицу и с интервалом, указываемым в информации переменного интервала.

[0030] Например, имеется вероятность того, что кодированный поток битов включает в себя транспортный поток и дескриптор, и при получении второго флага, второй флаг получается из дескриптора.

[0031] Кроме того, устройство кодирования изображений согласно аспекту настоящего изобретения представляет собой устройство кодирования изображений для кодирования одной или более единиц, которые включены в картинку, причем устройство кодирования изображений содержит: схему управления; и хранилище, доступное из схемы управления, при этом схема управления исполняет: формирование первого флага, указывающего то, задается или нет время удаления кодированных данных из буфера посредством гипотетического декодера в расчете на единицу, причем буфер предназначен для сохранения кодированных данных; формирование второго флага, указывающего то, является ли интервал между временами удаления единиц постоянным или произвольным, когда время удаления задается в расчете на единицу; и формирование кодированного потока битов, включающего в себя кодированные данные, первый флаг и второй флаг.

[0032] За счет этого, устройство кодирования изображений допускает задание постоянных временных интервалов, с которыми устройство декодирования изображений удаляет кодированные данные в расчете на единицу из буфера. Это дает возможность, например, уменьшения нагрузки по обработке в устройстве декодирования изображений.

[0033] Кроме того, устройство декодирования изображений согласно аспекту настоящего изобретения представляет собой устройство декодирования изображений для декодирования кодированных данных в расчете на единицу, включенных в одну или более единиц, которые включаются в картинку, причем устройство декодирования изображений содержит: схему управления; и хранилище, доступное из схемы управления, при этом схема управления исполняет: получение, из кодированного потока битов, включающего в себя кодированные данные, первого флага, указывающего то, задается или нет время удаления кодированных данных из буфера в расчете на единицу, причем буфер предназначен для сохранения кодированных данных; получение, из кодированного потока битов, второго флага, указывающего то, является ли интервал между временами удаления единиц постоянным или произвольным, когда время удаления задается в расчете на единицу; удаление кодированных данных из буфера в расчете на единицу и с постоянным или произвольным интервалом согласно второму флагу; и декодирование удаленных кодированных данных.

[0034] За счет этого, устройство декодирования изображений дает возможность уменьшения нагрузки по обработке.

[0035] Кроме того, устройство кодирования и декодирования изображений согласно аспекту настоящего изобретения содержит вышеуказанное устройство кодирования изображений и вышеуказанное устройство декодирования изображений.

[0036] Эти общие и конкретные аспекты могут быть реализованы с использованием системы, способа, интегральной схемы, компьютерной программы или считываемого компьютером носителя записи, такого как постоянная память на компакт-дисках (CD-ROM), а также могут быть реализованы с использованием любой комбинации систем, способов, интегральных схем, компьютерных программ и носителей записи.

[0037] Ниже подробно описываются примерные варианты осуществления со ссылкой на чертежи.

[0038] Каждый из вариантов осуществления, описанных ниже, показывает конкретный пример настоящего изобретения. Числовые значения, формы, материалы, структурные элементы, компоновка и соединение структурных элементов, этапы, порядок обработки этапов и т.д., показанные в следующих примерных вариантах осуществления, являются просто примерами и, следовательно, не ограничивают настоящее изобретение. Следовательно, из структурных элементов в нижеприведенных примерных вариантах осуществления, структурные элементы, не изложенные в любом из независимых пунктов формулы изобретения, указывающих наиболее обобщенную идею, описываются как произвольные структурные элементы.

[0039] Первый вариант осуществления

Устройство кодирования изображений и устройство декодирования изображений согласно этому варианту осуществления используют два режима: интервал между моментами времени для извлечения единиц декодирования в единице доступа из CPB является (i) постоянным в одном режиме (режиме с общим интервалом) и (ii) произвольным в другом режиме (режиме с переменным интервалом). Устройство кодирования изображений допускает, в качестве гипотетического эталонного декодера, то устройство декодирования изображений, в которое передается информация, и переключает способ формирования и передачи информации моментов времени извлечения для каждого из режимов.

[0040] В качестве примера, устройство кодирования изображений и устройство декодирования изображений по существу используют режим с общим интервалом. Устройство кодирования изображений и устройство декодирования изображений используют режим с переменным интервалом для видео, которое в значительной степени отличается по объему кода в зависимости от области в единице доступа.

[0041] Кроме того, устройство кодирования изображений может включать информацию, указывающую интервал между моментами времени извлечения, вместо единицы доступа, в единицу (например, единицу картинок) на более высоком уровне по сравнению с такой единицей доступа, как набор параметров последовательности (SPS). Вследствие этого, устройство декодирования изображений не должно выполнять синтаксический анализ в расчете на единицу доступа.

[0042] Устройство декодирования изображений синтаксически анализирует единицу на более высоком уровне по сравнению с такой единицей доступа, как SPS (более конкретно, информацией применимости видео (VUI) в SPS), чтобы определять то, текущий режим представляет собой режим с общим интервалом или режим с переменным интервалом, и согласно определенному режиму, переключает способ получения информации моментов времени извлечения.

[0043] Кроме того, устройство декодирования изображений, которое поддерживает только режим с общим интервалом, может начинать декодирование в расчете на единицу доступа без начала декодирования в расчете на единицу декодирования, когда определено, что текущий режим представляет собой режим с переменным интервалом.

[0044] Кодированный поток, в общем, передается в форме мультиплексированного с использованием транспортного потока (TS) MPEG-2, MP4, транспортного протокола реального времени (RTP) и т.п. Таким образом, устройство кодирования изображений может передавать в мультиплексном слое информацию, общую для последовательностей (наборов картинок), к примеру, информацию для идентификации вышеуказанного режима, и интервал между моментами времени извлечения в режиме с общим интервалом.

[0045] Ниже описывается первый пример синтаксиса согласно этому варианту осуществления.

[0046] Фиг. 1 показывает пример синтаксиса VUI, включенной в SPS. Фиг. 2 показывает пример синтаксиса SEI синхронизации картинок, которая назначается каждой единице доступа.

[0047] Флаг переменного интервала (variable_sub_pic_removal_period_flag), который представляет собой информацию, указывающую то, представляет собой интервал между моментами времени для извлечения из CPB для единиц декодирования в единице доступа режим с общим интервалом или режим с переменным интервалом, сохраняется в VUI. Кроме того, устройство декодирования изображений определяет интервал между моментами времени извлечения с использованием параметра в VUI в случае режима с общим интервалом и определяет интервал между моментами времени извлечения с использованием параметра в SEI синхронизации картинок в случае режима с переменным интервалом.

[0048] Например, когда флаг переменного интервала (variable_sub_pic_removal_period_flag) равен 0, интервал между моментами времени для извлечения из CPB является общим для единиц декодирования в единице доступа (режим с общим интервалом). Помимо этого, интервал между моментами времени извлечения устанавливается посредством последующего синтаксиса в VUI.

[0049] С другой стороны, когда флаг переменного интервала равен 1, интервал между моментами времени для извлечения из CPB является произвольным для единиц декодирования в единице доступа (режим с переменным интервалом). Помимо этого, интервал между моментами времени извлечения устанавливается посредством SEI синхронизации картинок, которая назначается каждой единице доступа.

[0050] Помимо этого, флаг единицы декодирования (sub_pic_cpb_flag), включенный в VUI, указывает то, выполняется задание процесса декодирования (извлечение кодированных данных из CPB) в расчете на единицу доступа (картинку) или в расчете на единицу декодирования. Когда флаг единицы декодирования равен 0, это указывает в расчете на единицу доступа, а когда флаг единицы декодирования равен 1, это указывает в расчете на единицу декодирования.

[0051] Определения других синтаксисов являются такими, как указано, например, в NPL 2.

[0052] Когда флаг единицы декодирования (sub_pic_cpb_flag) и флаг переменного интервала (variable_sub_pic_removal_period_flag) равны 1, num_decoding_units_minus1 и cpb_removal_delay существуют в SEI синхронизации картинок. Число единиц декодирования в единице доступа составляет num_decoding_units_minus1+1. Кроме того, cpb_removal_delay устанавливает момент времени для извлечения каждой из единиц декодирования из CPB.

[0053] В других случаях, num_decoding_units_minus1 не существует в SEI синхронизации картинок, и его значение рассматривается в качестве 0.

[0054] Когда флаг единицы декодирования (sub_pic_cpb_flag) равен 0, извлечение из CPB выполняется в расчете на единицу доступа, и момент времени извлечения определяется на основе cpb_removal_delay.

[0055] Когда флаг единицы декодирования равен 1, и флаг переменного интервала равен 0 (sub_pic_cpb_flag=1 и variable_sub_pic_removal_period_flag=0), извлечение из CPB выполняется в расчете на единицу декодирования, и момент времени извлечения определяется на основе параметра в VUI.

[0056] Ниже описывается второй пример синтаксиса согласно этому варианту осуществления.

[0057] Фиг. 3 показывает пример синтаксиса VUI, включенной в SPS. Фиг. 4 показывает пример синтаксиса SEI периода буферизации, включенной в SPS. Фиг. 5 показывает пример синтаксиса SEI синхронизации картинок, которая назначается каждой единице доступа.

[0058] В этом примере синтаксиса, флаг переменного интервала (variable_sub_pic_removal_period_flag), который представляет собой информацию, указывающую то, представляет собой интервал между моментами времени извлечения единиц декодирования в единице доступа режим с общим интервалом или режим с переменным интервалом, сохраняется в SEI периода буферизации. Здесь, SEI периода буферизации включается в SPS, например, как VUI. Другими словами, SEI периода буферизации формируется в расчете на набор картинок.

[0059] Кроме того, устройство декодирования изображений определяет интервал между моментами времени извлечения с использованием параметра в VUI в случае режима с общим интервалом и определяет интервал между моментами времени извлечения с использованием параметра в SEI синхронизации картинок в случае режима с переменным интервалом.

[0060] Другими словами, устройство кодирования изображений устанавливает флаг переменного интервала (variable_sub_pic_removal_period_flag) в SEI периода буферизации.

[0061] Когда флаг единицы декодирования (sub_pic_cpb_flag) равен 1, устройство кодирования изображений может сохранять, в SEI периода буферизации, removal_time_offset, установленный в hrd_parameters() в VUI.

[0062] Кроме того, устройство кодирования изображений может сохранять, в SEI периода буферизации, параметр (num_ctbs_in_subpicture_minus1 и picture_interval) для определения момента времени для извлечения единицы декодирования из CPB в режиме с общим интервалом.

[0063] Далее описывается последовательность операций способа декодирования изображений, который выполняется посредством устройства декодирования изображений согласно этому варианту осуществления.

[0064] Фиг. 6A является блок-схемой последовательности операций способа декодирования изображений согласно этому варианту осуществления.

[0065] Во-первых, устройство декодирования изображений определяет то, извлекаются кодированные данные из CPB в расчете на единицу доступа или в расчете на единицу декодирования, на основе значения флага единицы декодирования (sub_pic_cpb_flag), включенного в VUI (S101).

[0066] Когда извлечение из CPB выполняется в расчете на единицу декодирования ("Да" на S102), устройство декодирования изображений определяет то, какой из режима с общим интервалом и режима с переменным интервалом представляет собой текущий режим, на основе значения флага переменного интервала (variable_sub_pic_removal_period_flag), включенного в VUI (S103).

[0067] Когда текущий режим представляет собой режим с общим интервалом ("Да" на S104), устройство декодирования изображений определяет момент времени извлечения единицы декодирования на основе параметра (num_ctbs_in_subpicture_minus1 и picture_interval), включенного в VUI (S105).

[0068] С другой стороны, когда текущий режим представляет собой режим с переменным интервалом ("Нет" на S104), устройство декодирования изображений определяет момент времени извлечения единицы декодирования на основе параметра (cpb_removal_delay), включенного в SEI синхронизации картинок (S106).

[0069] Кроме того, когда извлечение из CPB выполняется в расчете на единицу доступа ("Нет" на S102), устройство декодирования изображений определяет момент времени извлечения единицы доступа на основе параметра, включенного в SEI синхронизации картинок (S107).

[0070] Далее описывается последовательность операций способа кодирования изображений, который выполняется посредством устройства кодирования изображений согласно этому варианту осуществления.

[0071] Фиг. 6B является блок-схемой последовательности операций способа кодирования изображений согласно этому варианту осуществления.

[0072] Во-первых, устройство кодирования изображений определяет то, извлекаются кодированные данные из CPB в расчете на единицу доступа или в расчете на единицу декодирования. Устройство кодирования изображений затем сохраняет, в VUI, флаг единицы декодирования (sub_pic_cpb_flag), указывающий результат определения (S201).

[0073] Когда извлечение из CPB выполняется в расчете на единицу декодирования ("Да" на S202), устройство кодирования изображений определяет то, какой из режима с общим интервалом и режима с переменным интервалом представляет собой текущий режим, и сохраняет, в VUI, флаг переменного интервала (variable_sub_pic_removal_period_flag), указывающий результат определения (S203).

[0074] Когда текущий режим представляет собой режим с общим интервалом ("Да" на S204), устройство кодирования изображений определяет момент времени извлечения единицы декодирования и сохраняет, в VUI, параметр (num_ctbs_in_subpicture_minus2 и picture_interval), указывающий результат определения (S205).

[0075] С другой стороны, когда текущий режим представляет собой режим с переменным интервалом ("Нет" на S204), устройство кодирования изображений сохраняет, в SEI синхронизации картинок, параметр (cpb_removal_delay) для определения момента времени извлечения единицы декодирования (S206).

[0076] Когда извлечение из CPB выполняется в расчете на единицу доступа ("Нет" на S202), устройство кодирования изображений сохраняет, в SEI синхронизации картинок, параметр для определения момента времени извлечения единицы доступа (S207).

[0077] Следует отметить, что согласно инструкциям, предоставленным снаружи (извне), устройство кодирования изображений, например, выбирает единицу извлечения (извлечение в расчете на единицу доступа или извлечение в расчете на единицу декодирования) кодированных данных из CPB, выбирает режим с общим интервалом или режим с переменным интервалом, определяет момент времени извлечения единицы декодирования и определяет момент времени извлечения единицы доступа. Помимо этого, устройство кодирования изображений может выполнять выбор или определение согласно информации, полученной снаружи, свойствам входного изображения и т.п.

[0078] Здесь, в случае если используется режим с общим интервалом, устройство кодирования изображений регулирует процесс кодирования таким образом, что объем данных в каждой единице декодирования попадает в некоторый диапазон. Это дает возможность уменьшения задержки в процессе декодирования в устройстве декодирования изображений, которая обусловлена тем, что данные в некоторой единице декодирования имеют большой объем. Это означает то, что режим с общим интервалом является полезным для случая, в котором требуется работа в режиме реального времени. С другой стороны, в режиме с переменным интервалом, устройство кодирования изображений может адаптивно изменять объем данных в единице декодирования по мере необходимости. За счет этого, можно выделять большой объем данных, например, для единицы декодирования, которая требует большого объема данных для того, чтобы предоставлять некоторую степень качества изображений. Это означает то, что режим с переменным интервалом является полезным для случая, в котором приоритет предоставляется качеству изображений.

[0079] Далее описывается структура устройства декодирования изображений согласно этому варианту осуществления.

[0080] Фиг. 7A является блок-схемой устройства декодирования изображений согласно этому варианту осуществления. Как показано на Фиг. 7A, устройство 300 декодирования изображений включает в себя CPB 301, модуль 302 определения моментов времени извлечения, декодер 303 и DPB 304.

[0081] CPB 301 является буфером (памятью) для временного сохранения кодированного потока.

[0082] Модуль 302 определения внешних моментов времени определяет момент времени извлечения в расчете на единицу доступа из CPB 301 и момент времени извлечения в расчете на единицу декодирования из CPB 301.

[0083] Модуль 303 декодирования получает кодированные данные из CPB 301 в расчете на единицу доступа или в расчете на единицу декодирования в моменты времени извлечения, определенные посредством модуля 302 определения моментов времени извлечения, декодирует полученные кодированные данные и сохраняет результирующие декодированные данные в DPB 304.

[0084] DPB 304 является буфером (памятью) для временного сохранения декодированных данных.

[0085] Фиг. 7B является блок-схемой модуля 302 определения моментов времени извлечения. Как показано на Фиг. 7B, модуль 302 определения моментов времени извлечения включает в себя модуль 311 определения единиц извлечения, модуль 312 определения моментов времени извлечения единиц доступа, модуль 313 определения режима, модуль 314 определения моментов времени извлечения единиц декодирования и модуль 315 передачи моментов времени извлечения.

[0086] Модуль 311 определения единиц извлечения определяет то, извлекаются кодированные данные из CPB 301 в расчете на единицу доступа или в расчете на единицу декодирования.

[0087] Модуль 312 определения моментов времени извлечения единиц доступа определяет момент времени для извлечения единицы доступа из CPB 301, когда кодированные данные извлекаются в расчете на единицу доступа.

[0088] Модуль 313 определения режима определяет то, какой из режима с общим интервалом и режима с переменным интервалом представляет собой текущий режим, когда кодированные данные извлекаются в расчете на единицу декодирования.

[0089] Модуль 314 опре