Устройство и способ кодирования, устройство и способ декодирования

Устройство и способ кодирования, устройство и способ декодирования

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящая технология относится к устройству кодирования, способу кодирования, устройству декодирования и способу декодирования и более конкретно, к устройству кодирования, способу кодирования, устройству декодирования и способу декодирования, которые позволяют совместно использовать или прогнозировать информацию, относящуюся к опорному изображению для изображения, имеющего иерархическую структуру.

Уровень техники

В последние годы, с целью преобразования в цифровую форму информации изображения и передачи и накопления информации с высокой эффективностью для этого времени, получили широкое распространение устройства, соответствующие такой схеме, как фаза Группы экспертов движущегося изображения (MPEG), в которой сжатие выполнялось, используя ортогональное преобразование, такое как дискретное косинусное преобразование (DCT) и компенсация движения с использованием определенной избыточности информации изображения, как при предоставлении информации станциями широковещательной передачи и т.п., так и при приеме информации в обычных домашних хозяйствах.

В частности, схема MPEG 2 (ISO/IEC 13818-2) определена, как схема кодирования изображения общего назначения, и в настоящее время широко используется для широкого диапазона применения приложений профессионального использования и потребительского использования в качестве стандарта, охватывающего сканированное изображение с перемежением, последовательное сканированное изображение, изображение со стандартным разрешением и изображение высокой четкости. Используя схему MPEG 2, например, могут быть воплощены высокая степень сжатия и отличное качество изображения, в результате выделения величины кодирования (скорости передачи битов) 4-8 Мбит/с, в случае изображения, сканированного с перемежением, со стандартным разрешением, имеющим 720×480 пикселей и величиной кодирования 18-22 Мбайт/с, в случае сканированного изображения с перемежением с высоким разрешением, имеющего 1920×1088 пикселей.

MPEG 2, в основном, направлен на кодирование высокой четкости, пригодное для широковещательной передачи, но не поддерживает схему кодирования с величиной кодирования (скоростью передачи битов) ниже, чем у MPEG 1, то есть, схему кодирования с высокой степенью сжатия. По мере распространения мобильных терминалов, учли, что потребность в такой схеме кодирования будет увеличиваться в ближайшем будущем, и схема кодирования MPEG 4 будет стандартизирована. ISO/IEC 14496-2 был одобрен в декабре 1998, как международный стандарт для схемы кодирования изображения MPEG4.

Далее, в последние годы была впервые проведена стандартизация, в соответствии с таким стандартом, как H.26L (ITU-T Q6/16 VCEG), разработанным для кодирования изображения для организации видеоконференций. H.26L известен, как требующий большего объема расчетов для кодирования и декодирования, чем в схеме кодирования, такой как MPEG 2 или MPEG 4, но позволяет воплотить высокую эффективность кодирования.

Кроме того, в последние годы, в качестве одного из действий MPEG 4, была выполнена стандартизация, связанная с внедрением функции, которая не поддерживается H.26L, на основе H.26L и воплощающая высокую эффективность кодирования, как Объединенная модель кодирования видеоданных с улучшенным сжатием. Такая стандартизация была одобрена в марте 2003 г., как международный стандарт под названием Н.264 или MPEG 4 Part10 (Усовершенствованное кодирование видеоданных (AVC)).

Кроме того, в феврале 2005 г., в качестве расширения этого стандарта, были стандартизированы расширение диапазона правильного воспроизведения (FRExt), включающего в себя инструмент кодирования, необходимый для профессионального использования, такой как RGB или YUV422, или YUV444, или 8×8 DCT, и матрицу квантования, которая установлена в MPEG 2. В результате, схема AVC стала схемой кодирования, позволяющей также выражать шумы пленки, включенные в фильм, а также возможность использования в широком диапазоне вариантов применения, таких как диск BD (Blu-ray (зарегистрированный товарный знак)).

Однако в последние годы, все больше повышается потребность в кодировании с высокой степенью сжатия, позволяющей сжимать изображения размером приблизительно 4000×2000 пикселей, которые в 4 раза больше, чем изображение высокой четкости, или в передаче изображения высокой четкости в среде с ограниченной возможностью передачи, такой как Интернет. С этой целью, группа экспертов Кодирования видеоданных (VCEG) из ITU-T постоянно ищет возможность улучшения эффективности кодирования.

В настоящее время, для того, чтобы дополнительно улучшить эффективность кодирования, в большей степени, чем в AVC, выполняется стандартизация схемы кодирования, называемая Кодированием видеоданных высокой эффективности (HEVC), Объединенной группой по сотрудничеству в области кодирования видеоданных (JCTVC), которая представляет собой объединенную организацию по стандартизации ITU-T и ISO/IEC. Непатентный документ 1 был выработан, как проект, в августе 2012 г.

В то же время, схемы кодирования изображения, такие как MPEG 2 и AVC, имеют функцию масштабируемости, связанную с установлением иерархии и кодирования изображения. В соответствии с функцией масштабируемости, возможно передавать кодированные данные, в соответствии с характеристиками обработки на стороне декодирования, без выполнения обработки транскодирования.

В частности, например, возможно передавать только кодированный поток изображения основного уровня, который представляет собой уровень, использующийся, как основание для терминалов, имеющих низкие характеристики обработки, таких как мобильные телефоны. В то же время, возможно передавать кодированный поток изображения основного уровня и изображения уровня расширения, который представляет собой другой уровень, чем основной уровень, в терминалы, имеющие высокие характеристики обработки, такие как телевизионные приемники или персональные компьютеры.

Схема HEVC также имеет функцию масштабирования, и в схеме HEVC набор параметров видеоданных (VPS), включающий в себя параметры, относящиеся к функции масштабирования, определен в дополнение к набору параметров последовательности (SPS) и набору параметров изображения (PPS), как описано в непатентном документе 1.

На фиг. 1 показана схема, иллюстрирующая пример синтаксиса VPS в HEVC версии 1.

В HEVC версии 1, поскольку обеспечена только функция масштабирования (ниже называется "временной масштабируемостью") при установлении иерархии и кодировании изображения, в соответствии с частотой передачи кадров, только параметры, относящиеся к временной масштабируемости, определены в VPS, как представлено на фиг. 1.

В версии 2 HEVC также запланировано проведении стандартизации поддержки другой масштабируемой функции, кроме временной масштабируемости.

Список литературы

Непатентный документ

Непатентный документ 1: Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Thomas Wiegand, "High efficiency video coding (HEVC) text specification draft 8," JCTVC-I1003_d7, 2012.7.11-7.20

Сущность изобретения

Задачи, решаемые изобретением

Когда выполняют кодирование, используя функцию масштабирования, если поддерживаются изображение основного уровня и изображение уровня расширения, часть информации, относящаяся к опорным изображениям обоих изображений, рассматривается, как имеющая высокую степень корреляции.

Однако в схеме HEVC предшествующего уровня техники, поскольку информация, относящаяся к опорному изображению, установлена для каждого уровня, эффективность кодирования плохая.

Настоящая технология была выполнена с учетом описанного выше, и при этом желательно иметь возможность совместного использования или прогнозирования информации, относящейся к опорному изображению для изображения, имеющего иерархическую структуру.

Решения задач

Устройство кодирования, в соответствии с первым аспектом настоящей технологии, представляет собой устройство кодирования, включающее в себя модуль установки, который устанавливает информацию генерирования опорного изображения, используемую для генерирования информации первого опорного изображения, используя информацию первого опорного изображения, применяемую, как опорная информация, относящаяся к первому опорному изображению, используемому, когда кодируют первое масштабируемое изображение для изображения, имеющего иерархическую структуру, и информацию второго опорного изображения, используемую, как информация, относящаяся ко второму опорному изображению второго масштабируемого изображения, модуль кодирования, который кодирует первое масштабируемое изображение, используя первое опорное изображение, и генерирует кодированные данные, и модуль передачи, который передает кодированные данные, генерируемые модулем кодирования, и информацию генерирования опорного изображения, установленную модулем установки.

Способ кодирования, в соответствии с первым аспектом настоящей технологии, соответствует устройству кодирования, в соответствии с первым аспектом настоящей технологии.

В первом аспекте настоящей технологии информация генерирования опорного изображения, используемая для генерирования информации первого опорного изображения, установлена, используя информацию первого опорного изображения, используемую, как информация, относящаяся к первому опорному изображению, используемому, когда кодируют первое масштабируемое изображение для изображения, имеющего иерархическую структуру, и информации второго опорного изображения, используемой, как информация, относящаяся ко второму опорному изображению второго масштабируемого изображения, первое масштабируемое изображение кодируют, используя первое опорное изображение, генерируют кодированные данные, и передают кодированные данные и информацию генерирования опорного изображения.

Устройство декодирования, в соответствии со вторым аспектом настоящей технологии, представляет собой устройство декодирования, включающее в себя модуль приема, который принимает информацию генерирования опорного изображения, используемую для генерирования информации первого опорного изображения, генерируемой, используя информацию первого опорного изображения, используемую, как информация, относящаяся к первому опорному изображению, используемому, когда кодируют первое масштабируемое изображение для изображения, имеющего иерархическую структуру, и информацию второго опорного изображения, используемую, как информация, относящаяся ко второму опорному изображению второго масштабируемого изображения, и кодированные данные первого масштабируемого изображения, модуль генерирования, который генерирует информацию первого опорного изображения, используя информацию генерирования опорного изображения, и модуль декодирования, который декодирует кодированные данные первого масштабируемого изображения, используя первое опорное изображение на основе информации первого опорного изображения, генерируемой модулем генерирования.

Способ декодирования, в соответствии со вторым аспектом настоящей технологии, соответствует устройству декодирования, в соответствии со вторым аспектом настоящей технологии.

Во втором аспекте настоящей технологии информацию генерирования опорного изображения, используемую для генерирования информации первого опорного изображении, генерируют, используя информацию первого опорного изображения, используемую, как информация, относящаяся к первому опорному изображению, используемому, когда кодируют первое масштабируемое изображение для изображения, имеющего иерархическую структуру, и информацию второго опорного изображения, используемую, как информация, относящаяся ко второму опорному изображению второго масштабируемого изображения, и принимают кодированные данные первого масштабируемого изображения, информацию первого опорного изображения генерируют, используя информацию генерирования опорного изображения, и декодируют кодированные данные первого масштабируемого изображения на основе сгенерированной информации первого опорного изображения, используя первое опорное изображение.

Кроме того, устройство кодирования, в соответствии с первым аспектом, и устройство декодирования, в соответствии со вторым аспектом, могут быть воплощены, обеспечивая исполнение компьютером программы.

Кроме того, программа, исполняемая компьютером, для воплощения устройства кодирования, в соответствии с первым аспектом, и устройство декодирования, в соответствии со вторым аспектом, может быть предусмотрена таким образом, что программа может быть передана через среду передачи данных или записана на носителе записи.

Устройство кодирования, в соответствии с первым аспектом, и устройство декодирования, в соответствии со вторым аспектом, могут представлять собой независимое устройство или могут представлять собой внутренний блок, образующий одно устройство.

Эффекты изобретения

В соответствии с настоящей технологией, возможно совместно использовать или прогнозировать информацию, относящуюся к опорному изображению, для изображения, имеющего иерархическую структуру.

Краткое описание чертежей

На фиг. 1 представлена схема, иллюстрирующая примерный синтаксис VPS в версии 1 HEVC.

На фиг. 2 является схемой для того, чтобы описать пространственную масштабируемость.

На фиг. 3 показана схема для описания временной масштабируемости.

На фиг. 4 показана схема для описания масштабируемость SNR.

На фиг. 5 показана схема для представления общего обзора первого варианта осуществления настоящей технологии.

На фиг. 6 показана блок-схема, иллюстрирующая примерную конфигурацию устройства кодирования в соответствии с первым вариантом осуществления настоящей технологии.

На фиг. 7 представлена схема, иллюстрирующая примерный синтаксис SPS основного потока.

На фиг. 8 представлена схема, иллюстрирующая примерный синтаксис SPS основного потока.

На фиг. 9 представлена схема, иллюстрирующая примерный синтаксис заголовка среза основного потока.

На фиг. 10 представлена схема, иллюстрирующая примерный синтаксис заголовка среза основного потока.

На фиг. 11 представлена схема, иллюстрирующая примерный синтаксис заголовка среза основного потока.

На фиг. 12 представлена схема, иллюстрирующая примерный синтаксис RPS основного потока.

На фиг. 13 показана блок-схема, иллюстрирующая примерную конфигурацию модуля кодирования расширения по фиг. 6.

На фиг. 14 показана блок-схема, иллюстрирующая примерную конфигурацию модуля кодирования по фиг. 13.

На фиг. 15 показана схема для описания CU.

На фиг. 16 показана блок-схема, иллюстрирующая примерную конфигурацию модуля установки опорного изображения по фиг. 14.

На фиг. 17 представлена схема, иллюстрирующая примерный синтаксис SPS, установленного модулем установки по фиг. 13.

На фиг. 18 представлена схема, иллюстрирующая примерный синтаксис SPS, установленного модулем установки по фиг. 13.

На фиг. 19 представлена схема, иллюстрирующая примерную конфигурацию синтаксиса заголовка среза потока расширения.

На фиг. 20 представлена схема, иллюстрирующая примерную конфигурацию синтаксиса заголовка среза потока расширения.

На фиг. 21 представлена схема, иллюстрирующая примерную конфигурацию синтаксиса заголовка среза потока расширения.

На фиг. 22 представлена схема, иллюстрирующая примерный синтаксис RPS потока расширения.

На фиг. 23 представлена схема, иллюстрирующая примерный синтаксис VPS.

На фиг. 24 показана блок-схема последовательности операций для описания обработки масштабируемого кодирования устройства кодирования по фиг. 6.

На фиг. 25 показана блок-схема последовательности операций для подробного описания обработки генерирования потока расширения по фиг. 24.

На фиг. 26 показана блок-схема последовательности операций для подробного описания обработки кодирования по фиг. 25.

На фиг. 27 показана блок-схема последовательности операций для подробного описания обработки кодирования по фиг. 25.

На фиг. 28 показана блок-схема последовательности операций для подробного описания обработки генерирования по фиг. 26.

На фиг. 29 показана блок-схема, иллюстрирующая примерную конфигурацию устройства декодирования в соответствии с первым вариант осуществления настоящей технологии.

На фиг. 30 показана блок-схема, иллюстрирующая примерную конфигурацию модуля декодирования расширения по фиг. 29.

На фиг. 31 показана блок-схема, иллюстрирующая примерную конфигурацию модуля декодирования по фиг. 30.

На фиг. 32 показана блок-схема, иллюстрирующая примерную конфигурацию модуля установки опорного изображения по фиг. 31.

На фиг. 33 показана блок-схема последовательности операций для описания масштабируемой обработки декодирования устройства декодирования по фиг. 29.

На фиг. 34 показана блок-схема последовательности операций для описания обработки генерирования изображения расширения по фиг. 30.

На фиг. 35 показана блок-схема последовательности операций для подробного описания обработки декодирования по фиг. 34.

На фиг. 36 показана блок-схема последовательности операций для подробного описания обработки генерирования по фиг. 35.

На фиг. 37 показана схема для описания общего обзора второго варианта осуществления настоящей технологии.

На фиг. 38 показана схема для описания взвешенного прогнозирования.

На фиг. 39 показана блок-схема, иллюстрирующая примерную конфигурацию устройства кодирования в соответствии со вторым вариантом осуществления настоящей технологии.

На фиг. 40 представлена схема, иллюстрирующая примерный синтаксис PPS в схеме AVC.

На фиг. 41 представлена схема, иллюстрирующая примерный синтаксис PPS в схеме AVC.

На фиг. 42 представлена схема, иллюстрирующая примерный синтаксис PPS основного потока.

На фиг. 43 представлена схема, иллюстрирующая примерный синтаксис PPS основного потока.

На фиг. 44 представлена схема, иллюстрирующая примерный синтаксис заголовка среза в схеме AVC.

На фиг. 45 представлена схема, иллюстрирующая примерный синтаксис заголовка среза в схеме AVC.

На фиг. 46 представлена схема, иллюстрирующая примерный синтаксис взвешивающей информации в схеме AVC.

На фиг. 47 представлена схема, иллюстрирующая примерный синтаксис взвешивающей информации основного потока.

На фиг. 48 показана блок-схема, иллюстрирующая примерную конфигурацию модуля кодирования расширения по фиг. 39.

На фиг. 49 показана блок-схема, иллюстрирующая примерную конфигурацию модуля кодирования по фиг. 48.

На фиг. 50 показана блок-схема, иллюстрирующая примерную конфигурацию буфера веса и модуля установки веса по фиг. 49.

На фиг. 51 представлена схема, иллюстрирующая примерный синтаксис взвешивающей информации потока расширения.

На фиг. 52 представлена схема, иллюстрирующая примерный синтаксис взвешивающей информации потока расширения.

На фиг. 53 показана блок-схема последовательности операций для описания обработки генерирования потока расширения по фиг. 48.

На фиг. 54 показана блок-схема последовательности операций для подробного описания обработки кодирования по фиг. 53.

На фиг. 55 показана блок-схема последовательности операций для подробного описания обработки кодирования по фиг. 53.

На фиг. 56 показана блок-схема последовательности операций для подробного описания обработки генерирования по фиг. 54.

На фиг. 57 показана блок-схема, иллюстрирующая примерную конфигурацию устройства декодирования в соответствии со вторым вариантом осуществления настоящей технологии.

На фиг. 58 показана блок-схема, иллюстрирующая примерную конфигурацию модуля декодирования расширения по фиг. 57.

На фиг. 59 показана блок-схема, иллюстрирующая примерную конфигурацию модуля декодирования по фиг. 58.

На фиг. 60 показана блок-схема, иллюстрирующая примерную конфигурацию буфера веса и модуля установки веса по фиг. 59.

На фиг. 61 показана блок-схема последовательности операций для описания масштабируемой обработки декодирования устройства декодирования по фиг. 57.

На фиг. 62 показана блок-схема последовательности операций для подробного описания обработки декодирования модуля декодирования по фиг. 59.

На фиг. 63 показана блок-схема последовательности операций для подробного описания обработки генерирования по фиг. 62.

На фиг. 64 показана схема для описания общего обзора третьего варианта осуществления настоящей технологии.

На фиг. 65 показана блок-схема, иллюстрирующая примерную конфигурацию устройства кодирования в соответствии с третьим вариантом осуществления настоящей технологии.

На фиг. 66 показана блок-схема, иллюстрирующая примерную конфигурацию модуля кодирования расширения по фиг. 65.

На фиг. 67 показана блок-схема, иллюстрирующая примерную конфигурацию модуля кодирования по фиг. 66.

На фиг. 68 представлена схема, иллюстрирующая примерный синтаксис SPS, установленного модулем установки по фиг. 66.

На фиг. 69 представлена схема, иллюстрирующая примерный синтаксис заголовка среза потока расширения.

На фиг. 70 показана схема для описания эффектов в устройстве кодирования.

На фиг. 71 показана блок-схема последовательности операций для описания обработки масштабируемого кодирования устройства кодирования по фиг. 65.

На фиг. 72 показана блок-схема последовательности операций для подробного описания обработки установки SPS при обработке масштабируемого кодирования по фиг. 71.

На фиг. 73 показана блок-схема последовательности операций для подробного описания обработки установки флага копирования при обработке кодирования расширения по фиг. 71.

На фиг. 74 показана блок-схема, иллюстрирующая примерную конфигурацию устройства декодирования в соответствии с третьим вариантом осуществления настоящего раскрытия.

На фиг. 75 показана блок-схема, иллюстрирующая примерную конфигурацию модуля декодирования расширения по фиг. 74.

На фиг. 76 показана блок-схема, иллюстрирующая примерную конфигурацию модуля декодирования по фиг. 75.

На фиг. 77 показана блок-схема последовательности операций для описания обработки генерирования изображения расширения модуля декодирования расширения по фиг. 74.

На фиг. 78 показана блок-схема последовательности операций для подробного описания обработки выделения SPS по фиг. 77.

На фиг. 79 показана блок-схема последовательности операций для подробного описания обработки генерирования обработки декодирования расширения по фиг. 77.

На фиг. 80 представлена схема, иллюстрирующая примерный синтаксис SPS во время другой установки флага копирования.

На фиг. 81 представлена схема, иллюстрирующая примерный синтаксис заголовка среза потока расширения во время другой установки флага копирования.

На фиг. 82 показана блок-схема последовательности операций для описания обработки установки SPS во время другой установки флага копирования.

На фиг. 83 показана блок-схема последовательности операций для описания обработки установки флага копирования во время другой установки флага копирования.

На фиг. 84 показана блок-схема последовательности операций для описания обработку выделения SPS во время другой установки флага копирования.

На фиг. 85 показана блок-схема последовательности операций для описания обработку генерирования во время другой установки флага копирования.

На фиг. 86 представлена схема, иллюстрирующая примерный синтаксис расширения VPS в третьем варианте осуществления.

На фиг. 87 представлена схема, иллюстрирующая примерный синтаксис SPS во время использования режима установки.

На фиг. 88 представлена схема, иллюстрирующая примерный синтаксис заголовка среза потока расширения во время использования режима установки.

На фиг. 89 показана блок-схема последовательности операций для описания обработки установки SPS во время использования режима установки.

На фиг. 90 показана блок-схема последовательности операций для описания обработки установки флага копирования во время использования режима установки.

На фиг. 91 показана блок-схема последовательности операций для описания обработки выделения SPS во время использования режима установки.

На фиг. 92 показана блок-схема последовательности операций для описания обработки генерирования во время использования режима установки.

На фиг. 93 представлена схема, иллюстрирующая примерный синтаксис SPS во время установки общего флага копирования на основе схемы кодирования.

На фиг. 94 показана блок-схема, иллюстрирующая примерную конфигурацию устройства кодирования в соответствии с четвертым вариантом осуществления настоящей технологии.

На фиг. 95 показана блок-схема, иллюстрирующая примерную конфигурацию модуля кодирования расширения по фиг. 94.

На фиг. 96 показана блок-схема, иллюстрирующая примерную конфигурацию модуля кодирования по фиг. 95.

На фиг. 97 представлена схема, иллюстрирующая примерный синтаксис SPS, установленный модулем установки по фиг. 95.

На фиг. 98 представлена схема, иллюстрирующая примерный синтаксис заголовка среза потока расширения.

На фиг. 99 представлена схема, иллюстрирующая примерный синтаксис RPS для флага копирования частичного RPS.

На фиг. 100 показана блок-схема последовательности операций для описания обработки установки SPS устройства кодирования по фиг. 94.

На фиг. 101 показана блок-схема последовательности операций для подробного описания обработки установки флага копирования устройства кодирования по фиг. 94.

На фиг. 102 показана блок-схема, иллюстрирующая примерную конфигурацию устройства декодирования в соответствии с четвертым вариантом осуществления настоящего раскрытия.

На фиг. 103 показана блок-схема, иллюстрирующая примерную конфигурацию модуля декодирования расширения по фиг. 102.

На фиг. 104 показана блок-схема, иллюстрирующая примерную конфигурацию модуля декодирования по фиг. 103.

На фиг. 105 показана блок-схема последовательности операций для подробного описания обработки выделения SPS устройства декодирования по фиг. 102.

На фиг. 106 показана блок-схема последовательности операций для подробного описания обработки генерирования устройства декодирования по фиг. 102.

На фиг. 107 представлена схема, иллюстрирующая примерный синтаксис RPS во время общей установки RPS.

На фиг. 108 показана блок-схема последовательности операций для описания обработки установки SPS во время общей установки RPS.

На фиг. 109 показана блок-схема последовательности операций для подробного описания обработки установки флага копирования во время общей установки RPS.

На фиг. 110 показана блок-схема последовательности операций для описания обработки выделения SPS во время общей установки RPS.

На фиг. 111 представлена схема, иллюстрирующая примерную схему кодирования многообзорного изображения.

На фиг. 112 показано другое примерное кодирование функции масштабирования.

На фиг. 113 показана блок-схема, иллюстрирующая примерную конфигурацию аппаратных средств компьютера.

На фиг. 114 представлена схема, иллюстрирующая примерную схематичную конфигурацию телевизионного устройства в соответствии с настоящей технологией.

На фиг. 115 представлена схема, иллюстрирующая примерную схематичную конфигурацию мобильного телефона в соответствии с настоящей технологией.

На фиг. 116 представлена схема, иллюстрирующая примерную схематичную конфигурацию устройства записи/воспроизведения в соответствии с настоящей технологией.

На фиг. 117 представлена схема, иллюстрирующая примерную схематичную конфигурацию устройства формирования изображения в соответствии с настоящей технологией.

На фиг. 118 показана блок-схема, иллюстрирующая пример использования масштабируемого кодирования.

На фиг. 119 показана блок-схема, иллюстрирующая другой пример использования масштабируемого кодирования.

На фиг. 120 показана блок-схема, иллюстрирующая другой пример использования масштабируемого кодирования.

Подробное описание изобретения

<Описание функции масштабирования>

(Описание пространственной масштабируемости)

На фиг. 2 показана схема для описания пространственной масштабируемости.

Как представлено на фиг. 2, пространственная масштабируемость представляет собой функцию масштабирования для установления иерархии и кодирования изображения, в соответствии с пространственным разрешением. В частности, при пространственной масштабируемости, изображение с низким разрешением кодируют, как изображение основного уровня, и дифференциальное изображение между изображением с высоким разрешением и изображением с низким разрешением кодируют, как изображение уровня расширения.

Таким образом, поскольку устройство кодирования передает только кодированные данные изображения основного уровня в устройство декодирования, имеющее низкие характеристики обработки, устройство декодирования может генерировать изображение с низким разрешением. Кроме того, по мере того, как устройство кодирования передает кодированные данные изображения основного уровня и изображения уровня расширения для устройства декодирования, имеющего высокие характеристики обработки, устройство декодирования может генерировать изображение с высоким разрешением путем декодирования и комбинирования изображения основного уровня и изображения уровня расширения.

(Описание временной масштабируемости)

На фиг. 3 показана схема для описания временной масштабируемости.

Как описано выше, временная масштабируемость представляет собой функцию масштабируемости, устанавливающую иерархию и кодирование изображения, в соответствии с частотой передачи кадров. В частности, как представлено на фиг. 3, при временной масштабируемости, например, изображение с низкой скоростью передачи кадров (7,5 кадров в секунду в примере, показанном на фиг. 3) кодируют, как изображение основного уровня. Дифференциальное изображение между изображением с промежуточной частотой передачи кадров (15 кадров в секунду в примере на фиг. 3) и изображением с низкой частотой передачи кадров кодируют, как изображение уровня расширения. Дифференциальное изображение между изображением с высокой скоростью передачи кадров (30 кадров в секунду в примере на фиг. 3) и изображением с промежуточной скоростью передачи кадров кодируют, как изображение уровня расширения.

Таким образом, поскольку устройство кодирования передает только кодированные данные изображения основного уровня в устройство декодирования, имеющее низкие характеристики обработки, устройство декодирования может генерировать изображение с низкой скоростью передачи кадров. Кроме того, поскольку устройство кодирования передает кодированные данные изображения основного уровня и изображения уровня расширения в устройство декодирования, имеющее высокие характеристики обработки, устройство декодирования может генерировать изображение с высокой скоростью передачи кадров или с промежуточной скоростью передачи кадров путем декодирования и комбинирования изображения основного уровня и изображения уровня расширения.

(Описание масштабируемости SNR)

На фиг. 4 показана схема для описания масштабируемости SNR.

Как представлено на фиг. 4, масштабируемость SNR представляет собой масштабируемую функцию установления иерархии и кодирования изображения, в соответствии с отношением сигнал-шум (SNR). В частности, при масштабируемости SNR, изображение с низким SNR кодируют, как изображение основного уровня, и дифференциальное изображение между изображением с высоким SNR и изображением с низким SNR кодируют, как изображение уровня расширения.

Таким образом, по мере того, как устройство кодирования передает только кодированные данные изображения основного уровня в устройство декодирования, имеющее низкие характеристики обработки, устройство декодирования может генерировать изображение с низким значением SNR, то есть, изображение низкого качества. Кроме того, по мере того, как устройство кодирования передает кодированные данные изображения основного уровня и изображения уровня расширения в устройство декодирования, имеющее высокие характеристики обработки, устройство декодирования может генерировать изображение с высоким значением SNR, то есть, изображение высокого качества, путем декодирования и комбинирования изображения основного уровня и изображения уровня расширения.

Кроме того, хотя это и не показано, в дополнение к пространственной масштабируемости, временной масштабируемости и масштабируемости SNR, существуют другие масштабируемые функции.

Например, в качестве масштабируемой функции, также существует масштабируемость глубины битов для установления иерархии и кодирования изображения, в соответствии с количеством битов. В этом случае, например, кодируют видеоизображение 8 битов, как изображение основного уровня, и разницу между видеоизображением 10 битов и видеоизображением 8 битов кодируют, как изображение уровня расширения.

Кроме того, в качестве масштабируемой функции, также используется масштабируемость цветности, по которой устанавливают иерархию и кодируют изображение, в соответствии с форматом сигнала цветности. В этом случае, например, изображение YUV 420 кодируют, как изображение основного уровня, и дифференциальное изображение между изображением YUV 422 и изображением YUV 420 кодируют, как изображение уровня расширения.

Следующее описание будет представлено на примере, в котором для удобства описания количество уровней расширения равно одному.

<Первый вариант осуществления>

(Описание обзора первого варианта осуществления)

На фиг. 5 показана схема для описания обзора первого варианта осуществления настоящей технологии.

Как представлено на фиг. 5, в первом варианте осуществления, информация (ниже называется "информацией установления опорного изображения"), устанавливающая опорное изображение, используемое, как информация, относящаяся к опорному изображению, совместно используется или прогнозируется между различными уровнями, другими, а не между этими же уровнями.

(Примерная конфигурация первого варианта осуществления устройства кодирования)

На фиг. 6 показана блок-схема, иллюстрирующая примерную конфигурацию устройства кодирования, в соответствии с первым вариантом осуществления настоящей технологии.

Устройство 10 кодирования по фиг. 6 включает в себя модуль 11 основного кодирования, модуль 12 кодирования расширения, модуль 13 комбинирования и модуль передачи 14, и кодируют изображение в соответствии со схемой, соответствующей схеме HEVC, используя функцию масштабирования.

Изображение основного уровня (ниже называется "основным изображением ") вводят снаружи в модуль 11 основного кодирования устройства 10 кодирования. Модуль 11 основного кодирования сконфигурирован аналогично устройству кодирования схемы HEVC предшествующего уровня техники и кодирует основное изображение, в соответствии со схемой HEVC. Здесь модуль 11 основного кодирования подает информацию, устанавливающую опорное изображение, для опорного изображения, используемого, когда основное изображение кодируют в модуле 12 кодирования расширения. Модуль 11 основного кодирования подает кодированный поток, включающий в себя кодированные данные, полученные, как результат кодирования, SPS, PPS и т.п., в модуль 13 комбинирования, как основной поток.

Изображение уровня расширения (ниже называется "изображением расширения") подают снаружи в модуль 12 кодирования расширения. Модуль 12 кодирования расширения кодирует изображение расширения, в соответствии со схемой, которая соответствует схеме HEVC. Кроме того, модуль 12 кодирования расширения генерирует опорное изображение, устанавливающее информацию генерирования (информацию генерирования опорного изображения), используемую для генерирования информации, устанавливающей опорное изображение изображения расширения, используя информацию, устанавливающую опорное изображение для изображения основания, и информацию, устанавливающую опорное изображение для опорного изображения, используемого, когда кодируют изображение расширения.

Модуль 12 кодирования расширения генерирует кодированный поток путем добавления опорного изображения, устанавливающего информацию генерирования и т.п., в кодированные данные изображения расширения, и подает сгенерированный кодированный поток в