Способ декодирования изображения, способ кодирования изображения, устройство декодирования изображения, устройство кодирования изображения и устройство кодирования и декодирования изображения

Способ декодирования изображения, способ кодирования изображения, устройство декодирования изображения, устройство кодирования изображения и устройство кодирования и декодирования изображения

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ

[0001] Настоящее изобретение относится к способу кодирования изображения и способу декодирования изображения.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

[0002] В настоящее время большинство стандартизованных алгоритмов видеокодирования основаны на гибридном видеокодировании. Способы гибридного видеокодирования типично объединяют несколько различных схем сжатия без потерь и с потерями, чтобы достичь желательного выигрыша сжатия. Гибридное видеокодирование также является базой для стандартов ITU-T (стандартов Н.26х, таких как H.261 и Н.263), а также стандартов ISO/IEC (стандартов MPEG-X, таких как MPEG-1, MPEG-2 и MPEG-4).

[0003] Самым последним и расширенным стандартом видеокодирования является в настоящее время стандарт, обозначенный как стандарт Н.264/MPEG-4 расширенное видеокодирования (AVC), который является результатом усилий по стандартизации Объединенной видео группы (JVT), являющейся объединенным коллективом из групп ITU-T и ISO/IEC MPEG.

[0004] Стандарт видеокодирования, упоминаемый как Высокоэффективное видеокодирование (HEVC), в настоящее время исследуется Объединенной совместной группой по видеокодированию (JCT-VC) с целью улучшения эффективности относительно видеокодирования высокого разрешения.

ПЕРЕЧЕНЬ ССЫЛОК

НЕПАТЕНТНАЯ ЛИТЕРАТУРА

[0005] [Непатентный документ 1]: “Wavefront Parallel Processing for HEVC Encoding and Decoding” by C. Gordon et al., no. JCTVC-F274-v2, from the Meeting in Torino, July 2011

[Непатентный документ 2]: “Tiles” by A. Fuldseth et al., no. JCTVC-F355-v1, from the Meeting in Torino, July 2011

[Непатентный документ 3]: JCTVC-J1003_d7, “High efficiency video coding (HEVC) text specification draft 8” of July 2012

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ЗАДАЧА

[0006] Существует необходимость в улучшении эффективности способов кодирования изображения и способов декодирования изображения в ситуации, где используются как параллельная обработка мозаичных элементов, так и независимые слайсы (слайсы).

[0007] Настоящее изобретение предназначено для обеспечения способа кодирования изображения и способа декодирования изображения, которые делают возможным повышение эффективности, когда используются как параллельная обработка мозаичных элементов, так и независимые слайсы.

РЕШЕНИЕ ЗАДАЧИ

[0008] Способ декодирования изображения согласно одному аспекту настоящего изобретения представляет собой способ декодирования изображения для декодирования битового потока, включающего в себя кодированный сигнал, являющийся результатом кодирования мозаичных элементов и слайсов (слайсов), на которые разделено изображение, причем способ содержит декодирование кодированного сигнала, причем каждый из слайсов является либо нормальным слайсом, имеющим, в заголовке, информацию, используемую для другого слайса, либо зависимым слайсом, который декодируется с использованием информации, включенной в заголовок слайса другого слайса, и когда нормальный слайс начинается с позиции иной, чем начало первого мозаичного элемента, второй мозаичный элемент, кодированный вслед за первым мозаичным элементом, не начинается с зависимого слайса.

[0009] Эти общие и специфические аспекты могут быть реализованы с использованием системы, способа, интегральной схемы, компьютерной программы или считываемого компьютером носителя записи, такого как CD-ROM, или любой комбинации систем, способов, интегральных схем, компьютерных программ или считываемых компьютером носителей записи.

ПРЕДПОЧТИТЕЛЬНЫЕ ЭФФЕКТЫ ИЗОБРЕТЕНИЯ

[0010] Настоящее изобретение успешно обеспечивает способ кодирования изображения и способ декодирования изображения, которые обеспечивают возможность повышения эффективности, когда используется как параллельная обработка мозаичных элементов, так и зависимые слайсы.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0011] Фиг. 1 - блок-схема устройства кодирования изображения согласно вариантам осуществления.

Фиг. 2 - блок-схема устройства декодирования изображения согласно вариантам осуществления.

Фиг. 3А - схематичная диаграмма для иллюстрации WPP согласно вариантам осуществления.

Фиг. 3В - схематичная диаграмма для иллюстрации зависимых слайсов в WPP согласно вариантам осуществления.

Фиг. 4А - схематичная диаграмма для иллюстрации зависимых слайсов, когда WPP не применяется, согласно вариантам осуществления.

Фиг. 4В - схематичная диаграмма для иллюстрации зависимых слайсов, когда WPP применяется, согласно вариантам осуществления.

Фиг. 5 - диаграмма, показывающая заголовок слайса энтропийного слайса или зависимого слайса, согласно вариантам осуществления.

Фиг. 6 - диаграмма, показывающая примерную неразрешенную структуру слайсов, когда WPP применяется, согласно вариантам осуществления.

Фиг. 7 - диаграмма, показывающая примерную разрешенную структуру слайсов, когда WPP применяется, согласно вариантам осуществления.

Фиг. 8 - схематичная диаграмма, показывающая процесс инициализации CABAC, согласно вариантам осуществления.

Фиг. 9 - блок-схема последовательности операций для процесса определения в способе инициализации CABAC для зависимого слайса, зависящего от характеристик предшествующего слайса, согласно вариантам осуществления.

Фиг. 10 - диаграмма, показывающая примерную структуру слайсов согласно вариантам осуществления.

Фиг. 11 - диаграмма, показывающая примерную структуру слайсов согласно вариантам осуществления.

Фиг. 12 - диаграмма, показывающая примерный синтаксис заголовка слайса согласно варианту осуществления 1.

Фиг. 13 - блок-схема последовательности операций для процесса определения в способе инициализации CABAC для зависимого слайса, согласно варианту осуществления 1.

Фиг. 14 - диаграмма, показывающая примерное изображение (картинку), разделенное на слайсы, согласно варианту осуществления 2.

Фиг. 15 - блок-схема последовательности операций для процесса определения в способе инициализации CABAC согласно варианту осуществления 2.

Фиг. 16 - диаграмма, показывающая примерную картинку, разделенную на слайсы, согласно варианту осуществления 2.

Фиг. 17 - диаграмма, показывающая примерную картинку, разделенную на слайсы, согласно варианту осуществления 2.

Фиг. 18 - диаграмма, показывающая примерную картинку, разделенную на слайсы, согласно варианту осуществления 3.

Фиг. 19 - диаграмма, показывающая заголовок слайса, согласно варианту осуществления 4.

Фиг. 20 - диаграмма, показывающая примерную картинку, разделенную на мозаичные элементы, согласно варианту осуществления 4.

Фиг. 21А - диаграмма, показывающая порядок сканирования согласно варианту осуществления 4.

Фиг. 21В - диаграмма, показывающая порядок сканирования согласно варианту осуществления 4.

Фиг. 22А - диаграмма, показывающая соотношение между мозаичным элементом и слайсом согласно варианту осуществления 4.

Фиг. 22В - диаграмма, показывающая соотношение между мозаичным элементом и слайсом согласно варианту осуществления 4.

Фиг. 22С - диаграмма, показывающая соотношение между мозаичным элементом и слайсом согласно варианту осуществления 4.

Фиг. 23 - пример разделения картинки на мозаичные элементы и слайсы согласно варианту осуществления 4.

Фиг. 24 - диаграмма, показывающая порядок декодирования для картинки, разделенной на мозаичные элементы согласно варианту осуществления 4.

Фиг. 25А - диаграмма, показывающая примерную неразрешенную структуру слайсов согласно варианту осуществления 4.

Фиг. 25В - диаграмма, показывающая примерную разрешенную структуру слайсов согласно варианту осуществления 4.

Фиг. 25С - диаграмма, показывающая примерную разрешенную структуру слайсов согласно варианту осуществления 4.

Фиг. 26А - диаграмма, показывающая примерную неразрешенную структуру слайсов согласно варианту осуществления 4.

Фиг. 26В - диаграмма, показывающая примерную разрешенную структуру слайсов согласно варианту осуществления 4.

Фиг. 27А - диаграмма, показывающая примерную неразрешенную структуру слайсов согласно варианту осуществления 4.

Фиг. 27В - диаграмма, показывающая примерную разрешенную структуру слайсов согласно варианту осуществления 4.

Фиг. 28 - общая конфигурация системы предоставления контента для реализации услуг распространения контента.

Фиг. 29 - общая конфигурация цифровой широковещательной системы.

Фиг. 30 - блок-схема, иллюстрирующая пример конфигурации телевизора.

Фиг. 31 - блок-схема, иллюстрирующая пример конфигурации модуля воспроизведения/записи информации, который считывает и записывает информацию с и на носитель записи, которым является оптический диск.

Фиг. 32 показывает пример конфигурации носителя записи, которым является оптический диск.

Фиг. 33A показывает пример сотового телефона.

Фиг. 33B - блок-схема, показывающая пример конфигурации сотового телефона.

Фиг. 34 иллюстрирует структуру мультиплексированных данных.

Фиг. 35 схематично показывает, каким образом каждый поток мультиплексирован в мультиплексированных данных.

Фиг. 36 более подробно показывает, как видеопоток сохранен в потоке PES-пакетов.

Фиг. 37 показывает структуру TS-пакетов и исходных пакетов в мультиплексированных данных.

Фиг. 38 показывает структуру данных РМТ.

Фиг. 39 показывает внутреннюю структуру информации мультиплексированных данных.

Фиг. 40 показывает внутреннюю структуру информации атрибутов потока.

Фиг. 41 показывает этапы для идентификации видео данных.

Фиг. 42 показывает пример конфигурации интегральной схемы для реализации способа кодирования движущегося изображения и способа декодирования движущегося изображения в соответствии с каждым из вариантов осуществления.

Фиг. 43 показывает конфигурацию для переключения между частотами возбуждения.

Фиг. 44 показывает этапы для идентификации видео данных и переключения между частотами возбуждения.

Фиг. 45 показывает пример справочной таблицы, в которой стандарты видео данных ассоциированы с частотами возбуждения.

Фиг. 46A - диаграмма, показывающая пример конфигурации для совместного использования модуля блока обработки сигналов.

Фиг. 46B - диаграмма, показывающая другой пример конфигурации для совместного использования модуля блока обработки сигналов.

ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0012] Базовые знания, формирующие основу настоящего изобретения

По отношению к способу кодирования изображения и способу декодирования изображения, раскрытым в разделе, характеризующем предшествующий уровень техники, изобретатели обнаружили следующую проблему.

[0013] Сначала описывается устройство кодирования изображения и устройство декодирования изображения в соответствии со стандартом HEVC.

[0014] Видеосигнал, введенный в устройство кодирования изображения, включает в себя изображения, каждое из которых упоминается как кадр (картинка). Каждый кадр включает в себя пикселы, упорядоченные в двумерной матрице. Во всех вышеупомянутых стандартах, основанных на гибридном видеокодировании, каждый индивидуальный кадр разделен на блоки, каждый из которых включает в себя пикселы. Размер блоков может варьироваться, например, в соответствии с контентом изображения. Различные способы кодирования могут использоваться на поблочной основе. Например, наибольший размер блоков равен 64 х 64 пикселов в HEVC. Этот наибольший размер упоминается как наибольшая единица кодирования (LCU). LCU может рекурсивно делиться на четыре единицы кодирования (CU).

[0015] В H.264/MPEG-4 AVC, кодирование выполняется на по-макроблочной основе (обычно по 16 × 16-пиксельному блоку). Существует случай, когда макроблок делится на субблоки.

[0016] Как правило, этап кодирования в гибридном видеокодировании включает в себя пространственное и/или временное предсказание. В общем, каждый из текущих блоков, подлежащих кодированию, предсказывается с использованием блоков, смежных с текущим блоком по пространству или во времени, то есть, кодированных видеокадров. Далее, вычисляется остаточный блок, который является разностью между текущим блоком и результатом предсказания. Далее, остаточный блок преобразуется из пространственной (пиксельной) области в частотную область. Преобразование направлено на снижение корреляции входного блока.

[0017] Далее, коэффициент преобразования, полученный в результате преобразования, квантуется. Это квантование является сжатием с потерями. Сжатие без потерь выполняется на полученном таким образом коэффициенте квантования с использованием энтропийного кодирования. Кроме того, дополнительная информация, необходимая для восстановления кодированного видеосигнала, кодируется и выводится с кодированным видеосигналом. Эта информация является, например, информацией о пространственном предсказании, временном предсказании и/или квантовании.

[0018] Фиг. 1 является блок-схемой, показывающей примерное устройство 100 кодирования изображения, совместимое с H.264/MPEG-4 AVC и/или HEVC.

[0019] Вычитатель 105 вычисляет разностный сигнал 106 (остаточный блок), который является разностью между текущим блоком, подлежащим кодированию, входного сигнала 101 изображения и соответствующим сигналом 181 предсказания (блоком предсказания). Сигнал 181 предсказания генерируется временным предсказанием или пространственным предсказанием с помощью модуля 180 предсказания. Тип предсказания может быть изменен на покадровой или поблочной основе. Блок и/или кадр, предсказанный с использованием временного предсказания, упоминается как интер-кодированный (межкадровое кодирование), а блок и/или кадр, предсказанный с использованием пространственного предсказания упоминается как интра-кодированный (внутрикадровое кодирование).

[0020] Сигнал предсказания, используемый для временного предсказания, получают с использованием кодированного и декодированного изображения, сохраненного в памяти. Сигнал предсказания, используемый для пространственного предсказания, получают с использованием граничных пиксельных значений смежных кодированных и декодированных блоков, хранящихся в памяти. Кроме того, число направлений интра-предсказания определяется в соответствии с размером блоков кодирования.

[0021] Остаточный сигнал 106 также упоминается как ошибка предсказания или остаток предсказания. Модуль 110 преобразования преобразует остаточный сигнал 106, чтобы генерировать коэффициент 111 преобразования. Модуль 120 квантования квантует коэффициент 111 преобразования, чтобы генерировать коэффициент 121 квантования. Модуль 190 энтропийного кодирования выполняет энтропийное кодирование над коэффициентом 121 квантования, с целью дальнейшего снижения в количестве данных для сохранения и передачи без потерь. Например, энтропийное кодирование является кодированием переменной длины. Кроме того, длина кодового слова определяется на основе вероятности появления кода.

[0022] Кодированный сигнал 191 (кодированный битовый поток) генерируется посредством приведенной выше обработки.

[0023] Устройство 100 кодирования изображения включает в себя модуль декодирования для получения декодированного сигнала изображения (восстановленного сигнала изображения). В частности, модуль 130 обратного преобразования выполняет обратное квантование и обратное преобразование над коэффициентом 121 квантования для генерации остаточного сигнала 131. Этот остаточный сигнал 131 строго отличается от исходного остаточного сигнала 106 из-за ошибки квантования, также называемой шумом квантования.

[0024] Далее, сумматор 140 суммирует остаточный сигнал 131 и сигнал 181 предсказания для генерации декодированного сигнала 141 изображения. Как указано выше, чтобы сохранить совместимость между устройством кодирования изображения и устройством декодирования изображения, каждое из устройства кодирования изображения и устройства декодирования изображения генерирует сигнал 181 предсказания с использованием кодированного и декодированного сигнала изображения.

[0025] При квантовании, шум квантования накладывается на декодированный сигнал 141 изображения. Наложенный шум часто отличается для каждого из блоков из-за кодирования, выполняемого на поблочной основе. При этом, когда выполняется особенно сильное квантование, границы блоков декодированного сигнала изображения становятся заметными. Такой шум блочности вызывают то, что качество изображения может казаться ухудшенным в визуальном восприятии человеком. Чтобы уменьшить шум блочности, фильтр 150 устранения блочности выполняет обработку фильтра устранения блочности над декодированным сигналом 141 изображения.

[0026] Например, в обработке фильтра устранения блочности в H.264/MPEG-4 AVC, обработка фильтра, подходящая для каждой из областей, выбирается для каждой области. Например, когда шум блочности велик, используется сильный (узкополосный) фильтр нижних частот, а когда шум блочности мал, используется слабый (широкополосный) фильтр нижних частот. Интенсивность фильтра нижних частот определяется в соответствии с сигналом 181 предсказания и остаточным сигналом 131. Обработка фильтра устранения блочности сглаживает края блоков. При этом субъективное качество изображения декодированного сигнала изображения увеличивается. Изображение, на котором была выполнена обработка фильтра, используется для предсказания компенсации движения следующего изображения. Следовательно, эта обработка фильтра снижает ошибку предсказания, тем самым увеличивая эффективность кодирования.

[0027] Адаптивный контурный фильтр 160 выполняет обработку адаптивного к выборке смещения и/или обработку адаптивного контурного фильтра над декодированным сигналом 151 изображения после обработки фильтра устранения блочности для генерации декодированного сигнала 161 изображения. Как указано выше, обработка фильтра устранения блочности повышает субъективное качество изображения. В отличие от этого, обработка адаптивного к выборке смещения (SАО) и обработка адаптивного контурного фильтра (ALF) направлены на повышение надежности на попиксельной основе (объективное качество).

[0028] SАО представляет собой обработку для добавления значения смещения к пикселю в соответствии с соседними пикселями. ALF используется для компенсации искажения изображения, вызванного сжатием. Например, ALF является фильтром Винера, имеющим коэффициент фильтра, определяемый таким образом, что среднеквадратичная ошибка (MSE) между декодированным сигналом 151 изображения и входным сигналом 101 изображения минимизируется. Например, коэффициент ALF вычисляется и передается на покадровой основе. Кроме того, ALF может применяться ко всему кадру (изображению) или локальной области (блоку). Кроме того, вспомогательная информация, указывающая область, над которой должна выполняться обработка фильтра, может передаваться на поблочной основе, на покадровой основе или на основе квадродерева.

[0029] Для декодирования интер-кодированного блока, необходимо хранить в буфере 170 опорных кадров часть кодированного и декодированного изображения. Буфер 170 опорных кадров хранит декодированный сигнал 161 изображения в качестве декодированного сигнала 171 изображения. Модуль 180 предсказания выполняет интер-предсказание с использованием предсказания компенсации движения. В частности, модуль оценки движения сначала выполняет поиск среди блоков, включенных в кодированный и декодированный кадр видео, на наличие блока, наиболее сходного с текущим блоком. Этот сходный блок используется в качестве сигнала 181 предсказания. Относительное смещение (движение) между текущим блоком и сходным блоком передается в качестве данных движения на устройство декодирования изображения. Этими данными движения являются, например, трехмерные векторы движения, включенные во вспомогательную информацию, предоставляемую с кодированными видеоданными. Здесь выражение "трехмерный" включает в себя два пространственных измерения и одно временное измерение.

[0030] Следует отметить, что для оптимизации точности предсказания, может использоваться вектор движения, имеющий пространственное субпиксельное разрешение, такое как разрешение в полпикселя и разрешение в четверть пикселя. Вектор движения, имеющий пространственное субпиксельное разрешение, указывает пространственное положение в декодированном кадре, где не существует пиксельное значение, то есть положение субпикселя. Таким образом, необходимо пространственно интерполировать пиксельное значение для выполнения предсказания компенсации движения. Это интерполяции выполняется, например, с помощью фильтра интерполяции (включенного в модуль 180 предсказания, показанный на фиг. 1).

[0031] Как в режиме интра-кодирования, так и в режиме интер-кодирования, коэффициент 121 квантования генерируется путем преобразования и квантования остаточного сигнала 106, который является разностью между входным сигналом 101 изображения и сигналом 181 предсказания. Как правило, модуль 110 преобразования использует для этого преобразования двумерное дискретное косинусное преобразование (DCT) или ортогональное преобразование, которое представляет собой целочисленную версию DCT. Это эффективно снижает корреляцию естественного видео. Кроме того, низкочастотный компонент, как правило, более важен для качества изображения, чем высокочастотный компонент, и, таким образом, большее количество битов используются для низкочастотного компонента, чем для высокочастотного компонента.

[0032] Модуль 190 энтропийного кодирования преобразует двумерный массив коэффициентов 121 квантования в одномерный массив. Как правило, так называемое зигзагообразное сканирование используется для этого преобразования. При зигзагообразном сканировании, двумерный массив сканируется в предопределенном порядке от DC коэффициента в левом верхнем углу двумерного массива до АС коэффициента в его правом нижнем углу. Энергия обычно концентрируется в коэффициентах в левой верхней части двумерного массива, которые соответствуют низкой частоте, и, таким образом, когда выполняется зигзагообразное сканирование, последние значения, как правило, равны нулю. При этом можно достичь эффективного кодирования, используя кодирование длины прогона как предварительную обработку энтропийного кодирования или ее часть.

[0033] В H.264/MPEG-4 AVC и HEVC используются различные типы энтропийного кодирования. Хотя кодирование фиксированной длины выполняется на некоторых синтаксических элементах, кодирование переменной длины выполняется на большинстве синтаксических элементов. В частности, контекстно-адаптивное кодирование переменной длины выполняется на остатке предсказания, и различные другие типы целочисленного кодирования выполняются на других синтаксических элементах. Кроме того, существует также случай, когда используется контекстно-адаптивное двоичное арифметическое кодирование (CABAC).

[0034] Кодирование переменной длины обеспечивает возможность сжатия без потерь кодированного битового потока. Однако кодовые слова имеют переменную длину, и, таким образом, необходимо постоянно декодировать кодовые слова. Другими словами, прежде чем предшествующее кодовое слово будет кодировано или декодировано, следующее кодовое слово не может кодироваться или декодироваться без перезапуска (инициализации) энтропийного кодирования или без отдельного указания положения первого кодового слова (точки входа), когда выполняется декодирование.

[0035] Битовая последовательность кодируется в одно кодовое слово путем арифметического кодирования на основе предопределенной вероятностной модели. Предопределенная вероятностная модель определяется на основе контентов видеопоследовательности в случае CABAC. Таким образом, арифметическое кодирование и CABAC выполняются более эффективно, когда длина битового потока, подлежащего кодированию, больше. Иными словами, CABAC, применяемое к битовой последовательности, является более эффективным в большем блоке. CABAC перезапускается в начале каждой последовательности. Иными словами, вероятностная модель инициализируется в начале каждой видеопоследовательности с определенным значением или предопределенным значением.

[0036] H.264/MPEG-4, H.264/MPEG-4 AVC и HEVC включают в себя два функциональных уровня: уровень видеокодирования (VCL) и сетевой уровень абстракции (NAL). Уровень видеокодирования обеспечивает функцию кодирования. NAL инкапсулирует информационные элементы в стандартные единицы, называемые NAL единицами, в зависимости от использования, такого как передача по каналу или сохранение в запоминающем устройстве. Информационные элементы представляют собой, например, кодированные сигналы ошибки предсказания и информацию, необходимую для декодирования видеосигнала. Информацией, необходимой для декодирования видеосигнала, является тип предсказания, параметр квантования, вектор движения и так далее.

[0037] Каждая из NAL единиц может быть классифицирована на VCL NAL единицу, включающую в себя сжатые видеоданные и соответствующую информацию; не-VCL единицу, инкапсулирующую дополнительные данные, такие как набор параметров, относящийся ко всей видеопоследовательности; и дополнительную информацию расширения (SEI) для обеспечения дополнительной информации, используемой для повышения точности декодирования.

[0038] Например, не-VCL единица включает в себя набор параметров. Набор параметров относится к набору параметров, относящихся к кодированию и декодированию определенной видеопоследовательности. Примеры набора параметров включают в себя набор параметров последовательности (SPS), включающий в себя параметры, относящиеся к кодированию и декодированию всей видеопоследовательности (последовательности картинок).

[0039] Набор параметров последовательности имеет структуру синтаксиса, включающую в себя синтаксические элементы. Набор параметров картинки (PPS), к которому можно обращаться, задается посредством pic_parameter_set_id, синтаксического элемента, включенного в каждый заголовок слайса (слайса). Кроме того, SPS, к которому можно обращаться, задается посредством seq_parameter_set_id, синтаксического элемента, включенного в PPS. Как указано выше, синтаксические элементы, включенные в SPS, применяются ко всей кодированной видеопоследовательности.

[0040] PPS представляет собой набор параметров, который определяет параметры, применяемые к кодированию и декодированию одной картинки, включенной в видеопоследовательность. PPS имеет структуру синтаксиса, включающую в себя синтаксические элементы. Набор параметров картинки (PPS), к которому можно обращаться, задается посредством pic_parameter_set_id, синтаксического элемента, включенного в каждый заголовок слайса. Как указано выше, синтаксические элементы, включенные в SPS, применяются ко всей кодированной картинке.

[0041] Таким образом, легче отслеживать SPS, чем PPS. Это объясняется тем, что PPS изменяется для каждой картинки, в то время как SPS остается постоянным в течение всей видеопоследовательности, которая может длиться в течение нескольких минут или нескольких часов.

[0042] VPS представляет параметры в наивысшем уровне и включает в себя информацию, относящуюся к видеопоследовательностям. Информацией, включенной в VPS, является скорость передачи данных, temporal_layering структура видеослайсов и так далее. Кроме того, VPS содержит информацию о зависимости между уровнями (зависимости между различными видеопоследовательностями). В результате, VPS можно рассматривать как информацию о видеопоследовательностях, и общая схема каждой из видеопоследовательностей может быть получена на основе VPS.

[0043] Фиг. 2 является блок-схемой, показывающей примерное устройство 200 декодирования изображения, совместимое с H.264/MPEG-4 AVC или HEVC стандартом видеокодирования.

[0044] Кодированный сигнал 201 (битовый поток), вводимый в устройство 200 декодирования изображения, передается на модуль 290 энтропийного декодирования. Модуль 290 энтропийного декодирования декодирует кодированный сигнал 201, чтобы получить коэффициент квантования и информационные элементы, необходимые для декодирования, такие как данные движения и режим предсказания. Кроме того, модуль 290 энтропийного декодирования подвергает обратному сканированию полученный коэффициент квантования с целью получения двумерного массива, чтобы генерировать коэффициент 291 квантования, и выводит коэффициент 291 квантования на модуль 230 обратного преобразования.

[0045] Модуль 230 обратного преобразования подвергает обратному квантованию и преобразует коэффициент 291 квантования для генерации остаточного сигнала 231. Остаточный сигнал 231 соответствует разности, полученной вычитанием сигнала предсказания из входного сигнала изображения, который не имеет шума квантования и ошибки и вводится в устройство кодирования изображения.

[0046] Модуль 280 предсказания генерирует сигнал 281 предсказания, используя временное предсказание или пространственное предсказание. Как правило, декодированные информационные элементы дополнительно включают в себя информацию, такую как тип предсказания в случае интра-предсказания, или информацию, необходимую для предсказания, такую как данные движения в случае предсказания компенсации движения.

[0047] Сумматор 240 суммирует остаточный сигнал 231 в пространственной области и сигнал 281 предсказания, генерируемый модулем 280 предсказания, для генерации декодированного сигнала 241 изображения. Фильтр 250 устранения блочности выполняет обработку фильтра устранения блочности над декодированным сигналом 241 изображения для генерации декодированного сигнала 251 изображения. Адаптивный контурный фильтр 260 выполняет обработку адаптивного к выборке смещения и обработку адаптивного контурного фильтра над декодированным сигналом 251 изображения, для генерации декодированного сигнала 261 изображения. Декодированный сигнал 261 изображения выводится в качестве отображаемого изображения и сохраняется как декодированный сигнал 271 изображения в буфере 270 опорных кадров. Декодированный сигнал 271 изображения используется для последующего блочного или временного или пространственного предсказания изображения.

[0048] По сравнению с H.264/MPEG-4 AVC, HEVC имеет функцию для содействия продвижению параллельной обработке кодирования и декодирования. Как H.264/MPEG-4 AVC, HEVC позволяет разделение кадра на слайсы. Здесь каждый из слайсов включает в себя последовательные LCU в порядке сканирования. В H.264/MPEG-4 AVC, каждый слайс является декодируемым, и пространственное предсказание не выполняется между слайсами. Таким образом, можно выполнить параллельную обработку на по-слайсной основе.

[0049] Однако слайс имеет значительно большой заголовок, и отсутствует зависимость между слайсами, тем самым уменьшая эффективность сжатия. Кроме того, когда CABAC выполняется на малом блоке данных, эффективность CABAC уменьшается.

[0050] В ответ на это была предложена волновая параллельная обработка (WPP), чтобы обеспечить более эффективную параллельную обработку. В WPP, вероятностная модуль, после того как вторая LCU в предыдущей строке обработана, используется в качестве вероятностной модели CABAC для сброса первой LCU (ведущей LCU) в каждой из LCU строк (в дальнейшем также просто называемых "строками") картинки. Это сохраняет зависимость между блоками. Таким образом, можно декодировать LCU строки параллельно. Кроме того, обработка каждой строки задерживается на две LCU по отношению к предыдущей строке.

[0051] Информация, указывающая точку входа, позицию, в которой запускается декодирование LCU строки, сигнализируется в заголовке слайса. Следует отметить, что непатентный документ (NPL) 1 детально описывает WPP.

[0052] Способ с использованием мозаичного элемента доступен в качестве еще одного подхода к усилению распараллеливания. Кадр (картинка) разбивается на мозаичные элементы. Каждый из мозаичных элементов является прямоугольным и включает в себя LCU. Границы между мозаичными элементами установлены, чтобы разделять картинку на матрицы. Кроме того, мозаичные элементы обрабатываются в порядке растрового сканирования.

[0053] Все зависимости теряются на границе каждого мозаичного элемента. Энтропийное кодирование, такое как CABAC сбрасывается в начале мозаичного элемента. Следует отметить, что только обработка фильтра устранения блочности и обработка адаптивного к выборке смещения применяются через границы между мозаичными элементами. Таким образом, можно кодировать или декодировать мозаичные элементы параллельно. Следует отметить, что непатентный документ (NPL) 2 и непатентный документ (NPL) 3 детально описывают мозаичные элементы.

[0054] Кроме того, концепции зависимого слайса и энтропийного слайса были предложены, чтобы сделать концепцию слайса более подходящей для распараллеливания, чем для устойчивости к ошибкам, являющейся первоначальной целью слайсов в H.264/MPEG-4 AVC. Другими словами, следующие три типа слайсов используются в HEVC: нормальный слайс, зависимый слайс и энтропийный слайс.

[0055] Нормальный слайс представляет собой слайс, уже известный из H.264/MPEG-4 AVC. Пространственное предсказание не может быть выполнено между нормальными слайсами. Короче говоря, предсказание не может быть выполнено через границы между слайсами. Иными словами, нормальный слайс кодируется без ссылки на другой слайс. CABAC перезапускается в начале каждого слайса, чтобы обеспечить отдельное декодирование слайса.

[0056] Нормальный слайс используется для начала кадра. Иными словами, каждый кадр должен начинаться с нормального слайса. Нормальный слайс имеет заголовок, включающий в себя параметры, необходимые для декодирования данных слайса.

[0057] Энтропийный слайс является слайсом, который обеспечивает пространственное предсказание, например, между родительским слайсом и энтропийным слайсом. Здесь, родительский слайс является нормальным слайсом, предшествующим энтропийному слайсу. Родительский слайс и энтропийный слайс подвергаются синтаксическому анализу независимо.

[0058] Данные слайса подвергаются синтаксическому анализу независимо от родительского слайса и энтропийного слайса, за исключением синтаксических элементов заголовка слайса. Другими словами, CABAC декодирование энтропийного слайса требует синтаксических элементов, включенных в заголовок слайса родительского слайса. Например, синтаксические элементы включают в себя информацию переключения, указывающую, включают ли в себя данные слайса параметры фильтрации. Когда данные слайса включают в себя параметры фильтрации, модуль САВАС декодирования извлекает информацию переключения. В противном случае, модуль САВАС декодирования не предполагает фильтрации данных. Иными словами, после синтаксического анализа заголовка слайса нормального слайса, модуль САВАС декодирования способен обрабатывать родительский слайс и энтропийный слайс параллельно.

[0059] Однако родительский слайс может быть, например, нормальным слайсом и необходим для восстановления пиксельных значений энтропийного слайса. Кроме того, CABAC перезапускается в начале слайса, чтобы позволить независимый синтаксический анализ энтропийного слайса.

[0060] Заголовок слайса более короткий, чем заголовок слайса нормального слайса, может быть использован для энтропийного слайса. Заголовок слайса включает в себя поднабор параметров кодирования относительно информации, передаваемой в заголовке слайса нормального слайса. Информация, не включенная в заголовок слайса энтропийного слайса, копируется из заголовка слайса родительского слайса.

[0061] Зависимый слайс подобен энтропийному слайсу, для которого CABAC не перезапускается. Перезапуск CABAC включает в себя процесс инициализации, в котором контекстная таблица (таблица вероятностей) инициализируется в значение по умолчанию, и процесс завершения (завершить процесс) в арифметическом кодировании или арифметическом декодировании.

[0062] Заголовок слайса родительского слайса используется для синтаксического анализа и/или декодирования зависимого слайса. Поскольку зависимый слайс не может синтаксически анализироваться без родительского слайса, когда родительский слайс не получен, зависимый слайс не может декодироваться. Родительский слайс обычно является слайсом, предшествующим зависимому слайсу в порядке кодирования и включающим в себя полный заголовок слайса. То же самое верно для родительского слайса энтропийного слайса.

[0063] В общем, энтропийный слайс может рассматриваться как зависимый от параметров заголовка другого слайса, и, таким образом, настоящее изобретение может быть применено как к зависимому слайсу, так и энтропийному слайсу.

[0064] Как описано выше, зависимый слай