Объединенная обработка масштабируемости для многослойного кодирования видео

Объединенная обработка масштабируемости для многослойного кодирования видео

Иллюстрации

Показать все

Реферат

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

[0001] Данная заявка испрашивает приоритет по Предварительной Заявке США № 61/887,782, поданной 07 октября 2013г., и Предварительной Заявке США № 62/045,495, поданной 03 сентября 2014г., которые во всей своей полноте включены в настоящее описание посредством ссылки.

УРОВЕНЬ ТЕХНИКИ

[0002] По мере развития технологии цифрового дисплея, продолжают увеличиваться разрешения дисплея. Например, потоки цифрового видео высокой четкости (HD), которые в последнее время воплощают наилучшее доступное коммерческое разрешение дисплея, готовы затмить дисплеи сверхвысокой четкости (UHD) (например, 4K дисплеи, 8K дисплеи, и т.д.).

[0003] Системы кодирования видео часто используются, чтобы сжимать цифровые видеосигналы, например, чтобы сократить расходуемое пространство для хранения и/или сократить расход полосы пропускания передачи, ассоциированной с такими сигналами. Масштабируемое кодирование видео (SVC) было показано, чтобы улучшить качество восприятия применительно к видео приложениям, работающим на устройствах с разными возможностями, через неоднородные сети. Масштабируемое кодирование видео может расходовать меньшее количество ресурсов (например, полосу пропускания сети связи, хранилище, и т.д.), в сравнении с методиками не масштабируемого кодирования видео.

[0004] Известные реализации кодирования видео SVC (например, которые используют пространственную масштабируемость) доказали свою эффективность для кодирования видеосигналов HD, но показывают недостатки при обработке цифровых видеосигналов, которые выходят за рамки разрешения HD, например, видеосигналов UHD.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0005] Система кодирования видео может выполнять межслойную обработку. Система кодирования видео может одновременно выполнять процессы масштабируемости обратного отображения тона и преобразования цветовой гаммы в отношении слоя упомянутого видеосигнала. Система кодирования видео может выполнять повышающую дискретизацию в отношении слоя видеосигнала. Например, процесс повышающей дискретизации может быть выполнен после объединенных процессов масштабируемости обратного отображения тона и преобразования цветовой гаммы. Используемое в данном документе кодирование может включать в себя кодирование и/или декодирование.

[0006] Например, объединенный модуль обработки может быть использован, чтобы одновременно выполнять процессы масштабируемости обратного отображения тона и преобразования цветовой гаммы на нижнем слое, таком как базовый слой. Объединенный модуль обработки может брать в качестве входных данных битовую глубину элемента дискретизации входного компонента яркости и битовую глубину элемента дискретизации входного компонента(ов) цветности и может вычислять битовую глубину элемента дискретизации выходного компонента яркости и битовую глубину элемента дискретизации выходного компонента(ов) цветности на основании входных данных. Выходные данные (например, видео, содержащее выходной компонент яркости и выходные компоненты цветности), и/или указание выходных данных (например, один или более параметры, указывающие битовые глубины элемента дискретизации выходных компонентов яркости и цветности), и/или указание выходных данных, объединенного модуля обработки могут быть отправлены к модулю обработки повышающей дискретизации для повышающей дискретизации. Обработанный базовый слой может быть использован, чтобы кодировать слой улучшения. Обработанный базовый слой может быть использован, чтобы предсказывать слой улучшения.

[0007] Система кодирования видео может выполнять преобразование цвета из первого цветового пространства во второе цветовое пространство. Например, могут быть извлечены значения цветового компонента, такого как компонент яркости и/или компонент(ы) цветности, для пикселя. Значения цветового компонента могут быть представлены с разными битовыми глубинами. Битовые глубины могут быть выровнены, и значения цветового компонента могут быть преобразованы из первого цветового пространства во второе цветовое пространство, используя перекрестную цветовую (cross-color) компонентную модель. Выравнивание может быть основано на входной битовой глубине яркости, входной битовой глубине цветности, минимальной входной битовой глубине, и/или максимальной входной битовой глубине. Битовые глубины могут быть выровнены по большему значению из битовых глубин, и/или могут быть выровнены по меньшему значению из битовых глубин. При выполнении отображения цвета для компонента цветности видеосигнала, битовая глубина компонента яркости видеосигнала может быть выровнена по битовой глубине компонента цветности. При выполнении отображения цвета для компонента яркости видеосигнала, битовая глубина компонента цветности видеосигнала может быть выровнена по битовой глубине компонентов яркости.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0008] Фиг. 1 изображает примерную систему многослойного масштабируемого кодирования видео.

[0009] Фиг. 2 изображает пример временного и межслойного предсказания для стереоскопического кодирования видео.

[0010] Фиг. 3 является таблицей примерных типов масштабируемости, которые могут быть выполнены при кодировании видео.

[0011] Фиг. 4 является таблицей технических спецификаций телевидения сверхвысокой четкости (UHDTV) и телевидения высокой четкости (HDTV).

[0012] Фиг. 5 изображает сравнение цветовых пространств телевидения сверхвысокой четкости (UHDTV) и телевидения высокой четкости (HDTV).

[0013] Фиг. 6 является таблицей, изображающей пример слоев битового потока, которые могут поддерживать масштабируемость HD до UHD.

[0014] Фиг. 7 является таблицей, изображающей другой пример слоев битового потока, которые могут поддерживать масштабируемость HD до UHD.

[0015] Фиг. 8 является упрощенной структурной схемой, иллюстрирующей примерный двухслойный масштабируемый кодер видео, который может быть выполнен с возможностью выполнения масштабируемости HD до UHD.

[0016] Фиг. 9 является упрощенной структурной схемой, иллюстрирующей примерный двухслойный масштабируемый декодер видео, который может быть выполнен с возможностью выполнения масштабируемости HD до UHD.

[0017] Фиг. 10 изображает пример межслойной обработки, используя несколько модулей обработки.

[0018] Фиг. 11 является таблицей синтаксиса, которая иллюстрирует пример сигнализации выбора и очередности обработки межслойных процессов и/или межслойных модулей обработки.

[0019] Фиг. 12 является таблицей примерных значений, которые могут быть использованы с примерной таблицей синтаксиса с Фиг. 11.

[0020] Фиг. 13 изображает пример межслойной обработки, используя объединенный модуль обработки обратного отображения тона и повышающей дискретизации.

[0021] Фиг. 14 изображает пример межслойной обработки, используя объединенный модуль обработки обратного отображения тона и преобразования цветовой гаммы.

[0022] Фиг. 15 является таблицей синтаксиса, которая иллюстрирует пример объединенной обработки преобразования цветовой гаммы и обратного отображения тона.

[0023] Фиг. 16 является таблицей примерных значений, которые могут быть использованы с примерной таблицей синтаксиса с Фиг. 11.

[0024] Фиг. 17A изображает системную схему примерной системы связи, в которой могут быть реализованы один или более раскрываемые варианты осуществления.

[0025] Фиг. 17B изображает системную схему примерного блока беспроводной передачи/приема (WTRU), который может быть использован в системе связи, иллюстрируемой на Фиг. 17A.

[0026] Фиг. 17C изображает системную схему примерной сети радиодоступа и примерной базовой сети, которые могут быть использованы в системе связи, иллюстрируемой на Фиг. 17A.

[0027] Фиг. 17D изображает системную схему примерной сети радиодоступа и примерной базовой сети, которые могут быть использованы в системе связи, иллюстрируемой на Фиг. 17A.

[0028] Фиг. 17E изображает системную схему примерной сети радиодоступа и примерной базовой сети, которые могут быть использованы в системе связи, иллюстрируемой на Фиг. 17A.

ПОДРОБНОЕ ОПИСАНИЕ

[0029] Фиг. 1 является упрощенной структурной схемой, изображающей примерную основанную на блоке гибридную систему масштабируемого кодирования видео (SVC). Пространственное и/или временное разрешение сигнала, который будет представляться слоем 1 (например, базовым слоем), может быть сгенерировано посредством понижающей дискретизации входного видеосигнала. На последующей стадии кодирования, установка квантователя, такого как Q1, может привести к уровню качества базовой информации. Один или более последующий, более высокий слой(и) может быть закодирован и/или декодирован, используя реконструкцию Y1 базового слоя, которая может представлять собой приближенное значение уровней разрешения более высокого слоя. Блок повышающей дискретизации может выполнять повышающую дискретизацию сигнала реконструкции базового слоя до разрешения слоя-2. Понижающая дискретизация и/или повышающая дискретизация может быть выполнена через множество слоев (например, для N слоев, слоев 1, 2 … N). Коэффициенты понижающей дискретизации и/или повышающей дискретизации могут быть разными, например, в зависимости от размера масштабируемости между двумя слоями.

[0030] В примерной системе масштабируемого кодирования видео на Фиг. 1, для заданного более высокого слоя n (например, 2≤n≤N, где N - общее количество слоев), разностный сигнал может быть сгенерирован посредством вычитания сигнала нижнего слоя после повышающей дискретизации (например, сигнала слоя n-1) из текущего сигнала слоя n. Данный разностный сигнал может быть закодирован. Если соответствующие видеосигналы, представленные двумя слоями, n1 и n2, имеют одно и то же пространственное разрешение, может быть выполнен обход соответствующих операций понижающей дискретизации и/или повышающей дискретизации. Заданный слой n (например, 1≤n≤N), или множество слоев, могут быть декодированы без использования декодированной информации из более высоких слоев.

[0031] Если полагаться на кодирование остаточного сигнала (например, разностного сигнала между двумя слоями) для слоев, отличных от базового слоя, например, используя примерную систему SVC с Фиг. 1, то это может вызвать визуальные артефакты. Такие визуальные артефакты могут возникать из-за, например, квантования и/или нормализации остаточного сигнала, чтобы ограничить его динамический диапазон, и/или квантования, которое выполняется во время кодирования остатка. Один или более кодеры более высокого слоя могут применять оценку движения и/или предсказание с компенсацией движения в качестве соответствующих режимов кодирования. Оценка и/или компенсация движения в остаточном сигнале может быть отличной от обычной оценки движения и может быть склонна к появлению визуальных артефактов. Для того чтобы сократить (например, минимизировать) возникновение визуальных артефактов, может быть реализовано более сложное квантование остатка, например, вместе с процессом совместного квантования, который может включать в себя как квантование и/или нормализацию остаточного сигнала, чтобы сократить динамический диапазон, так и квантование, которое выполняется во время кодирования остатка.

[0032] Масштабируемое кодирование видео может обеспечить передачу и декодирование частичных битовых потоков. Это может позволить SVC предоставлять видео услуги с более низким временным и/или пространственным разрешениями или более низким качеством воспроизведения, при сохранении относительно высокого качества реконструкции (например, учитывая соответствующие скорости частичных битовых потоков). SVC может быть реализовано с одноцикловым декодированием, так что декодер SVC может устанавливать один цикл компенсации движения на декодируемом слое, и может не устанавливать циклы компенсации движения на одном или более нижних слоях. Например, битовый поток может включать в себя два слоя, включающих в себя первый слой (например, слой 1), который может быть базовым слоем, и второй слой (например, слой 2), который может быть слоем улучшения. Когда такой декодер SVC реконструирует видео слоя 2, установка буфера декодированной картинки и предсказания с компенсацией движения может быть ограничена слоем 2. При такой реализации SVC, соответствующие опорные картинки из нижних слоев могут полностью не реконструироваться, что может сократить сложность вычислений и/или расход памяти на декодере.

[0033] Одноцикловое декодирование может быть достигнуто посредством ограниченного межслойного предсказания текстуры, где, применительно к текущему блоку в заданном слое, пространственное предсказание текстуры из нижнего слоя может быть разрешено, если соответствующий блок нижнего слоя кодирован в интра-режиме. Это может именоваться ограниченным интра-предсказанием. Когда блок нижнего слоя кодирован в интра-режиме, он может быть реконструирован без операций компенсации движения и/или буфера декодированной картинки.

[0034] SVC может использовать одну или более дополнительные методики межслойного предсказания, как например, предсказание вектора движения, предсказание остатка, предсказание режима, и т.д., из одного или более нижних слоев. Это может повысить эффективность зависимости скорости передачи от искажения слоя улучшения. Реализация SVC с одноцикловым декодированием может обладать уменьшенной сложностью вычислений и/или уменьшенным расходом памяти на декодере и может обладать повышенной сложностью реализации, например, из-за того, что основано на межслойном предсказании на уровне блока. Чтобы компенсировать снижение производительности, которое может следовать из наложения ограничения одноциклового декодирования, исполнение кодера и сложность вычисления могут быть повышены, чтобы добиться требуемой производительности. Кодирование чересстрочного контента не может быть обеспечено SVC.

[0035] Многовидовое кодирование видео (MVC) может обеспечивать масштабируемость вида. В примере масштабируемости вида, битовый поток базового слоя может быть декодирован, чтобы реконструировать обычное двумерное (2D) видео, и один или более дополнительные слои улучшения могут быть декодированы, чтобы реконструировать другие представления вида одного и того же видеосигнала. Когда такие виды объединяются вместе и демонстрируются посредством трехмерного (3D) дисплея, может быть создано 3D видео с надлежащим восприятием глубины.

[0036] Фиг. 2 изображает примерную структуру предсказания для использования MVC, чтобы кодировать стереоскопическое видео с левым видом (например, слой 1) и правым видом (например, слой 2). Видео левого вида может быть кодированным со структурой предсказания I-B-B-P, а видео правого вида может быть кодированным со структурой предсказания P-B-B-B. Как показано на Фиг. 2, в правом виде, первая картинка, сочетающаяся с первой I картинкой в левом виде, может быть кодированной в качестве P картинки, и последующие картинки в правом виде могут быть кодированными в качестве B картинок с первым предсказанием исходя из временных ссылок в правом виде и вторым предсказанием исходя из межслойной ссылки в левом виде. MVC не может обеспечивать свойство одноциклового декодирования. Например, как показано на Фиг. 2, декодирование видео правого вида (например, слоя 2) может быть обусловлено доступностью общего числа картинок в левом виде (слой 1), при этом каждый слой (например, вид) имеет соответствующий цикл компенсации. Реализация MVC может включать в себя изменения высокоуровневого синтаксиса и не может включать в себя изменения на уровне блока. Это может упростить реализацию MVC. Например, MVC может быть реализовано посредством конфигурирования опорных картинок на уровне слайса и/или картинки. MVC может обеспечивать кодирование более чем двух видов, например, посредством улучшения примера, показанного на Фиг. 2, чтобы выполнять межслойное предсказание по нескольким видам.

[0037] MPEG совмещенное на уровне кадра (MFC) кодирование видео может обеспечивать масштабируемое расширение для 3D кодирования видео. Например, MFC может обеспечивать масштабируемое расширение для совмещенного на уровне кадра видео базового слоя (например, два вида упакованы в один и тот же кадр) и может обеспечивать один или более слои улучшения, для восстановления видов в полном разрешении. Стереоскопическое 3D видео может иметь два вида, включающие в себя левый и правый вид. Стереоскопический 3D контент может быть доставлен посредством упаковки и/или мультиплексирования двух видов в одном кадре и посредством сжатия и передачи упакованного видео. На стороне приемника, после декодирования, кадры могут быть распакованы и продемонстрированы в качестве двух видов. Такое мультиплексирование видов может быть выполнено во временной области или пространственной области. Когда выполняется в пространственной области, то для того, чтобы сохранить тот же самый размер картинки, в отношении двух видов может быть выполнена пространственная понижающая дискретизация (например, с коэффициентом 2) и они могут быть упакованы в соответствии с одной или более компоновками. Например, компоновка бок-о-бок может помещать левый вид после понижающей дискретизации в левую половину картинки, а правый вид после понижающей дискретизации в правую половину картинки. Другие компоновки могут включать в себя сверху-и-снизу, строка-за-строкой, в шахматном порядке и т.д. Компоновка, используемая для достижения совмещенного на уровне кадра 3D видео, может переправляться посредством одного или более сообщений SEI компоновки упаковки кадра. Такая компоновка может обеспечивать доставку 3D с минимальным увеличением расхода полосы пропускания.

[0038] Фиг. 3 является таблицей примерных типов масштабируемости, которые могут быть выполнены при кодировании видео. Один или более примерные типы масштабируемости могут быть реализованы в качестве режимов обработки межслойного предсказания. Это может улучшить эффективность сжатия системы кодирования видео (например, системы кодирования видео в соответствии с масштабируемыми расширениями высокоэффективного кодирования видео (SHVC)). Масштабируемость битовой глубины, масштабируемость цветовой гаммы и/или масштабируемость формата цветности могут быть привязаны к видео форматам базового слоя (BL) и слоя улучшения (EL). Применительно к масштабируемости битовой глубины, например, видео BL может быть 8-битным, тогда как видео EL может быть выше чем 8-битное. Применительно к масштабируемости цветовой гаммы, например, видео BL может быть упорядочено по цвету в цветовой гамме BT.709, тогда как видео EL может быть упорядочено по цвету в цветовой гамме BT.2020. Применительно к масштабируемости формата цветности, например, видео BL может быть в формате YUV4:2:0, тогда как видео EL может быть в формате YUV4:2:2 или YUV4:4:4.

[0039] Фиг. 4 является таблицей примерных технических спецификаций телевидения сверхвысокой четкости (UHDTV) и телевидения высокой четкости (HDTV). Как показано на Фиг. 4, в сравнении с видео форматом HDTV (например, как определено в ITU-R BT.709), видео формат UHDTV (например, как определено в ITU-R BT.2020) может поддерживать большее пространственное разрешение (например, 4Kx2K (3840x2160) и 8Kx4K (7680x4320) разрешения), более высокие частоты кадров (например, 120 Гц), более высокие битовые глубины элемента дискретизации (например, 10-битное или 12-битное) и более широкую цветовую гамму.

[0040] Фиг. 5 изображает сравнение соответствующей цветовой гаммы HDTV и цветовой гаммы UHDTV в цветовой четкости CIE. Как показано, объем цветов, который охватывается цветовой гаммой UHDTV, много более обширен, чем тот, что охватывает цветовая гамма HDTV.

[0041] Система кодирования видео (например, система кодирования видео в соответствии с масштабируемыми расширениями высокоэффективного кодирования видео (SHVC)) может включать в себя одно или более устройства, которые выполнены с возможностью выполнения кодирования видео. Устройство, которое выполнено с возможностью выполнения кодирования видео (например, кодировать и/или декодировать видеосигналы) может именоваться устройством кодирования видео. Такие устройства кодирования видео могут включать в себя устройства с поддержкой видео, например, телевизор, цифровой мультимедийный проигрыватель, DVD проигрыватель, Blu-ray™ проигрыватель, сетевое устройство мультимедийного проигрывателя, настольный компьютер, персональный компьютер класса лэптоп, планшетное устройство, мобильный телефон, систему видео конференц-связи, основанную на аппаратном обеспечении и/или программном обеспечении, систему кодирования видео или подобное. Такие устройства кодирования видео могут включать в себя элементы беспроводной сети связи, такие как блок беспроводной передачи/приема (WTRU), базовая станция, шлюз или другие сетевые элементы.

[0042] Система кодирования видео может быть выполнена с возможностью поддержки формата дисплея UHDTV и формата дисплея HDTV. Например, один или более видео битовые потоки могут быть закодированы слоистым образом, например, используя два слоя, с базовым слоем, который представляет собой видеосигнал HDTV для потребления дисплеями HDTV, и слоем улучшения, который представляет собой видеосигнал UHDTV для потребления дисплеями UHDTV. Как показано на Фиг. 4, отличия между техническими описаниями формата HDTV и формата UHDTV могут выходить за пределы отличий по пространственному и временному разрешению, например, включая отличия по битовой глубине элемента дискретизации и цветовой гамме. Система кодирования видео, выполненная с возможностью поддержки UHDTV, может включать в себя поддержку для пространственной масштабируемости, временной масштабируемости, масштабируемости битовой глубины (BDS) и масштабируемости цветовой гаммы (CGS). Система кодирования видео может быть выполнена с возможностью одновременного обеспечения множества видов масштабируемости (например, пространственной, временной, битовой глубины и цветовой гаммы видов масштабируемости).

[0043] Система кодирования видео может быть выполнена с возможностью обеспечения множества типов масштабируемости, например, используя масштабируемый битовый поток, который включает в себя более двух слоев. Такая система кодирования видео может быть выполнена таким образом, что каждый слой улучшения улучшает один параметр видео. Например, Фиг. 6 изображает примерную конфигурацию слоя битового потока, которая может быть использована, чтобы масштабировать видеосигнал HD до видеосигнала UHD. Как показано, примерный битовый поток может иметь четыре слоя, включающих в себя базовый слой (слой 0), и три слоя улучшения (слой 1, слой 2, и слой 3, соответственно). Базовый слой (слой 0) может включать в себя, например, видеосигнал 1080p60 HD. В первом слое улучшения (например, слое 1), может масштабироваться пространственное разрешение, например до 4kx2k (3840x1960). Во втором слое улучшения (например, слое 2), может масштабироваться битовая глубина элемента дискретизации, например с 8- до 10-битной. В третьем слое улучшения (например, слое 3) может масштабироваться цветовая гамма, например с BT.709 до BT.2020. Следует иметь в виду, что очередность обработки слоя битового потока, изображенная на Фиг. 6, является примерной очередностью обработки, и что могут быть реализованы другие очередности обработки слоя битового потока. Иллюстрируемая примерная конфигурация слоя битового потока не включает в себя увеличение частоты кадра видеосигнала. Тем не менее, может быть реализована временная масштабируемость, например, чтобы масштабировать частоту кадров до, например, 120 кадр/с, в одном или более из слоев. Слой улучшения может улучшать более одного видео параметра.

[0044] Система кодирования видео может быть выполнена с возможностью выполнения многоциклового декодирования. При многоцикловом декодировании, для того, чтобы декодировать текущий слой улучшения, могут быть полностью декодированы один или более зависимые слои (например, все зависимые слои) для текущего слоя улучшения. Буфер декодированной картинки (DPB) может быть создан в одном или более зависимых слоях (например, каждом из зависимых слоев). По мере роста числа слоев, может расти сложность декодирования (например, сложность вычисления и/или расход памяти). Количество слоев, используемых для обеспечения требуемых видео форматов, может быть ограничено, например, в соответствии с растущей сложностью декодирования. Например, применительно к масштабируемости HD до UHD, может быть реализован масштабируемый битовый поток, который имеет два слоя (например, примерная конфигурация слоя битового потока, иллюстрируемая на Фиг. 7).

[0045] Фиг. 8 является упрощенной структурной схемой, иллюстрирующей примерный кодер (например, кодер SHVC). Иллюстрируемый примерный кодер может быть использован, чтобы генерировать двухслойный HD-до-UHD масштабируемый битовый поток (например, как иллюстрируется на Фиг. 7). Как показано на Фиг. 8, входным видео 830 базового слоя (BL) может быть видеосигнал HD, а входным видео 802 слоя улучшения (EL) может быть видео сигнал UHD. Видеосигнал 830 HD и видеосигнал 802 UHD могут соответствовать друг другу, например, посредством одного или более из: одного или более параметров понижающей дискретизации (например, пространственная масштабируемость), одного или более параметров упорядочения по цвету (например, масштабируемость цветовой гаммы), или одного или более параметров отображения тона (например, масштабируемость битовой глубины) 828.

[0046] Кодер 818 BL может включать в себя, например, кодер видео высокоэффективного кодирования видео (HEVC) или кодер видео H.264/AVC. Кодер 818 BL может быть выполнен с возможностью генерирования битового потока BL, используя одну или более реконструированные картинки BL (например, хранящиеся в DPB 820 BL) для предсказания. Кодер 804 EL может включать в себя, например, кодер HEVC. Кодер 804 EL может включать в себя одну или более модификации высокоуровневого синтаксиса, например, чтобы поддерживать межслойные предсказания посредством добавления межслойных опорных картинок в DPB 806 EL. Кодер 804 EL может быть выполнен с возможностью генерирования битового потока 808 EL, используя одну или более реконструированные картинки EL (например, хранящиеся в DPB 806 EL) для предсказания.

[0047] Одна или более реконструированные картинки BL в DPB 820 BL могут быть обработаны в блоке 822 межслойной обработки (ILP), используя одну или более методики межслойной обработки на уровне картинки, включающие в себя одно или более из: повышающую дискретизацию (например, применительно к пространственной масштабируемости), преобразование цветовой гаммы (например, применительно к масштабируемости цветовой гаммы), или обратное отображение тона (например, применительно к масштабируемости битовой глубины). Одна или более обработанные реконструированные картинки BL могут быть использованы в качестве опорных картинок для кодирования EL. Межслойная обработка может быть выполнена на основании информации 814 видео улучшения, принятой от кодера 804 EL, и/или информации 816 базового видео, принятой от кодера 818 BL.

[0048] В 826, битовый поток 808 EL, битовый поток 832 BL, и параметры, использованные при межслойной обработке, такие как информация 824 ILP, могут быть мультиплексированы вместе в масштабируемый битовый поток 812. Например, масштабируемый битовый поток 812 может включать в себя битовый поток SHVC.

[0049] Фиг. 9 является упрощенной структурной схемой, иллюстрирующей примерный декодер (например, декодер SHVC), который может соответствовать примерному кодеру, изображенному на Фиг. 8. Иллюстрируемый примерный декодер может быть использован, например, чтобы декодировать двухслойный HD-до-UHD битовый поток (например, как иллюстрируется на Фиг. 7).

[0050] Как показано на Фиг. 9, модуль 912 демультиплексирования может принимать масштабируемый битовый поток 902 и может демультиплексировать масштабируемый битовый поток 902, чтобы сгенерировать информацию 914 ILP, битовый поток 904 EL и битовый поток 918 BL. Масштабируемый битовый поток 902 может включать в себя битовый поток SHVC. Битовый поток 904 EL может быть декодирован декодером 906 EL. Декодер 906 EL может включать в себя, например, декодер видео HEVC. Декодер 906 EL может быть выполнен с возможностью генерирования видеосигнала 910 UHD, используя одну или более реконструированные картинки EL (например, хранящиеся в DPB 908 EL) для предсказания. Битовый поток 918 BL может быть декодирован декодером 920 BL. Декодер 920 BL может включать в себя, например, видео декодер HEVC или декодер видео H.264/AVC. Декодер 920 BL может быть выполнен с возможностью генерирования видеосигнала 924 HD, используя одну или более реконструированные картинки BL (например, хранящиеся в DPB 922 BL) для предсказания. Реконструированные видеосигналы, такие как видеосигнал 910 UHD и/или видеосигнал 924 HD, могут быть использованы для приведения в действие дисплейного устройства.

[0051] Одна или более реконструированные картинки BL в DPB 922 BL могут быть обработаны в блоке 916 ILP, используя одну или более методики межслойной обработки на уровне картинки. Такие методики межслойной обработки на уровне картинки могут включать в себя одно или более из: повышающую дискретизацию (например, применительно к пространственной масштабируемости), преобразование цветовой гаммы (например, применительно к масштабируемости цветовой гаммы), или обратное отображение тона (например, применительно к масштабируемости битовой глубины). Одна или более обработанные реконструированные картинки BL могут быть использованы в качестве опорных картинок для декодирования EL. Межслойная обработка может быть выполнена на основании параметров, использованных в межслойной обработке, таких как информации 914 ILP. Информация предсказания может содержать размеры блока предсказания, один или более векторы движения (например, которые могут указывать направление и величину движения), и/или один или более опорные индексы (например, которые могут указывать на то, из какой опорной картинки должен быть получен сигнал предсказания).

[0052] Система кодирования видео может выполнять объединенную межслойную обработку масштабируемости. Система кодирования видео может использовать несколько модулей межслойной обработки при выполнении межслойного предсказания. Один или более модули межслойной обработки могут быть объединены. Система кодирования видео может выполнять межслойную обработку в соответствии с каскадной конфигурацией модулей межслойной обработки. Объединенная межслойная обработка масштабируемости и/или соответствующие параметры модели могут быть просигнализированы.

[0053] Примерный процесс кодирования видео может включать в себя выполнение межслойной обработки в отношении базового слоя видеосигнала. Первая часть межслойной обработки может быть выполнена, используя объединенный модуль обработки, который одновременно выполняет первый и второй процессы масштабируемости. Примерный процесс кодирования видео может включать в себя применение обработанного базового слоя к слою улучшения видеосигнала. Первая часть межслойной обработки может включать в себя обработку обратного отображения тона и обработку преобразования цветовой гаммы. Вторая часть межслойной обработки может быть выполнена, используя модуль обработки повышающей дискретизации.

[0054] Система кодирования видео может быть выполнена с возможностью выполнения этапов межслойной обработки в определенной очередности, например, посредством предписания исполнения одного или более из модулей межслойной обработки в определенной очередности. Модуль межслойной обработки может отвечать за исполнение конкретного межслойного процесса. Один или более межслойные процессы могут быть объединены в одном или более соответствующих модулях межслойной обработки, так что модуль межслойной обработки может выполнять более одного межслойного процесса одновременно. Эти конфигурации модулей могут быть ассоциированы с соответствующими сложностями реализации, сложностями вычислений, и/или мерами производительности масштабируемого кодирования. Модуль межслойной обработки может отвечать за исполнения нескольких межслойных процессов.

[0055] Система кодирования видео может быть выполнена с возможностью выполнения межслойной обработки в соответствии с объединенной масштабируемостью. Например, объединенная масштабируемость может быть реализована в блоке ILP кодера видео (например, таком как блок 822 ILP, изображенный на Фиг. 8) и/или в блоке ILP декодера видео (например, таком как блок 916 ILP, изображенный на Фиг. 9). Множество модулей обработки может быть использовано, чтобы реализовать объединенную масштабируемость.

[0056] В примерной конфигурации для объединенной обработки масштабируемости, каждый модуль обработки может быть выполнен с возможностью выполнения процессов, ассоциированных с соответствующим типом масштабируемости. Фиг. 10 изображает примерный процесс межслойного кодирования видео, использующий множество модулей обработки, выполненных с возможностью выполнения кодирования видео каскадным образом. Как показано, каждый модуль обработки может быть выполнен с возможностью выполнения обработки конкретного типа масштабируемости. Примерный процесс межслойного кодирования видео может быть использован, например, чтобы выполнять масштабируемое кодирование HD до UHD. Модуль обработки может быть выполнен с возможностью выполнения обработки нескольких типов масштабируемости.

[0057] Как показано на Фиг. 10, модуль 1020 обратного отображения тона может преобразовывать 8-битное видео 1010 в 10-битное видео 1030. Модуль 1040 преобразования цветовой гаммы может преобразовывать видео 1030 BT.709 в видео 1050 BT.2020. Модуль 1060 повышающей дискретизации может быть использован, чтобы преобразовывать видео в пространственном разрешении 1050 1920x1080 в видео в пространственном разрешении 1070 3840x2160. В сочетании, эти модули обработки могут совершать обработку блока ILP, иллюстрируемого на Фиг. 8 и 9. Следует иметь в виду, что очередность обработки (например, очередность модулей обработки), иллюстрируемая на Фиг. 10 (обратное отображение тона, за которым следует преобразование цветовой гаммы, за которым следует повышающая дискретизация) является примерной очередностью обработки, и что другие очередности обработки могут быть реализованы. Например, очередность модулей обработки в блоке ILP может быть равнозначной.

[0058] Один или более модули межслойной обработки (например, каждый модуль межслойной обработки) может быть выполнен с возможностью осуществления операции из расчета на элемент дискретизации. Например, модуль 1020 обратного отображения тона может быть применен к каждому элементу дискретизации в видео картинке, чтобы преобразовывать 8-битное видео в 10-битное видео. Операция из расчета на элемент дискретизации может быть осуществлена посредством модуля 1040 преобразования цветовой гаммы. Количество элементов дискретизации в видео картинке может увеличиваться (например, значительно) после того, как применяется модуль 1060 повышающей дискретизации (например, в случает пространственного коэффициента 2x, количество элементов дискретизации увеличивается в четыре раза после повышающей дискретизации).

[0059] В примерной реализации объединенной обработки масштабируемости, блок ILP может быть выполнен с возможностью так, что обработка посредством модуля 1060 повышающей дискретизации может быть выполнена в конце межслойной обработки (например, как изображено на Фиг. 10).

[0060] Система масштабируемого кодирования видео может быть реализована с несколькими слоями. Для одного или более слоев (например, для каждого слоя), доступность, выбор, и/или применение соответствующих процессов каскадного потока межслойной обработки могут быть разными. Например, для одного или более слоев, обработка может быть ограничена процессом преобразования цветовой гаммы и процессом повышающей дискретизации. Например, может быть опущен процесс обратного отображения тона. Соответствующий выбор и/или очередность обработки процесса преобразования масштабируемости (например, как изображено на Фиг. 10), для каждого слоя, могут быть просигнализированы в очередности обработки (например, в соответствии с образцом таблицы синтаксиса, изображенной на Фиг. 11). Данная информация может быть инкапсулирована в набор параметров видео (VPS) и/или набор параметров последовательности (SPS) слоя, например. Применение одного или более процессов декодером может быть лимитировано посредств