Сигнализация матриц квантования для видеокодирования

Сигнализация матриц квантования для видеокодирования

Реферат

ПЕРЕКРЕСТНЫЕ ССЫЛКИ НА РОДСТВЕННЫЕ ЗАЯВКИ

Настоящая заявка испрашивает приоритет согласно предварительной заявке на патент США № 61/556,785, поданной 7 ноября 2011 года, предварительной заявке на патент США № 61/594,885, поданной 3 февраля 2012 года, предварительной заявке на патент США № 61/597,107, поданной 9 февраля 2012 года, и предварительной заявке на патент США № 61/605,654, поданной 1 марта 2012 года, содержание которых полностью включено в настоящий документ посредством ссылки.

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к кодированию данных и, более конкретно, к способам кодирования видеоданных.

УРОВЕНЬ ТЕХНИКИ

Возможности цифрового видео могут быть реализованы в широком ряде устройств, включающем цифровые телевизоры, цифровые системы прямой широковещательной передачи, системы беспроводной широковещательной передачи, персональные цифровые помощники (PDA), портативные или настольные компьютеры, цифровые фотоаппараты, цифровые записывающие устройства, цифровые медиа-плееры, устройства видеоигр, игровые видеоприставки, сотовые или спутниковые радиотелефоны, устройства видео телеконференции, и тому подобное. Цифровые видео устройства осуществляют способы сжатия видеосигнала, как, например, описанные в стандартах MPEG-2, MPEG-4, ITU-T H.263, ITU-T H.264/MPEG-4, часть 10, Продвинутое Кодирование (AVC) Видеосигнала, стандарте Высокоэффективное Кодирование (HEVC) Видеосигнала, в настоящее время находящемся в разработке, и расширениях этих стандартов, чтобы передавать, принимать и хранить цифровую видео информацию более эффективно.

Способы сжатия видеосигнала включают в себя пространственное прогнозирование и/или временное прогнозирование для сокращения или устранения избыточности, присущей для последовательностей видеокадров. Для кодирования видеосигналов на основе блоков, видеокадр или серия могут быть разделены на блоки. Каждый блок может быть дополнительно разделен. Блоки в кадре или серии с внутренним кодированием (I) кодируются с использованием пространственного прогнозирования по отношению к опорным образцам в соседних блоках в том же кадре или серии. Блоки в кадре или серии с внешним кодированием (Р или В) могут использовать пространственное прогнозирование по отношению к опорным образцам в соседних блоках в том же кадре или серии или временное прогнозирование по отношению к опорным образцам в других опорных кадрах. Пространственное или временное прогнозирование приводит к прогнозирующему блоку для блока, который подлежит кодированию. Остаточные данные представляют собой разницы пикселов между исходным блоком, который подлежит кодированию, и прогнозирующим блоком.

Блок с внешним кодированием кодируется в соответствии с вектором движения, который указывает на блок опорных образцов, формирующих прогнозирующий блок, и остаточными данными, указывающими разницу между закодированным блоком и прогнозирующим блоком. Блок с внутренним кодированием кодируется в соответствии с режимом внутреннего кодирования и остаточными данными. Для дополнительного сжатия остаточные данные могут быть преобразованы из области пикселов в область преобразования, что приведет к остаточным коэффициентам преобразования, которые затем могут быть квантованы. Квантованные коэффициенты преобразования, изначально размещенные в двумерной решетке, могут быть сканированы в конкретном порядке для производства одномерного вектора коэффициентов преобразования для статистического кодирования.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

В общем, настоящее изобретения описывает сигнализацию величин матрицы квантования. Например, видеокодер может делить величины матрицы квантования, по меньшей мере, на первую подгруппу величин и вторую подгруппу величин. Видеокодер может кодировать и сигнализировать величины первой подгруппы в качестве синтаксических элементов. Видеодекодер может принимать синтаксические элементы для величин первой подгруппы и декодировать синтаксические элементы для формирования величин первой подгруппы. Не принимая величины второй подгруппы, видеодекодер может прогнозировать величины второй подгруппы из величин первой подгруппы.

В одном примере настоящего изобретения, способ кодирования видеоданных содержит формирование матрицы квантования, которая включает в себя множество величин, понижающую дискретизацию первой группы величин в матрице квантования с помощью первого коэффициента понижающей дискретизации для формирования первой группы подвергнутых понижающей дискретизации величин, понижающую дискретизацию второй группы величин в матрице квантования с помощью второго коэффициента понижающей дискретизации для формирования второй группы подвергнутых понижающей дискретизации величин, и формирование закодированного потока двоичных данных, который включает в себя первую группу подвергнутых понижающей дискретизации величин и вторую группу подвергнутых понижающей дискретизации величин.

В другом примере настоящего изобретения, способ декодирования видеоданных содержит прием матрицы квантования, закодированной с помощью подвергнутых понижающей дискретизации величин в закодированном потоке двоичных данных, повышающую дискретизацию первой группы подвергнутых понижающей дискретизации величин в матрице квантования с помощью первого коэффициента повышающей дискретизации для формирования первой группы величин, повышающую дискретизацию второй группы подвергнутых понижающей дискретизации величин в матрице квантования с помощью второго коэффициента повышающей дискретизации для формирования второй группы величин, и обратное квантование блока коэффициентов преобразования с помощью первой и второй группы величин.

Детали одного или нескольких примеров изложены ниже в сопровождающих чертежах и осуществлении изобретения. Другие признаки, объекты и преимущества будут очевидны из осуществления изобретения и чертежей, а также из формулы изобретения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 является блочной диаграммой, изображающей пример системы кодирования и декодирования видеосигнала, которая может использовать способы, описанные в настоящем изобретении.

Фиг. 2 является блочной диаграммой, изображающей пример видеокодера, который может осуществлять способы, описанные в настоящем изобретении.

Фиг. 3 является блочной диаграммой, изображающей пример видеодекодера, который может осуществлять способы, описанные в настоящем изобретении.

Фиг. 4 является концептуальной схемой, изображающей пример матрицы квантования.

Фиг. 5 является концептуальной схемой, изображающей матрицу квантования с примерными величинами.

Фиг. 6 является концептуальной схемой, изображающей восстановленную матрицу квантования с использованием одного или нескольких способов настоящего изобретения.

Фиг. 7 является концептуальной схемой, изображающей коэффициенты понижающей дискретизации для различных частей в одном примере матрицы квантования.

Фиг. 8 является концептуальной схемой, изображающей коэффициенты понижающей дискретизации для различных частей в другом примере матрицы квантования.

Фиг. 9 является концептуальной схемой, изображающей коэффициенты понижающей дискретизации для различных частей в другом примере матрицы квантования.

Фиг. 10 является блок-схемой, изображающей способ кодирования видеосигнала в соответствии со способами настоящего изобретения.

Фиг. 11 является блок-схемой, изображающей способ декодирования видеосигнала в соответствии со способами настоящего изобретения.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Настоящее изобретение описывает способы сигнализации величин матрицы квантования в кодировании видеосигнала. Матрица квантования может быть двумерной матрицей, которая включает в себя множество величин. В качестве иллюстрации, матрица квантования может быть использована для масштабирования размера этапа квантования для квантования остаточных коэффициентов преобразования, связанных с элементом преобразования для кодирования видеосигнала. Параметр (QP) квантования может быть присвоен блоку коэффициентов преобразования, как, например, элемент преобразования, для задания размера этапа квантования. Каждая величина в матрице квантования соответствует коэффициенту в блоке, который подлежит квантованию, и используется для определения степени квантования, которая будет применена к коэффициенту, с учетом величины QP.

Более конкретно, настоящее изобретение предлагает способы понижающей дискретизации матрицы квантования, чтобы меньше величин квантования нужно было передавать и/или хранить в закодированном потоке двоичных данных. Передача или хранение всех матриц квантования, связанных с блоками видеоданных, может потребовать большое число битов, что сокращает эффективность использования полосы пропускания закодированного двоичного потока видеосигнала. Также, видеодекодер может хранить всю матрицу квантования в памяти для процесса обратного квантования. Путем понижающей дискретизации матрицы квантования с помощью способов настоящего изобретения, биты могут быть сохранены без существенного ухудшения качества закодированного видеосигнала.

В настоящем изобретении, кодирование видеосигнала будет описано для целей иллюстрации. Способы кодирования, описанные в настоящем изобретении, также могут быть применимы к другим типам кодирования данных. Цифровые видеоустройства осуществляют способы сжатия видеосигнала для более эффективного кодирования и декодирования цифровой видеоинформации. Сжатие видеосигнала может применять способы пространственного (внутрикадрового) прогнозирования и/или временного (межкадрового) прогнозирования для сокращения или устранения избыточности, присущей для последовательностей видеокадров.

Следует понимать, что термин «кадр» можно использовать взаимозаменяемо с термином «изображение». Другими словами, каждый из терминов «кадр» и «изображение» относится к части видео, и последовательное отображение кадра или изображения в результате дает ровное воспроизведение. Соответственно, в случаях, когда изобретение использует термин «кадр», способы настоящего изобретения не следует понимать как ограниченные способами или стандартами кодирования видеосигнала, которые используют термин «кадр», и способы можно расширить до других стандартов, как, например, улучшенные стандарты, стандарты в разработке или будущие стандарты, и до других способов кодирования видеосигнала, которые используют термин «изображение».

Обычный видеокодер разделяет каждый кадр исходной видеопоследовательности на смежные прямоугольные участки, называемые «блоки» или «элементы кодирования». Эти блоки кодируются во «внутреннем режиме» (I-режим) или «внешнем режиме» (Р-режим или В-режим).

Для Р- или В-режима, кодер сперва ищет блок, похожий на кодируемый блок, в «опорном кадре», обозначенном Fref. Поиски, в общем, ограничены конкретным пространственным смещением от блока, который подлежит кодированию. Когда наилучшее соответствие, то есть прогнозирующий блок или «прогнозирование», идентифицировано, оно выражается в форме двумерного (2D) вектора (Δх, Δу) движения, где Δх - горизонтальное, а Δу - вертикальное смещение положения пикселов в прогнозирующем блоке в опорном кадре, относительно положения пикселов в блоке, который подлежит кодированию.

Векторы движения вместе с опорным кадром используются для создания прогнозируемого блока Fpred следующим образом:

Fpred (x,y)=Fref(x+Δx, y+Δу)

Местоположение пиксела внутри кадра обозначается как (х,у).

Для блоков, закодированных в I-режиме, прогнозируемый блок формируется с использованием пространственного прогнозирования из ранее закодированных соседних блоков внутри того же кадра. Для I-режима и Р- или В-режима, ошибка прогнозирования, то есть остаточная разница между величинами пикселов в блоке, который кодируют, и в прогнозируемом блоке, представлена в качестве группы взвешенных основных функций дискретного преобразования, как, например, дискретное косинусное преобразование (DCT). Преобразования могут быть выполнены на основании различных размеров блоков, как, например, 4×4, 8×8 или 16×16 и больше. Форма блока преобразования не всегда квадратная. Прямоугольные блоки преобразования также могут быть использованы, например, с размером блока преобразования 16×4, 32×8 и так далее.

Веса (то есть, коэффициенты преобразования) квантуют последовательно. Квантование несет с собой потерю информации, и при этом квантованные коэффициенты имеют более низкую точность, чем исходные коэффициенты преобразования. Квантованные коэффициенты преобразования и векторы движения являются примерами «синтаксических элементов». Эти синтаксические элементы, плюс информация управления, формируют закодированное представление видеопоследовательности. Синтаксические элементы могут также быть статистически закодированы, тем самым дополнительно сокращая число битов, необходимых для их представления. Статистическое кодирование является функционированием без потерь, нацеленным на минимизацию числа битов, требуемых для представления переданных или хранимых символов (в нашем случае, синтаксических элементов), путем использования характеристик их распределения (некоторые символы встречаются чаще, чем другие).

Коэффициентом сжатия, то есть коэффициентом числа битов, используемых для представления исходной последовательности и сжатой последовательности, можно управлять путем регулировки одной или обеих из величины параметра (QP) квантования и величин в матрице квантования, обе из которых могут быть использованы для квантования величин коэффициентов преобразования. Коэффициент сжатия может зависеть от способа используемого статистического кодирования. Матрицы квантования, как правило, устроены так, что величины квантования в матрице, в общем, но не без исключения, растут как в направлении строки (слева направо), так и столбца (сверху вниз). Например, по мере расширения блока коэффициентов преобразования от положения DC в верхнем левом (0,0) углу до более высокочастотных коэффициентов преобразования в направлении нижнего правого (n,n) угла блока коэффициентов преобразования, соответствующие величины в матрице квантования, в общем, растут. Причина такого строения заключается в том, что функция (CSF) контрастной чувствительности визуальной системы (HVS) человека уменьшается по мере увеличения частоты, как в горизонтальном, так и вертикальном направлениях.

В декодере, блок в текущем кадре получают путем построения его прогнозирования тем же образом, что и в кодере, и путем добавления к прогнозированию ошибки сжатия прогнозирования. Ошибку сжатия прогнозирования находят путем взвешивания основных функций преобразования с использованием квантованных коэффициентов. Разница между восстановленным кадром и исходным кадром называется ошибкой восстановления.

Фиг. 1 является блочной диаграммой, изображающей пример системы 10 кодирования и декодирования видеосигнала, которая может использовать способы, описанные в настоящем изобретении. Как изображено на Фиг. 1, система 10 включает в себя устройство 12 источника, которое передает закодированный видеосигнал устройству 14 назначения по каналу 16 связи. Закодированные видеоданные могут также храниться на носителе 34 данных или файловом сервере 36, и доступ к ним может быть осуществлен устройством 14 назначения по желанию. При сохранении на носителе данных или файловом сервере, видеокодер 20 может обеспечивать закодированные видеоданные другому устройству, как, например, сетевой интерфейс, компактный диск (CD), Blu-ray или устройство записи цифрового видеодиска (DVD) либо устройство обеспечения тиснения, либо другие устройства, для хранения закодированных видеоданных на носителе данных. Подобным образом, устройство, отдельное от видеодекодера 30, как, например, сетевой интерфейс, устройство считывания CD или DVD и тому подобное, может извлекать закодированные видеоданные из носителя данных и обеспечивать извлеченные данные видеокодеру 30.

Устройство 12 источника и устройство 14 назначения могут содержать любое из множества устройств, включая настольные компьютеры, ноутбуки (то есть, портативные компьютеры), планшеты, телевизионные приставки, телефонные устройства, как, например, так называемые смартфоны, телевизоры, фотоаппараты, устройства отображения, цифровые медиаплееры, игровые видеоприставки и тому подобное. Во многих случаях, такие устройства могут быть оборудованы для беспроводной связи. Следовательно, канал 16 связи может содержать беспроводной канал, проводной канал или комбинацию беспроводного и проводного каналов, подходящую для передачи закодированных видеоданных. Подобным образом, к файловому серверу 36 доступ может быть осуществлен устройством 14 назначения по любому стандартному соединению данных, включая интернет-соединение. Это может включать в себя беспроводной канал (например, соединение Wi-Fi), проводное соединение (например, DSL, кабельный модем и так далее), или их комбинацию, подходящую для доступа к закодированных видеоданным, хранящимся на файловом сервере.

Способы сигнализации матриц квантования, в соответствии с примерами настоящего изобретения, могут быть применены к кодированию видеосигнала для поддержки любого из множества мультимедийных приложений, как, например, широковещательные передачи по эфирному телевидению, передачи по кабельному телевидению, передачи по спутниковому телевидению, передачи по потоковому видео, например, по интернету, кодирование цифрового видеосигнала для хранения на носителе данных, декодирование цифрового видеосигнала, хранящегося на носителе данных, и другие приложения. В некоторых примерах, система 10 может быть выполнена с возможностью поддерживать одностороннюю или двустороннюю передачу видеоданных для поддержки приложений, как, например, потоковое видео, воспроизведение видео, широковещательная передача видео и/или видеотелефония.

В примере на Фиг. 1, устройство 12 источника включает в себя видеоисточник 18, видеокодер 20, модулятор/демодулятор 22 и передатчик 24. В устройстве 12 источника, видеоисточник 18 может включать в себя источник, как, например, устройство захвата видеосигнала, как, например, видеокамера, видеоархив, содержащий ранее захваченный видеосигнал, интерфейс видеопотока для приема видео от провайдера видеоконтента, и/или систему компьютерной графики для формирования данных компьютерной графики в качестве видеосигнала источника, либо комбинация таких источников. В качестве одного примера, если источник 18 видеосигнала - это видеокамера, то устройство 12 источника и устройство 14 назначения могут формировать так называемые камерофоны или видеофоны. Однако способы, описанные в настоящем изобретении, могут быть применимы к кодированию видеосигнала в общем и могут быть применимы к беспроводным и/или проводным приложениям, либо приложению, в котором закодированные видеоданные хранятся на локальном диске.

Захваченный, ранее захваченный или сформированный компьютером видеосигнал может быть закодирован видеокодером 20. Закодированная видеоинформация может быть модулирована модемом 22 в соответствии со стандартом связи, как, например, протокол беспроводной связи, и передана устройству 14 назначения по передатчику 24. Модем 22 может включать в себя различные микшеры, фильтры, усилители или другие компоненты, предназначенные для модуляции сигнала. Передатчик 24 может включать в себя схемы, предназначенные для передачи данных, включая усилители, фильтры и одну или несколько антенн.

Захваченный, ранее захваченный или сформированный компьютером видеосигнал, который закодирован видеокодером 20, может также храниться на носителе 34 данных или файловом сервере 36 для дальнейшего использования. Носитель 34 данных может включать в себя диски Blu-ray, DVD, CD-ROM, флэш-память, или любые другие подходящие носители данных для хранения закодированного видеосигнала. Доступ к закодированному видеосигналу, хранящемуся на носителе 34 данных, может быть осуществлен устройством 14 назначения для декодирования и воспроизведения. Хотя это не изображено на Фиг. 1, в некоторых примерах носитель 34 данных и/или файловый сервер 36 могут хранить вывод передатчика 24.

Файловый сервер 36 может быть любым типом сервера, способным хранить закодированный видеосигнал и передавать этот закодированный видеосигнал устройству 14 назначения. Примеры файловых серверов включают в себя веб-сервер (например, для вебсайта), сервер FTP, устройства сетевого хранилища (NAS) данных, локальный дисковод или любой другой тип устройства, способного хранить закодированный видеосигнал и передавать его устройству назначения. Передача закодированных видеоданных от файлового сервера 36 может быть потоковой передачей, передачей загрузки или их комбинацией. Доступ к файловому серверу 36 может быть осуществлен устройством 14 назначения по любому стандартному соединению данных, включая интернет-соединение. Это может включать в себя беспроводной канал (например, соединение Wi-Fi), проводное соединение (например, DSL, кабельный модем, этернет, USB и так далее) или их комбинацию, подходящую для доступа к закодированным видеоданным, хранящимся на файловом сервере.

Устройство 14 назначения, в примере на Фиг. 1, включает в себя приемник 26, модем 28, видеодекодер 30 и устройство 32 отображения. Приемник 26 устройства 14 назначения принимает информацию по каналу 16, и модем 28 демодулирует информацию для производства демодулированного потока двоичных данных для видеодекодера 30. Информация, передаваемая по каналу 16, может включать в себя различную синтаксическую информацию, сформированную видеокодером 20, для использования видеодекодером 30 в декодировании видеоданных. Такой синтаксис может также быть включен в закодированные видеоданные, хранящиеся на носителе 34 данных или файловом сервере 36. Каждый из видеокодера 20 и видеодекодера 30 может формировать часть соответствующего кодера-декодера (CODEC), который способен кодировать или декодировать видеоданные.

Устройство 32 отображения может быть интегрировано, либо быть внешним по отношению к устройству 14 назначения. В некоторых примерах, устройство 14 назначения может включать в себя интегрированное устройство отображения и также быть выполнено с возможностью взаимодействовать с внешним устройством отображения. В других примерах, устройство 14 назначения может быть устройством отображения. В общем, устройство 32 отображения отображает декодированные видеоданные пользователю и может содержать любое из устройств отображения, как, например, жидкокристаллический дисплей (LCD), плазменный дисплей, дисплей на органических светодиодах (OLED) или другой тип устройства отображения.

В примере на Фиг. 1, канал 16 связи может содержать беспроводной или проводной носитель связи, как, например, радиочастотный (RF) спектр или одна или несколько физических линий передачи, либо любую комбинацию беспроводных и проводных носителей. Канал 16 связи может формировать часть пакетной сети, как, например, локальная сеть, региональная сеть или глобальная сеть, как, например, интернет. Канал 16 связи, в общем, представляет собой любой подходящий носитель связи или группу различных носителей связи для передачи видеоданных от устройства 12 источника устройству 14 назначения, включая любую подходящую комбинацию проводных или беспроводных носителей. Канал 16 связи может включать в себя роутеры, переключатели, базовые станции или любое другое оборудование, которое можно использовать для усиления связи от устройства 12 источника устройству 14 назначения.

Видеокодер 20 и видеодекодер 30 могут функционировать в соответствии со стандартом сжатия видеосигнала, как, например, стандарт высокоэффективного кодирования (HEVC) видеосигнала, находящийся в настоящее время в разработке, и может соответствовать тестовой модели (HM) HEVC. Альтернативно, видеокодер 20 и видеодекодер 30 могут функционировать в соответствии с другими частными или индустриальными стандартами, как, например, стандарт ITU-T H.264, альтернативно называемый как MPEG-4, часть 10, Продвинутое Кодирование (AVC) Видеосигнала, либо расширения таких стандартов. Способы настоящего изобретения, однако, не ограничены любым конкретным стандартом кодирования. Другие примеры стандартов сжатия видеосигнала включают в себя MPEG-2 и ITU-T H.263.

Хотя это не изображено на Фиг. 1, в некоторых аспектах видеокодер 20 и видеодекодер 30 могут быть интегрированы с аудиокодером и декодером и могут включать в себя элементы MUX-DEMUX или другие технические средства или программное обеспечение для выполнения кодирования аудио- и видеосигнала в общем потоке данных либо раздельных потоках данных. Если это применимо, в некоторых примерах, элементы MUX-DEMUX могут соответствовать протоколу мультиплексирования ITU H.223 или другим протоколам, как, например, протокол (UDP) пользовательских датаграмм.

Видеокодер 20 и видеодекодер 30 могут быть осуществлены в качестве любой из подходящих схем кодирования, как, например, один или несколько микропроцессоров, цифровых сигнальных процессоров (DSP), специализированных интегральных схем (ASIC), программируемых пользователем вентильных матриц (FPGA), дискретная логика, программное обеспечение, технические средства, программно-аппаратные средства или любые их комбинации. Когда способы осуществлены частично в программном обеспечении, устройство может хранить команды для программного обеспечения на подходящем непереходном машиночитаемом носителе и выполнять команды в технических средствах с использованием одного или нескольких процессоров для выполнения способов настоящего изобретения. Каждый из видеокодера 20 и видеодекодера 30 может быть включен в один или несколько кодеров и декодеров, любой из которых может быть интегрирован как часть комбинированного кодера-декодера (CODEC) в соответствующем устройстве.

Для кодирования видеосигнала в соответствии с развивающимся стандартом HEVC, который находится в разработке в настоящее время Совместной Кооперативной Группой (JCT-VC) по Кодированию видеосигнала, в качестве примера, видеокадр может быть разделен на элементы кодирования. Элемент (CU) кодирования, в общем, относится к участку изображения, который служит в качестве базового элемента, к которому применяются различные инструменты кодирования для сжатия видеосигнала. CU, как, правило, имеет компонент яркости, обозначаемый как Y, и два компонента цветности, обозначаемые как U и V. В зависимости от формата видеообразца, размер компонентов U и V, относительно числа образцов, может быть тем же или отличаться от размера компонента Y. CU, как правило, квадратный, и его можно рассматривать как похожий на так называемый макроблок, например, по другим стандартам кодирования видеосигнала, как, например, ITU-T H.264. Кодирование в соответствии с некоторыми из предлагаемых аспектов развивающегося стандарта HEVC будет описано в настоящей заявке для целей иллюстрации. Однако способы, описанные в настоящем изобретении, могут быть использованы для других процессов кодирования видеосигнала, как, например, определенные в соответствии с Н.264 или другим стандартом или частными процессами кодирования видеосигнала.

Усилия по стандартизации HEVC основаны на модели устройства кодирования видеосигнала, называемой тестовая модель (НМ) HEVC. НМ предполагает несколько способностей устройств кодирования видеосигнала по сравнению с другими устройствами в соответствии, например, с ITU-T H.264/AVC. Например, в то время как Н.264 обеспечивает девять режимов кодирования с внутренним прогнозированием, НМ обеспечивает тридцать пять режимов кодирования с внутренним прогнозированием. Последняя рабочая версия (WD) HEVC, именуемая в настоящем документе как HEVC WD7, доступна на http://phenix.intevry.fr/jct/doc_end_user/documents/9_Geneva/wg11/JCTVC-I1003-v6.zip от 30 октября 2012 года.

В общем, рабочая модель НМ описывает, что видеокадр или изображение могут быть разделены на последовательность древовидных блоков или наибольших элементов (LCU) кодирования, которые включают в себя образцы яркости и цветности. Древовидный блок имеет ту же цель, что и макроблок стандарта Н.264. Серия включает в себя число последовательных древовидных блоков в порядке кодирования. Видеокадр или изображение могут быть разделены на одну или несколько серий. Каждый древовидный блок может быть разделен на элементы (CU) кодирования в соответствии с деревом квадратов. Например, древовидный блок, как и корневой узел дерева квадратов, может быть разделен на четыре дочерних узла, и каждый дочерний узел, в свою очередь, может быть родительским узлом и разделен на четыре других дочерних узла. Последний, неделимый дочерний узел, как и концевой узел дерева квадратов, содержит узел кодирования, то есть, закодированный видеоблок. Синтаксические данные, связанные с закодированным двоичным потоком данных, могут определять максимальное число раз, которое древовидный блок может быть разделен, и также могут определять минимальный размер узлов кодирования.

CU включает в себя узел кодирования, элементы (PU) прогнозирования и элементы (TU) преобразования, связанные с узлом кодирования. Размер CU соответствует размеру узла кодирования и должен быть квадратной формы. Размер CU может варьироваться от 8×8 пикселов до размера древовидного блока с максимальным 64×64 пиксела или больше. Каждый CU может содержать один или несколько PU и один или несколько TU. Синтаксические данные, связанные с CU, могут описывать, например, разделение CU на один или несколько PU. Режимы разделения могут отличаться, в зависимости от того, кодируется ли CU в режиме пропуска или прямом режиме, режиме внутреннего прогнозирования либо режиме внешнего прогнозирования. PU могут быть разделены на неквадратные формы. Синтаксические данные, связанные с CU, могут также описывать, например, разделение CU на один или несколько TU, в соответствии с деревом квадратов. TU может быть квадратной или неквадратной формы.

Стандарт HEVC позволяет преобразования в соответствии с TU, которые могут отличаться для различных CU. TU, как правило, имеют размер на основании размера PU внутри заданного CU, определенного для разделенного LCU, хотя это не всегда может быть так. TU, как правило, того же или меньшего, чем PU, размера. В некоторых примерах, остаточные образцы, соответствующие CU, могут быть подразделены на более мелкие элементы с использованием структуры дерева квадратов, известной как «остаточное дерево (RQT) квадратов». Концевые узлы RQT могут называться элементами (TU) преобразования. Величины разницы пикселов, связанные с TU, могут быть преобразованы для произведения коэффициентов преобразования, которые могут быть квантованы.

В общем, PU включает в себя данные, относящиеся к процессу прогнозирования. Например, когда PU кодируется во внутреннем режиме, PU может включать в себя данные, описывающие режим внутреннего прогнозирования для PU. В качестве другого примера, когда PU кодируется во внешнем режиме, PU может включать в себя данные, определяющие вектор движения для PU. Данные, определяющие вектор движения для PU, могут описывать, например, горизонтальный компонент вектора движения, вертикальный компонент вектора движения, разрешение для вектора движения (например, с точностью до одной четвертой пиксела или одной восьмой пиксела), опорное изображение, на которое указывает вектор движения, и/или список опорных изображений (например, Список 0, Список 1 или Список С) для вектора движения.

В общем, TU используется для процессов преобразования и квантования. Заданный CU, имеющий один или несколько PU, может также включать в себя один или несколько элементов (TU) преобразования. Вслед за прогнозированием, видеокодер 20 может вычислять остаточные величины, соответствующие PU. Остаточные величины содержат величины разницы пикселов, которые могут быть преобразованы в коэффициенты преобразования, квантованы и сканированы с использованием TU для произведения упорядоченных коэффициентов преобразования для статистического кодирования. Настоящее изобретение обычно использует термин «видеоблок» для ссылки на узел кодирования CU. В некоторых конкретных случаях, настоящее изобретение может также использовать термин «видеоблок» для ссылки на древовидный блок, то есть, LCU или CU, который включает в себя узел кодирования, PU и TU.

Видеопоследовательность обычно включает в себя последовательность видеокадров или изображений. Группа (GOP) изображений, в общем, содержит последовательность одного или нескольких видеоизображений. GOP может включать в себя синтаксические данные в заголовке GOP, заголовке одного или нескольких изображений или еще где-либо, которые описывают число изображений, включенных в GOP. Каждая серия изображения может включать в себя синтаксические данные серии, которые описывают режим кодирования для соответствующей серии. Видеокодер 20, как правило, функционирует на видеоблоках внутри отдельных видеосерий, чтобы кодировать видеоданные. Видеоблок может соответствовать узлу кодирования внутри CU. Видеоблоки могут иметь фиксированные или изменяемые размеры и могут отличаться в размерах в соответствии с конкретным стандартом кодирования.

В качестве примера, НМ поддерживает прогнозирование в различных размерах PU. Предполагая, что размер конкретного CU равен 2N×2N, НМ поддерживает внутреннее прогнозирование в размерах PU 2N×2N или N×N, и внешнее прогнозирование в симметричных размерах PU 2N×2N, 2N×N, N×2N или N×N. НМ также поддерживает асимметричное разделение для внешнего прогнозирования в размерах PU 2N×nU, 2N×nD, nL×2N и nR×2N. В асимметричном разделении, одно направление CU не разделяется, в то время как другое направление разделяется на 25% и 75%. Часть CU, соответствующая 25% разделению, указывается «n», за которым следует указание «Вверх», «Вниз», «Влево» или «Вправо». Таким образом, например, «2N×nU» относится к 2N×2N CU, который разделен горизонтально с 2N×0,5N PU сверху и 2N×1,5N PU снизу.

В настоящем изобретении, «N×N» и «N на N» могут быть использованы взаимозаменяемо для ссылки на размеры пикселов видеоблока с учетом вертикальных и горизонтальных размеров, например, 16×16 или 16 на 16 пикселов. В общем, блок 16×16 будет иметь 16 пикселов в вертикальном направлении (у=16) и 16 пикселов в горизонтальном направлении (х=16). Подобным образом, блок N×N будет иметь N пикселов в вертикальном направлении и N пикселов в горизонтальном направлении, где N представляет собой неотрицательную целую величину. Пикселы в блоке могут быть расположены в строках и столбцах. Более того, блоки необязательно должны иметь одинаковое число пикселов в горизонтальном направлении и вертикальном направлении. Например, блоки могут содержать N×M пикселов, где М необязательно равно N.

Вслед за кодированием с внутренним прогнозированием или внешним прогнозированием с использованием PU CU, видеокодер 20 может вычислять остаточные данные для TU CU. PU может содержать данные пикселов в пространственном домене (также называемом как домен пикселов), а TU может содержать коэффициенты в домене преобразования вслед за применением преобразования, например, дискретного косинусного преобразования (DCT), целочисленного преобразования, преобразования элементарных волн или концептуально похожего преобразования остаточных видеоданных. Остаточные данные могут соответствовать разнице пикселов между пикселами незакодированного изображения и величинами прогнозирования, соответствующими PU. Видеокодер 20 может формировать TU, включая остаточные данные для CU, а затем преобразовывать TU для произведения коэффициентов преобразования для CU.

Вслед за любыми преобразованиями для произведения коэффициентов преобразования, видеокодер 20 может выполнять квантование коэффициентов преобразования. Квантование, в общем, относится к процессу, в котором коэффициенты преобразования квантуются для возможного сокращения количества данных, используемых для представления коэффициентов, учитывая дополнительное сжатие. Процесс квантования может сократить битовую глубину, связанную с некоторыми или всеми коэффициентами. Например, величина n-бит может быть округлена до величины m-бит во время квантования, где n больше, чем m.

В некоторых примерах, видеокодер 20 может использов