Деблокирование режима кодирования с интра-импульсно-кодовой модуляцией (ipcm) и кодирования без потерь для видеокодирования

Деблокирование режима кодирования с интра-импульсно-кодовой модуляцией (ipcm) и кодирования без потерь для видеокодирования

Иллюстрации

Показать все

Реферат

Данная заявка испрашивает приоритет по предварительной заявке США №61/549,597, поданной 20 октября 2011 года, предварительной заявке США №61/605,705, поданной 01 марта 2012 года, предварительной заявке США №61/606,277, поданной 02 марта 2012 года, предварительной заявке США №61/624,901, поданной 16 апреля 2012 года и предварительной заявке США №61/641,775, поданной 02 мая 2012 года, полное содержание каждой из которых включено в состав данного документа по ссылке.

ОБЛАСТЬ ТЕХНИКИ

Изобретение относится к видеокодированию и, в частности, касается кодирования блоков видеоданных, созданных в процессах видеокодирования.

УРОВЕНЬ ТЕХНИКИ

Возможности цифрового видео могут быть включены в устройства самого широкого применения, в том числе цифровые телевизионные приемники, системы прямого цифрового вещания, системы беспроводного вещания, персональные цифровые помощники (PDA), компьютеры типа «лэптоп» или настольные компьютеры, планшетные компьютеры, устройства для чтения электронных книг, цифровые камеры, цифровые записывающие устройства, цифровые медиаплееры, видеоигровые устройства, видеоигровые консоли, сотовые или спутниковые радиотелефоны, так называемые «смартфоны», устройства для проведения телеконференций, устройства потокового видео и т.п. Устройства цифрового видео реализуют различные методики сжатия видео, которые, например, описаны в стандартах, определенных как MPEG-2, MPEG-4, ITU-T H.263, ITU-T H.264/MPEG-4, Часть 10, стандарт усовершенствованного видеокодирования (AVC), стандарт высокоэффективного видеокодирования (HEVC), находящийся в процессе разработки, а также расширения указанных стандартов. Видеоустройства могут передавать, принимать, кодировать, декодировать и/или запоминать цифровую видеоинформацию более эффективно посредством реализации указанных методик сжатия видео.

Согласно методикам сжатия видео выполняется пространственное (внутрикадровое) предсказание и/или временное (межкадровое) предсказание с целью уменьшения или исключения избыточности, свойственной видеопоследовательностям. Для видеокодирования на блочной основе видеослайс (то есть, видеокадр или часть видеокадра) может быть разделен на видеоблоки, которые также могут называться древовидными блоками, единицами кодирования (CU), и/или узлами кодирования. Видеоблоки в интра-кодированном (внутреннее кодированном) слайсе изображения (I) кодируют с использованием пространственного предсказания применительно к опорным элементам дискретизации в соседних блоках одного и того же изображения. Видеоблоки в интер-кодированном (внешне кодированном) слайсе изображения (P или B) могут использовать пространственное предсказание в отношении опорных элементов дискретизации в соседних блоках одного и того же изображения или временное предсказание в отношении опорных элементов дискретизации других опорных изображений. Изображения могут называться кадрами, а опорные изображения могут называться опорными кадрами.

Пространственное или временное предсказание приводит в результате к предиктивному блоку для блока, который должен быть кодирован. Остаточные данные представляют пиксельные разности между исходным блоком, который должен быть кодирован, и предиктивным блоком. Кодирование интер-кодированного блока осуществляют в соответствии с вектором движения, который указывает блок опорных элементов дискретизации, образующих предиктивный блок, и остаточные данные, указывающие различие между кодированным блоком и предиктивным блоком. Кодирование интра-кодированного блока осуществляют в соответствии с режимом интра-кодирования и остаточными данными. Для дальнейшего сжатия остаточные данные могут быть преобразованы из пиксельной области в область преобразования, в результате чего получают остаточные коэффициенты преобразования, которые затем можно квантовать. Квантованные коэффициенты преобразования, изначально скомпонованные в двумерной матрице, можно сканировать для создания одномерного вектора коэффициентов преобразования. Затем можно применить энтропийное кодирование для достижения еще большего сжатия.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

В общем случае настоящее раскрытие описывает методики выполнения деблокирующей (удаления блочности) фильтрации относительно блоков видеоданных, кодированных с использованием режимов кодирования с интра-импульсно-кодовой модуляцией (IPCM) и/или кодирования без потерь. В частности, методики настоящего раскрытия могут включать в себя выполнение деблокирующей фильтрации в отношении одного или более блоков видеоданных, которые включают в себя один или более кодированных с IPCM блоков, кодированных без потерь блоков и блоков, кодированных с использованием методик или «режимов» кодирования с потерями. Описанные в данном документе методики позволяют повысить визуальное качество одного или более блоков видеоданных при кодировании блоков, по сравнению с другими методиками.

В частности, описанные здесь методики могут повысить визуальное качество одного или более кодированных с IPCM блоков, которые включают в себя восстановленные видеоданные, путем разрешения деблокирующей фильтрации для этих блоков и выполнения деблокирующей фильтрации конкретным образом. Вдобавок, эти методики могут повысить визуальное качество одного или более кодированных без потерь блоков, которые включают в себя исходные видеоданные, путем запрещения деблокирующей фильтрации для этих блоков. Кроме того, эти методики также могут повысить визуальное качество одного или более блоков, кодированных с использованием режимов кодирования с потерями, например, блоков, расположенных смежно с одним или более IPCM кодированными и кодированными без потерь блоками, посредством выполнения деблокирующей фильтрации в отношении этих блоков конкретным образом. В результате открывается возможность относительного улучшения визуального качества одного или более блоков видеоданных, включающих в себя блоки, кодированные с использованием режимов кодирования с IPCM, кодирования без потерь и кодирования с потерями, при использовании методик из настоящего раскрытия.

В одном примере настоящего раскрытия способ кодирования видеоданных включает в себя кодирование множества блоков видеоданных, при этом по меньшей мере один блок из упомянутого множества блоков видеоданных кодируют, используя режим кодирования, который содержит один из режима кодирования с IPCM и режима кодирования без потерь, который использует предсказание, назначение ненулевого значения параметра квантования (QP) для упомянутого по меньшей мере одного блока, кодированного с использованием упомянутого режима кодирования, и выполнение деблокирующей фильтрации в отношении одного или более из упомянутого множества блоков видеоданных, на основе режима кодирования, использованного для кодирования упомянутого по меньшей мере одного блока и назначенного ненулевого значения QP для упомянутого по меньшей мере одного блока.

В другом примере этого раскрытия устройство, сконфигурированное для кодирования видеоданных, включает в себя видеокодер. В этом примере видеокодер сконфигурирован для кодирования множества блоков видеоданных, при этом видеокодер сконфигурирован для кодирования по меньшей мере одного блока из упомянутого множества блоков видеоданных с использованием режима кодирования, который содержит один из режима кодирования с IPCM или режима кодирования без потерь, который использует предсказание, назначения ненулевого значения QP для упомянутого по меньшей мере одного блока, кодированного с использованием упомянутого режима кодирования, и выполнение деблокирующей фильтрации в отношении одного или более из упомянутого множества блоков видеоданных, на основе режима кодирования, использованного для кодирования упомянутого по меньшей мере одного блока, и назначенного ненулевого значения QP для упомянутого по меньшей мере одного блока.

В другом примере раскрытия устройство, сконфигурированное для кодирования видеоданных включает в себя средство для кодирования множества блоков видеоданных, в том числе средство для кодирования по меньшей мере одного блока из упомянутого множества блоков видеоданных, с использованием режима кодирования, который содержит один из режима кодирования с IPCM или режима кодирования без потерь, который использует предсказание, средство для назначения ненулевого значения QP для упомянутого по меньшей мере одного блока, кодированного с использованием режима кодирования, и средство для выполнения деблокирующей фильтрации в отношении одного или более из упомянутого множества блоков видеоданных, на основе режима кодирования, использованного для кодирования упомянутого по меньшей мере одного блока, и назначенного ненулевого значения QP для упомянутого по меньшей мере одного блока.

Методики, описанные в данном изобретении, можно реализовать аппаратными средства, программными средствами, программно-аппаратными средствами или их комбинацией. При реализации программными средствами эти программные средства могут выполняться в одном или более процессорах, таких как микропроцессор, прикладная специализированная интегральная схема (ASIC), вентильная матрица, программируемая пользователем (FPGA) или цифровой процессор сигналов (DSP). Программные средства, реализующие указанные методики, могут изначально храниться на материальном считываемом компьютером носителе и загружаться и выполняться в процессоре.

Соответственно, в другом примере в изобретении предлагается считываемая компьютером запоминающая среда, хранящая инструкции, которые при исполнении побуждают один или более процессоров кодировать видеоданные. В этом примере упомянутые инструкции побуждают упомянутый один или более процессоров кодировать множество блоков видеоданных, в том числе кодировать по меньшей мере один блок из упомянутого множества блоков видеоданных с использованием режима кодирования, который содержит один из режима кодирования с IPCM и режима кодирования без потерь, который использует предсказание, назначать ненулевое значение QP для упомянутого по меньшей мере одного блока, кодированного с использованием упомянутого режима кодирования, и выполнять деблокирующую фильтрацию в отношении одного или более из упомянутого множества блоков видеоданных, на основе режима кодирования, использованного для кодирования упомянутого по меньшей мере одного блока, и назначенного ненулевого значения QP для упомянутого по меньшей мере одного блока.

В нижеследующем описании и сопроводительных чертежах раскрыты подробности одного или более примеров осуществления изобретения. Другие признаки, цели и преимущества настоящего изобретения станут очевидными из его описания и чертежей, а также из формулы изобретения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 - блок-схема, иллюстрирующая пример системы осуществления кодирования и декодирования видео, которая может выполнять методики деблокирования режима кодирования с интра-импульсно-кодовой модуляцией (IPCM) и кодирования без потерь, согласно методикам настоящего раскрытия;

фиг. 2 - блок-схема, иллюстрирующая пример средства осуществления кодирования, которое может реализовать методики деблокирования режима кодирования c IPCM и кодирования без потерь, согласно методикам настоящего раскрытия;

фиг. 3 - блок-схема, иллюстрирующая пример видеодекодера, который может реализовать методики деблокирования режима кодирования c IPCM и кодирования без потерь, согласно методикам настоящего раскрытия;

фиг. 4 - концептуальная схема, где показан пример деблокирующей фильтрации, выполняемой в отношении границы двух смежных блоков видеоданных, согласно методикам настоящего раскрытия;

фиг. 5 - концептуальная схема, где показан пример сигнализации значения дельта QP для каждого из одного или более блоков видеоданных, согласно методикам настоящего раскрытия;

фиг. 6 - блок-схема последовательности операций, где показан примерный способ вычисления значения силы границы для деблокирующего фильтра согласно методикам настоящего раскрытия;

фиг. 7А-7В - концептуальные схемы, на которых показаны примеры деблокирования режима кодирования с IPCM, согласно методикам настоящего раскрытия;

фиг. 8А-8В - концептуальные схемы, где показаны примеры деблокирования режима кодирования без потерь согласно методикам настоящего раскрытия;

фиг. 9-11 - блок-схемы последовательности операций, где проиллюстрированы примерные способы деблокирования режима кодирования без потерь и с IPCM, согласно методикам настоящего раскрытия.

ПОДРОБНОЕ ОПИСАНИЕ

В этом разделе описываются в целом методики выполнения деблокирующей фильтрации относительно блоков видеоданных, кодированных с использованием режимов кодирования с интра-импульсно-кодовой модуляцией IPCM и/или кодирования без потерь. В частности, методики согласно настоящему изобретению могут включать в себя выполнение деблокирующей фильтрации в отношении одного или более блоков видеоданных, которые включают в себя один или более кодированных с IPCM блоков, кодированных без потерь блоков, и блоков, кодированных с использованием методик или «режимов» кодирования с потерями. Описанные здесь методики позволяют повысить визуальное качество одного или более блоков видеоданных при их кодировании по сравнению с другими методиками.

В качестве одного примера, описанные методики могут повысить визуальное качество одного или более кодированных с IPCM блоков, которые включают в себя восстановленные видеоданные путем разрешения деблокирующей фильтрации для этих блоков и выполнения деблокирующей фильтрации конкретным образом. Например, эти методики включают в себя назначение ненулевого значения параметра квантования (QP) для Кодированного с IPCM блока на основе одного или более из просигнализированного значения QP, которое указывает назначенное ненулевое значение QP, предсказанного значения QP и значения дельта QP («dQP»), которое представляет разность между назначенным ненулевым значением QP и предсказанным значением QP для Кодированного с IPCM блока. Эти методики дополнительно включают в себя выполнение деблокирующей фильтрации в отношении IPCM кодированного блока на основе назначенного ненулевого значения QP для Кодированного с IPCM блока.

В качестве другого примера, описанные здесь методики могут улучшить визуальное качество одного или более кодированных без потерь блоков, которые включают в себя исходные видеоданные, путем запрещения деблокирующей фильтрации для указанных блоков. Например, упомянутые методики включают в себя сигнализацию одного или более синтаксических элементов (например, 1-битовые коды или «флаги»), которые указывают на запрещение деблокирующей фильтрации для одного или более кодированных без потерь блоков. В некоторых примерах один или более синтаксических элементов могут указывать, что деблокирующая фильтрация запрещена для всех границ одного или более кодированных без потерь блоков, которые совместно используются с другими смежными блоками видеоданных.

Еще в одном примере описанные методики также позволяют улучшить визуальное качество одного или более блоков видеоданных, которые расположены смежно с IPCM кодированным блоком или кодированным без потерь блоком, и которые кодируют с использованием режимов кодирования с потерями, выполняя деблокирующую фильтрацию в отношении блоков с потерями конкретным образом. Например, такие методики включают в себя выполнение деблокирующей фильтрации в отношении одного или более блоков с потерями на основе назначенного ненулевого значения QP для смежного кодированного без потерь или кодированного с IPCM блока.

Таким образом появляется возможность относительного улучшения визуального качества одного или более блоков видеоданных, включающих в себя блоки, кодированные с использованием режимов кодирования с IPCM, кодирования без потерь и кодирования с потерями, при использовании раскрытых здесь методик.

На фиг. 1 представлена блок-схема, где показан пример системы осуществления кодирования и декодирования видео, в которой могут быть реализованы методики деблокирования режима кодирования с IPCM и без потерь согласно методикам настоящего раскрытия. Как показано на фиг. 1, система 10 включает в себя устройство-источник 12, которое создает закодированные видеоданные, которые в дальнейшем должны быть декодированы устройством-адресатом 14. Устройство-источник 12 и устройство-адресат 14 могут содержать любое из самых разных устройств, в том числе, настольный компьютер, компьютер типа «ноутбук» (то есть «лэптоп»), планшетный компьютер, телевизионную приставку, телефонную трубку, такую как так называемый «смартфон», так называемый «смартпад», телевизионный приемник, камеру, устройство отображения, цифровой медиаплеер, видеоигровую консоль, устройство потокового видео или т.п. В некоторых случаях устройство-источник 12 и устройство-адресат 14 могут быть оборудованы средствами беспроводной связи.

Устройство-адресат 14 может принимать закодированные видеоданные, которые должны быть декодированы, через линию 16 связи. Линия 16 связи может содержать среду или устройство любого типа, способное перемещать закодированные видеоданные от устройства-источника 12 на устройство-адресат 14. В одном примере линия 16 связи может содержать среду связи, позволяющую устройству-источнику 12 передавать закодированные видеоданные непосредственно на устройство-адресат 14 в режиме реального времени. Закодированные видеоданные могут быть модулированы в соответствии со стандартом связи, таким как протокол беспроводной связи, и могут передаваться на устройство-адресат 14. Среда связи может содержать любой носитель проводной или беспроводной связи, например, радиочастотный (RF) спектр или одну или более физических линий передачи. Среда связи может оставлять часть сети пакетной передачи, такой как локальная сеть, региональная сеть или глобальная сеть, например Интернет. Среда связи может включать в себя маршрутизаторы, коммутаторы, базовые станции или любое другое оборудование, которое может быть полезно для осуществления связи между устройством-источником 12 и устройством-адресатом 14.

В качестве альтернативы закодированные данные могут выводиться из выходного интерфейса 22 в запоминающее устройство 2н. Аналогичным образом, к закодированным данным возможен доступ со стороны запоминающего устройства 24 через входной интерфейс 26. Запоминающее устройство 24 может включать в себя любую запоминающую среду из числа самых разных распределенных или локально доступных сред (носителей данных), таких как накопитель на жестком диске, диски типа Blu-ray, диски DVD, диски CD, флэш-память, энергозависимая или энергонезависимая память, либо любую другую подходящую цифровую запоминающую среду для хранения закодированных видеоданных. В еще одном примере запоминающее устройство 24 может соответствовать файловому серверу или другому промежуточному запоминающему устройству, которое может хранить закодированное видео, созданное устройством-источником 12. Устройство-адресат 14 может обращаться к запомненным в запоминающем устройстве 24 видеоданным, используя потоковую передачу или загрузку видеоданных. Файловый сервер может представлять собой сервер любого типа, способный запоминать и хранить закодированные видеоданные и передавать их на устройство-адресат 14. Примеры файловых серверов включают в себя Web-сервер (например, для Web-сайта), FTP сервер, подключенные к сети запоминающие устройства (NAS) или локальный накопитель на диске. Устройство-адресат 14 может иметь доступ к закодированным видеоданным через любое стандартное соединение для передачи данных, в том числе Интернет соединение. Такое соединение может включать в себя беспроводной канал (например, Wi-Fi соединение), проводное соединение (например, DSL, кабельный модем и т.д.), либо комбинацию обоих видов соединений, которая подходит для доступа к закодированным видеоданным, хранящимся на файловом сервере. Передача закодированных видеоданных из запоминающего устройства 24 может быть реализована в виде потоковой передачи, передачи с выгрузкой или их комбинации.

Раскрытые здесь методики не обязательно ограничиваются беспроводными приложениями или установками. Эти методики можно применить к видеокодированию для поддержки любого из разнообразных мультимедийных приложений, таких как эфирное телевизионное вещание, передачи кабельного телевидения, передачи спутникового телевидения, передачи потокового видео, например, через Интернет, кодирование цифрового видео для запоминания на носителе данных, декодирование цифрового видео, хранящегося на носителе данных, или другие приложения. В некоторых примерах система 10 может быть сконфигурирована для поддержки однонаправленной или двунаправленной передачи видео для поддержки приложений, таких как потоковое видео, видео воспроизведение, видеовещание или видеотелефония.

В примере по фиг. 1 устройство-источник 12 включает в себя источник 18 видео, средство 20 осуществления кодирования (средство осуществления кодирования) и выходной интерфейс 22. В некоторых случаях выходной интерфейс 22 может включать в себя модулятор/демодулятор (модем) и/или передатчик. В устройстве-источнике 12 источник 18 видео может включать в себя такой источник, как устройство фиксации видео, например, видеокамеру, видеоархив, содержащий ранее зафиксированное видео, интерфейс подачи видео для приема видео от провайдера видеоконтента или системы компьютерной графики для создания компьютерных графических данных в качестве исходного видео или комбинации указанных источников. Например, если источник 18 видео представляет собой видеокамеру, то устройство-источник 12 и устройство-адресат 14 могут образовать так называемые видеофоны или камерофоны. Однако описанные в этом изобретении методики можно применять к видеокодированию в целом и использовать для беспроводных и/или проводных приложений.

Зафиксированное в данный момент, предварительно зафиксированное или созданное компьютером видео может быть закодировано средством 20 осуществления кодирования. Закодированные видеоданные могут передаваться непосредственно на устройство-адресат 14 через выходной интерфейс 22 устройства-источника 12. Закодированные видеоданные также (или в качестве альтернативы) могут запоминаться в запоминающем устройстве 24 для обращения к ним в будущем со стороны устройства-адресата 14 или других устройств для декодирования и/или воспроизведения.

Устройство-адресат 14 включает в себя входной интерфейс 26, видеодекодер 30 и устройство 28 отображения. В некоторых случаях входной интерфейс 26 может включать в себя приемник и/или модем. Входной интерфейс 26 устройства-адресата 14 принимает закодированные видеоданные через линию 16 связи или от запоминающего устройства 24. Закодированные видеоданные, переданные через линию 16 связи, или предусмотренные в запоминающем устройстве 24, могут включать в себя разнообразные синтаксические элементы, созданные средством 20 осуществления кодирования для использования видеодекодером, таким как видеодекодер 30, при декодировании видеоданных. Указанные синтаксические элементы могут быть включены в закодированные видеоданные, передаваемые через среду связи, запоминаемые на носителе данных или запоминаемые на файловом сервере.

Устройство 28 отображения может являться составной частью (или быть внешним) устройства-адресата 14. В некоторых примерах устройство-адресат 14 может включать в себя интегрированное в него устройство отображения, а также быть сконфигурировано для взаимодействия с внешним устройством отображения. В других примерах устройством-адресатом 14 может быть устройство отображения. В общем случае устройство 28 отображения отображает пользователю декодированные видеоданные и может содержать любое из разнообразных устройств отображения, таких как жидкокристаллическое устройство отображения (LCD), плазменное устройство отображения, устройство отображения на органических светоизлучающих диодах (OLED) или устройство отображения другого типа.

Средство 20 осуществления кодирования и видеодекодер 30 могут функционировать согласно стандарту сжатия видео, такому как стандарт высокоэффективного видеокодирования (HEVC), разрабатываемый Объединенной командой разработчиков систем видеокодирования (JCT-VC) из Экспертной группы по видеокодированию ITU-T (VCEG) и Экспертной группы по движущимся изображениям (MPEG) ISO/IEC, и может соответствовать тестовой модели HEVC. В качестве альтернативы средство 20 осуществления кодирования и видеодекодер 30 могут работать согласно другим коммерческим или промышленным стандартам, таким как стандарт ITU-T H.264, также называемый MPEG-4, часть 10, AVC (усовершенствованное видеокодирование) или расширениям указанных стандартов. Однако методики, раскрытые в этом изобретении, не ограничиваются каким-либо конкретным стандартом кодирования. Другие примеры стандартов сжатия видео включают в себя MPEG-2 и ITU-T H.263. Последний проект стандарта HEVC, называемый «HEVC Working Draft 8» или «WD8» описан в документе JCTVC-J1003_d7, Bross и др., «High efficiency video coding (HEVC) text specification draft 8» описан в документе JCTVC-J1003_d7, Bross и др., “High efficiency video coding (HEVC) text specification draft 8” Объединенной команды разработчиков систем видеокодирования (JCT-VC) стандартов ITU-T SG16 WP3 и ISO/IEC JTC1/SC29/WG11, 10th Meeting: Stockholm, SE, 11-20 июля 2012 года, который по состоянию 2 октября 2012 года можно скачать из http://phenix.int-evry.fr/jct/doc_end_user/documents/10_Stockholm/wg11/JCTVC-J1003-v8.zip.

Другой предварительный проект стандарта HEVC, называемый в этом описании “HEVC Working Draft 4” или “WD4,” описан в документе JCTVC-F803_d2, Bross и др., “WD4: Working Draft 4 of High-Efficiency Video Coding,” Объединенной команды разработчиков систем видеокодирования (JCT-VC) стандартов ITU-T SG16 WP3 и ISO/IEC JTC1/SC29/WG11, 6th Meeting: Torino, IT, 14-22 июля 2011 года, который на 2 октября 2012 года можно скачать из http://phenix.int-evry.fr/jct/doc_end_user/documents/6_Torino/wg11/JCTVC-F803-v8.zip. Другой предварительный проект стандарта HEVC, называемый в этом описании “HEVC Working Draft 6” or “WD6,” описан в документе JCTVC-H1003, Bross и др., “High efficiency video coding (HEVC) text specification draft 6,” Объединенной команды разработчиков систем видеокодирования (JCT-VC) стандартов ITU-T SG16 WP3 и ISO/IEC JTC1/SC29/WG11, 8th Meeting: San Jose, Calif., USA, 20 февраля, 2012, который на 1 июня 2012 года можно скачать из http://phenix.int-evey.fr/jct/doc_end_user/documents/8_San%20Jose/wg11/JCTVC-H1003-v22.zip

Хотя это на фиг. 1 не показано, согласно некоторым аспектам средство 20 осуществления кодирования и видеодекодер 30 могут быть интегрированы каждый со средством осуществления кодирования аудио и аудиодекодером и могут включать в себя соответствующие блоки MUX-DMUX (мультиплексор-демультиплексор) или другие аппаратные и программные средства для осуществления кодирования как аудио, так и видео в общем потоке данных или в отдельных потоках данных. В некоторых примерах, если это имеет место, блоки MUX-DMUX могут соответствовать Протоколу мультиплексора ITU H.223 или другим протоколам, таким как Протокол дэйтаграмм пользователя (UDP).

Средство 20 осуществления кодирования и видеодекодер 30 могут быть реализованы каждый в виде любых подходящих схем средства осуществления кодирования (энкодера) или декодера, таких как один или более микропроцессоров, процессоры DSP, интегральные схемы ASIC, вентильные матрицы FPGA, дискретные логические схемы, программные средства, аппаратные средства, программно-аппаратные средства или любая их комбинация. При частичной реализации указанных методик программными средствами устройство может хранить инструкции программного обеспечения на подходящем невременном считываемом компьютером носителе и исполнять эти инструкции аппаратными средствами с использованием одного или более процессоров, реализующих раскрытые в изобретении методики. Как средство 20 осуществления кодирования, так и видеодекодер 30 могут быть включены в состав одного или более средств осуществления кодирования или декодеров, либо каждый из них может быть интегрирован в объединенном средстве осуществления кодирования/декодере («CODEC») в соответствующем устройстве.

Работы по стандартизации HEVC основаны на совершенствуемой модели устройства видеокодирования, называемой тестовой моделью (HM) стандарта HEVC. В модели HM заложено несколько дополнительных возможностей для устройств видеокодирования по сравнению с существующими устройствами, соответствующими, например, стандарту ITU-T H.264/AVC. Например, в то время как стандарт H.264 обеспечивает девять режимов кодирования с интра(внутренним)-предсказанием, модель HM может обеспечить до тридцати пяти режимов кодирования с интра-предсказанием.

В общем случае рабочая модель HM предполагает, что видеокадр или видеоизображение можно разделить на последовательность древовидных блоков или наибольших единиц кодирования (LCU), которые включают в себя элементы дискретизации яркости и элементы дискретизации цветности. Назначение древовидного блока такое же, как у макроблока в стандарте H.264. Слайс включает в себя ряд последовательных древовидных блоков в порядке кодирования. Видеокадр или видеоизображение может быть разбито на один или более слайсов. Каждый древовидный блок можно разделить на единицы кодирования (CU) согласно квадродереву. Например, корневой узел квадродерева можно разделить на четыре дочерних узла, а каждый дочерний узел, в свою очередь, может представлять собой родительский узел и быть разделен на четыре других дочерних узла. Конечный не разделенный дочерний узел как концевой узел квадродерева содержит узел кодирования, то есть, кодированный видеоблок. Синтаксические данные, связанные с кодированным битовым потоком могут определять максимальное количество возможных разделений древовидного блока, а также могут определять минимальный размер узлов кодирования.

CU включает в себя узел кодирования и единицы предсказания (PU) и единицы преобразования (TU), связанные с узлом кодирования. Размер CU соответствует размеру узла кодирования и должен иметь квадратную форму. Размер CU может находиться в диапазоне от 8×8 пикселей до размера древовидного блока с максимальным размером 64×64 пикселя или более. Каждая CU может содержать одну или более PU и одну или более TU. Синтаксические данные, связанные с CU, могут описывать, например, разбиение CU на одну или более PU. Режимы разбиения могут различаться в зависимости от того, пропущена ли CU, осуществлено ли кодирование в прямом режиме, осуществлено ли кодирование в режиме интра-предсказания или осуществлено ли кодирование в режиме интер-предсказания. PU могу быть разделены на части не квадратной формы. Синтаксические данные, связанные с CU, могут также описывать, например, разбиение CU на одну или более TU согласно квадродереву. TU может иметь квадратную или не квадратную форму.

Стандарт HEVC позволяет выполнять преобразование в соответствии с TU, которые могут отличаться у разных CU. Размер TU, как правило, основан на размере PU в данной CU, определенной для разделенной LCU, хотя это не всегда так. Как правило, TU имеют одинаковый или меньший размер с PU. В некоторых примерах остаточные элементы дискретизации, соответствующие одной CU, можно дополнительно разделить на меньшие удиницы, используя структуру квадродерева, известную под названием «остаточное квадродерево» (RQT). Концевые узлы дерева RQT могут называться TU. Значения пиксельной разности, связанные с TU, можно преобразовать для создания коэффициентов преобразования с последующим их квантованием.

В общем случае PU включает в себя данные, относящиеся к процессу предсказания. Например, когда PU закодирована в интра-режиме, она может включать в себя данные, описывающие режим интра-предсказания для данной PU. В другом примере, когда PU закодирована в интер-режиме, она может включать в себя данные, определяющие вектор движения для данной PU. Данные, определяющие вектор движения для PU, могут описывать, например, горизонтальную составляющую вектора движения, вертикальную составляющую вектора движения, разрешающую способность для вектора движения (например, с точностью до четверти пикселя или с точностью до одной восьмой пикселя), опорное изображение, на которое указывает вектор движения, и/или список опорных изображений (например, список 0, список 1 или список С) для вектора движения.

В общем случае TU используется в процессах преобразования и квантования. Данная CU, имеющая одну или более PU, может также включать в себя одну или более TU. Вслед за предсказанием средство 20 осуществления кодирования может вычислить остаточные значения, соответствующие данной PU. Остаточные значения содержат значения пиксельной разности, которые можно преобразовать в коэффициенты преобразования, выполнить их квантование и сканирование с использованием TU, чтобы создать преобразованные в последовательную форму коэффициенты преобразования для энтропийного кодирования. В данном описании, как правило, используется термин «видеоблок» или просто «блок» для ссылки на узел кодирования CU. В некоторых конкретных случаях в настоящем описании также может использоваться термин «видеоблок» для ссылки на древовидный блок, то есть, LCU или CU, которая включает в себя узел кодирования и PU и TU.

Видеопоследовательность, как правило, включает в себя ряд видеокадров или видеоизображений. Группа изображений (GOP) в общем случае содержит ряд, состоящий из одного или нескольких видеоизображений. Группа GOP может включать в себя синтаксические данные в заголовке группы GOP, заголовке одного или более изображений или где-либо в другом месте, где описывают количество изображений, включенных в группу GOP. Каждый слайс изображения может включать в себя синтаксические данные слайса, которые описывают режим осуществления кодирования для соответствующего слайса. Средство 20 осуществления кодирования обычно работает с видеоблоками внутри отдельных видеослайсов для осуществления кодирования видеоданных. Видеоблок может соответствовать узлу кодирования в CU. Видеоблоки могут иметь фиксированные или переменные размеры и могут отличаться по размерам в соответствии с заданным стандартом кодирования.

Например, модель HM поддерживает предсказание для разных размеров PU. Положим, что размер конкретной CU составляет 2N×2N, модель HM поддерживает интра-предсказание для размеров PU, составляющих 2N×2N или N×N, и интер-предсказание для симметричных размеров PU, составляющих 2N×2N, 2N×N, N×2N или N×N. Модель HM также поддерживает асимметричное разбиение для интра-предсказания для размеров PU, составляющих 2N×nU, 2N×nD, nL×2N и nR×2N. При асимметричном разбиении в одном направлении CU разбиение отсутствует, в то время как в другом направлении выполняется разбиение на части в отношении 25% и 75%. Часть CU, соответствующая 25% части, обозначена как «n», после которой следует обозначение «Вверх», «Вниз», «Влево» или «Вправо». Таким образом, например, «2N×nU» относится к CU размером 2N×2N, которая разбита по горизонтали на PU размером 2N×0,5N сверху и PU размером 2N×1,5N снизу.

В данном описании формы «N×N» и «N на N» могут использоваться как взаимозаменяемые для ссылки на пиксельные размеры видеоблока с точки зрения размеров по вертикали и горизонтали. Например, 16×16 пикселей или 16 на 16 пикселей. В общем случае блок размером 16×16 будет иметь 16 пикселей в вертикальном направлении (y=16) и 16 пикселей в горизонтальном направлении (x=16). Аналогичным образом блок N×N обычно имеет N пикселей в вертикальном направлении и N пикселей в горизонтальном направлении, где N представляет не отрицательное целое значение. Пиксели в блоке могут быть скомпонованы по строкам и столбцам. Кроме того, блоки не обязательно должны иметь одинаковое количество пикселей в горизонтальном направлении и в вертикальном направлении. Например, блоки могут содержать N×M пикселей, где M не обязательно равно N.

Вслед за кодированием с интра- или интер-предсказанием с использованием PU из CU средство 20 осуществления кодирования может вычислить остаточные данные для TU из CU. PU могут содержать пиксельные данные в пространственной области (называемой также пиксельной областью), а TU могут содержать коэффициенты в области преобразования после применения преобразования, например, дискретного косинусного преобразования (DCT), целочисленного преобразования, вейвлетного преобразования или концептуально подобного преобразования, применяемого к остаточным видеоданным. Остаточные данные могут соответст