Кодирование карт глубин движения с изменением диапазона глубины

Кодирование карт глубин движения с изменением диапазона глубины

Иллюстрации

Показать все

Реферат

Притязание на приоритет

Настоящая заявка связана с предварительной заявкой на патент США № 61/510753, поданной 22 июля 2011 г., которая настоящим включена путем ссылки в полном объеме, и по ней испрашивается приоритет.

Область техники, к которой относится изобретение

Настоящее изобретение относится к области кодирования видеосигнала, например, кодированию трехмерных видеоданных.

Уровень техники

Возможности цифрового видео можно внедрять в разнообразные устройства, включая цифровые телевизоры, системы прямого цифрового вещания, беспроводные широковещательные системы, карманные персональные компьютеры (КПК), портативные или настольные компьютеры, планшетные компьютеры, устройства чтения электронных книг, цифровые камеры, цифровые устройства записи, цифровые медиапроигрыватели, устройства для видеоигр, консоли для видеоигр, сотовые или спутниковые радиотелефоны, так называемые «смартфоны», устройства видеоконференцсвязи, устройства потоковой передачи видеосигнала и пр. Устройства цифрового видео реализуют методы сжатия видеосигнала, например MPEG-2, MPEG-4, или H.264/MPEG-4, Part 10, Advanced Video Coding (AVC), для более эффективной передачи и приема цифрового видеосигнала. Методы сжатия видеосигнала осуществляют пространственное и временное прогнозирование для снижения или устранения избыточности, присущей видеопоследовательностям.

Методы сжатия видеосигнала осуществляют пространственное прогнозирование и/или временное прогнозирование для снижения или устранения избыточности, присущей видеопоследовательностям. Для кодирования видеосигнала на основании блоков, кадров или серии последовательных макроблоков видео можно разбивать на макроблоки. Каждый макроблок можно дополнительно разбивать. Макроблоки во внутреннекодированном (I) кадре или серии последовательных макроблоков кодируются с использованием пространственного прогнозирования в отношении соседних макроблоков. Макроблоки во внешнекодированном (P или B) кадре или серии последовательных макроблоков могут использовать пространственное прогнозирование в отношении соседних макроблоков в одном и том же кадре или серии последовательных макроблоков или временное прогнозирование в отношении других опорных кадров.

После кодирования видеоданных, видеоданные можно пакетизировать для передачи или хранения. Видеоданные можно собирать в видеофайл, отвечающий любому из различных стандартов, например, формату медиафайлов, установленному Международной организацией по стандартизации (ISO) и его расширениям, например AVC.

Были предприняты усилия по разработке новых стандартов кодирования видеосигнала на основании H.264/AVC. Одним таким стандартом является стандарт кодирования масштабируемого видео (SVC), который представляет собой масштабируемое расширение до H.264/AVC. Другим стандартом является кодирование многовидового видео (MVC), который стал многовидовым расширением до H.264/AVC. Совместный проект MVC описан в JVT-AB204, “Joint Draft 8.0 on Multiview Video Coding”, 28^th JVT meeting, Hannover, Germany, July 2008, доступном по адресу http://wftp3.itu.int/av-arch/jvt-site/2008_07_Hannover/JVT-AB204.zip. Версия стандарта AVC описана в JVT-AD007, “Editors' draft revision to ITU-T Rec. H.264 | ISO/IEC 14496-10 Advanced Video Coding - in preparation for ITU-T SG 16 AAP Consent (in integrated form)”, 30th JVT meeting, Geneva, CH, Feb. 2009,” доступном по адресу http://wftp3.itu.int/av-arch/jvt-site/2009_01_Geneva/JVT-AD007.zip. Этот документ объединяет SVC и MVC в спецификации AVC.

Раскрытие изобретения

В общем, в настоящем раскрытии описаны методы для поддержки кодирования и визуализации трехмерного (3D) видеосигнала. В частности, методы настоящего изобретения относятся к кодированию и декодированию 3D видеосодержимого. Методы настоящего изобретения включают в себя кодирование информации текстуры (например, данных светлоты или яркости и данные цвета или цветности), а также карты глубин для информации текстуры. Карта глубин можно прогностически кодировать с использованием методов, аналогичных применяемым для кодирования информации текстуры, например, кодирования с внутренним прогнозированием и/или кодирования с внешним прогнозированием. Карты глубин, кодированные с использованием методов кодирования с внешним прогнозированием, именуются в настоящем документе «картами глубин движения». Настоящее изобретение предусматривает кодирование карт глубин движения, которые имеют диапазон глубины изменения относительно опорной карты глубин. Например, настоящее изобретение предусматривает регулирование значений прогностического блока на основании различия между первым диапазоном глубины реального мира опорной компоненты вида глубины и вторым диапазоном глубины реального мира компоненты текущего вида глубины. Например, значения прогнозируемой карты глубин можно регулировать согласно процессу кодирования с повторным картированием пиксельных значений, который осуществляется после компенсации движения.

В 3D кодеке, компонента вида каждого вида видеоданных в конкретный момент времени может включать в себя компоненту вида текстуры и компоненту вида глубины. Компонента вида текстуры может включать в себя компоненты яркости (Y) и компоненты цветности (Cb и Cr), совместно именуемые «информацией текстуры» или «компонентами текстуры». Компоненты яркости (светлоты) и цветности (цвета) совместно именуются здесь компонентами «текстуры». Компонента вида глубины может образовывать карту глубин изображения. При визуализации 3D изображения, карты глубин включают в себя значения глубины и могут использоваться для формирования виртуальных видов из обеспеченной перспективы просмотра относительно другого вида, например, вида, включающего в себя информацию текстуры. Единицы кодированных блоков, также именуемые в настоящем изобретении просто «кодированными блоками», могут соответствовать макроблокам в ITU-T стандарта H.264/AVC (Advanced Video Coding) или единицам кодирования стандарта High Efficiency Video Coding (HEVC).

В одном аспекте способ обработки видеоданных содержит определение первого диапазона глубины реального мира для компоненты первого вида глубины, соответствующей компоненте опорного вида и определение второго диапазона глубины реального мира для компоненты второго вида глубины, соответствующей компоненте текущего вида, причем компонента текущего вида прогнозируется относительно компоненты опорного вида. Способ также содержит определение прогностического блока для части компоненты текущего вида из компоненты опорного вида. Способ дополнительно содержит регулирование значений прогностического блока на основании различия между первым диапазоном глубины реального мира и вторым диапазоном глубины реального мира и прогнозирование части текущего вида на основании отрегулированных значений прогностического блока.

В другом аспекте устройство для кодирования данных содержит видеокодер, выполненный с возможностью определения первого диапазона глубины реального мира для компоненты первого вида глубины, содержащей компоненту опорного вида, определения второго диапазона глубины реального мира для компоненты второго вида глубины, содержащей компоненту текущего вида, причем компонента текущего вида прогнозируется относительно компоненты опорного вида, определения прогностического блока для части компоненты текущего вида из компоненты опорного вида, регулировать значения прогностического блока на основании различия между первым диапазоном глубины реального мира и вторым диапазоном глубины реального мира, и прогнозирования части текущего вида на основании отрегулированных значений прогностического блока.

В другом аспекте машиночитаемый носитель содержит машиночитаемый носитель данных, на котором хранятся инструкции, которые, при выполнении, предписывают процессору устройства видеокодирования определять первый диапазон глубины реального мира для компоненты первого вида глубины, соответствующей компоненте опорного вида, определять второй диапазон глубины реального мира для компоненты второго вида глубины, соответствующей компоненте текущего вида, причем компонента текущего вида прогнозируется относительно компоненты опорного вида, определения прогностического блока для части компоненты текущего вида из компоненты опорного вида, регулировать значения прогностического блока на основании различия между первым диапазоном глубины реального мира и вторым диапазоном глубины реального мира, и прогнозирования части текущего вида на основании отрегулированных значений прогностического блока.

В другом аспекте, предусмотрено устройство, которое содержит средство для определения первого диапазона глубины реального мира для компоненты первого вида глубины, соответствующей компоненте опорного вида, средство для определения второго диапазона глубины реального мира для компоненты второго вида глубины, соответствующей компоненте текущего вида, причем компонента текущего вида прогнозируется относительно компоненты опорного вида, и средство для определения прогностического блока для части компоненты текущего вида из компоненты опорного вида. Устройство дополнительно содержит средство для регулировки значений прогностического блока на основании различия между первым диапазоном глубины реального мира и вторым диапазоном глубины реального мира и средство для прогнозирования части текущего вида на основании отрегулированных значений прогностического блока.

Методы, описанные в настоящем раскрытии, можно реализовать в аппаратном обеспечении, программном обеспечении, программно-аппаратном обеспечении или любой их комбинации. Будучи реализовано в программном обеспечении, программное обеспечение может выполняться на процессоре, который может означать один или более процессоров, например, микропроцессор, специализированную интегральную схему (ASIC), вентильную матрицу, программируемую пользователем (FPGA), или цифровой сигнальный процессор (DSP), или другую эквивалентную интегральную или дискретную логическую схему. Программное обеспечение, содержащее инструкции для выполнения методов, может первоначально храниться на машиночитаемом носителе и загружаться и выполняться процессором.

Соответственно, настоящее изобретение также предусматривает машиночитаемые носители, содержащие инструкции, предписывающие процессору осуществлять любой из различных методов, описанных в этом раскрытии. В ряде случаев, машиночитаемый носитель может составлять часть компьютерного программного продукта, который может продаваться производителям и/или использоваться в устройстве. Компьютерный программный продукт может включать в себя машиночитаемый носитель, и в ряде случаев, также может включать в себя упаковочные материалы.

Настоящее изобретение также может применяться к электромагнитным сигналам, несущим информацию. Например, электромагнитный сигнал может содержать информацию, относящуюся к поддержке полных пикселей, используемой для интерполяции значения для субцелого пикселя опорной выборки. В некоторых примерах, сигнал может формироваться из или передаваться устройством, реализующим описанные здесь методы. В других примерах, настоящее изобретение может применяться к сигналам, которые могут приниматься в устройстве, реализующем описанные здесь методы.

Детали одного или более аспектов изобретения представлены на сопровождающих чертежах и в нижеприведенном описании. Другие признаки, задачи и преимущества методов, описанных в этом раскрытии, явствуют из описания и чертежей, а также из формулы изобретения.

Краткое описание чертежей

Фиг. 1 - блок-схема, демонстрирующая один пример системы кодирования и декодирования видеосигнала согласно методам настоящего изобретения.

Фиг. 2 - блок-схема, более подробно демонстрирующая пример устройства кодирования видео, показанного на фиг. 1, согласно методам настоящего изобретения.

Фиг. 3 - схема одного примера структуры MVC-прогнозирования для кодирования многовидового видео согласно методам настоящего изобретения.

Фиг. 4 - блок-схема, более подробно демонстрирующая пример устройства декодирования видео, показанного на фиг. 1, согласно методам настоящего изобретения.

Фиг. 5 - блок-схема операций, демонстрирующая пример работы устройства кодирования видео в соответствии с настоящим изобретением согласно методам настоящего изобретения.

Фиг. 6 - принципиальная схема, демонстрирующая пример обмена данными между компонентами другого примера устройства кодирования для регулировки подвергнутых компенсации движения значений карт глубин согласно методам настоящего изобретения.

Осуществление изобретения

В этом раскрытии описаны методы сигнализации, которые может применять кодер и может использовать декодер по меньшей мере на стадии внешнего прогнозирования по меньшей мере одного из процесса кодирования и декодирования видеосигнала. Описанные методы относятся к кодированию трехмерного (“3D”) видеосодержимого. Настоящее изобретение предусматривает кодирование карт глубин движения, которые имеют диапазон глубины изменения относительно опорных карт глубин. Например, настоящее изобретение предусматривает регулирование значений прогностического блока на основании различия между первым диапазоном глубины реального мира опорной компоненты вида глубины и вторым диапазоном глубины реального мира компоненты текущего вида глубины. Например, процесс кодирования с повторным картированием пиксельных значений может осуществляться после компенсации движения. Эти методы можно применять для кодирования битового потока, напоминающего битовый поток кодирования многовидового видео (MVC), где любые или все виды битового потока MVC могут дополнительно включать в себя информацию глубины, в соответствии с методами настоящего изобретения. В настоящем изобретении термин «кодирование» может означать любое или оба из кодирования и/или декодирования.

В частности, методы предусматривают получение по меньшей мере одного двухмерного изображения, имеющего компоненты вида текстуры и компоненты вида глубины. Некоторые компоненты вида текстуры и компоненты вида глубины можно кодировать совместно в единый кодированный блок или как отдельные блоки. Изображение может задаваться компонентами вида глубины и компонентами вида текстуры.

Значения глубины для кадра изображения может задаваться относительно диапазона глубины, конкретно для этого кадра изображения или картинки. Однако компоненты вида глубины для разных кадров могут иметь разные диапазоны глубины. Таким образом, два значения глубины для двух разных кадров могут соответствовать разным значениям глубины реального мира, если диапазоны глубины для двух кадров различаются. Например, кадр текущего вида и соответствующий опорный кадр могут иметь одинаковое значение глубины. Если же кадр текущего вида и соответствующий ему опорный кадр имеют разные значения глубины реального мира, одинаковое значение глубины соответствуют разным значениям глубины реального мира. Описанные здесь методы кодируют карты глубин движения для компенсации этих разностей значение глубины между опорными видами и текущими видами.

Преобразование видеосигнала на основании оценивания глубины и синтеза виртуального вида можно использовать для создания приложений с 3D изображениями, например 3D-видео. В частности, виртуальные виды сцены можно использовать для создания 3D вида сцены. Формирование виртуального вида сцены на основании существующего вида сцены традиционно достигается оцениванием значений глубины объекта до синтеза виртуального вида. Оценивание глубины это процесс оценивания абсолютных или относительных расстояний между объектами и плоскостью камеры из стереопар или моноскопического содержимого. Информация глубины может включать в себя информацию, полезную при формировании трехмерного видео, например, карту глубин (например, значения глубины на попиксельной основе) или карту параллакса (например, горизонтальное расхождение на попиксельной основе). Информация глубины может иметь диапазон значений глубины реального мира, именуемый диапазоном глубины. Значения глубины реального мира для изображения можно квантовать, обычно со ссылкой на диапазон глубины, для создания карты глубин для этого изображения.

Оцененную информацию глубины, обычно представляемую картой глубин изображения в градации серого, можно использовать для формирования произвольного угла виртуальных видов с использованием методов визуализация на основании изображения с глубиной (DIBR). По сравнению с традиционными системами трехмерного телевидения (3DTV), где многовидовые последовательности сталкиваются с проблемами эффективного межвидового сжатия, система на основании карты глубин может снижать использование полосы, передавая только один или несколько видов совместно с картой(ами) глубин, которую(ые) можно эффективно кодировать. Карта(ы) глубин, используемая(ые) в преобразовании на основании карты глубин может(гут) подвергаться управлению (например, посредством масштабирования) конечными пользователями до использования ее (их) при синтезе вида. Заказные виртуальные виды могут формироваться с разными величинами воспринимаемой глубины. Также, оценивание глубины может осуществляться с использованием моноскопического видео, где доступно только 2D содержимое одного вида.

Внешнее кодирование на основании блоков это метод кодирования, который опирается на временное прогнозирование для снижения или устранения временной избыточности между видеоблоками последовательных кодированных единиц видеопоследовательности. Внешнее кодирование можно применять к информации обеих текстуры и глубины. Кодированные единицы могут содержать кадры видео, серию последовательных макроблоков кадров видео, группы изображений, или другую заданную единицу кодированных видеоблоков. Используемые здесь термины «кадр» и «изображение» можно употреблять взаимозаменяемо. Для внешнего кодирования, устройство кодирования видео осуществляет оценивание движения и компенсацию движения для оценивания движения между видеоблоками двух или более соседних кодированных единиц. С использованием методов оценивания движения устройство кодирования видео формирует векторы движения, которые могут указывать перемещение видеоблоков относительно соответствующих видеоблоков прогнозирования в одном или более опорных кадрах или других кодированных единицах. С использованием методов для компенсация движения, устройство кодирования видео может использовать векторы движения для формирования видеоблоков прогнозирования из одного или более опорных кадров или других кодированных единиц. После компенсации движения, устройство кодирования видео может вычислять остаточные видеоблоки путем вычитания видеоблоков прогнозирования из исходных кодируемых видеоблоков. Межвидовое кодирование также можно использовать для прогнозирования информации текстуры и/или глубины из компонент опорного вида других видов, в которых векторы перемещения можно вычислять и использовать для формирования прогностических блоков относительно компоненты опорного вида.

На фиг. 1 показана блок-схема, демонстрирующая один пример системы 10 кодирования и декодирования видеосигнала, которую можно использовать для реализации одного или более методов настоящего изобретения. Как показано на фиг. 1, система 10 включает в себя устройство-источник 12, которое передает кодированный видеосигнал на устройство 16 назначения через канал 15 связи. Устройство-источник 12 и устройство 16 назначения может содержать любое из разнообразных устройств. В ряде случаев, любое или оба из устройства-источника 12 и устройства 16 назначения может(ут) содержать устройства беспроводной связи, например, беспроводные телефонные трубки, так называемые сотовые или спутниковые радиотелефоны, или любые беспроводные устройства, которые могут передавать видеоинформацию по каналу 15 связи, в каковом случае канал 15 связи является беспроводным. Однако методы настоящего изобретения, относящиеся к кодированию блоков видеоданных, которые включают в себя информацию обеих текстуры и глубины, не обязаны ограничиваться беспроводными приложениями или установками. Методы также могут быть полезны в различных других установках и устройствах, включая устройства, которые осуществляют связь по физическим проводам, оптическим волокнам или другим физическим или беспроводным средам передачи данных.

Кроме того, методы кодирования или декодирования также можно применять в автономном устройстве, которое не обязательно осуществляет связь с каким-либо другим устройством. Например, устройство 28 декодирования видео может располагаться в цифровом медиаплеере или другом устройстве и принимать кодированные видеоданные посредством потоковой передачи, загрузки или носителей данных. Следовательно, представление устройства-источника 12 и устройства 16 назначения как осуществляющих связь друг с другом обеспечено в целях иллюстрации варианта реализации, и не следует рассматривать в плане ограничения методами, описанными в настоящем раскрытии, которые можно применять к кодированию видеосигнала, в общем случае, в различных условиях, применениях или реализациях.

В примере, показанном на фиг. 1, устройство-источник 12 может включать в себя источник 20 видеосигнала, блок 21 обработки глубины, устройство 22 кодирования видео, модулятор/демодулятор (модем) 23 и передатчик 24. Устройство 16 назначения может включать в себя приемник 26, модем 27, устройство 28 декодирования видео и устройство 30 отображения. В соответствии с настоящим изобретением, устройство 22 кодирования видео устройства-источника 12 может быть выполнен с возможностью применения одного или более методов настоящего изобретения в рамках процесса кодирования видеосигнала. Аналогично, устройство 28 декодирования видео устройства 16 назначения может быть выполнен с возможностью применения одного или более методов настоящего изобретения в рамках процесса декодирования видеосигнала.

Видеопоследовательность обычно включает в себя последовательность кадров видео, также именуемых видеоизображениями. Устройство 22 кодирования видео работает на видеоблоках в отдельных кадрах видео для кодирования видеоданных. Видеоблоки могут иметь фиксированные или переменные размеры и могут отличаться размером согласно указанному стандарту кодирования. Каждый кадр видео включает в себя последовательность из одной или более серий последовательных макроблоков. В стандарте ITU-T H.264, например, каждая серия последовательных макроблоков может включать в себя последовательность макроблоков, которые могут быть организованы в подблоки. Стандарт H.264 поддерживает внутреннее прогнозирование в различных размерах блока для кодирования двухмерного (2D) видеосигнала, например, 16 на 16, 8 на 8 или 4 на 4 для яркостных компонент, и 8×8 для цветностных компонент, а также внешнее прогнозирование в различных размерах блока, например, 16 на 16, 16 на 8, 8 на 16, 8 на 8, 8 на 4, 4 на 8 и 4 на 4 для яркостных компонент и соответствующие масштабируемые размеры для цветностных компонент. Видеоблоки может содержать блоки пиксельных данных или блоки коэффициентов преобразования, например, после процесса преобразования, например, дискретного косинусного преобразования (DCT) или принципиально аналогичного процесса преобразования. Эти методы можно распространить на 3D-видео.

Меньшие видеоблоки могут обеспечивать более высокое разрешение и могут использоваться для положений кадра видео, которые включают в себя высокие уровни детализации. В общем случае, макроблоки и различные подблоки можно рассматривать как видеоблоки. Кроме того, серию последовательных макроблоков можно рассматривать как последовательность видеоблоков, например, макроблоков и/или подблоков. Каждая серия последовательных макроблоков может быть независимо декодируемой единицей кадра видео. В качестве альтернативы, сами кадры могут быть декодируемыми единицами, или другие части кадра можно задавать как декодируемые единицы.

2D макроблоки стандарта ITU-T H.264 можно распространить на 3D путем кодирования информации глубины из карты глубин или карты параллакса совместно с соответствующими яркостными и цветностными компонентами (то есть компонентами текстуры) для этого кадра или серии последовательных макроблоков видео. Картирование параллакса (также именуемое картированием виртуального перемещения или картированием смещения) смещает компоненты текстуры в положении пикселя на основании функции угла обзора и карты высот в положении пикселя. Устройство 22 кодирования видео может кодировать информацию глубины как монохроматический видеосигнал.

Для кодирования видеоблоков, например, кодированного блока, устройство 22 кодирования видео осуществляет внутреннее или внешнее прогнозирование для формирования одного или более блоков прогнозирования. Устройство 22 кодирования видео вычитает блоки прогнозирования из исходных видеоблоков, подлежащих кодированию, для формирования остаточных блоков. Таким образом, остаточные блоки может представлять попиксельные разности между кодируемыми блоками и блоками прогнозирования.

Устройство 22 кодирования видео также может применять процессы преобразования, квантования и статистического кодирования для дополнительного снижения битовой скорости, связанной с передачей остаточных блоков. Методы преобразования могут содержать дискретные косинусные преобразования (DCT) или принципиально аналогичные процессы. Альтернативно, можно использовать вейвлетные преобразования, целочисленные преобразования или другие типы преобразований. В процессе DCT, в порядке примера, набор пиксельных значений может преобразовываться в коэффициенты преобразования, которые могут представлять энергию пиксельных значений в частотной области.

Устройство 22 кодирования видео может квантовать коэффициенты преобразования в общем с использованием процесса, который сокращает количество битов, связанное с соответствующим коэффициентом преобразования. Квантование, в общем случае, означает процесс, в котором коэффициенты квантуются для возможного сокращения объема данных, используемого для представления коэффициентов. После квантования, статистическое кодирование может осуществляться согласно методологии статистического кодирования. Статистическое кодирование может включать в себя один или более процессов, которые совместно сжимают данные для вывода в битовый поток, где сжатые данные могут включать в себя, например, последовательность режимов кодирования, информации движения, шаблонов кодированных блоков, и квантованные коэффициенты преобразования. Примеры статистического кодирования включают в себя, но без ограничения, контекстно-адаптивное кодирование с переменной длиной слова (CAVLC) и контекстно-адаптивное двоичное арифметическое кодирование (CABAC). Дополнительные детали в отношении процесса кодирования, осуществляемого устройством 22 кодирования видео, описаны ниже со ссылкой на фиг. 2.

Кодированный видеоблок можно представлять информацией прогнозирования, которую можно использовать для создания или идентификации прогностического блока, и остаточным блоком данных, который можно применять к прогностическому блоку для воссоздания исходного блока. Информация прогнозирования может содержать один или более векторов движения, которые используются для идентификации прогностического блока данных. Использование векторов движения позволяет устройству 28 декодирования видео реконструировать прогностические блоки, которые использовались для кодирования остаточных блоков. Таким образом, на основании набора остаточных блоков и набора векторов движения (и, возможно, какого-либо дополнительного синтаксиса), устройство 28 декодирования видео может реконструировать кадр видео, который был первоначально закодирован. Внешнее кодирование на основании оценивания движения и компенсации движения может достигать относительно высоких степеней сжатия без чрезмерной потери данных, поскольку последовательные кадры видео или другие типы кодированных единиц часто являются аналогичными. Кодированная видеопоследовательность может содержать блоки остаточных данных, векторы движения (при кодировании с внешним прогнозированием), указатели режимов внутреннего прогнозирования для внутреннего прогнозирования и элементы синтаксиса.

Благодаря компенсации или повторному картированию пиксельных значений на основании диапазонов значений глубины, эти методы могут улучшать процесс кодирования карт глубин. Кроме того, описанные здесь методы могут повышать эффективность компенсации движения. Повторное картирование может осуществляться для значений глубины в текущем виде после подпиксельной компенсации движения с использованием интерполяции.

В некоторых примерах, устройство 22 кодирования видео и устройство 28 декодирования видео соответствуют стандарту H.264/AVC, который использует блочную компенсацию движения. При блочной компенсации движения (BMC), кадры делятся на блоки пикселей. Каждый блок можно прогнозировать из блока равного размера в опорном кадре. Блоки можно не преобразовывать никаким иным образом, кроме сдвига в позицию прогнозируемого блока. Этот сдвиг представляется вектором движения.

Для использования избыточности между векторами соседнего блока, (например, для единичного движущегося объекта, покрытого множеством блоков), в ряде случаев только разность между текущим и предыдущим векторами движения можно кодировать в битовый поток. Результат этого процесса дифференцирования может быть математически аналогичен глобальной компенсации движения с возможностью панорамирования. Блок статистического кодирования (например, блок 46 статистического кодирования, показанный на фиг. 2) может пользоваться результирующим статистическим распределением векторов движения вокруг нулевого вектора для снижения выходного размера.

Блок может сдвигаться на нецелое количество пикселей, что может именоваться подпиксельной точностью. Подпиксели находятся между полностью целыми пикселями и могут формироваться путем интерполяции соседних пикселей. Обычно можно использовать полупиксельную или четвертьпиксельную точность. Вычислительные затраты на обеспечение подпиксельной точности могут быть выше, чем для обеспечения целочисленной пиксельной точности вследствие дополнительной обработки, необходимой для интерполяции. Кроме того, на стороне кодера оценивается большее количество потенциальных исходных блоков.

Блочная компенсация движения может вносить нарушения непрерывности на границах блоков, именуемые артефактами блочности или артефактами блоковости. Эти артефакты блочности проявляются в форме резких горизонтальных и вертикальных краев, которые могут быть заметны человеческому глазу и создавать эффекты звона (большие коэффициенты в высокочастотных поддиапазонах) в преобразовании, связанном с преобразованием Фурье, используемом для кодирования с преобразованием остаточных кадров.

Блочная компенсация движения делит текущий кадр на неперекрывающиеся блоки, и вектор движения обеспечивает информацию для извлечения прогнозируемых значений для этих блоков. Блоки, используемые в качестве опорных, могут перекрываться в опорном кадре (также именуемом исходным кадром), и, таким образом, не обязательно возникают на границах блоков в опорном кадре. Некоторые алгоритмы сжатия видеосигнала предусматривают сборку текущего кадра из фрагментов нескольких разных ранее переданных кадров.

Кадры также можно прогнозировать из будущих кадров, то есть кадров, которые отображаются позже, чем кадр, кодируемый в данный момент (хотя эти позднее отображаемые кадры кодируются до текущего кадра и, таким образом, данные для этих кадров обеспечиваются раньше в самом битовом потоке). Будущие кадры можно кодировать до прогнозируемых кадров. Таким образом, порядок кодирования не обязательно совпадает с реальным порядком кадров. Такие кадры обычно прогнозируются с двух направлений, т.е. из I- или P-кадров, которые непосредственно предшествуют прогнозируемому кадру или следуют за ним. Эти кадры, прогнозируемые в двух направлениях, называются B-кадрами. Схема кодирования может быть, например, IBBPBBPBBPBB.

Наборы параметров могут содержать информацию заголовка уровня последовательностей (в наборах параметров последовательности - SPS) и нечасто изменяющуюся информацию заголовка уровня изображений (в наборах параметров изображения - PPS). Благодаря наборам параметров, эта нечасто изменяющаяся информация не обязана повторяться для каждой последовательности или каждого изображения, следовательно, эффективность кодирования повышается. Кроме того, использование наборов параметров позволяет передавать за пределами полосы важную информацию заголовка, избегая необходимости в избыточных передачах для обеспечения устойчивости к ошибкам. При передаче за пределами полосы, единицы NAL набора параметров могут передаваться по другому каналу, чем другие единицы NAL.

Опять же, система 10, проиллюстрированная на фиг. 1, является всего лишь одним примером. Различные методы настоящего изобретения могут осуществляться любым устройством кодирования, которое поддерживает кодирование с прогнозированием на основании блоков, или любым устройством декодирования, которое поддерживает декодирование с прогнозированием на основании блоков. Устройство-источник 12 и устройство 16 назначения являются всего лишь примерами таких устройств кодирования, в которых устройство-источник 12 формирует кодированные видеоданные для передачи на устройство 16 назначения. В ряде случаев, устройства 12 и 16 могут работать по существу симметричным образом, так что каждое из устройств 12 и 16 включает в себя компоненты кодирования и декодирования видеосигнала. Следовательно, система 10 может поддерживать одностороннюю или двустороннюю передачу видеосигнала между видеоустройствами 12 и 16, например, для потоковой передачи видео, воспроизведения видео, вещания видео или видеотелефонии.

Источник 20 видеосигнала устройства-источника 12 может включать в себя одно или более устройств съемки видео, например, видеокамеры, видеоархивы, содержащий ранее захваченное видео, или подачи видео от поставщика видеосодержимого. В качестве другой альтернативы, источник 20 видеосигнала может формировать данные на основании компьютерной графики в качестве исходного видео или комбинацию прямой видеосъемки, архивных видеозаписей и видео, создаваемого на компьютере. В ряде случаев, если источником 20 видеосигнала является видеокамера, устройство-источник 12 и устройство 16 назначения могут образовывать так называемые камерофоны или видеотелефоны, или другие мобильные устройства, выполненные с возможностью манипулирования видеоданных, например, планшетные вычислительные устройства. В каждом случае, захваченное, предварительно захваченное или создаваемое на компьютере видео может кодироваться устройством 22 кодирования видео. Источник 20 видеосигнала снимает вид и выдает его на блок 21 обработки глубины. В некоторых примерах, блок 21 обработки глубины входит в состав устройства 22 кодирования видео.

Изображение с глубиной может определяться для объектов в виде из вида, захваченного источником 20 видеосигнала. Блок 21 обработки глубины может быть выполнен с возможностью автоматически вычислять значения глубины для объектов в виде. Например, блок 21 обработки глубины может вычислять значения глубины для объектов на основании информации яркости. Блок 21 обработки глубины также может определять диапазон глубины для значений глубины в виде. Диапазон глубины может соответствовать диапазону от наименьшего (например, ближайшего) значения глубины реального мира до наибольшего (например, наиболее удаленного) значения глубины реального мира. Используемое здесь значение глубины обозначается d, тогда как диапазон глубины обозначается как z_near~z_far.

В некоторых примерах, блок 21 обработки глубины выполнен с возможностью принимать информацию глубины от пользователя. В некоторых примерах, источник 20 видеосигнала снимает два вида сцены в разных перспективах, и з