Зависящее от режима сканирование коэффициентов блока видеоданных

Зависящее от режима сканирование коэффициентов блока видеоданных

Иллюстрации

Показать все

Реферат

Эта заявка испрашивает преимущество по следующим предварительным заявкам США: предварительная заявка США номер 61/426372, поданная 22 декабря 2010 года, предварительная заявка США номер 61/426349, поданная 22 декабря 2010 года, и предварительная заявка США номер 61/436835, поданная 27 января 2011 года, полное содержание каждой из которых включено в материалы настоящей заявки посредством ссылки.

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее раскрытие относится к методам блочного кодирования видео, используемым для сжатия видеоданных, и более конкретно к методам сканирования, используемым для преобразования в последовательную форму данных видеоблока во время процесса кодирования.

УРОВЕНЬ ТЕХНИКИ

Возможности цифрового видео могут быть включены в широкий спектр видеоустройств, включая цифровые телевизоры, цифровые системы прямого вещания, устройства беспроводной связи, такие как беспроводные телефонные трубки, беспроводные системы вещания, карманные персональные компьютеры (PDA), портативные или настольные компьютеры, планшетные компьютеры, цифровые камеры, цифровые записывающие устройства, устройства видеоигр, игровые видеоприставки, персональные мультимедийные плееры и тому подобное. Такие видеоустройства могут реализовывать методы сжатия видео, такие как описанные в MPEG-2, MPEG-4 или ITU-T H.264/MPEG-4, Часть 10, Усовершенствованное Кодирование Видео (AVC), чтобы сжать видеоданные. Методы сжатия видео осуществляют пространственное и/или временное предсказание, чтобы уменьшить или удалить избыточность, свойственную видеопоследовательностям. Новые стандарты видео, такие как стандарт Высокоэффективного Кодирования Видео (HEVC), разрабатываемый "Совместной Объединенной Командой по Кодированию Видео" (JCTVC), которая представляет собой сотрудничество между MPEG и ITU-T, продолжают появляться и развиваться. Развивающийся стандарт HEVC иногда называют H.265.

Эти и другие стандарты кодирования видео и методы используют блочное кодирование видео. Методы блочного кодирования видео разделяют видеоданные видеокадра (или его части) на видеоблоки и затем кодируют видеоблоки, используя предсказывающие блочные методы сжатия. Видеоблоки могут быть дополнительно разделены на разделы видеоблоков. Видеоблоки (или их разделы) могут называться кодируемыми единицами (CU) и могут быть закодированы с использованием одного или более характерного для видео метода кодирования, а также общих методов сжатия данных.

С помощью развивающегося стандарта HEVC наибольшие кодируемые единицы (LCU) могут быть разделены на все меньшие и меньшие CU в соответствии со схемой разбиения квадродерева. CU могут быть предсказаны на основе так называемых единиц предсказания (PU), которые могут иметь размеры разделов, соответствующие размеру CU или меньше, чем размер CU, так что множество PU может быть использовано для предсказания заданной CU. CU могут быть внутрикадрово закодированы на основе предсказывающих данных внутри того же кадра или фрагмента, для того чтобы использовать пространственную избыточность в видеокадре. Альтернативно CU могут быть межкадрово закодированы на основе предсказывающих данных из другого кадра или фрагмента, для того чтобы использовать временную избыточность между кадрами видеопоследовательности. После предсказывающего кодирования (внутрикадрового или межкадрового) затем может быть выполнено преобразующее кодирование, такое как дискретное косинусное преобразование (DCT), целочисленное преобразование или тому подобное. С HEVC преобразующее кодирование может происходить по отношению к единицам (TU) преобразования, которые также могут иметь изменяющиеся размеры преобразования в стандарте HEVC. Также может быть выполнено квантование коэффициентов преобразования, сканирование квантованных коэффициентов преобразования и энтропийное кодирование. Синтаксическая информация сигнализируется вместе с кодированными видеоданными, например, в заголовке видеофрагмента или заголовке видеоблока, чтобы проинформировать декодер, как декодировать видеоданные.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Настоящее раскрытие описывает методы, в которых различные порядки сканирования определены и используются для различных режимов внутрикадрового предсказания на основании типа режима внутрикадрового предсказания и размера блока преобразования, используемого в преобразовании заданного блока коэффициентов преобразования. В одном из примеров выбор порядка сканирования может быть из горизонтального, вертикального и растрового порядков сканирования, хотя другие порядки сканирования также могут поддерживаться. Желаемый порядок сканирования, например, в смысле метрики скорость-искажение для кодированных видеоданных, может быть выбран кодером путем поиска среди зигзагообразного, горизонтального и вертикального порядков сканирования и сравнения результатов кодирования. Наилучший порядок сканирования может быть выбран и использован для кодирования и затем сигнализирован в битовом потоке (например, в качестве синтаксического элемента уровня блока) в декодер. Улучшение в производительности, которое может следовать из использования различных порядков сканирования, может добавить сложности кодеру вследствие всестороннего поиска наилучшего порядка сканирования. Однако чтобы сбалансировать добавленную сложность, ряд возможных порядков сканирования может быть ограничен, и переключаемая схема сигнализации может быть использована для индексирования возможных порядков сканирования в целях сигнализации выбранного порядка сканирования для видеоблока. Как фиксированный, так и переключаемый пример методов объяснены более подробно ниже.

В одном из примеров настоящее раскрытие описывает способ кодирования коэффициентов, связанных с блоком видеоданных. Способ заключается в том, что выбирают порядок сканирования для коэффициентов на основе режима внутрикадрового кодирования, используемого для предсказания блока видеоданных, и размера блока преобразования, используемого в преобразовании блока видеоданных, и генерируют синтаксический элемент, чтобы передать выбранный порядок сканирования для блока видеоданных.

В другом примере настоящее раскрытие описывает способ декодирования коэффициентов, связанных с блоком видеоданных. Способ заключается в том, что принимают синтаксический элемент с блоком видеоданных, где синтаксический элемент определяет порядок сканирования из набора наилучших кандидатов порядка сканирования, определяют набор наилучших кандидатов порядка сканирования на основе одного или обоих из режима внутрикадрового кодирования, используемого для предсказания блока видеоданных, и размера блока преобразования, используемого в преобразовании блока видеоданных, и осуществляют обратное сканирование блока видеоданных из преобразованного в последовательную форму представления блока видеоданных в двумерное представление блока видеоданных на основе синтаксического элемента, относящегося к определенному набору наилучших кандидатов порядка сканирования.

В другом примере настоящее раскрытие описывает устройство кодирования видео, которое кодирует коэффициенты, связанные с блоком видеоданных, при этом устройство кодирования видео содержит модуль предсказания, который осуществляет внутрикадровое кодирование с предсказанием блока видеоданных на основе режима внутрикадрового кодирования, модуль преобразования, который определяет размер преобразования и осуществляет преобразование блока видеоданных в соответствии с размером преобразования, и модуль сканирования, который выбирает порядок сканирования для коэффициентов на основе режима внутрикадрового кодирования, используемого для предсказания блока видеоданных, и размера блока преобразования, используемого в преобразовании блока видеоданных, и генерирует синтаксический элемент, чтобы передать выбранный порядок сканирования для блока видеоданных.

В другом примере настоящее раскрытие описывает устройство декодирования видео, которое декодирует коэффициенты, связанные с блоком видеоданных, при этом устройство декодирования видео содержит модуль, который принимает синтаксический элемент с блоком данных, где синтаксический элемент определяет порядок сканирования из набора наилучших кандидатов порядка сканирования, и модуль сканирования, который определяет набор наилучших кандидатов порядка сканирования на основе одного или обоих из режима внутрикадрового кодирования, используемого для предсказания блока видеоданных, и размера блока преобразования, используемого в преобразовании блока видеоданных. Модуль сканирования осуществляет обратное сканирование блока видеоданных из преобразованного в последовательную форму представления блока видеоданных в двумерное представление блока видеоданных на основе синтаксического элемента, относящегося к определенному набору наилучших кандидатов порядка сканирования.

В другом примере настоящее раскрытие описывает устройство, которое кодирует коэффициенты, связанные с блоком видеоданных, при этом устройство содержит средство для выбора порядка сканирования для коэффициентов на основе режима внутрикадрового кодирования, используемого для предсказания блока видеоданных, и размера блока преобразования, используемого в преобразовании блока видеоданных, и средство для генерирования синтаксического элемента, чтобы передать выбранный порядок сканирования для блока видеоданных.

В другом примере настоящее раскрытие описывает устройство, которое декодирует коэффициенты, связанные с блоком видеоданных, при этом устройство содержит средство для приема синтаксического элемента с блоком видеоданных, где синтаксический элемент определяет порядок сканирования из набора наилучших кандидатов порядка сканирования, средство для определения набора наилучших кандидатов порядка сканирования на основе одного или обоих из режима внутрикадрового кодирования, используемого для предсказания блока видеоданных, и размера блока преобразования, используемого в преобразовании блока видеоданных, и средство для осуществления обратного сканирования блока видеоданных из преобразованного в последовательную форму представления блока видеоданных в двумерное представление блока видеоданных на основе синтаксического элемента, относящегося к определенному набору наилучших кандидатов порядка сканирования.

Методы, описанные в настоящем раскрытии, могут быть реализованы в аппаратных средствах программных средствах, программно-аппаратных средствах или их комбинациях. В случае реализации в аппаратных средствах, устройство может быть реализовано как интегральная схема, процессор, дискретная логика или любая их комбинация. В случае реализации в программных средствах программные средства могут исполняться в одном или более процессоре, таком как микропроцессор, специализированная интегральная микросхема (ASIC), программируемая вентильная матрица (FPGA) или цифровой сигнальный процессор (DSP). Программные средства, которые исполняют методы, могут изначально храниться в материальном компьютерно-читаемом запоминающем носителе и загружаться и исполняться в процессоре.

Соответственно, настоящее раскрытие также рассматривает компьютерно-читаемый запоминающий носитель, содержащий инструкции, которые при исполнении предписывают процессору кодировать коэффициенты, связанные с блоком видеоданных, при этом инструкции предписывают процессору выбирать порядок сканирования для коэффициентов на основе режима внутрикадрового кодирования, используемого для предсказания блока видеоданных, и размера блока преобразования, используемого в преобразовании блока видеоданных, и генерировать синтаксический элемент, чтобы передавать выбранный порядок сканирования для блока видеоданных.

Кроме того, настоящее раскрытие описывает компьютерно-читаемый носитель, содержащий инструкции, которые при исполнении предписывают процессору декодировать коэффициенты, связанные с блоком видеоданных, при этом инструкции предписывают процессору, при приеме синтаксического элемента с блоком видеоданных, где синтаксический элемент определяет порядок сканирования из набора наилучших кандидатов порядка сканирования, определять набор наилучших кандидатов порядка сканирования на основе одного или обоих из режима внутрикадрового кодирования, используемого для предсказания блока видеоданных, и размера блока преобразования, используемого в преобразовании блока видеоданных, осуществлять обратное сканирование блока видеоданных из преобразованного в последовательную форму представления блока видеоданных в двумерное представление блока видеоданных на основе синтаксического элемента, относящегося к определенному набору наилучших кандидатов порядка сканирования.

Подробности одного или более аспектов раскрытия изложены на прилагаемых чертежах и в описании, приведенном ниже. Другие признаки, цели и преимущества методов, описанных в настоящем раскрытии, будут понятны из описания и чертежей, а также из формулы изобретения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 представляет собой структурную схему, иллюстрирующую систему кодирования и декодирования видео, которая может выполнять один или более из методов настоящего раскрытия.

Фиг. 2 представляет собой структурную схему, иллюстрирующую примерный видеокодер в соответствии с одним или более примером настоящего раскрытия.

Фиг. 3 представляет собой структурную схему, иллюстрирующую примерный видеодекодер в соответствии с одним или более примером настоящего раскрытия.

Фиг. 4 представляет собой концептуальную диаграмму видеоблоков, разделенных в соответствии со схемой разбиения квадродерева.

Фиг. 5 представляет собой дерево решений, представляющее решения разбиения, которые приводят к разбиению квадродерева, показанному на фиг. 4.

Фиг. 6A-6C представляют собой концептуальные диаграммы, иллюстрирующие примерные порядки сканирования, включающие в себя зигзагообразное сканирование (фиг. 6A), горизонтальное сканирование (фиг. 6B) и вертикальное сканирование (фиг. 6C).

Фиг. 7 представляет собой концептуальную диаграмму, иллюстрирующую примерные режимы предсказания в соответствии с развивающимся стандартом HEVC.

Фиг. 8 представляет собой другую концептуальную диаграмму видеоблоков, разделенных в соответствии со схемой разбиения квадродерева.

Фиг. 9-13 представляют собой таблицы, которые могли бы быть использованы для выполнения методов настоящего раскрытия.

Фиг. 14-16 представляют собой блок-схемы, иллюстрирующие методы в соответствии с настоящим раскрытием.

ПОДРОБНОЕ ОПИСАНИЕ

Настоящее раскрытие относится к методам сканирования, выполняемым по коэффициентам блока видеоданных. Коэффициенты могут содержать так называемые значимые коэффициенты и коэффициенты с нулевым значением, которые представляют собой двоичные значения или флаги (т.е. 0 или 1), которые определяют, являются ли остаточные коэффициенты преобразования значимыми (т.е. ненулевыми) или нет (т.е. нулевыми). Значимые коэффициенты могут определять карту значимости, которая определяет, какие из остаточных коэффициентов преобразования видеоблока являются значимыми, а какие не являются значимыми. Значения уровня могут быть определены в сочетании со значимыми коэффициентами, чтобы определить фактические значения ненулевых остаточных коэффициентов преобразования. В этом случае значимые коэффициенты и коэффициенты с нулевым значением определяют, являются ли остаточные коэффициенты преобразования значимыми (т.е. ненулевыми) или нет (т.е. нулевыми), а значения уровня определяют фактические значения для коэффициентов преобразования, которые являются значимыми.

Остаточные коэффициенты преобразования могут содержать блок коэффициентов преобразования в частотной области, которые представляют распределение энергии, связанной с набором остаточных значений пикселей. Остаточные значения пикселей могут содержать блок значений, представляющих остаточные различия между блоком видеоданных, который кодируется, и блоком предсказывающих видеоданных, используемых для предсказывающего кодирования, в пространственной области. Остаточные значения пикселей могут быть квантованы или не квантованы в различных случаях, и методы настоящего раскрытия могут применяться к одному из двух или обоим случаям. Блок предсказывающих данных может представлять собой внутрикадровые предсказывающие данные из того же кадра или фрагмента, что и видеоблок, который кодируется, или может представлять собой межкадровые предсказывающие данные, определенные из другого кадра или фрагмента относительно видеоблока, который кодируется. Преобразование, такое как дискретное косинусное преобразование (DCT) или концептуально подобный процесс, может быть применено к остаточным значениям пикселей, чтобы создать коэффициенты преобразования в частотной области. Карта значимости значимых коэффициентов может быть создана для представления того, являются ли коэффициенты преобразования значимыми (т.е. ненулевыми) или нет (т.е. нулевыми).

В кодировании видео методы сканирования, как правило, выполняются, чтобы преобразовать в последовательную форму блок коэффициентов из двумерного представления в одномерное представление. Во многих случаях вслед за преобразованием остаточные коэффициенты, которые расположены рядом с верхним правым углом видеоблока, наиболее вероятно будут значимыми, хотя местоположение коэффициентов с высокой энергией может быть расположено где-либо еще вследствие направленности преобразования. Так называемое зигзагообразное сканирование может быть эффективным методом сканирования, чтобы преобразовать в последовательную форму блок значимых коэффициентов (или блок остаточных коэффициентов преобразования) из двумерного представления в одномерное представление, чтобы сгруппировать коэффициенты вместе, например, рядом с фронтом преобразованного в последовательную форму одномерного представления. Однако другие методы сканирования (такие как горизонтальное сканирование, вертикальное сканирование, комбинации зигзагообразного и горизонтального сканирования, комбинации зигзагообразного и вертикального сканирования, адаптивное сканирование и другие более сложные рисунки сканирования) могут быть более эффективными в некоторых случаях. Некоторые режимы внутрикадрового кодирования часто приводят к распределениям значимых коэффициентов, которые смещены по направлению к левому вертикальному краю блока или верхнему краю блока. В таких случаях использование другого порядка сканирования (например, незигзагообразного) может улучшить эффективность кодирования видео, для того чтобы улучшить сжатие видео.

Настоящее раскрытие описывает методы, в которых различные порядки сканирования определены и используются для различных режимов внутрикадрового предсказания на основании типа режима внутрикадрового предсказания и размера блока преобразования, используемого в преобразовании заданного блока коэффициентов преобразования. В одном из примеров выбор может быть из горизонтального, вертикального и растрового порядков сканирования, хотя другие порядки сканирования также могут поддерживаться. Желаемый порядок сканирования, например, в смысле скорости передачи битов кодирования в сравнении с искажением в процессе кодирования, может быть определен на стороне кодера путем поиска среди зигзагообразного, горизонтального и вертикального порядков сканирования и сравнения результатов с точки зрения сжатия и качества видео. Порядок сканирования, выбранный кодером, может быть передан как индекс в битовом потоке (например, как синтаксис уровня блока) в декодер. Улучшение в производительности, которое может следовать из использования различных порядков сканирования, может добавить сложности кодеру вследствие всестороннего поиска наилучшего порядка сканирования. По этой причине дополнительные методы могут ограничивать уровень поиска, чтобы уменьшить такую сложность в кодере.

В одном из примеров предложен зависящий от режима метод кодирования с фиксированным коэффициентом преобразования для внутрикадрового блочного кодирования. Зависящий от режима метод кодирования с фиксированным коэффициентом преобразования может связывать порядок сканирования (также называемый "последовательностью сканирования") с режимом внутрикадрового предсказания, что означает, что порядок сканирования для режима внутрикадрового предсказания может быть фиксированным для заданного размера преобразования. Кодер может избегать всестороннего поиска среди нескольких порядков сканирования, чтобы уменьшить сложность, как будто есть только незначительное число возможных порядков сканирования, и в то же время методы могут использовать некоторые из преимуществ, связанных со всесторонним поиском всех возможных порядков сканирования. Фиксирование порядка сканирования как для кодирования, так и для декодирования может быть особенно желательным, чтобы поддерживать параллельное выполнение как кодирующим, так и декодирующим устройством.

Методы настоящего раскрытия могут применяться к внутрикадровому блочному кодированию. В H.264/AVC и Тестовой Модели развивающегося стандарта HEVC могут использоваться способы направленной экстраполяции для предсказания внутрикадрового блока. Из-за направленного предсказания (т.е. основанного на внутрикадровых данных в том же видеофрагменте) остаточный блок (в пиксельной области) обычно показывает направленные характеристики, которые затем наследуются в блоке преобразованных коэффициентов (в области преобразования). По этой причине зависящая от режима схема сканирования для коэффициентов преобразования (или просто для значимых коэффициентов карты значимости) может быть очень полезна для улучшения эффективности кодирования.

В другом примере может использоваться зависящий от режима метод кодирования с переключаемым коэффициентом преобразования. В этом случае наилучшие кандидаты порядка сканирования могут быть определены для каждого режима предсказания, для каждого размера преобразования или для комбинаций режима предсказания и размера преобразования. Кандидаты в наборе (т.е. наилучшие кандидаты порядка сканирования) могут отличаться на основе как используемого режима предсказания, так и используемого размера блока. В этом случае наилучший порядок сканирования для блока может быть определен кодером среди кандидатов в наборе, заданном для режима предсказания, но количество кандидатов может быть меньше, чем общее количество возможных порядков сканирования. Метод может добавить сложности кодеру, но может ограничить сложность до фиксированного количества наилучших кандидатов порядка сканирования. Декодер может определить тот же самый набор наилучших кандидатов, как и те, что были определены на стороне кодера, так что декодер сможет должным образом интерпретировать синтаксические элементы для определения правильного порядка сканирования для использования.

Фиг. 1 представляет собой структурную схему, иллюстрирующую примерную систему 10 кодирования и декодирования видео, которая может выполнять методы настоящего раскрытия. Как показано на фиг. 1, система 10 включает в себя устройство 12 источника, которое передает закодированное видео в устройство 16 назначения через канал 15 связи. Устройство 12 источника и устройство 16 назначения могут содержать любое из широкого спектра устройств. В некоторых случаях устройство 12 источника и устройство 16 назначения могут содержать карманные портативные устройства с беспроводной связью, как, например, так называемые сотовые или спутниковые радиотелефоны. Однако методы настоящего раскрытия, которые применяются, как правило, к методам сканирования в кодировании видео и декодировании видео, не обязательно ограничены беспроводными применениями или установками и могут быть применены к небеспроводным устройствам, включающим в себя возможности кодирования и/или декодирования. Устройство 12 источника и устройство 16 назначения представляют собой лишь примеры кодирующих устройств, которые могут поддерживать методы, описанные в материалах настоящей заявки. Другие видеоустройства, которые могут использовать методы настоящего раскрытия, могут включать в себя цифровые телевизоры, цифровые системы прямого вещания, широкий диапазон устройств беспроводной связи, беспроводные системы вещания, карманные персональные компьютеры (PDA), портативные или настольные компьютеры, планшетные компьютеры, цифровые камеры, цифровые записывающие устройства, устройства видеоигр, игровые видеоприставки, персональные мультимедийные плееры и тому подобное.

В примере на фиг. 1 устройство 12 источника может включать в себя источник 20 видео, видеокодер 22, модулятор/демодулятор (модем) 23 и передатчик 24. Устройство 16 назначения может включать в себя приемник 26, модем 27, видеодекодер 28 и устройство 30 отображения. В соответствии с настоящим раскрытием, видеодекодер 22 устройства 12 источника может быть выполнен с возможностью осуществления методов сканирования настоящего раскрытия во время процесса кодирования видео, чтобы преобразовать в последовательную форму коэффициенты блока видеоданных из двумерного формата блока в одномерный формат. Синтаксические элементы могут быть сгенерированы на стороне видеокодера 22, чтобы сигнализировать, как коэффициенты были отсканированы, так что видеодекодер 28 может осуществить противоположное (т.е. обратное) сканирование. В некоторых примерах как видеокодер 22, так и видеодекодер 28 могут быть выполнены с возможностью определения набора наилучших кандидатов порядка сканирования, например, на основе контекстной информации. В других примерах видеокодер 22 может определить порядок сканирования и просто закодировать порядок сканирования в синтаксической информации для использования видеодекодером 28.

Видеокодер 22 устройства 12 источника может закодировать видеоданные, принятые из источника 20 видео с использованием методов настоящего раскрытия. Источник 20 видео может содержать устройство захвата видео, такое как видеокамера, видеоархив, содержащий ранее захваченное видео, или видеоканал от поставщика видеоконтента. В качестве дополнительной альтернативы источник 20 видео может генерировать основанные на компьютерной графике данные в качестве исходного видео или комбинацию видео в реальном масштабе времени, архивированного видео и сгенерированного компьютером видео. В некоторых случаях, если источник 20 видео представляет собой видеокамеру, устройство 12 источника и устройство 16 назначения могут формировать так называемые камерофоны или видеофоны. В каждом случае захваченное, предзахваченное или сгенерированное компьютером видео может быть закодировано видеокодером 22.

Как только видеоданные закодированы видеокодером 22, закодированная видеоинформация затем может быть смодулирована модемом 23 в соответствии со стандартом связи, например, таким как множественный доступ с кодовым разделением каналов (CDMA), мультиплексирование с ортогональным частотным разделением (OFDM) или любым другим стандартом или методом связи. Закодированные и модулированные данные затем могут быть переданы в устройство 16 назначения через передатчик 24. Модем 23 может включать в себя различные преобразователи частоты, фильтры, усилители или другие компоненты, спроектированные для модуляции сигнала. Передатчик 24 может включать в себя схемы, спроектированные для передачи данных, включая усилители, фильтры и одну или более антенн. Приемник 26 устройства 16 назначения принимает информацию по каналу 15, и модем 27 демодулирует информацию. Снова процесс декодирования видео, выполняемый видеодекодером 28, может включать в себя методы сканирования, противоположные тем, которые использовались видеокодером 22.

Канал 15 связи может содержать любое беспроводное или проводное средство связи, такое как радиочастотный (RF) спектр, или одну или более физическую линию передачи, или любую комбинацию беспроводных и проводных средств. Канал 15 связи может формировать часть пакетной сети, такой как локальная сеть, региональная сеть или глобальная сеть, как, например, Интернет. Канал 15 связи обычно представляет любое подходящее средство связи или совокупность различных средств связи для передачи видеоданных из устройства 12 источника в устройство 16 назначения.

Видеокодер 22 и видеодекодер 28 могут работать, по существу, в соответствии со стандартом сжатия видео, таким как развивающийся стандарт HEVC. Однако методы настоящего раскрытия могут также быть применены в контексте множества других стандартов кодирования видео, включая некоторые старые стандарты или новые или развивающиеся стандарты.

Хотя и не показано на фиг. 1, в некоторых случаях видеокодер 22 и видеодекодер 28 каждый может быть интегрирован с аудиокодером и аудиодекодером и может включать в себя соответствующие модули MUX-DEMUX (мультиплексирования-демультиплексирования) или другие аппаратные и программные средства, чтобы управлять кодированием как аудио, так и видео в общем потоке данных или раздельных потоках данных. Если это применимо, модули MUX-DEMUX могут соответствовать протоколу ITU H.223 мультиплексора или другим протоколам, таким как протокол пользовательских датаграмм (UDP).

Видеокодер 22 и видеодекодер 28 каждый может быть выполнен как один или более микропроцессор, цифровой сигнальный процессор (DSP), специализированная интегральная микросхема (ASIC), программируемая вентильная матрица (FPGA), дискретная логика, программные средства, аппаратные средства, программно-аппаратные средства или любая их комбинация. Каждый из видеокодера 22 и видеодекодера 28 может быть включен в один или более кодер или декодер, любой один из которых может быть интегрирован как часть объединенного кодера/декодера (CODEC) в соответствующем мобильном устройстве, абонентском устройстве, устройстве вещания, сервере или тому подобном. В настоящем раскрытии термин кодирующее устройство относится к кодеру или декодеру, а термины «кодирующее устройство», «кодер» и «декодер» - все относятся к специальным устройствам, спроектированным для кодировки (кодирования или декодирования) видеоданных в соответствии с настоящим раскрытием.

В некоторых случаях устройства 12, 16 могут работать, по существу, симметричным образом. Например, каждое из устройств 12, 16 может включать в себя компоненты кодирования и декодирования видео. Следовательно, система 10 может поддерживать однонаправленную или двунаправленную передачу видео между видеоустройствами 12, 16, например, для потокового видео, воспроизведения видео, видеовещания или видеотелефонии.

Во время процесса кодирования видеокодер 22 может выполнять ряд методов или операций кодирования. Как правило, видеокодер 22 обрабатывает видеоблоки внутри отдельных видеокадров (или других независимо определенных единиц видео, таких как фрагменты), чтобы закодировать видеоблоки. Кадры, фрагменты, части кадров, группы изображений или другие структуры данных могут быть определены как единицы видеоинформации, которые включают в себя множество видеоблоков. Видеоблоки могут иметь фиксированные или переменные размеры и могут отличаться в размере в соответствии с заданным стандартом кодирования. В некоторых случаях каждый видеокадр может включать в себя ряд независимо декодируемых фрагментов, и каждый фрагмент может включать в себя ряд видеоблоков, которые могут быть организованы в еще меньшие блоки.

Макроблоки представляют собой один из типов видеоблоков, определенных стандартом ITU H.264 и другими стандартами. Макроблоками обычно называют блоки данных 16 на 16. Стандарт ITU-T H.264 поддерживает внутрикадровое предсказание в различных размерах блоков, таких как 16 на 16, 8 на 8 или 4 на 4 для компонентов яркости, и 8 на 8 для компонентов цветности, а также межкадровое предсказание в различных размерах блоков, таких как 16 на 16, 16 на 8, 8 на 16, 8 на 8, 8 на 4, 4 на 8 и 4 на 4 для компонентов яркости и соответствующие масштабированные размеры для компонентов цветности.

Развивающийся стандарт HEVC определяет новые термины для видеоблоков. В частности, в HEVC видеоблоки (или их части) могут называться "кодируемыми единицами" (CU). В стандарте HEVC наибольшие кодируемые единицы (LCU) могут быть разделены на все меньшие и меньшие CU в соответствии со схемой разбиения квадродерева, и различные CU, которые определены в схеме, могут быть дополнительно разделены на так называемые единицы предсказания (PU). LCU, CU и PU - все представляют собой видеоблоки по смыслу настоящего раскрытия. Другие типы видеоблоков также могут использоваться в соответствии со стандартом HEVC или другими стандартами кодирования видео. Таким образом, фраза "видеоблок" относится к любому размеру видеоблока. Кроме того, видеоблоками могут иногда называться блоки видеоданных в пиксельной области или блоки данных в области преобразования, такой как область дискретного косинусного преобразования (DCT), область, подобная DCT, вейвлетная область или тому подобное.

Кроме того, видеоблоками (или блоками видеоданных) могут также называться блоки так называемых значимых коэффициентов. Действительно, методы сканирования настоящего раскрытия могут быть особенно полезными в сканировании таких значимых коэффициентов. Значимые коэффициенты могут содержать двоичные значения или флаги (т.е. 0 или 1), которые определяют, являются ли остаточные коэффициенты преобразования (снова которые могут быть квантованными или неквантованными) значимыми (т.е. ненулевыми) или нет (т.е. нулевыми). Значения уровня также могут быть использованы наряду со значимыми коэффициентами, чтобы определить фактические значения остаточных коэффициентов преобразования. Остаточные коэффициенты преобразования могут содержать блок коэффициентов в частотной области, которая представляет распределение энергии, связанной с набором остаточных значений пикселей. Остаточные значения пикселей, в свою очередь, могут содержать блок значений, представляющих остаточные различия между блоком видеоданных, которые кодируются, и блоком предсказывающих видеоданных, используемых для предсказывающего кодирования. Блок предсказывающих данных может представлять собой внутрикадровые предсказывающие данные из того же кадра или фрагмента, что и видеоблок, который кодируется, или может представлять собой межкадровые предсказывающие данные, определенные из другого кадра или фрагмента относительно видеоблока, который кодируется. Методы сканирования настоящего раскрытия могут использоваться для выбора порядка сканирования для блоков значимых коэффициентов, которые внутрикадрово закодированы, хотя подобные методы могут также быть использованы для межкадрово закодированных блоков.

Видеокодер 22 может осуществлять предсказывающее кодирование, в котором видеоблок, который кодируется, сравнивается с одним или более предсказывающим кандидатом, чтобы идентифицировать предсказывающий блок. Этот процесс предсказывающего кодирования может быть внутрикадровым (в этом случае предсказывающие данные генерируются на основе соседних внутрикадровых данных внутри того же видеокадра или фрагмента) или межкадровым (в этом случае предсказывающие данные генерируются на основе видеоданных в предыдущих или последующих кадрах или фрагментах). Снова методы сканирования настоящего раскрытия могут использоваться для выбора порядка сканирования для блоков значимых коэффициентов, которые внутрикадрово закодированы, хотя подобные методы также могли бы быть использованы для межкадрово закодированных блоков.

После генерирования предсказывающего блока различия между текущим видеоблоком, который кодируется, и предсказывающим блоком кодируются как остаточный блок, и синтаксис предсказания (такой как вектор движения в случае внутрикадрового кодирования или режим предсказания в случае межкадрового кодирования) используется для идентификации предсказывающего блока. Остаточный блок (т.е. блок остаточных значений) может быть преобразован, чтобы создать блок коэффициентов пре