Сигнализация долгосрочных эталонных изображений при кодировании видео

Сигнализация долгосрочных эталонных изображений при кодировании видео

Иллюстрации

Показать все

Реферат

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

[0001] По данной заявке испрашивается приоритет предварительной заявки на патент США № 61/706510, поданной 27 сентября 2012 г., и предварительной заявки на патент США № 61/708442, поданной 1 октября 2012 г., все содержание каждой из которых включено в этот документ посредством ссылки.

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0002] Данное раскрытие изобретения относится к кодированию видео (то есть кодированию и/или декодированию видеоданных).

УРОВЕНЬ ТЕХНИКИ

[0003] Возможности цифрового видео могут встраиваться в широкий диапазон устройств, включая цифровые телевизоры, системы цифрового прямого вещания, системы беспроводного вещания, персональные цифровые помощники (PDA), переносные или настольные компьютеры, планшетные компьютеры, электронные книги, цифровые камеры, цифровые записывающие устройства, цифровые мультимедийные проигрыватели, видеоигровые устройства, игровые приставки, сотовые или спутниковые радиотелефоны, так называемые "смартфоны", устройства для видеоконференцсвязи, устройства для потокового видео и т.п. Цифровые видеоустройства реализуют методики сжатия видео, например описанные в стандартах, заданных MPEG-2, MPEG-4, H.263 ITU-T, H.264/MPEG-4 ITU-T, часть 10, Улучшенное кодирование видео (AVC), стандартом Высокоэффективного кодирования видео (HEVC), и расширениях таких стандартов. Видеоустройства могут эффективнее передавать, принимать, кодировать, декодировать и/или хранить цифровую видеоинформацию с помощью реализации таких методик сжатия видео.

[0004] Методики сжатия видео выполняют пространственное (внутреннее, intra-picture) предсказание и/или временное (внешнее, inter-picture) предсказание для уменьшения или устранения избыточности, присущей видеопоследовательностям. Для блочного кодирования видео можно разбить секцию (slice) видео (например, видеокадр или часть видеокадра) на видеоблоки. Видеоблоки в секции с внутренним кодированием (intra-coded, I) изображения кодируются с использованием пространственного предсказания относительно эталонных выборок в соседних блоках в том же изображении. Видеоблоки в секции с внешним кодированием (inter-coded, P или B) изображения могут использовать пространственное предсказание относительно эталонных выборок в соседних блоках в том же изображении или временное предсказание относительно эталонных выборок в других эталонных изображениях. Изображения могут называться кадрами, а эталонные изображения могут называться эталонными кадрами.

[0005] Пространственное или временное предсказание приводит к блоку с предсказанием для блока, который будет кодироваться. Остаточные данные представляют собой разности пикселей между исходным блоком, который будет кодироваться, и блоком с предсказанием. Блок с внешним кодированием кодируется в соответствии с вектором движения, который указывает на блок эталонных выборок, образующих блок с предсказанием, а остаточные данные указывают разность между кодированным блоком и блоком с предсказанием. Блок с внутренним кодированием кодируется в соответствии с режимом внутреннего кодирования и остаточными данными. Для дополнительного сжатия остаточные данные могут быть преобразованы из области пикселей в область преобразования, что приводит к остаточным коэффициентам, которые затем можно квантовать. Квантованные коэффициенты, организованные первоначально в двумерный массив, можно сканировать для создания одномерного вектора коэффициентов, и может применяться энтропийное кодирование для достижения еще большего сжатия.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

[0006] Вообще, данное раскрытие изобретения описывает сигнализацию долгосрочных эталонных изображений (LTRP) при кодировании видео. Видеокодер сигнализирует первую запись LTRP в заголовке секции для текущей секции текущего изображения. Первая запись LTRP указывает, что конкретное эталонное изображение является LTRP у текущего изображения. Кроме того, видеокодер сигнализирует вторую запись LTRP в заголовке секции, только если вторая запись LTRP не указывает, что конкретное эталонное изображение является долгосрочным эталонным изображением у текущего изображения. Аналогичным образом видеодекодер может декодировать заголовок секции и может сформировать список эталонных изображений для текущего изображения, по меньшей мере, частично на основе одной или более записей LTRP, сигнализированных в заголовках секций. Видеодекодер может восстановить текущее изображение, по меньшей мере, частично на основе одного или более эталонных изображений в списке эталонных изображений для текущего изображения.

[0007] В одном примере данное раскрытие изобретения описывает способ декодирования видеоданных, содержащий: получение заголовка секции у текущей секции текущего изображения из потока двоичных сигналов, где в заголовке секции сигнализируется набор из одной или более записей LTRP, где набор из одной или более записей LTRP включает в себя первую запись LTRP, указывающую, что конкретное эталонное изображение находится в наборе долгосрочных эталонных изображений у текущего изображения, и где набор из одной или более записей LTRP включает в себя вторую запись LTRP, только если вторая запись LTRP не указывает, что конкретное эталонное изображение находится в наборе долгосрочных эталонных изображений у текущего изображения; формирование списка эталонных изображений для текущего изображения по меньшей мере частично на основе одной или более записей LTRP; и восстановление текущего изображения по меньшей мере частично на основе одного или более эталонных изображений в списке эталонных изображений для текущего изображения.

[0008] В другом примере данное раскрытие изобретения описывает устройство декодирования видео, содержащее один или более процессоров, сконфигурированных для: получения заголовка секции у текущей секции текущего изображения из потока двоичных сигналов, где в заголовке секции сигнализируется набор из одной или более записей LTRP, где набор из одной или более записей LTRP включает в себя первую запись LTRP, указывающую, что конкретное эталонное изображение находится в наборе долгосрочных эталонных изображений у текущего изображения, и где набор из одной или более записей LTRP включает в себя вторую запись LTRP, только если вторая запись LTRP не указывает, что конкретное эталонное изображение находится в наборе долгосрочных эталонных изображений у текущего изображения; формирования списка эталонных изображений для текущего изображения по меньшей мере частично на основе одной или более записей LTRP; и восстановления текущего изображения по меньшей мере частично на основе одного или более эталонных изображений в списке эталонных изображений для текущего изображения.

[0009] В другом примере данное раскрытие изобретения описывает устройство декодирования видео, содержащее: средство для получения заголовка секции у текущей секции текущего изображения из потока двоичных сигналов, где в заголовке секции сигнализируется набор из одной или более записей LTRP, где набор из одной или более записей LTRP включает в себя первую запись LTRP, указывающую, что конкретное эталонное изображение находится в наборе долгосрочных эталонных изображений у текущего изображения, и где набор из одной или более записей LTRP включает в себя вторую запись LTRP, только если вторая запись LTRP не указывает, что конкретное эталонное изображение находится в наборе долгосрочных эталонных изображений у текущего изображения; средство для формирования списка эталонных изображений для текущего изображения по меньшей мере частично на основе одной или более записей LTRP; и средство для восстановления текущего изображения по меньшей мере частично на основе одного или более эталонных изображений в списке эталонных изображений для текущего изображения.

[0010] В другом примере данное раскрытие изобретения описывает машиночитаемый носитель информации, имеющий сохраненные на нем команды, которые при исполнении устройством декодирования видео конфигурируют устройство декодирования видео для: получения заголовка секции у текущей секции текущего изображения из потока двоичных сигналов, где в заголовке секции сигнализируется набор из одной или более записей LTRP, где набор из одной или более записей LTRP включает в себя первую запись LTRP, указывающую, что конкретное эталонное изображение находится в наборе долгосрочных эталонных изображений у текущего изображения, и где набор из одной или более записей LTRP включает в себя вторую запись LTRP, только если вторая запись LTRP не указывает, что конкретное эталонное изображение находится в наборе долгосрочных эталонных изображений у текущего изображения; формирования списка эталонных изображений для текущего изображения по меньшей мере частично на основе одной или более записей LTRP; и восстановления текущего изображения по меньшей мере частично на основе одного или более эталонных изображений в списке эталонных изображений для текущего изображения.

[0011] В другом примере данное раскрытие изобретения описывает способ кодирования видеоданных, содержащий: сигнализацию первой записи LTRP в заголовке секции для текущей секции текущего изображения, причем первая запись LTRP указывает, что конкретное эталонное изображение находится в наборе долгосрочных эталонных изображений у текущего изображения; и сигнализацию второй записи LTRP в заголовке секции, только если вторая запись LTRP не указывает, что конкретное эталонное изображение находится в наборе долгосрочных эталонных изображений у текущего изображения.

[0012] В другом примере данное раскрытие изобретения описывает устройство кодирования видео, содержащее один или более процессоров, сконфигурированных для: сигнализации первой записи LTRP в заголовке секции для текущей секции текущего изображения, причем первая запись LTRP указывает, что конкретное эталонное изображение находится в наборе долгосрочных эталонных изображений у текущего изображения; и сигнализации второй записи LTRP в заголовке секции, только если вторая запись LTRP не указывает, что конкретное эталонное изображение находится в наборе долгосрочных эталонных изображений у текущего изображения.

[0013] В другом примере данное раскрытие изобретения описывает устройство кодирования видео, содержащее: средство для сигнализации первой записи LTRP в заголовке секции для текущей секции текущего изображения, причем первая запись LTRP указывает, что конкретное эталонное изображение находится в наборе долгосрочных эталонных изображений у текущего изображения; и средство для сигнализации второй записи LTRP в заголовке секции, только если вторая запись LTRP не указывает, что конкретное эталонное изображение находится в наборе долгосрочных эталонных изображений у текущего изображения.

[0014] Машиночитаемый носитель информации, имеющий сохраненные на нем команды, которые при исполнении устройством кодирования видео конфигурируют устройство кодирования видео для: сигнализации первой записи LTRP в заголовке секции для текущей секции текущего изображения, причем первая запись LTRP указывает, что конкретное эталонное изображение находится в наборе долгосрочных эталонных изображений у текущего изображения; и сигнализации второй записи LTRP в заголовке секции, только если вторая запись LTRP не указывает, что конкретное эталонное изображение находится в наборе долгосрочных эталонных изображений у текущего изображения.

[0015] Подробности одного или более примеров из раскрытия изобретения излагаются на прилагаемых чертежах и в описании ниже. Другие признаки, цели и преимущества станут очевидны из описания, чертежей и формулы изобретения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0016] Фиг. 1 – блок-схема, иллюстрирующая примерную систему кодирования видео, которая может использовать методики, описанные в данном раскрытии изобретения.

[0017] Фиг. 2 – блок-схема, иллюстрирующая примерный видеокодер, который может реализовать методики, описанные в данном раскрытии изобретения.

[0018] Фиг. 3 – блок-схема, иллюстрирующая примерный видеодекодер, который может реализовать методики, описанные в данном раскрытии изобретения.

[0019] Фиг. 4 – блок-схема алгоритма, иллюстрирующая примерную работу видеокодера в соответствии с одной или более методиками из данного раскрытия изобретения.

[0020] Фиг. 5 – блок-схема алгоритма, иллюстрирующая примерную работу видеодекодера в соответствии с одной или более методиками из данного раскрытия изобретения.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

[0021] Видеокодер может сформировать поток двоичных сигналов, который включает в себя кодированные видеоданные. Каждое изображение в видеоданных может включать в себя массив выборок яркости, а также может включать в себя два соответствующих массива выборок цветности, например, организованных в блоки. Чтобы кодировать изображение в видеоданных, видеокодер может сформировать множество единиц дерева кодирования (CTU) для этого изображения. Каждая из CTU может ассоциироваться с разным блоком одинакового размера выборок яркости на изображении, а также может ассоциироваться с соответствующими блоками выборок цветности. Видеокодер может сформировать одну или более единиц кодирования (CU) для каждой CTU. Каждая из CU в CTU может ассоциироваться с блоком яркости в рамках блока яркости в CTU, а также может ассоциироваться с двумя соответствующими блоками цветности в рамках блоков цветности в CTU.

[0022] Кроме того, видеокодер может сформировать одну или более единиц предсказания (PU) для каждой CU. Видеокодер может сформировать блоки яркости и цветности с предсказанием для каждой PU в CU. Видеокодер может использовать внутреннее предсказание или внешнее предсказание для формирования блоков с предсказанием для PU. После того, как видеокодер сформирует блоки с предсказанием для одной или более PU в CU, видеокодер может сформировать остаточные блоки яркости и цветности, ассоциированные с CU. Остаточные блоки яркости и цветности в CU могут указывать разницы между выборками в предсказанных блоках яркости и цветности для PU в CU и исходных блоках яркости и цветности в CU соответственно. Видеокодер может разбить остаточные блоки CU на блоки преобразования. Кроме того, видеокодер может применить одно или более преобразований к каждому блоку преобразования, чтобы сформировать блоки коэффициентов преобразования. Видеокодер может квантовать блоки коэффициентов преобразования и может применить энтропийное кодирование к синтаксическим элементам, которые представляют коэффициенты преобразования в блоке коэффициентов преобразования. Видеокодер может вывести поток двоичных сигналов, который включает в себя энтропийно кодированные синтаксические элементы.

[0023] Когда видеокодер начинает кодирование текущего изображения в видеоданных, видеокодер может определить набор эталонных изображений (RPS) для текущего изображения. RPS для текущего изображения может иметь пять подмножеств (то есть подмножеств эталонных изображений). Этими пятью подмножествами эталонных изображений являются: RefPicSetStCurrBefore, RefPicSetStCurrAfter, RefPicSetStFoll, RefPicSetLtCurr и RefPicSetLtFoll. Эталонные изображения в RefPicSetStCurrBefore, RefPicSetStCurrAfter, RefPicSetStFoll называются "краткосрочными эталонными изображениями", или "STRP". Эталонные изображения в RefPicSetLtCurr и RefPicSetLtFoll называются "долгосрочными эталонными изображениями", или "LTRP". В некоторых случаях LTRP могут оставаться доступными для использования во внешнем предсказании в течение более длительных периодов времени, нежели STRP. Видеокодер может восстановить пять подмножеств эталонных изображений для каждого изображения в видеоданных.

[0024] Кроме того, когда текущая секция текущего изображения является P-секцией, видеокодер может использовать эталонные изображения из подмножеств RefPicStCurrAfter, RefPicStCurrBefore и RefPicStLtCurr эталонных изображений у текущего изображения, чтобы сформировать для текущей секции один список эталонных изображений, RefPicList0. Когда текущая секция является B-секцией, видеокодер может использовать эталонные изображения из подмножеств RefPicStCurrAfter, RefPicStCurrBefore и RefPicStLtCurr эталонных изображений у текущего изображения, чтобы сформировать для текущей секции два списка эталонных изображений, RefPicList0 и RefPicList1. Когда видеокодер использует внешнее предсказание, чтобы сформировать блок с предсказанием в PU текущего изображения, видеокодер может формировать блоки с предсказанием в PU на основе выборок в рамках одного или более эталонных изображений в одном или более списках эталонных изображений для текущей секции.

[0025] Видеокодер может сигнализировать набор записей LTRP в наборе параметров последовательности (SPS). Другими словами, SPS может явно указывать набор записей LTRP. Каждая из записей LTRP может указывать эталонное изображение как находящееся в наборе долгосрочных эталонных изображений (либо в RefPicStLtCurr, либо в RefPicStLtFoll) для текущего изображения. Кроме того, видеокодер может сигнализировать индексы к записям LTRP, указанным в SPS, применимом к текущему изображению, в заголовке секции у первой (в порядке кодирования) секции текущего изображения. Таким образом, заголовок секции может "неявно" сигнализировать записи LTRP или "индекс к" записям LTRP. К тому же видеокодер может сигнализировать в заголовке секции у первой секции текущего изображения дополнительный набор записей LTRP. Другими словами, заголовок секции может явно сигнализировать дополнительные записи LTRP.

[0026] Для каждой соответствующей записи LTRP, явно указанной в SPS, видеокодер может сигнализировать, используется ли текущим изображением эталонное изображение, указанное соответствующей записью LTRP. Эталонные изображения, указанные записями LTRP, явно сигнализированными в SPS, которые используются текущим изображением, в этом документе могут называться текущими LTRP в SPS. Эталонные изображения, указанные записями LTRP, явно сигнализированными в SPS, которые не используются текущим изображением, в этом документе могут называться нетекущими LTRP в SPS. Аналогичным образом для каждой соответствующей записи LTRP, неявно и явно сигнализированной в заголовке секции, заголовок секции может указывать, используется ли текущим изображением эталонное изображение, указанное соответствующей записью LTRP. Эталонные изображения, указанные записями LTRP, неявно и явно сигнализированными в заголовке секции, которые используются текущим изображением, в этом документе могут называться текущими LTRP заголовка секции. Эталонные изображения, указанные записями LTRP, неявно и явно сигнализированными в заголовке секции, которые не используются текущим изображением, в этом документе могут называться нетекущими LTRP заголовка секции.

[0027] Подмножество RefPicStLtCurr эталонных изображений для текущего изображения может включать в себя текущие LTRP первого заголовка секции у текущего изображения и текущие LTRP в SPS, применимом к текущему изображению. Подмножество RefPicStLtFoll эталонных изображений у текущего изображения может включать в себя нетекущие LTRP в SPS, применимом к текущему изображению, и нетекущие LTRP первого заголовка секции у текущего изображения.

[0028] Вышеописанная схема сигнализации может обладать несколькими недостатками. Например, видеокодер потенциально может сформировать заголовок секции, который явно сигнализирует запись LTRP, которая указывает эталонное изображение, а также неявно сигнализирует запись LTRP, которая указывает такое же эталонное изображение. Таким образом, RefPicStLtCurr и/или RefPicStLtFoll у текущего изображения потенциально могут дважды включать в себя одно и то же эталонное изображение. В другом примерном недостатке вышеописанной схемы сигнализации сам заголовок секции может явно сигнализировать одну и ту же запись LTRP несколько раз. Аналогичным образом SPS может явно сигнализировать одну и ту же запись LTRP несколько раз. Явная сигнализация одной и той же записи LTRP несколько раз либо в SPS, либо в заголовке секции может уменьшить эффективность кодирования. В другом примерном недостатке вышеописанной схемы сигнализации SPS может включать в себя запись LTRP, которая указывает, что конкретное эталонное изображение не используется для эталона текущим изображением, и одновременно заголовок секции (или SPS) может включать в себя запись LTRP, которая указывает, что конкретное LTRP используется для эталона текущим изображением, или наоборот. Эта путаница в том, используется ли конкретное эталонное изображение для эталона текущим изображением, может вызвать проблемы декодирования для видеодекодера.

[0029] В соответствии с методиками из данного раскрытия изобретения видеокодер можно ограничить в сигнализации (явной либо неявной) в заголовке секции нескольких записей LTRP, которые указывают, что одно и то же эталонное изображение находится в наборе долгосрочных эталонных изображений текущего изображения. Точнее, видеокодер конфигурируется так, что заголовок секции соответствует ограничению, которое не дает заголовку секции сигнализировать две записи LTRP, которые указывают одно и то же эталонное изображение. Поскольку видеокодер ограничивается в сигнализации нескольких записей LTRP, которые указывают одно и то же эталонное изображение, записи LTRP не могут включать в себя противоречащие синтаксические элементы касательно того, используется ли эталонное изображение для эталона текущим изображением. Кроме того, в соответствии с методиками из данного раскрытия изобретения видеокодер можно ограничить в формировании заголовка секции, который указывает одну и ту же запись LTRP несколько раз. То есть видеокодер можно ограничить в неявной сигнализации одной и той же записи LTRP несколько раз, ограничить в явной сигнализации одной и той же записи LTRP несколько раз и ограничить в неявной и явной сигнализации одной и той же записи LTRP. Поэтому видеокодер может сигнализировать запись LTRP не более одного раза, неявно либо явно. Эти ограничения потенциально могут увеличить эффективность кодирования, поскольку видеокодер может не иметь возможности включить синтаксические элементы в SPS или заголовок секции для явной и неявной сигнализации одной и той же записи LTRP.

[0030] Поэтому видеодекодер может декодировать заголовок секции у текущей секции текущего изображения. В заголовке секции можно сигнализировать набор из одной или более записей LTRP. Набор из одной или более записей LTRP может включать в себя первую запись LTRP, указывающую, что конкретное эталонное изображение находится в наборе долгосрочных эталонных изображений у текущего изображения. Набор из одной или более записей LTRP может включать в себя вторую запись LTRP, только если вторая запись LTRP не указывает, что конкретное эталонное изображение находится в наборе долгосрочных эталонных изображений у текущего изображения. Видеодекодер может сформировать список эталонных изображений для текущего изображения по меньшей мере частично на основе одной или более записей LTRP и может восстановить текущее изображение по меньшей мере частично на основе одного или более эталонных изображений в списке эталонных изображений для текущего изображения.

[0031] Фиг. 1 – блок-схема, иллюстрирующая примерную систему 10 кодирования видео, которая может использовать методики из данного раскрытия изобретения. При использовании в данном документе термин "кодировщик видео" в общем относится к видеокодерам и видеодекодерам. В данном раскрытии изобретения термины "кодирование видео" или "кодирование" могут относиться в общем к кодированию видео или декодированию видео.

[0032] Как показано на фиг. 1, система 10 кодирования видео включает в себя устройство-источник 12 и устройство-адресат 14. Устройство-источник 12 формирует кодированные видеоданные. Соответственно, устройство-источник 12 может называться устройством кодирования видео или аппаратом кодирования видео. Устройство-адресат 14 может декодировать кодированные видеоданные, сформированные устройством-источником 12. Соответственно, устройство-адресат 14 может называться устройством декодирования видео или аппаратом декодирования видео. Устройство-источник 12 и устройство-адресат 14 могут быть примерами устройств кодирования видео или аппаратов кодирования видео.

[0033] Устройство-источник 12 и устройство-адресат 14 могут быть выполнены в виде любого из широкого диапазона устройств, включающего в себя настольные компьютеры, мобильные вычислительные устройства, блокнотные (например, переносные) компьютеры, планшетные компьютеры, телевизионные приставки, телефонные трубки, например, так называемые "интеллектуальные" телефоны, телевизоры, камеры, устройства отображения, цифровые мультимедийные проигрыватели, игровые приставки, автомобильные компьютеры или т.п.

[0034] Устройство-адресат 14 может принимать кодированные видеоданные от устройства-источника 12 по каналу 16. Канал 16 может быть выполнен в виде одного или более носителей либо устройств, допускающих перемещение кодированных видеоданных от устройства-источника 12 к устройству-адресату 14. В одном примере канал 16 может быть выполнен в виде одного или более средств связи, которые дают устройству-источнику 12 возможность передавать кодированные видеоданные непосредственно к устройству-адресату 14 в реальном масштабе времени. В этом примере устройство-источник 12 может модулировать кодированные видеоданные в соответствии с неким стандартом связи, например протоколом беспроводной связи, и может передавать модулированные видеоданные устройству-адресату 14. Одно или более средств связи могут включать в себя средства беспроводной и/или проводной связи, например радиочастотный (RF) спектр либо одна или более физических линий передачи. Одно или более средств связи могут образовывать часть пакетной сети, например локальной сети, региональной сети или глобальной сети (например, Интернет). Одно или более средств связи могут включать в себя маршрутизаторы, коммутаторы, базовые станции или другое оборудование, которое упрощает связь от устройства-источника 12 к устройству-адресату 14.

[0035] В другом примере канал 16 может включать в себя носитель информации, который хранит кодированные видеоданные, сформированные устройством-источником 12. В этом примере устройство-адресат 14 может обращаться к носителю информации посредством дискового доступа или карточного доступа. Носитель информации может включать в себя ряд локально доступных носителей информации, например диски Blu-ray, DVD, CD-ROM, флэш-память или другие подходящие цифровые носители информации для хранения кодированных видеоданных.

[0036] В дополнительном примере канал 16 может включать в себя файловый сервер или другое промежуточное запоминающее устройство, которое хранит кодированные видеоданные, сформированные устройством-источником 12. В этом примере устройство-адресат 14 может обращаться к кодированным видеоданным, сохраненным на файловом сервере или другом промежуточном запоминающем устройстве, посредством потоковой передачи или загрузки. Файловый сервер может быть неким типом сервера, допускающим хранение кодированных видеоданных и передачу кодированных видеоданных устройству-адресату 14. Примерные файловые серверы включают в себя веб-серверы (например, для веб-сайта), серверы на протоколе передачи файлов (FTP), сетевые устройства хранения (NAS) и локальные накопители на дисках.

[0037] Устройство-адресат 14 может обращаться к кодированным видеоданным посредством стандартного информационного соединения, например Интернет-соединения. Примерные типы информационных соединений могут включать в себя радиоканалы (например, соединения Wi-Fi), проводные соединения (например, DSL, кабельный модем и т.п.) или их сочетания, которые подходят для обращения к кодированным видеоданным, сохраненным на файловом сервере. Передача кодированных видеоданных от файлового сервера может быть потоковой передачей, загрузкой или их сочетанием.

[0038] Методики из данного раскрытия изобретения не ограничиваются беспроводными приложениями или настройками. Методики могут применяться к кодированию видео в поддержку ряда мультимедийных приложений, таких как эфирные телевизионные передачи, кабельные телевизионные передачи, спутниковые телевизионные передачи, передачи потокового видео, например по Интернету, кодирование видеоданных для сохранения на носитель информации, декодирование видеоданных, сохраненных на носителе информации, или других приложений. В некоторых примерах система 10 кодирования видео может конфигурироваться для поддержки однонаправленной или двунаправленной передачи видео для поддержки таких приложений, как потоковая передача видео, воспроизведение видео, телевизионное вещание и/или видеотелефония.

[0039] Фиг. 1 является всего лишь примером, и методики из данного раскрытия изобретения могут применяться к настройкам кодирования видео (например, кодирования видео или декодирования видео), которые не обязательно включают в себя какую-либо передачу данных между устройствами кодирования и декодирования. В других примерах данные извлекаются из локального запоминающего устройства, передаются в потоке по сети или т.п. Устройство кодирования видео может кодировать и сохранять данные в запоминающем устройстве, и/или устройство декодирования видео может извлекать и декодировать данные из запоминающего устройства. Во многих примерах кодирование и декодирование выполняется устройствами, которые не взаимодействуют друг с другом, а просто кодируют данные в запоминающем устройстве и/или извлекают и декодируют данные из запоминающего устройства.

[0040] В примере из фиг. 1 устройство-источник 12 включает в себя источник 18 видео, видеокодер 20 и интерфейс 22 вывода. В некоторых примерах интерфейс 22 вывода может включать в себя модулятор/демодулятор (модем) и/или передатчик. Источник 18 видео может включать в себя устройство видеозахвата, например, видеокамеру, видеоархив, содержащий ранее захваченные видеоданные, интерфейс источника видеосигнала для приема видеоданных от поставщика видеоконтента и/или систему компьютерной графики для формирования видеоданных, либо сочетание таких источников видеоданных.

[0041] Видеокодер 20 может кодировать видеоданные от источника 18 видео. В некоторых примерах устройство-источник 12 передает кодированные видеоданные напрямую устройству-адресату 14 через интерфейс 22 вывода. В других примерах кодированные видеоданные также можно сохранить на носителе информации или файловом сервере для последующего обращения устройства-адресата 14 для декодирования и/или воспроизведения.

[0042] В примере из фиг. 1 устройство-адресат 14 включает в себя интерфейс 28 ввода, видеодекодер 30 и устройство 32 отображения. В некоторых примерах интерфейс 28 ввода включает в себя приемник и/или модем. Интерфейс 28 ввода может принимать кодированные видеоданные по каналу 16. Устройство 32 отображения может объединяться с устройством-адресатом 14 или может быть внешним по отношению к нему. Обычно устройство 32 отображения отображает декодированные видеоданные. Устройство 32 отображения может быть выполнено в виде ряда устройств отображения, например жидкокристаллического дисплея (LCD), плазменного дисплея, дисплея на органических светоизлучающих диодах (OLED) или другого типа устройства отображения.

[0043] Видеокодер 20 и видеодекодер 30 могут быть реализованы в виде любой из ряда подходящих схем, например одного или более микропроцессоров, цифровых процессоров сигналов (DSP), специализированных интегральных схем (ASIC), программируемых пользователем вентильных матриц (FPGA), дискретной логики, аппаратных средств или любых их сочетаний. Если методики частично реализуются в программном обеспечении, то устройство может хранить команды для программного обеспечения на подходящем долговременном машиночитаемом носителе информации и может исполнять команды на аппаратных средствах, использующих один или более процессоров, для выполнения методик из данного раскрытия изобретения. Любое из вышеупомянутого (включая аппаратные средства, программное обеспечение, сочетание аппаратных средств и программного обеспечения, и т.п.) может считаться одним или более процессорами. Каждый из видеокодера 20 и видеодекодера 30 может включаться в один или более кодеров или декодеров, любой из которых может встраиваться как часть объединенного кодера/декодера (кодека) в соответствующем устройстве.

[0044] Данное раскрытие изобретения в целом может ссылаться на видеокодер 20, "сигнализирующий" некоторую информацию другому устройству, например видеодекодеру 30. Термин "сигнализация" в целом может относиться к передаче синтаксических элементов и/или других данных, используемых для декодирования сжатых видеоданных. Такая передача может происходить в реальном масштабе времени или почти в реальном масштабе времени. Наоборот, такая передача может происходить за некий промежуток времени, например, она могла бы происходить при сохранении синтаксических элементов на машиночитаемый носитель информации в кодированном потоке двоичных сигналов во время кодирования, который [поток] затем может извлекаться устройством декодирования в любое время после сохранения на этот носитель.

[0045] В некоторых примерах видеокодер 20 и видеодекодер 30 работают в соответствии со стандартом сжатия видео, например, MPEG-4 Visual ISO/IEC и H.264 ITU-T (также известным как MPEG-4 AVC ISO/IEC), включающим его расширение по масштабируемому кодированию видео (SVC), расширение по многовидовому кодированию видео (MVC) и расширение 3DV на основе MVC. В некоторых случаях любой допустимый поток двоичных сигналов, соответствующий 3DV на основе MVC, всегда содержит субпоток двоичных сигналов, который соответствует профилю MVC, например, профилю Stereo High. В других примерах видеокодер 20 и видеодекодер 30 могут работать в соответствии с H.261 ITU-T, MPEG-1 Visual ISO/IEC, H.262 ITU-T или MPEG-2 Visual ISO/IEC, и H.264 ITU-T, Visual ISO/IEC.

[0046] В других примерах видеокодер 20 и видеодекодер 30 могут работать в соответствии со стандартом Высокоэффективного кодирования видео (HEVC), разработанным Объединенной командой по кодированию видео (JCT-VC) из Экспертной группы в области кодирования видео (VCEG) ITU-T и Экспертной группы по движущимся изображениям (MPEG) ISO/IEC. Вариант стандарта HEVC, называемый "HEVC Working Draft 8", описывается в документе "High Efficiency Video Coding (HEVC) text specification draft 8" под авторством Бросс (Bross) и др., Объединенная команда по кодированию видео (JCT-VC) из SG16 WP3 ITU-T и JTC1/SC29/WG11 ISO/IEC, 10^ое заседание в Стокгольме, Швеция, июль 2012 г., который по состоянию на 20 июня 2013 г. доступен по адресу http://phenix.int-evry.fr/jct/doc_end_user/documents/10_Stockholm/wg11/JCTVC-J1003-v8.zip, все содержание которого включается в этот документ путем отсылки.

[0047] В HEVC и других спецификациях кодирования видео видеопоследовательность обычно включает в себя последовательность изображений. Изображения также могут называться "кадрами". Изображение может включать в себя три массива выборок, обозначенные S_L, S_Cb и S_Cr. S_L является двумерным массивом (то есть, блоком) выборок яркости. S_Cb является двумерным массивом выборок цветности Cb. S_Cr является двумерным массивом выборок цветности Cr. Выборки цветности в этом документе также могут называться выборками "цветности". В иных случаях изображение может быть монохромным и может включать в себя только массив выборок яркости.

[0048] Чтобы сформировать кодированное представление изображения, видеокодер 20 может сформировать набор единиц дерева кодирования (CTU). Каждая из CTU может быть блоком дерева кодирования из выборок яркости, двумя соответствующими блоками дерева кодирования из выборок цветности и синтаксическими структурами, используемыми для кодирования выборок блоков дерева кодирования. Блок дерева кодирования может быть блоком выборок NxN. CTU также может называться "блоком дерева" или "наибольшей единицей кодирования" (LCU). CTU в HEVC могут быть аналогичны в общих чертах макроблокам из других стандартов, например H.264/AVC. Однако CTU не обязательно ограничивается конкретным размером и может включать в себя одну или более единиц кодирования (CU). Секция может включать в себя целое число CTU, упорядоченных последовательно при растровом сканировании.

[0049] Чтобы сформировать кодированную CTU, видеокодер 20 может рекурсивно выполнить разбиение квадродерева над блоками дерева кодирования у CTU, чтобы разделить блоки дерева кодирования на блоки кодирования, отсюда название "единицы дерева кодирования". Блок кодирования является блоком выборок NxN. CU может быть блоком коди