Способы видеокодирования для кодирования зависимых изображений после произвольного доступа

Способы видеокодирования для кодирования зависимых изображений после произвольного доступа

Иллюстрации

Показать все

Реферат

Перекрестные ссылки на родственные заявки

Данная заявка испрашивает приоритет по предварительной заявке США № 61/451,453, поданной 10 марта 2011 года, и предварительной заявке США № 61/454,548, поданной 20 марта 2011 года, содержимое каждой из которых полностью включено в настоящий документ посредством ссылки.

Область техники, к которой относится изобретение

Настоящее раскрытие относится к видеокодированию и, более конкретно, к способам видеокодирования для произвольного доступа.

Уровень техники

Возможности цифрового видео могут встраиваться в широкий диапазон устройств, включающих в себя цифровые телевизоры, системы цифрового прямого широковещания, системы беспроводного широковещания, персональные цифровые помощники (PDA), портативные или настольные компьютеры, цифровые камеры, цифровые записывающие устройства, цифровые мультимедийные проигрыватели, устройства видеоигр, консоли видеоигр, сотовые или спутниковые радиотелефоны, устройства видеотелеконференцсвязи и т.п. Устройства цифрового видео реализуют способы сжатия видео, такие как те, что описаны в стандартах, определенных посредством MPEG-2, MPEG-4, ITU-T H.263, ITU-T H.264/MPEG-4, Part 10, улучшенного видеокодирования (AVC), стандарта высокоэффективного видеокодирования (HEVC), в настоящее время находящегося в разработке, и расширения таких стандартов, чтобы передавать, принимать и хранить информацию цифрового видео более эффективно.

Способы сжатия видео могут включать в себя пространственное (внутрикадровое) предсказание и/или временное (межкадровое) предсказание, чтобы уменьшать или устранять избыточность, присущую видеопоследовательностям. Для основанного на блоках видеокодирования, видеосрез может разбиваться на видеоблоки, которые также могут упоминаться как блоки с древовидной структурой, блоки кодирования (CU) и/или узлы кодирования. Видеоблоки во внутренне кодированном (I) срезе изображения кодируются с использованием пространственного предсказания по отношению к ссылочным отсчетам в соседних блоках в том же изображении. Видеоблоки во внешне кодированном (P или B) срезе изображения могут использовать пространственное предсказание по отношению к ссылочным отсчетам в соседних блоках в том же изображении или временное предсказание по отношению к ссылочным отсчетам в других ссылочных изображениях. Изображения могут упоминаться как кадры, и ссылочные изображения могут упоминаться как ссылочные кадры.

Пространственное или временное предсказание использует предсказывающий блок для блока, подлежащего кодированию. Остаточные данные представляют пиксельные разности между исходным блоком, подлежащим кодированию, и предсказывающим блоком. Внешне кодированный блок кодируется согласно вектору движения, который ссылается на блок ссылочных отсчетов, формирующих предсказывающий блок, и остаточные данные, указывающие разность между кодированным блоком и предсказывающим блоком. Внутренне кодированный блок кодируется согласно режиму внутреннего кодирования и остаточным данным. Для дополнительного сжатия остаточные данные могут преобразовываться из пиксельной области в область преобразования, давая результатом остаточные коэффициенты преобразования, которые затем могут квантоваться. Квантованные коэффициенты преобразования, первоначально размещенные в двумерной матрице, могут сканироваться в конкретном порядке, чтобы вырабатывать одномерный вектор коэффициентов преобразования для энтропийного кодирования.

Раскрытие изобретения

В общем, настоящее раскрытие описывает способы кодирования видеоданных для произвольного доступа. В частности, настоящее раскрытие предлагает кодировать синтаксический элемент, который указывает, является ли потенциально излишнее изображение зависимым изображением, которое может успешно декодироваться в случае запроса произвольного доступа к изображению чистого обновления декодирования (CDR). Зависимое изображение является изображением, которое используется для декодирования изображений, следующих за изображением чистого обновления декодирования (CDR) в порядке отображения.

В одном примере раскрытия способ кодирования видеоданных содержит кодирование группы изображений, которая включает в себя изображение чистого обновления декодирования (CDR) и одно или более потенциально излишних изображений, которые могут требоваться изображениям, следующим за изображением CDR в порядке отображения, определение, является ли какое-либо из упомянутых одного или более потенциально излишних изображений зависимым изображением, определение, является ли зависимое изображение декодируемым в случае, когда изображение CDR используется для произвольного доступа, и сигнализирование синтаксического элемента, указывающего, что зависимое изображение определяется как декодируемое в случае, когда изображение CDR используется для произвольного доступа.

В другом примере раскрытия способ декодирования видеоданных содержит прием группы изображений, включающих в себя изображение чистого обновления декодирования (CDR) и одно или более потенциально излишних изображений, и прием синтаксического элемента, указывающего, является ли или нет какое-либо из упомянутых одного или более потенциально излишних изображений зависимым изображением, которое является декодируемым в случае, когда принимается запрос на произвольный доступ к изображению CDR. Способ декодирования может дополнительно содержать прием запроса на произвольный доступ к изображению CDR, декодирование изображения CDR в ответ на запрос на произвольный доступ, декодирование зависимого изображения, соответствующего принятому синтаксическому элементу, и пропуск декодирования для любого из упомянутых одного или более потенциально излишних изображений, которые не указаны как зависимые изображения посредством принятого синтаксического элемента.

Способы кодирования и декодирования, описанные выше, также могут реализовываться посредством устройства (например, посредством видеокодера или видеодекодера) или посредством инструкций, сохраненных на машиночитаемом носителе.

Детали одного или более примеров излагаются в сопровождающих чертежах и нижеследующем описании. Другие признаки, цели и преимущества станут очевидны из описания и чертежей и из формулы изобретения.

Краткое описание чертежей

Фиг. 1 является концептуальной диаграммой, иллюстрирующей иллюстративный порядок декодирования группы изображений с изображением чистого обновления декодирования (CDR) и внутренне предсказанным зависимым изображением.

Фиг. 2 является концептуальной диаграммой, иллюстрирующей иллюстративный порядок декодирования группы изображений с изображением чистого обновления декодирования (CDR) и внешне предсказанным зависимым изображением.

Фиг. 3 является блок-схемой, иллюстрирующей иллюстративную систему кодирования и декодирования видео, которая может использовать способы, описанные в настоящем раскрытии.

Фиг. 4 является блок-схемой, иллюстрирующей иллюстративный видеокодер, который может осуществлять способы, описанные в настоящем раскрытии.

Фиг. 5 является блок-схемой, иллюстрирующей иллюстративный видеодекодер, который может осуществлять способы, описанные в настоящем раскрытии.

Фиг. 6 является иллюстративной блок-схемой последовательности операций способа кодирования видео согласно способам настоящего раскрытия.

Фиг. 7 является иллюстративной блок-схемой последовательности операций способа декодирования видео согласно способам раскрытия.

Фиг. 8 является концептуальной диаграммой иллюстративного базового формата мультимедийных файлов ISO.

Осуществление изобретения

Произвольный доступ в видеокодировании обеспечивает возможность видеодекодеру декодировать видео в конкретные моменты времени с малым количеством до отсутствия ссылок на предыдущие видеокадры. В действительности, видеокодирование "начинается заново" на изображении, предназначенном в качестве точки произвольного доступа. Пример изображения точки произвольного доступа чистого обновления декодирования (CDR) показан на Фиг. 1. Изображения на Фиг. 1 показаны в порядке отображения. Текущая группа изображений (GOP) 1 включает в себя изображения с отсчетом порядка изображений (POC) от 141-156, включая сюда изображение точки произвольного доступа. В этом примере, изображение точки произвольного доступа является изображением 148 чистого обновления декодирования (CDR). Изображение CDR является изображением, которое может быть декодировано без ссылки на другие изображения. Например, изображение CDR может быть изображением, которое содержит только внутренне предсказанные срезы. Изображение CDR отличается от изображения мгновенного обновления декодирования (IDR), которое является другим типом изображения "чистого" произвольного доступа. Когда изображение IDR используется для произвольного доступа, буфер декодированных изображений (DPB) немедленно устанавливается в исходное положение. Когда изображение CDR используется для произвольного доступа, DPB не устанавливается в исходное положение немедленно. Это улучшает эффективность кодирования по отношению к произвольному доступу к изображениям IDR.

На Фиг. 1, изображения, помеченные с помощью строчной буквы "b" (т.е. изображения 139, 141, 143, 145 и 147), являются изображениями, которые являются двунаправленно внешне предсказываемыми по двух другим изображениям, как показано посредством стрелок. Изображения, на которые обращены стрелки, используют изображения, из которых выходят стрелки, в качестве предсказателей в обработке кодирования внешнего предсказания. Изображения со строчной буквой "b" не используются, чтобы предсказывать другие изображения. Изображения, помеченные с помощью прописной буквы "B" (т.е. изображения 140, 142, 144, и 156), также являются изображениями, которые являются двунаправленно внешне предсказываемыми по двум другим изображениям. В противоположность изображениям "b", изображения, помеченные с помощью прописной буквы "B", используются в качестве предсказателей для других изображений, как показано посредством стрелок. Изображение I₁₄₆ является внутренне предсказанным изображением. То есть, изображение I₁₄₆ не кодируется со ссылкой на другие изображения, но скорее, использует внутреннее пространственное предсказание для кодирования изображения. Однако изображение I₄₆ может использоваться, чтобы предсказывать другие изображения (например, изображение b₁₄₇ и b₁₄₅, как показано на Фиг. 1).

Некоторые изображения в текущей GOP 1 (например, изображения с POC 141 по 147) могут не декодироваться успешно, если декодирование начинается на CDR₁₄₈ после произвольного доступа, так как изображения из предыдущей GOP 2 не будут доступными для внешнего предсказания. То есть, если декодирование начинается с CDR₁₄₈, изображения из предыдущей GOP могут быть или могут не быть декодированными. Как таковые, изображения из предыдущей GOP могут не быть доступными для внешнего предсказания. Изображения 141-147 могут быть или могут не быть необходимыми для внешнего предсказания для изображений, следующих за изображением CDR в порядке вывода (изображения с POC>148). Изображения, которые предшествуют CDR в порядке отображения, часто вызываются "потенциально излишними изображениями" 3 (изображения 141-147 на Фиг. 1).

В примере из Фиг. 1, имеется одно потенциально излишнее изображение, I₁₄₆, которое может успешно декодироваться, даже если CDR₁₄₈ используется для произвольного доступа. I₁₄₆ является все еще декодируемым, так как оно является внутренне предсказанным изображением, которое не полагается на какие-либо другие изображения, подлежащие декодированию. В некоторых обстоятельствах, изображение (например, B₁₅₆, следующее за CDR₁₄₈ в порядке вывода) может использовать потенциально излишнее изображение (в этом случае, I₁₄₆) для внешнего предсказания. Потенциально излишнее изображение, которое используется для внешнего предсказания для изображений после CDR в порядке декодирования и порядке отображения, называется зависимым изображением 4. В примере из Фиг. 1, B₁₅₆ является первым изображением после изображения CDR в обоих порядке декодирования и порядке отображения. CDR₁₄₈ может все же использоваться в качестве точки произвольного доступа, если декодирование I₁₄₆ гарантируется, так как I₁₄₆ необходимо, чтобы декодировать некоторое изображение после CDR₁₄₈ как в порядке декодирования, так и в порядке вывода (например, изображение B₁₅₆). Если зависимое изображение 4 является внутренне предсказанным изображением, декодер может легко определять, что такое изображение является декодируемым.

Фиг. 2 является концептуальной диаграммой, иллюстрирующей иллюстративный порядок декодирования группы изображений с изображением чистого обновления декодирования и внешне предсказанным зависимым изображением. В примере из Фиг. 2, зависимое изображение 4 является внешне предсказанным изображением (P₂₄₆ или B₂₄₆). На основе текущего определения CDR в стандарте высокоэффективного видеокодирования (HEVC), такая ситуация не позволяется. Это из-за того, что декодирование зависящего P или B изображения не гарантируется. Если декодирование видео начинается на изображении CDR после произвольного доступа, является неопределенным, являются ли потенциально излишние изображения, включая сюда любые зависимые изображения, декодируемыми, так как они могут быть внешне предсказанными из цепи предсказания, которая включает в себя изображения в предыдущей GOP, или из изображений в текущей GOP, которые сами полагаются на изображения в предыдущей GOP. Снова, после произвольного доступа к изображению CDR, изображения в предыдущей GOP могут быть недоступными.

Текущие дизайны видеокодеков (кодера/декодеров) не поддерживают декодирование зависимых изображений. Как таковые, текущие дизайны видеокодеков также не поддерживают внешнее предсказание по зависимым изображениям, при том, что также не декодируют какие-либо другие потенциально излишние изображения. Декодирование потенциально излишних изображений не позволяется, так как является очень трудным определить, может ли потенциально излишнее изображение быть декодировано успешно или нет после произвольного доступа. Если потенциально излишнее изображение является I изображением, декодирование является возможным, так как I изображение может декодироваться без использования какого-либо другого изображения. Однако, если потенциально излишнее изображение является B или P изображением (например, P246 или B246 на Фиг. 2), видеодекодер должен сначала определить усложненную цепь предсказания, чтобы идентифицировать, является ли или нет потенциально излишнее изображение декодируемым. Например, видеодекодер должен сначала определить цепь предсказания изображений 239-248 на Фиг. 2, чтобы определить, может ли какое-либо из этих потенциально излишних изображений быть успешно декодировано. Также, текущие дизайны видеокодеков не обеспечивают никакого механизма для обеспечения возможности декодеру определять, будет ли потенциально излишнее изображение использоваться во внешнем предсказании для изображений, следующих за CDR в порядке декодирования (т.е. определять, является ли потенциально излишнее изображение зависимым изображением).

Ввиду вышеописанных недостатков, настоящее раскрытие предлагает использование синтаксического элемента (например, флага), подлежащего добавлению в синтаксис уровня изображения и/или синтаксис заголовка среза в качестве индикации, что потенциально излишнее изображение является декодируемым и может использоваться для внешнего предсказания для изображений, следующих за CDR в порядке декодирования (т.е. флаг показывает, что потенциально излишнее изображение является декодируемым зависимым изображением). Флаг может сигнализироваться кодером в кодированном битовом видеопотоке, так как кодер может определять, позволяет ли или нет цепь предсказания для потенциально излишнего изображения успешное декодирование после произвольного доступа и может ли или нет потенциально излишнее изображение использоваться для внешнего предсказания для изображений после CDR в порядке декодирования.

Кодер может отслеживать цепь предсказания, по мере того, как изображения кодируются, и идентифицировать изображения как являющиеся потенциально излишними изображениями, когда они находятся в той же GOP, что и CDR. Конкретным потенциально излишним изображениям может затем назначаться флаг (например, флаг зависимого изображения), чтобы показывать, что они являются декодируемыми после произвольного доступа к CDR и что они могут использоваться для внешнего предсказания для изображений после CDR в порядке декодирования (т.е. флаг показывает, что потенциально излишние изображения являются зависимым изображением). В одном примере, дополнительный флаг индикации (например, флаг индикации зависимости) может сигнализироваться для каждой GOP, которая включает в себя изображение CDR. Флаг индикации зависимости со значением 1, например, показывает, что, по меньшей мере, одно из потенциально излишних изображений в GOP является зависимым изображением. Если это так, флаг зависимого изображения тогда сигнализируется для каждого потенциально излишнего изображения. Флаг зависимого изображения показывает, является ли или нет конкретное потенциально излишнее изображение зависимым изображением. Если флаг индикации зависимости имеет значение 0, это показывает, что никакое потенциально излишнее изображение не является зависимым изображением в GOP. Как таковой, флаг зависимого изображения не должен сигнализироваться для этой GOP. В другом примере, флаг индикации зависимости не используется. Вместо этого, флаг зависимого изображения сигнализируется для всех потенциально излишних изображений в GOP, имеющей изображение CDR.

В качестве примеров, флаг индикации зависимости и флаг зависимого изображения могут сигнализироваться в заголовке блока сетевого уровня абстракции (NAL), сообщении дополнительной расширенной информации (SEI) уровня изображения, заголовке среза, или другом синтаксическом элементе уровня изображения или сообщении, чтобы показывать, что потенциально излишнее изображение является зависимым изображением (т.е. оно является как декодируемым, так и может использоваться для внешнего предсказания после произвольного доступа). Блок NAL является дискретным пакетом видеоданных, который содержит видеоданные для множества изображений, содержащихся в части среза. Сообщение SEI уровня изображения является дополнительной информацией, которая может применяться к декодированию изображения.

В случае, когда CDR в текущей GOP просто было выбрано для произвольного доступа, декодер может использовать этот флаг, чтобы определять, могут ли какие-либо потенциально излишние изображения в текущей GOP быть успешно декодируемыми и могут использоваться для внешнего предсказания для изображений, следующих за CDR в порядке декодирования и порядке вывода (т.е. определять, что потенциально излишнее изображение является зависимым изображением).

В другом примере раскрытия, флаг индикации зависимости и/или флаг зависимого изображения может добавляться в формат файлов, например, формат файлов ISO, так что изображения, которые не являются зависимыми изображениями должны декодироваться и/или не должны передаваться, если файл является инкапсулированным для передачи в сценариях приложений, таких как потоковое видео на основе HTTP.

Базовый формат мультимедийных файлов ISO сконструирован, чтобы содержать временную мультимедийную информацию для представления в гибком, расширяемом формате, который обеспечивает взаимозаменяемость, управление, редактирование, и представление мультимедиа. Базовый формат мультимедийных файлов ISO (ISO/IEC 14496-12:2004) определен в MPEG-4 Part-12, который определяет общую структуру для основанных на времени мультимедийных файлов. Он используется в качестве основы для других форматов файлов в семействе, как, например, определяемая поддержка форматом файлов Улучшенного видеокодирования (AVC) (ISO/IEC 14496-15) для видеосжатия H.264/MPEG-4 AVC, формат файлов 3GPP и формат файлов SVC и формат файлов MVC, оба из которых являются расширениями формата файлов AVC. Формат мультимедийных файлов ISO также может, в общем, расширяться до других стандартов видеокодирования, таких как HEVC.

Базовый формат мультимедийных файлов ISO может содержать синхронизацию, структуру, и мультимедийную информацию для временных последовательностей мультимедийных данных, таких как аудио-визуальные представления. Файловая структура является объектно-ориентированной. Файл может разлагаться на базовые объекты очень просто, и структура объектов вытекает из их типа.

Представление (последовательность движения) может содержаться в нескольких файлах. Информация синхронизации и кадрирования (положение и размер) находится в базовом мультимедийном файле ISO и вспомогательные файлы могут, по существу, использовать любой формат. Это представление может быть 'локальным' для системы, содержащей представление, или может осуществляться посредством сети или другого потокового механизма доставки.

Файлы, соответствующие базовому формату мультимедийных файлов ISO, формируются как последовательность объектов, называемых "блоки". В одном примере, все данные содержатся в блоках и не имеется никаких других данных внутри файла. Это включает в себя любую начальную сигнатуру, требуемую конкретным форматом файлов. "Блок" является объектно-ориентированным компоновочным блоком, определенным посредством однозначного идентификатора типа и длины.

Иллюстративная файловая структура, следующая базовому формату мультимедийных файлов ISO, показана на Фиг. 8. Обычно, представление содержится в одном файле 300, при этом мультимедийное представление является автономным. Контейнер 302 фильмов (например, блок фильма) содержит метаданные мультимедиа, и видео и аудиокадры содержатся в контейнере 350 мультимедийных данных и/или в других файлах.

Контейнер 302 фильмов может содержать метаданные для видеодорожки 304. Контейнер 302 фильмов также может содержать другие дорожки, такие как аудиодорожка (не показана). Метаданные в видеодорожке 304 могут храниться в контейнере 308 мультимедийной информации. Мультимедийная информация может включать в себя описание 310 отсчетов. Описание 310 отсчетов может содержать 'имя' точного типа мультимедиа (например, типа декодера, необходимого, чтобы декодировать поток) и любую параметризацию того необходимого декодера. Имя также может принимать форму кода из четырех символов, например, "moov", или "trak". Определены форматы вхождений отсчетов не только для мультимедиа MPEG-4, но также для типов мультимедиа, используемых другими организациями, использующими это семейство форматов файлов.

Контейнер 350 мультимедийных данных может включать в себя чередующиеся упорядоченные по времени отсчеты видео и аудиокадры. В частности, контейнер 350 мультимедийных данных может включать в себя множество кусков видеоданных (например, кусок 352 и 362 видеоданных). Каждый кусок видеоданных может включать в себя множество отсчетов видео (например, отсчеты 353a-c и 363a-c видео).

Файлы имеют логическую структуру, временную структуру, и физическую структуру. От этих структур не требуется, чтобы они были связанными. Логическая структура файла предназначена для фильма, который в свою очередь содержит набор параллельных по времени дорожек. Временная структура файла состоит в том, что дорожки содержат последовательности отсчетов во времени, и эти последовательности преобразовываются во временную шкалу полного фильма посредством необязательных монтажных списков.

Физическая структура файла отделяет данные, необходимые для логического, временного, и структурного разложения, от самих отсчетов мультимедийных данных. Эта структурная информация концентрируется в блоке фильма, возможно расширенном во времени посредством блоков фрагментов фильма. Блок фильма документирует логические и временные отношения отсчетов, и также содержит указатели на то, где они располагаются. Эти указатели могут быть на тот же файл или другой файл, указанный посредством URL.

Поддержка для метаданных принимает две формы. Во-первых, связанные со временем метаданные могут храниться в соответствующей дорожке, синхронизированные, как требуется, с мультимедийными данными, которые они описывают (например, кусками видеоданных в контейнере 350 мультимедиа). Во-вторых, имеется общая поддержка для не связанных со временем метаданных, прикрепленных к фильму или к индивидуальной дорожке. Структурная поддержка является общей, и обеспечивает возможность, как в мультимедийных данных, хранения ресурсов метаданных где-либо в файле или в другом файле. В дополнение, этим ресурсам могут присваиваться имена, и они могут быть защищенными.

В базовом формате мультимедийных файлов ISO, группированием отсчетов является назначение каждого из отсчетов в дорожке, чтобы он был членом одной группы отсчетов. От отсчетов в группе отсчетов не требуется, чтобы они были непрерывными. Например, при представлении H.264/AVC в формате файлов AVC, отсчеты видео в одном временном уровне могут дискретизироваться в одну группу отсчетов. Группы отсчетов представляются посредством двух структур данных: блока SampleToGroup (sbdp) и блока SampleGroupDescription. Блок SampleToGroup представляет назначение отсчетов группам отсчетов. Имеется один экземпляр второго блока для каждого вхождения группы отсчетов, чтобы описывать свойства этой группы.

В базовом формате мультимедийных файлов ISO, определяется вторая группа, называемая группирование отсчетов точки произвольного доступа (RAP) 312. Отсчет синхронизации определяется как точка произвольного доступа (например, изображение CDR), после которой все отсчеты в порядке декодирования могут корректно декодироваться. Однако может быть возможным кодировать "открытую" точку произвольного доступа, после которой все отсчеты в порядке вывода могут корректно декодироваться, но некоторые отсчеты, следующие за точкой произвольного доступа в порядке декодирования и предшествующие точке произвольного доступа в порядке вывода, не обязаны быть корректно декодируемыми. Например, за внутренне кодированным изображением, начинающим открытую группу изображений, могут следовать в порядке декодирования (двунаправленно) предсказанные изображения, которые предшествуют внутренне кодированному изображению в порядке вывода. Является возможным, что такие (двунаправленно) предсказанные изображения не могут корректно декодироваться, если декодирование начинается с внутренне кодированного изображения, и как таковые, они не являются необходимыми.

Такие "открытые" отсчеты произвольного доступа могут помечаться как являющиеся членом этой группы (обозначено посредством стрелок из RAP 312 в отсчеты видео в куске 352 и 362 видео на Фиг. 8). Отсчеты, помеченные посредством этой группы, являются точками произвольного доступа, и также могут быть точками синхронизации (т.е. не требуется, чтобы отсчеты, помеченные посредством таблицы отсчетов синхронизации, исключались).

Пример синтаксиса произвольного доступа для базового формата файлов ISO показан ниже.

class VisualRandomAccessEntry() extends VisualSampleGroupEntry ('rap

')

{

unsigned int(1) num_leading_samples_known;

unsigned int(7) num_leading_samples;

}

Синтаксический элемент num_leading_samples_known, равный 1, показывает, что количество ведущих отсчетов перед точкой синхронизации (например, изображением CDR) является известным для каждого отсчета в этой группе, и количество определяется синтаксическим элементом num_leading_samples. Ведущий отсчет является таким отсчетом, связанным с "открытой" точкой произвольного доступа (RAP). Он предшествует RAP (например, изображению CDR) в порядке отображения и следует за RAP или другим ведущим отсчетом в порядке декодирования. Когда декодирование начинается с RAP, отсчет не может корректно декодироваться. Синтаксический элемент num_leading_samples определяет количество ведущих отсчетов для каждого отсчета в этой группе. Когда num_leading_samples_known равняется 0, это поле должно игнорироваться.

Чтобы дополнительно обеспечивать возможность сигнализации флага зависимости (dependent_flag), предлагается следующий синтаксис:

class VisualRandomAccessEntry() extends VisualSampleGroupEntry ('rap

')

{

unsigned int(1) num_leading_samples_known;

unsigned int(6) num_leading_samples;

unsigned int(1) depedent_indication_flag;

if (depedent_indication_flag) {

for (i = 0; i < num_leading_samples; i++)

unsigned int (1) dependent_flag;

while (i%8 != 0)

unsigned int (1) byte_aligne_zero_bit;

}

}

В вышеописанном примере, значение dependent_indication_flag 314 для ведущих изображений сигнализируется в порядке декодирования. dependent_indication_flag 314 показывает, являются ли какие-либо из ведущих отсчетов (например, потенциально излишние изображения) зависимыми изображениями, которые являются корректно декодируемыми, после произвольного доступа к RAP (например, изображению CDR), и используются для декодирования изображений, следующих за RAP в порядке вывода. Если dependent_indication_flag 314 является истиной (например, имеет значение 1), dependent_flag 316 тогда сигнализируется для каждого из потенциально излишних изображений, чтобы показывать, является ли конкретное изображение зависимым или нет. Если dependent_indication_flag 314 является ложью (например, имеет значение 0), dependent_flag 316 не должен сигнализироваться.

В другом примере раскрытия, dependent_indication_flag 314 не сигнализируется, и вместо этого, dependent_flag 316 сигнализируется для всех потенциально излишних изображений в группе, имеющей RAP (например, изображение CDR). Например, другой блок может быть связанным для каждого отсчета, и блок может содержать такой dependent_flag 316. Если dependent_flag 316 является истиной, и, таким образом, текущее изображение является зависимым изображением после произвольного доступа, флаг показывает, что зависимое изображение является успешно декодируемым и может использоваться для внешнего предсказания посредством изображений, следующих за CDR в порядке вывода, если самое близкое CDR используется для произвольного доступа. Если dependent_flag 316 является ложью, изображение не является необходимым для внешнего предсказания для изображений, следующих за CDR в порядке вывода, и дополнительно, изображения не являются необходимыми, когда происходит произвольный доступ с использованием CDR.

Если определение CDR модифицируется соответствующим образом, все другие потенциально излишние изображения, за исключением зависимого изображения (например, изображения I146/P246/B246 на Фиг. 1 и Фиг. 2), не должны декодироваться, когда CDR используется для произвольного доступа. Потенциально излишние изображения, которые помечены флагами как не являющиеся декодируемыми зависимыми изображениями, не должны декодироваться, когда для произвольного доступа используется изображение CDR, что может упрощать декодирование.

Фиг. 3 является блок-схемой, иллюстрирующей иллюстративную систему 10 кодирования и декодирования видео, которая может использовать способы кодирования произвольного доступа, описанные в этом раскрытии. Как показано на Фиг. 3, система 10 включает в себя устройство 12 источника, которое генерирует кодированные видеоданные, подлежащие декодированию в более позднее время посредством устройства 14 назначения. Устройство 12 источника и устройство 14 назначения могут содержать любое из широкого диапазона устройств, включая сюда настольные компьютеры, блокнотные (т.е. портативные) компьютеры, планшетные компьютеры, приставки к телевизору, микротелефонные трубки, такие как, так называемые "смартфоны", так называемые планшеты "smart pad", телевизоры, камеры, устройства отображения, цифровые мультимедийные проигрыватели, консоли видеоигр, или подобное. В некоторых случаях, устройство 12 источника и устройство 14 назначения могут иметь оснащение для беспроводной связи.

Устройство 14 назначения может принимать кодированные видеоданные, подлежащие декодированию, посредством линии связи 16. Линия связи 16 может содержать любой тип носителя или устройства, выполненного с возможностью перемещения кодированных видеоданных от устройства 12 источника в устройство 14 назначения. В одном примере, линия связи 16 может содержать носитель связи, чтобы обеспечивать возможность устройству 12 источника передавать кодированные видеоданные напрямую в устройство 14 назначения в реальном времени. Кодированные видеоданные могут модулироваться согласно стандарту связи, такому как протокол беспроводной связи, и передаваться в устройство 14 назначения. Носитель связи может содержать любой беспроводной или проводной носитель связи, такой как радиочастотный (RF) спектр или одну или более физических линий передачи. Носитель связи может формировать часть основанной на пакетах сети, такой как локальная сеть, широкомасштабная сеть, или глобальная сеть, такая как сеть Интернет. Носитель связи может включать в себя маршрутизаторы, коммутаторы, базовые станции, или любое другое оборудование, которое может быть полезным, чтобы обеспечивать связь от устройства 12 источника к устройству 14 назначения.

В другом примере, кодированное видео также может сохраняться на запоминающем носителе 34 или файловом сервере 36, и к нему может осуществляться доступ устройством 14 назначения, как требуется. Запоминающий носитель может включать в себя любой из многообразия носителей хранения данных, к которым может осуществляться локальный доступ, таких как диски Blu-ray, DVD, CD-ROM, флэш-память, или любые другие подходящие цифровые запоминающие носители для хранения кодированных видеоданных. Запоминающий носитель 34 или файловый сервер 36 может быть любым другим промежуточным запоминающим устройством, которое может хранить кодированное видео, сгенерированное посредством устройства 12 источника, и к которому устройство 14 назначения может осуществлять доступ, как требуется, посредством потоковой передачи или загрузки. Файловый сервер может быть любым типом сервера, выполненным с возможностью хранения кодированных видеоданных и передачи этих кодированных видеоданных в устройство 14 назначения. Иллюстративные файловые серверы включают в себя Веб-сервер (например, для Веб-сайта), FTP сервер, устройства сетевой системы хранения данных (NAS), или локальный привод дисков. Устройство 14 назначения может осуществлять доступ к кодированным видеоданным посредством любого стандартного соединения передачи данных, включающего в себя Интернет соединение. Оно может включать в себя беспроводной канал (например, соединение Wi-Fi), проводное соединение (например, DSL, кабельный модем, и т.д.), или комбинацию обоих, что является подходящим для осуществления доступа к кодированным видеоданным, сохраненным на файловом сервере. Передача кодированных видеоданных от файлового сервера может быть потоковой передачей, передачей загрузки, или комбинацией обеих.

Способы этого раскрытия не являются необходимо ограниченными беспроводными приложениями или настройками. Способы могут применяться к видеокодированию при поддержке любого из многообразия мультимедийных приложений, таких как эфирное телевизионное широковещание, кабельные телевизионные передачи, спутниковые телевизионные передачи, потоковые передачи видео, например, посредством сети Интернет, кодирование цифрового видео для хранения на носителе хранения данных, декодирование цифрового видео, сохраненного на носителе хранения данных, или других приложений. В некоторых примерах, система 10 может быть сконфигурированной с возможностью поддержки односторонней или двусторонней передачи видео, чтобы поддерживать приложения, такие как потоковое видео, проигрывание видео, широковещание видео, и/или видео-телефония.

В примере из Фиг. 3, устройство 12 источника включает в себя источник 18 видео, видеокодер 20 и выходной интерфейс 22. В некоторых случаях, выходной интерфейс 22 может включать в себя модулятор/демодулятор (модем) и/или передатчик. В устройстве 12 источника, источник 18 видео может включать в себя источник, такой как устройство захвата видео, например, видеокамеру, архив видео, содержащий ранее захваченное видео, интерфейс источника видеосигнала, чтобы принимать видео от провайдера видеоконтента, и/или систему компьютерной графики для генерирования данных компьютерной графики в качестве источника в