Произвольный доступ с усовершенствованным управлением буфером декодированных изображений (dpb) при кодировании видео

Произвольный доступ с усовершенствованным управлением буфером декодированных изображений (dpb) при кодировании видео

Иллюстрации

Показать все

Реферат

[0001] Данная заявка испрашивает приоритет предварительной заявки на патент (США) номер 61/553802, поданной 31 октября 2011 года, и предварительной заявки на патент (США) номер 61/595605, поданной 6 февраля 2012 года, содержимое каждой из которых полностью содержится в данном документе по ссылке.

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0002] Данное раскрытие сущности относится к кодированию видео, а более конкретно, к кодированию кадров видеоданных, формируемых посредством процессов кодирования видео.

УРОВЕНЬ ТЕХНИКИ

[0003] Поддержка цифрового видео может быть включена в широкий диапазон устройств, включающих в себя цифровые телевизионные приемники, системы цифровой прямой широковещательной передачи, беспроводные широковещательные системы, персональные цифровые устройства (PDA), переносные или настольные компьютеры, планшетные компьютеры, устройства для чтения электронных книг, цифровые камеры, цифровые записывающие устройства, цифровые мультимедийные проигрыватели, устройства видеоигр, консоли для видеоигр, сотовые или спутниковые радиотелефоны, так называемые "смартфоны", устройства видеоконференц-связи, устройства потоковой передачи видео и т.п. Цифровые видеоустройства реализуют такие технологии сжатия видео, как технологии сжатия видео, описанные в стандартах, заданных посредством разрабатываемых в настоящее время стандартов MPEG-2, MPEG-4, ITU-T H.263, ITU-T H.264/MPEG-4, часть 10, усовершенствованное кодирование видео (AVC), стандарта высокоэффективного кодирования видео (HEVC), и расширений таких стандартов. Видеоустройства могут передавать, принимать, кодировать, декодировать и/или сохранять цифровую видеоинформацию более эффективно посредством реализации таких технологий сжатия видео.

[0004] Технологии сжатия видео выполняют пространственное (интра-кадровое) прогнозирование и/или временное (интеркадровое) прогнозирование для того, чтобы уменьшать или удалять избыточность, внутренне присущую в видеопоследовательностях. Для блочного кодирования видео видеослайс (т.е. видеокадр или часть видеокадра) может быть сегментирован на видеоблоки, которые также могут упоминаться как древовидные блоки, единицы кодирования (CU) и/или узлы кодирования. Видеоблоки в интра(внутренне)-кодированном (I) слайсе изображения кодируются с использованием пространственного прогнозирования относительно опорных выборок в соседних блоках в идентичном изображении. Видеоблоки в интер(внешне)-кодированном (Р- или В-) слайсе изображения могут использовать пространственное прогнозирование относительно опорных выборок в соседних блоках в идентичном изображении или временное прогнозирование относительно опорных выборок в других опорных изображениях. Изображения могут упоминаться как кадры, и опорные изображения могут упоминаться как опорные кадры.

[0005] Пространственное или временное прогнозирование приводит в результате к прогнозному блоку для блока, который должен быть кодирован. Остаточные данные представляют пиксельные разности между исходным блоком, который должен быть кодирован, и прогнозным блоком. Интер-кодированный блок кодируется согласно вектору движения, который указывает на блок опорных выборок, формирующих прогнозный блок, и остаточным данным, указывающим разность между кодированным блоком и прогнозным блоком. Интра-кодированный блок кодируется согласно режиму интра-кодирования и остаточным данным. Для дополнительного сжатия остаточные данные могут быть преобразованы из пиксельной области в область преобразования, приводя к остаточным коэффициентам преобразования, которые затем могут быть квантованы. Квантованные коэффициенты преобразования, первоначально размещаемые в двумерной матрице, могут быть сканированы для того, чтобы формировать одномерный вектор коэффициентов преобразования. Энтропийное кодирование затем может применяться, чтобы достигать еще большего сжатия.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0006] Это раскрытие сущности описывает технологии для произвольного доступа при кодировании видео. В частности, раскрытие сущности описывает несколько технологий для кодирования видеопоследовательностей, которые включают в себя один или более кадров или "изображений", при этом первое кодированное изображение конкретной кодированной видеопоследовательности (CVS) в соответствующем потоке битов может быть изображением на основе точки произвольного доступа (RAP), которое не является изображением на основе мгновенного обновления при декодировании (IDR). Например, в соответствии с технологиями, первое кодированное изображение может быть изображением на основе чистого произвольного доступа (CRA).

[0007] В качестве одного примера, технологии этого раскрытия сущности могут обеспечивать возможность видеодекодеру, соответствующему технологиям, успешно декодировать поток битов, начинающийся с такого не-IDR RAP-изображения, прогнозируемым и заданным (или "стандартным") способом. Например, раскрытые технологии могут обеспечивать возможность соответствующему видеодекодеру обрабатывать различные свойства вывода и опорные свойства так называемых "начальных изображений", ассоциированных с первым кодированным изображением, которые также включаются в поток битов. Как результат, технологии могут обеспечивать относительно улучшенный произвольный доступ для потока битов посредством видеодекодера, по сравнению с другими технологиями. Например, технологии могут способствовать "более точному" или более детализированному произвольному доступу потока битов за счет предоставления возможности видеодекодеру декодировать поток битов в относительно большем числе начальных точек или изображений доступа (т.е. He-IDR-изображений) потока битов, по сравнению с другими технологиями (например, технологиями, которые дают возможность произвольного доступа для потока битов только из IDR-изображений). Дополнительно, технологии могут обеспечивать возможность соответствующему видеодекодеру повышать визуальное качество одного или более других изображений, также включаемых в поток битов, например, посредством избегания вывода и/или использования в качестве опорных изображений начальных изображений, ассоциированных с первым изображением.

[0008] Альтернативно, в качестве другого примера, раскрытые технологии могут обеспечивать возможность видеокодеру, соответствующему технологиям, формировать поток битов, который исключает начальные изображения, ассоциированные с первым кодированным изображением потока битов, которое является не-IDR RAP-изображением. Как результат, видеодекодер, также соответствующий раскрытым технологиям, может успешно декодировать поток битов прогнозируемым и заданным способом.

[0009] Соответственно, использование технологий этого раскрытия сущности позволяет повышать функциональную совместимость систем и устройств кодирования и декодирования видео и улучшать возможности работы пользователей, в общем, для произвольного доступа для потока битов, что может часто возникать в различных видеоприложениях.

[0010] В одном примере раскрытия сущности, способ декодирования видеоданных включает в себя прием потока битов, содержащего одно или более изображений CVS, декодирования первого изображения из одного или более изображений согласно порядку декодирования, ассоциированному с CVS, при этом первое изображение является RAP-изображением, которое не является IDR-изображением и декодирование по меньшей мере одного из одного или более изображений, отличных от первого изображения, идущих после первого изображения согласно порядку декодирования, на основе декодированного первого изображения.

[0011] В другом примере раскрытия сущности, способ кодирования видеоданных включает в себя формирование потока битов, содержащего одно или более изображений CVS, при этом первое изображение из одного или более изображений согласно порядку декодирования, ассоциированному с CVS, является RAP-изображением, которое не является IDR-изображением, при этом формирование потока битов содержит недопущение включения по меньшей мере одного из одного или более изображений, отличных от первого изображения, которое соответствует начальному изображению, ассоциированному с первым изображением, в поток битов, при этом начальное изображение содержит изображение, которое идет после первого изображения согласно порядку декодирования и предшествует первому изображению согласно порядку отображения, ассоциированному с CVS, и при этом первое изображение является декодируемым, и при этом по меньшей мере одно из одного или более изображений, отличных от первого изображения, идущих после первого изображения согласно порядку декодирования, является декодируемым на основе первого изображения.

[0012] В другом примере раскрытия сущности, аппарат, сконфигурированный с возможностью декодировать видеоданные, включает в себя видеодекодер, сконфигурированный с возможностью принимать поток битов, содержащий одно или более изображений CVS, декодировать первое изображение из одного или более изображений согласно порядку декодирования, ассоциированному с CVS, при этом первое изображение является RAP-изображением, которое не является IDR-изображением, и декодировать по меньшей мере одно из одного или более изображений, отличных от первого изображения, идущих после первого изображения согласно порядку декодирования, на основе декодированного первого изображения.

[0013] В другом примере раскрытия сущности, аппарат, сконфигурированный с возможностью кодировать видеоданные, включает в себя видеокодер, сконфигурированный с возможностью формировать поток битов, содержащий одно или более изображений CVS, при этом первое изображение из одного или более изображений согласно порядку декодирования, ассоциированному с CVS, является RAP-изображением, которое не является IDR-изображением, при этом для того, чтобы формировать поток битов, видеокодер сконфигурирован с возможностью не допускать включение по меньшей мере одного из одного или более изображений, отличных от первого изображения, которое соответствует начальному изображению, ассоциированному с первым изображением, в поток битов, при этом начальное изображение содержит изображение, которое идет после первого изображения согласно порядку декодирования и предшествует первому изображению согласно порядку отображения, ассоциированному с CVS, и при этом первое изображение является декодируемым, и при этом по меньшей мере одно из одного или более изображений, отличных от первого изображения, идущих после первого изображения согласно порядку декодирования, является декодируемым на основе первого изображения.

[0014] В другом примере раскрытия сущности, устройство для декодирования видеоданных включает в себя средство для приема потока битов, содержащего одно или более изображений CVS, средство для декодирования первого изображения из одного или более изображений согласно порядку декодирования, ассоциированному с CVS, при этом первое изображение является RAP-изображением, которое не является IDR-изображением, и средство для декодирования по меньшей мере одного из одного или более изображений, отличных от первого изображения, идущих после первого изображения согласно порядку декодирования, на основе декодированного первого изображения.

[0015] В другом примере раскрытия сущности, устройство для кодирования видеоданных включает в себя средство для формирования потока битов, содержащего одно или более изображений CVS, при этом первое изображение из одного или более изображений согласно порядку декодирования, ассоциированному с CVS, является RAP-изображением, которое не является IDR-изображением, при этом средство для формирования потока битов содержит средство для недопущения включения по меньшей мере одного из одного или более изображений, отличных от первого изображения, которое соответствует начальному изображению, ассоциированному с первым изображением, в поток битов, при этом начальное изображение содержит изображение, которое идет после первого изображения согласно порядку декодирования и предшествует первому изображению согласно порядку отображения, ассоциированному с CVS, и при этом первое изображение является декодируемым, и при этом по меньшей мере одно из одного или более изображений, отличных от первого изображения, идущее после первого изображения согласно порядку декодирования, является декодируемым на основе первого изображения.

[0016] Технологии, описанные в данном раскрытии сущности, могут быть реализованы в аппаратных средствах, программном обеспечении, микропрограммном обеспечении либо в комбинациях вышеозначенного. При реализации в аппаратных средствах, аппарат может быть осуществлен как интегральная схема, процессор, дискретная логика либо любая комбинация вышеозначенного. При реализации в программном обеспечении, программное обеспечение может выполняться в одном или более процессоров, таких как микропроцессор, специализированная интегральная схема (ASIC), программируемая пользователем вентильная матрица (FPGA) или процессор цифровых сигналов (DSP). Программное обеспечение, которое выполняет технологии, может быть первоначально сохранено на материальном считываемом компьютером носителе и загружено и приведено в исполнение в процессоре.

[0017] Соответственно, в другом примере, это раскрытие сущности рассматривает считываемый компьютером носитель данных, сохраняющий инструкции, которые при выполнении инструктируют один или более процессоров принимать поток битов, содержащий одно или более изображений CVS, декодировать первое изображение из одного или более изображений согласно порядку декодирования, ассоциированному с CVS, при этом первое изображение является RAP-изображением, которое не является IDR-изображением, и декодировать по меньшей мере одно из одного или более изображений, отличных от первого изображения, идущих после первого изображения согласно порядку декодирования, на основе декодированного первого изображения.

[0018] В другом примере, это раскрытие сущности рассматривает считываемый компьютером носитель данных, сохраняющий инструкции, которые при выполнении инструктируют один или более процессоров формировать поток битов, содержащий одно или более изображений CVS, при этом первое изображение из одного или более изображений согласно порядку декодирования, ассоциированному с CVS, является RAP-изображением, которое не является IDR-изображением, при этом инструкции, которые инструктируют один или более процессоров формировать поток битов, содержат инструкции, которые инструктируют один или более процессоров избегать включения в состав по меньшей мере одного из одного или более изображений, отличных от первого изображения, которое соответствует начальному изображению, ассоциированному с первым изображением, в поток битов, при этом начальное изображение содержит изображение, которое идет после первого изображения согласно порядку декодирования и предшествует первому изображению согласно порядку отображения, ассоциированному с CVS, и при этом первое изображение является декодируемым, и при этом по меньшей мере одно из одного или более изображений, отличных от первого изображения, идущих после первого изображения согласно порядку декодирования, является декодируемым на основе первого изображения.

[0019] Подробности одного или более примеров изложены на прилагаемых чертежах и в нижеприведенном описании. Другие признаки, цели и преимущества должны становиться очевидными из описания и чертежей и из формулы изобретения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0020] Фиг. 1 является блок-схемой, которая иллюстрирует пример системы кодирования и декодирования видео, которая может выполнять технологии для произвольного доступа с усовершенствованным управлением буфером изображений декодера (DPB), в соответствии с технологиями этого раскрытия сущности.

[0021] Фиг. 2 является блок-схемой, которая иллюстрирует пример видеокодера, который может выполнять технологии для произвольного доступа с усовершенствованным DPB-управлением, в соответствии с технологиями этого раскрытия сущности.

[0022] Фиг. 3 является блок-схемой, которая иллюстрирует пример видеодекодера, который может выполнять технологии для произвольного доступа с усовершенствованным DPB-управлением, в соответствии с технологиями этого раскрытия сущности.

[0023] Фиг. 4 является концептуальной схемой, которая иллюстрирует пример опорных иерархий между изображениями групп изображений (GOP) видеоданных, в соответствии с технологиями этого раскрытия сущности.

[0024] Фиг. 5 является блок-схемой последовательности операций способа, которая иллюстрирует примерный способ выполнения произвольного доступа для потока битов, который включает в себя одно или более изображений видеоданных, посредством видеодекодера, в соответствии с технологиями этого раскрытия сущности.

[0025] Фиг. 6 является блок-схемой последовательности операций способа, которая иллюстрирует примерный способ формирования потока битов, который включает в себя одно или более изображений видеоданных, посредством видеокодера, в соответствии с технологиями этого раскрытия сущности.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

[0026] Это раскрытие сущности описывает технологии для произвольного доступа при кодировании видео. В частности, раскрытие сущности описывает несколько технологий для кодирования видеопоследовательностей, которые включают в себя один или более кадров или "изображений", при этом первое кодированное изображение конкретной кодированной видеопоследовательности (CVS) в соответствующем потоке битов может быть изображением на основе точки произвольного доступа (RAP), которое не является изображением на основе мгновенного обновления при декодировании (IDR). Например, в соответствии с технологиями, первое кодированное изображение может быть изображением на основе чистого произвольного доступа (CRA).

[0027] В качестве одного примера, технологии этого раскрытия сущности могут обеспечивать возможность видеодекодеру, соответствующему технологиям, успешно декодировать поток битов, начинающийся с такого не-IDR RAP-изображения, прогнозируемым и заданным (или "стандартным") способом. Например, раскрытые технологии могут обеспечивать возможность соответствующему видеодекодеру обрабатывать различные свойства вывода и опорные свойства так называемых "начальных изображений", ассоциированных с первым кодированным изображением, которые также включаются в поток битов. Как результат, технологии могут обеспечивать относительно улучшенный произвольный доступ для потока битов посредством видеодекодера, по сравнению с другими технологиями. Например, технологии могут способствовать "более точному" или более детализированному произвольному доступу потока битов за счет предоставления возможности видеодекодеру декодировать поток битов в относительно большем числе начальных точек или изображений доступа (т.е. He-IDR-изображений) потока битов, по сравнению с другими технологиями (например, технологиями, которые дают возможность произвольного доступа для потока битов только из IDR-изображений). Дополнительно, технологии могут обеспечивать возможность соответствующему видеодекодеру повышать визуальное качество одного или более других изображений, также включаемых в поток битов, например, посредством избегания вывода и/или использования в качестве опорных изображений начальных изображений, ассоциированных с первым изображением.

[0028] Альтернативно, в качестве другого примера, раскрытые технологии могут обеспечивать возможность видеокодеру, соответствующему технологиям, формировать поток битов, который исключает начальные изображения, ассоциированные с первым кодированным изображением потока битов, которое является не-IDR RAP-изображением. Как результат, видеодекодер, также соответствующий раскрытым технологиям, может успешно декодировать поток битов прогнозируемым и заданным способом.

[0029] Соответственно, использование технологий этого раскрытия сущности позволяет повышать функциональную совместимость систем и устройств кодирования и декодирования видео и улучшать возможности работы пользователей, в общем, для произвольного доступа для потока битов, что может часто возникать в различных видеоприложениях.

[0030] В частности, технологии, описанные в данном документе, могут включать в себя, по меньшей мере, один или более следующих аспектов новизны, по сравнению с другими технологиями: (1) обнаружение осуществления произвольного доступа из не-IDR RAP-изображения (например, CRA-изображения); 2) идентификация и декодирование одного или более изображений, которые идут после не-IDR RAP-изображения в порядке декодирования, но предшествуют не-IDR RAP-изображению в порядке вывода (т.е. одного или более "начальных изображений" для не-IDR RAP-изображения); и (3) указание, что каждое из одного или более начальных изображений для не-IDR RAP-изображения не выводится даже в случае, если соответствующий передаваемый в служебных сигналах элемент output_flag синтаксиса равен истине или 1 (т.е. output_flag указывает, что соответствующее изображение должно быть выведено), и что соответствующее изображение не используется в качестве опорного изображения для других изображений, которые идут после не-IDR RAP-изображения в порядке декодирования и порядке вывода.

[0031] Таким образом, поток битов, который включает в себя одно или более изображений видеоданных и начинается с не-IDR RAP-изображения, может быть декодирован прогнозируемым и заданным способом посредством видеодекодера, соответствующего технологиям этого раскрытия сущности. Альтернативно, видеокодер, соответствующий раскрытым технологиям, может формировать поток битов, который включает в себя одно или более изображений видеоданных и начинается с не-IDR RAP-изображения, так что поток битов может быть декодирован прогнозируемым и заданным способом посредством видеодекодера, также соответствующего технологиям. Как результат, может быть относительное улучшение возможностей работы пользователей при выполнении произвольного доступа для потока битов, который включает в себя одно или более изображений видеоданных, при использовании технологий этого раскрытия сущности. В частности, может быть относительное повышение детализации произвольного доступа, а также визуального качества одного или более изображений потока битов и/или CVS, которая включает в себя одно или более изображений в целом, при использовании раскрытых технологий.

[0032] Фиг. 1 является блок-схемой, которая иллюстрирует пример системы кодирования и декодирования видео, которая может выполнять технологии для произвольного доступа с усовершенствованным управлением буфером изображений декодера (DPB), в соответствии с технологиями этого раскрытия сущности. Как показано на фиг. 1, система 10 включает в себя устройство-источник 12, которое формирует кодированные видеоданные, которые должны быть декодированы впоследствии посредством устройства-адресата 14. Устройство-источник 12 и устройство-адресат 14 могут содержать любые из широкого диапазона устройств, включающих в себя настольные компьютеры, ноутбуки (т.е. переносные компьютеры), планшетные компьютеры, абонентские приставки, телефонные трубки, к примеру, так называемые смартфоны, так называемые интеллектуальные сенсорные панели, телевизионные приемники, камеры, устройства отображения, цифровые мультимедийные проигрыватели, консоли для видеоигр, устройства потоковой передачи видео и т.п. В некоторых случаях, устройство-источник 12 и устройство-адресат 14 могут быть оснащены возможностями беспроводной связи.

[0033] Устройство-адресат 14 может принимать кодированные видеоданные, которые должны быть декодированы, через линию 16 связи. Линия 16 связи может содержать любой тип носителя или устройства, допускающего перемещение кодированных видеоданных из устройства-источника 12 в устройство-адресат 14. В одном примере, линия 16 связи может содержать среду связи, чтобы обеспечивать возможность устройству-источнику 12 передавать кодированные видеоданные непосредственно в устройство-адресат 14 в реальном времени. Кодированные видеоданные могут быть модулированы согласно стандарту связи, такому как протокол беспроводной связи, и переданы в устройство-адресат 14. Среда связи может содержать любую беспроводную или проводную среду связи, такую как радиочастотный (RF) спектр или одна или более физических линий передачи. Среда связи может формировать часть сети с коммутацией пакетов, такой как локальная вычислительная сеть, глобальная вычислительная сеть либо глобальная сеть, такая как Интернет.Среда связи может включать в себя маршрутизаторы, коммутаторы, базовые станции или любое другое оборудование, которое может быть полезным для того, чтобы упрощать передачу из устройства-источника 12 в устройство-адресат 14.

[0034] Альтернативно, кодированные данные могут выводиться из интерфейса 22 вывода в устройство 24 хранения. Аналогично, доступ к кодированным данным может осуществляться из устройства 24 хранения посредством интерфейса 26 ввода. Устройство 24 хранения может включать в себя любой из множества распределенных или локально доступных носителей хранения, таких как жесткий диск, Blu-Ray-диски, DVD, CD-ROM, флэш-память, энергозависимое или энергонезависимое запоминающее устройство либо любые другие подходящие цифровые носители данных для сохранения кодированных видеоданных. В дополнительном примере, устройство 24 хранения может соответствовать файловому серверу или другому промежуточному устройству хранения, которое может хранить кодированное видео, сформированное посредством устройства-источника 12. Устройство-адресат 14 может осуществлять доступ к сохраненным видеоданным из устройства 24 хранения через потоковую передачу или загрузку. Файловый сервер может быть любым типом сервера, допускающего сохранение кодированных видеоданных и передачу этих кодированных видеоданных в устройство-адресат 14. Примерные файловые серверы включают в себя веб-сервер (например, для веб-узла), FTP-сервер, устройства системы хранения с подключением по сети (NAS) или локальный накопитель на дисках. Устройство-адресат 14 может осуществлять доступ к кодированным видеоданным через любое стандартное подключение для передачи данных, включающее в себя Интернет-подключение. Оно может включать в себя беспроводной канал (например, Wi-Fi-подключение), проводное подключение (например, DSL, кабельный модем и т.д.) или комбинацию означенного, которая является подходящей для того, чтобы осуществлять доступ к кодированным видеоданным, сохраненным на файловом сервере. Передача кодированных видеоданных из устройства 24 хранения может представлять собой потоковую передачу, передачу на основе загрузки или комбинацию вышеозначенного.

[0035] Технологии этого раскрытия сущности не обязательно ограничены приложениями или настройками беспроводной связи. Технологии могут применяться к кодированию видео в поддержку любых из множества мультимедийных приложений, таких как телевизионные широковещательные передачи по радиоинтерфейсу, кабельные телевизионные передачи, спутниковые телевизионные передачи, потоковые передачи видео, например, через Интернет, кодирование цифрового видео для хранения на носителе данных, декодирование цифрового видео, сохраненного на носителе данных, или другие приложения. В некоторых примерах, система 10 может быть сконфигурирована с возможностью поддерживать одностороннюю или двустороннюю передачу видео, чтобы поддерживать такие приложения, как потоковая передача видео, воспроизведение видео, широковещательная передача видео и/или видеотелефония.

[0036] В примере по фиг. 1, устройство-источник 12 включает в себя видеоисточник 18, видеокодер 20 и интерфейс 22 вывода. В некоторых случаях, интерфейс 22 вывода может включать в себя модулятор/демодулятор (модем) и/или передающее устройство. В устройстве-источнике 12 видеоисточник 18 может включать в себя источник, такой как устройство видеозахвата, например, видеокамера, видеоархив, содержащий ранее захваченное видео, интерфейс прямых видеотрансляций, чтобы принимать видео от поставщика видеоконтента, и/или компьютерную графическую систему для формирования компьютерных графических данных в качестве исходного видео, либо комбинацию таких источников. В качестве одного примера, если видеоисточником 18 является видеокамера, устройство-источник 12 и устройство-адресат 14 могут формировать так называемые камерофоны или видеофоны. Тем не менее, технологии, описанные в этом раскрытии сущности, могут быть применимыми к кодированию видео в целом и могут применяться к беспроводным и/или проводным вариантам применения.

[0037] Захваченное, предварительно захваченное или машиногенерируемое видео может быть кодировано посредством видеокодера 20. Кодированные видеоданные могут быть переданы непосредственно в устройство-адресат 14 через интерфейс 22 вывода устройства-источника 12. Кодированные видеоданные также (или альтернативно) могут сохраняться на устройство 24 хранения для последующего доступа посредством устройства-адресата 14 или других устройств для декодирования и/или воспроизведения.

[0038] Устройство-адресат 14 включает в себя интерфейс 26 ввода, видеодекодер 30 и устройство 28 отображения. В некоторых случаях, интерфейс 26 ввода может включать в себя приемное устройство и/или модем. Интерфейс 26 ввода устройства-адресата 14 принимает кодированные видеоданные по линии 16 связи или из устройства 24 хранения. Кодированные видеоданные, передаваемые по линии 16 связи или предоставленные на устройстве 24 хранения, могут включать в себя множество элементов синтаксиса, сформированных посредством видеокодера 20 для использования посредством видеодекодера, такого как видеодекодер 30, при декодировании видеоданных. Такие элементы синтаксиса могут быть включены с кодированными видеоданными, передаваемыми на среде связи, сохраненными на носителе хранения или сохраненными на файловом сервере.

[0039] Устройство 28 отображения может быть интегрированным или внешним для устройства-адресата 14. В некоторых примерах, устройство-адресат 14 может включать в себя интегрированное устройство отображения/ а также сконфигурировано с возможностью взаимодействовать с внешним устройством отображения. В других примерах, устройство-адресат 14 может быть устройством отображения. В общем, устройство 28 отображения отображает декодированные видеоданные пользователю и может содержать любое из множества устройств отображения, таких как жидкокристаллический дисплей (LCD), плазменный дисплей, дисплей на органических светодиодах (OLED) или другой тип устройства отображения.

[0040] Видеокодер 20 и видеодекодер 30 могут работать согласно стандарту сжатия видео, такому как стандарт высокоэффективного кодирования видео (HEVC), разрабатываемый в данный момент посредством Объединенной группы для совместной работы над видеостандартами (JCT-VC) Экспертной группы в области кодирования видео (VCEG) ITU-T и Экспертной группы по киноизображению (MPEG) ISO/IEC, и могут соответствовать тестовой модели HEVC (НМ). Альтернативно, видеокодер 20 и видеодекодер 30 могут работать согласно другим собственным или отраслевым стандартам, таким как стандарт ITU-T H.264, альтернативно называемый "MPEG-4, часть 10, AVC", или расширениям таких стандартов. Тем не менее, технологии этого раскрытия сущности не ограничены каким-либо конкретным стандартом кодирования. Другие примеры стандартов сжатия видео включают в себя MPEG-2 и ITU-T Н.263. Последний проект HEVC-стандарта, называемый "рабочим проектом HEVC 8" или "WD8", описывается в документе JCTVC-J1003_d7, Bross и др., "High efficiency video coding (HEVC) text specification draft 8", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 10th Meeting: Стокгольм, SE, 11-20 июля 2012 года, который, с 17 октября 2012 года, можно загрузить по адресу http://phenix.int-evry.fr/j ct/doc_end_user/documents/10_Stockholm/wg11/JCTVC-J1003-v8.zip.

[0041] Другой проект HEVC-стандарта, называемый в этом раскрытии сущности "рабочим проектом HEVC 4" или "WD4", описывается в документе JCTVC-F803, Bross и др., "WD4: Working Draft 4 of High-Efficiency Video Coding", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 6th Meeting: Torino, IT, 14-22 июля 2011 года, который, с 17 октября 2012 года, можно загрузить по адресу http://phenix.int-evry.fr/jct/doc_end_user/documents/6_Torino/wg11/JCTVC-F803-v8.zip.

[0042] Еще один другой проект HEVC-стандарта, называемый в этом раскрытии сущности "рабочим проектом HEVC 5" или "WD5", описывается в документе JCTVC-G1103, Bross и др., "WD5: Working Draft 5 of High-Efficiency Video Coding", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 7th Meeting: Женева, СН, 21-30 ноября 2011 года, который, с 17 октября 2012 года, можно загрузить по адресу http://phenix.int-evry.fr/jet/doc_end_user/documents/7_Geneva/wg11/JCTVC-G1103-v12.zip.

[0043] Хотя не показано на фиг. 1, в некоторых аспектах, видеокодер 20 и видеодекодер 30 могут быть интегрированы с аудио-кодером и декодером, соответственно, и могут включать в себя соответствующие модули мультиплексора-демультиплексора либо другие аппаратные средства и программное обеспечение, чтобы обрабатывать кодирование как аудио, так и видео в общем потоке данных или в отдельных потоках данных. Если применимо, в некоторых примерах блоки мультиплексора-демультиплексора могут соответствовать протоколу мультиплексора ITU H.223 или другим протоколам, таким как протокол пользовательских дейтаграмм (UDP).

[0044] Видеокодер 20 и видеодекодер 30 могут быть реализованы как любая из множества надлежащих схем кодера или декодера, к примеру, один или более микропроцессоров, процессоров цифровых сигналов (DSP), специализированных интегральных схем (ASIC), программируемых пользователем вентильных матриц (FPGA), дискретная логика, программное обеспечение, аппаратные средства, микропрограммное обеспечение либо любые комбинации вышеозначенного. Когда технологии реализуются частично в программном обеспечении, устройство может сохранять инструкции для программного обеспечения на подходящем энергонезависимом считываемом компьютером носителе и выполнять инструкции в аппаратных средствах с использованием одного или более процессоров, чтобы осуществлять технологии этого раскрытия сущности. Каждый из видеокодера 20 и видеодекодера 30 может быть включен в один или более кодеров или декодеров, любой из которых может быть интегрирован как часть комбинированного кодера/декодера (кодека) в соответствующем устройстве.

[0045] Работа по стандартизации HEVC основана на усовершенствованной модели устройства кодирования видео, называемой "тестовой моделью HEVC (НМ)". НМ предполагает несколько дополнительных возможностей устройств кодирования видео относительно существующих устройств согласно, например, ITU-T H.264/AVC. Например, тогда как Н.264 предоставляет девять режимов кодирования с интра-прогнозированием, НМ может предоставлять целых тридцать пять режимов кодирования с интра-прогнозированием.

[0046] В общем, рабочая модель НМ описывает, что видеокадр или изображение может быть разделено на последовательность древовидных блоков или наибольших единиц кодирования (LCU), которые включают в себя выборки как сигнала яркости, так и сигнала цветности. Древовидный блок имеет назначение, аналогичное назначению макроблока по стандарту Н.264. Слайс включает в себя определенное число последовательных древовидных блоков в порядке кодирования. Видеокадр или изображение может быть сегментировано на один или более слайсов. Каждый древовидный блок может разбиваться на единицы кодирования (CU) согласно дереву квадрантов. Например, древовидный блок, в качестве корневого узла дерева квадрантов, может разбиваться на четыре дочерних узла, и каждый дочерний узел, в свою очередь, может быть родительским узлом и разбиваться еще на четыре дочерних узла. Конечный, неразбитый дочерний узел, в качестве концевого узла дерева квадрантов, содержит узел кодирования, т.е. кодированный видеоблок. Синтаксические данные, ассоциированные с кодированным потоком битов, могут задавать максимальное число раз, которое может разбиваться древовидный блок, и также может задавать минимальный размер узлов кодирования.

[0047] CU включает в себя узел кодирования и единицы прогнозирования (PU) и единицы преобразования (TU), ассоциированные с узлом кодирования. Размер CU соответствует размеру узла кодирования и должен иметь квадратную форму. Размер CU может колебаться от 8х8 пикселов