Способ и устройство для мультиплексирования и демультиплексирования видеоданных, чтобы идентифицировать состояние воспроизведения видеоданных

Способ и устройство для мультиплексирования и демультиплексирования видеоданных, чтобы идентифицировать состояние воспроизведения видеоданных

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение относится к способу и устройству для кодирования и декодирования видео, а конкретнее к способу и устройству для мультиплексирования и демультиплексирования видеоданных, чтобы идентифицировать, является ли состоянием воспроизведения интра-картинки, которая воспроизводится на декодирующей стороне, статус воспроизведения с произвольным доступом или статус нормального воспроизведения.

УРОВЕНЬ ТЕХНИКИ

Видеокодек, включающий в себя ITU-T H.261, ISO/IEC MPEG-1 Visual, ITU-T H.262 (ISO/IEC MPEG-2 Visual), ITU-T H.264, ISO/IEC MPEG-4 Visual и ITU-T H.264 (ISO/IEC MPEG-4 AVC), выполняет кодирование с предсказанием над макроблоком посредством внешнего (интер-) предсказания или внутреннего (интра-) предсказания, формирует поток битов, содержащий кодированные данные изображения, в соответствии с предопределенным форматом, заданным каждым видеокодеком, и выводит поток битов.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ПРОБЛЕМА

Настоящее изобретение задает новый тип интра-картинки для воспроизведения с произвольным доступом и предоставляет способ и устройство для идентификации статуса нормального воспроизведения и статуса воспроизведения с произвольным доступом с помощью аппаратного обеспечения или программного обеспечения, связанного с устройством декодирования.

ТЕХНИЧЕСКОЕ РЕШЕНИЕ

В соответствии с вариантами осуществления настоящего изобретения статус воспроизведения интра-картинки можно идентифицировать посредством синтаксиса, включенного в предопределенные данные передачи.

ПОЛЕЗНЫЕ РЕЗУЛЬТАТЫ

В соответствии с вариантами осуществления настоящего изобретения статус нормального воспроизведения и статус воспроизведения с произвольным доступом можно идентифицировать с помощью аппаратного обеспечения или программного обеспечения, связанного с устройством декодирования, чтобы можно было экономить системный ресурс, который используется для декодирования картинок, которые не нужно декодировать.

ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 - блок-схема устройства для кодирования видео в соответствии с вариантом осуществления настоящего изобретения.

Фиг. 2 - блок-схема устройства для декодирования видео в соответствии с вариантом осуществления настоящего изобретения.

Фиг. 3 - схема для описания идеи единиц кодирования в соответствии с вариантом осуществления настоящего изобретения.

Фиг. 4 - блок-схема кодера изображений на основе единиц кодирования в соответствии с вариантом осуществления настоящего изобретения.

Фиг. 5 - блок-схема декодера изображений на основе единиц кодирования в соответствии с вариантом осуществления настоящего изобретения.

Фиг. 6 - схема, иллюстрирующая более глубокие единицы кодирования в соответствии с глубинами и разбиения в соответствии с вариантом осуществления настоящего изобретения.

Фиг. 7 - схема для описания связи между единицей кодирования и единицами преобразования в соответствии с вариантом осуществления настоящего изобретения.

Фиг. 8 - схема для описания информации кодирования единиц кодирования, соответствующих кодированной глубине, в соответствии с вариантом осуществления настоящего изобретения.

Фиг. 9 - схема более глубоких единиц кодирования в соответствии с глубинами в соответствии с вариантом осуществления настоящего изобретения.

Фиг. с 10 по 12 являются схемами для описания связи между единицами кодирования, единицами предсказания и единицами преобразования в соответствии с вариантом осуществления настоящего изобретения.

Фиг. 13 - схема для описания связи между единицей кодирования, единицей предсказания или разбиением и единицей преобразования в соответствии с информацией режима кодирования Таблицы 1.

Фиг. 14A и 14B иллюстрируют процесс декодирования картинки с чистым произвольным доступом (CRA) при нормальном воспроизведении и произвольном доступе в соответствии с вариантом осуществления настоящего изобретения.

Фиг. 15 иллюстрирует структуру устройства мультиплексирования видеоданных в соответствии с вариантом осуществления настоящего изобретения.

Фиг. 16 иллюстрирует структуру единицы уровня абстракции сети (NAL) в соответствии с вариантом осуществления настоящего изобретения.

Фиг. 17A и 17B иллюстрируют процесс декодирования картинки с CRA при нормальном воспроизведении и произвольном доступе в соответствии с другим вариантом осуществления настоящего изобретения.

Фиг. 18 - блок-схема последовательности операций способа мультиплексирования видеоданных в соответствии с вариантом осуществления настоящего изобретения.

Фиг. 19 иллюстрирует структуру устройства 1900 обратного мультиплексирования видеоданных в соответствии с вариантом осуществления настоящего изобретения.

Фиг. 20 - блок-схема последовательности операций способа обратного мультиплексирования видеоданных в соответствии с вариантом осуществления настоящего изобретения.

ЛУЧШИЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

В соответствии с аспектом настоящего изобретения предоставляется способ мультиплексирования видеоданных, чтобы идентифицировать статус воспроизведения видеоданных, при этом способ включает в себя операции кодирования картинок, образующих видеоданные, на основе единиц данных, имеющих иерархическую структуру; определения, соответствует ли запрос передачи нормальному воспроизведению или предназначен для произвольного доступа, в ответ на запрос передачи кодированных данных от устройства декодирования; и добавления, в соответствии с результатом определения, предопределенного синтаксиса к данным единицы передачи, чтобы мультиплексировать интра-картинку, используемую при произвольном доступе и имеющую начальные картинки, которые предшествуют интра-картинке в порядке отображения, но кодируются после интра-картинки в порядке кодирования, где предопределенный синтаксис указывает, какой запрос из запроса посредством нормального воспроизведения и запроса посредством произвольного доступа имеет отношение к интра-картинке.

В соответствии с другим аспектом настоящего изобретения предоставляется устройство для мультиплексирования видеоданных, чтобы идентифицировать статус воспроизведения видеоданных, при этом устройство включает в себя видеокодер для кодирования картинок, образующих видеоданные, на основе единиц данных, имеющих иерархическую структуру; средство идентификации статуса воспроизведения для определения, соответствует ли запрос передачи нормальному воспроизведению или предназначен для произвольного доступа, в ответ на запрос передачи кодированных данных от устройства декодирования; и мультиплексор для добавления, в соответствии с результатом определения, предопределенного синтаксиса к данным единицы передачи, чтобы мультиплексировать интра-картинку, используемую при произвольном доступе и имеющую начальные картинки, которые предшествуют интра-картинке в порядке отображения, но кодируются после интра-картинки в порядке кодирования, где предопределенный синтаксис указывает, какой запрос из запроса посредством нормального воспроизведения и запроса посредством произвольного доступа имеет отношение к интра-картинке.

В соответствии с другим аспектом настоящего изобретения предоставляется способ демультиплексирования видеоданных, чтобы идентифицировать статус воспроизведения видеоданных, при этом способ включает в себя операции приема данных единицы передачи, используемых для мультиплексирования потока битов, формируемого путем кодирования картинок, образующих видеоданные, на основе единиц данных иерархической структуры; получения предопределенного синтаксиса из данных единицы передачи, чтобы мультиплексировать интра-картинку, используемую при произвольном доступе и имеющую начальные картинки, которые предшествуют интра-картинке в порядке отображения, но кодируются после интра-картинки в порядке декодирования, где предопределенный синтаксис указывает, декодируется ли интра-картинка в соответствии со статусом нормального воспроизведения или в соответствии со статусом произвольного доступа; и идентификации, воспроизводится ли интра-картинка в соответствии с нормальным воспроизведением или в соответствии с произвольным доступом, на основе полученного предопределенного синтаксиса.

В соответствии с другим аспектом настоящего изобретения предоставляется устройство для демультиплексирования видеоданных, чтобы идентифицировать статус воспроизведения видеоданных, при этом устройство включает в себя обратный мультиплексор для приема данных единицы передачи, используемых для мультиплексирования потока битов, формируемого путем кодирования картинок, образующих видеоданные, на основе единиц данных иерархической структуры, получения предопределенного синтаксиса из данных единицы передачи, чтобы мультиплексировать интра-картинку, используемую при произвольном доступе и имеющую начальные картинки, которые предшествуют интра-картинке в порядке отображения, но кодируются после интра-картинки в порядке декодирования, где предопределенный синтаксис указывает, декодируется ли интра-картинка в соответствии со статусом нормального воспроизведения или в соответствии со статусом произвольного доступа; и средство идентификации статуса воспроизведения для идентификации, воспроизводится ли интра-картинка в соответствии с нормальным воспроизведением или в соответствии с произвольным доступом, на основе полученного предопределенного синтаксиса.

ВАРИАНТЫ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Ниже будет подробно описываться настоящее изобретение путем объяснения типовых вариантов осуществления изобретения со ссылкой на приложенные чертежи. На всем протяжении описания изобретения изображение может включать в себя неподвижное изображение и движущуюся картинку и может называться "видео". Также на всем протяжении описания изобретения кадр изображения может называться картинкой.

Фиг. 1 является блок-схемой устройства 100 кодирования видео в соответствии с вариантом осуществления настоящего изобретения.

Устройство 100 кодирования видео включает в себя делитель 110 максимальной единицы кодирования, определитель 120 единицы кодирования и узел 130 вывода.

Делитель 110 максимальной единицы кодирования может разделить текущую картинку на основе максимальной единицы кодирования для текущей картинки изображения. Если текущая картинка больше максимальной единицы кодирования, то данные изображения текущей картинки можно разделить на по меньшей мере одну максимальную единицу кодирования. Максимальной единицей кодирования в соответствии с вариантом осуществления настоящего изобретения может быть единица данных, имеющая размер 32x32, 64x64, 128x128, 256x256 и т.п., где формой единицы данных является квадрат, имеющий ширину и длину, которые кратны 2 и больше 8. Данные изображения могут выводиться в определитель 120 единицы кодирования в соответствии по меньшей мере с одной максимальной единицей кодирования.

Единица кодирования в соответствии с вариантом осуществления настоящего изобретения может характеризоваться максимальным размером и глубиной. Глубина обозначает количество раз, которое единица кодирования пространственно разделяется от максимальной единицы кодирования, и когда глубина увеличивается, более глубокие единицы кодирования в соответствии с глубинами можно разделять от максимальной единицы кодирования до минимальной единицы кодирования. Глубина максимальной единицы кодирования является самой верхней глубиной, а глубина минимальной единицы кодирования является самой нижней глубиной. Поскольку размер единицы кодирования, соответствующей каждой глубине, уменьшается, когда увеличивается глубина максимальной единицы кодирования, единица кодирования, соответствующая большей глубине, может включать в себя множество единиц кодирования, соответствующих меньшим глубинам.

Как описано выше, данные изображения текущей картинки разделяются на максимальные единицы кодирования в соответствии с максимальным размером единицы кодирования, и каждая из максимальных единиц кодирования может включать в себя более глубокие единицы кодирования, которые разделяются в соответствии с глубинами. Поскольку максимальная единица кодирования в соответствии с вариантом осуществления настоящего изобретения разделяется в соответствии с глубинами, данные изображения в пространственной области, включенные в максимальную единицу кодирования, можно классифицировать иерархически в соответствии с глубинами.

Можно заранее установить максимальную глубину и максимальный размер единицы кодирования, которые ограничивают общее количество раз, которое высота и ширина максимальной единицы кодирования разделяются иерархически.

Определитель 120 единицы кодирования кодирует по меньшей мере одну область разделения, полученную путем разделения области максимальной единицы кодирования в соответствии с глубинами, и определяет глубину для вывода окончательно кодированных данных изображения в соответствии по меньшей мере с одной областью разделения. Другими словами, определитель 120 единицы кодирования определяет кодированную глубину путем кодирования данных изображения в более глубоких единицах кодирования в соответствии с глубинами в соответствии с максимальной единицей кодирования текущей картинки и выбора глубины, имеющей наименьшую ошибку кодирования. Таким образом, в конечном счете выводятся кодированные данные изображения единицы кодирования, соответствующей определенной кодированной глубине. Также единицы кодирования, соответствующие кодированной глубине, могут рассматриваться как кодированные единицы кодирования.

Определенная кодированная глубина и кодированные данные изображения в соответствии с определенной кодированной глубиной выводятся в узел 130 вывода.

Данные изображения в максимальной единице кодирования кодируются на основе более глубоких единиц кодирования, соответствующих по меньшей мере одной глубине, меньшей либо равной максимальной глубине, и результаты кодирования данных изображения сравниваются на основе каждой из более глубоких единиц кодирования. Глубина, обладающая наименьшей ошибкой кодирования, может выбираться после сравнения ошибок кодирования более глубоких единиц кодирования. По меньшей мере одна кодированная глубина может выбираться для каждой максимальной единицы кодирования.

Размер максимальной единицы кодирования разделяется, когда единица кодирования разделяется иерархически в соответствии с глубинами и когда увеличивается количество единиц кодирования. Также, даже если единицы кодирования соответствуют одной и той же глубине в одной максимальной единице кодирования, то определяется, разделять ли каждую из единиц кодирования, соответствующих одной и той же глубине, до меньшей глубины путем измерения ошибки кодирования данных изображения каждой единицы кодирования в отдельности. Соответственно, даже когда данные изображения включаются в одну максимальную единицу кодирования, данные изображения разделяются до областей в соответствии с глубинами, и ошибки кодирования могут отличаться в соответствии с областями в одной максимальной единице кодирования, и таким образом, кодированные глубины могут отличаться в соответствии с областями в данных изображения. Таким образом, можно определить одну или несколько кодированных глубин в одной максимальной единице кодирования, и данные изображения максимальной единицы кодирования можно разделить в соответствии с единицами кодирования меньшей мере одной кодированной глубины.

Соответственно, определитель 120 единицы кодирования может определить единицы кодирования, имеющие древовидную структуру, включенные в максимальную единицу кодирования. "Единицы кодирования, имеющие древовидную структуру", в соответствии с вариантом осуществления настоящего изобретения включают в себя единицы кодирования, соответствующие глубине, определенной как кодированная глубина, среди всех более глубоких единиц кодирования, включенных в максимальную единицу кодирования. Единица кодирования с кодированной глубиной может иерархически определяться в соответствии с глубинами в одной и той же области максимальной единицы кодирования и может определяться независимо в разных областях. Аналогичным образом кодированная глубина в текущей области может определяться независимо от кодированной глубины в другой области.

Максимальная глубина в соответствии с вариантом осуществления настоящего изобретения является индексом, связанным с количеством раз разделения от максимальной единицы кодирования до минимальной единицы кодирования. Первая максимальная глубина в соответствии с вариантом осуществления настоящего изобретения может обозначать общее количество раз разделения от максимальной единицы кодирования до минимальной единицы кодирования. Вторая максимальная глубина в соответствии с вариантом осуществления настоящего изобретения может обозначать общее количество уровней глубины от максимальной единицы кодирования до минимальной единицы кодирования. Например, когда глубина максимальной единицы кодирования равна 0, глубина единицы кодирования, при которой максимальная единица кодирования разделяется один раз, может устанавливаться в 1, и глубина единицы кодирования, при которой максимальная единица кодирования разделяется дважды, может устанавливаться в 2. Здесь, если минимальная единица кодирования является единицей кодирования, при которой максимальная единица кодирования разделяется четыре раза, то существует 5 уровней глубины из глубин 0, 1, 2, 3 и 4, и соответственно первая максимальная глубина может устанавливаться в 4, а вторая максимальная глубина может устанавливаться в 5.

Кодирование с предсказанием и преобразование могут выполняться в соответствии с максимальной единицей кодирования. Кодирование с предсказанием и преобразование также выполняются на основе более глубоких единиц кодирования в соответствии с глубиной, равной максимальной глубине или меньшими глубинами, в соответствии с максимальной единицей кодирования. Преобразование может выполняться в соответствии со способом ортогонального преобразования или целочисленного преобразования.

Поскольку количество более глубоких единиц кодирования увеличивается всякий раз, когда максимальная единица кодирования разделяется в соответствии с глубинами, то кодирование, включающее в себя кодирование с предсказанием и преобразование, выполняется над всеми более глубокими единицами кодирования, сформированными, когда увеличивается глубина. Для удобства описания кодирование с предсказанием и преобразование сейчас будут описываться на основе единицы кодирования с текущей глубиной в максимальной единице кодирования.

Устройство 100 кодирования видео может по-разному выбирать размер или форму единицы данных для кодирования данных изображения. Чтобы кодировать данные изображения, выполняются операции, например кодирование с предсказанием, преобразование и энтропийное кодирование, и в то же время одинаковая единица данных может использоваться для всех операций, либо для каждой операции могут использоваться разные единицы данных.

Например, устройство 100 кодирования видео может выбирать не только единицу кодирования для кодирования данных изображения, но также и единицу данных, отличную от той единицы кодирования, чтобы выполнить кодирование с предсказанием над данными изображения в единице кодирования.

Чтобы выполнить кодирование с предсказанием в максимальной единице кодирования, кодирование с предсказанием может выполняться на основе единицы кодирования, соответствующей кодированной глубине, то есть на основе единицы кодирования, которая больше не разделяется на единицы кодирования, соответствующие меньшей глубине. В дальнейшем единица кодирования, которая больше не разделяется и становится базовой единицей для кодирования с предсказанием, будет называться "единицей предсказания". Разбиение, полученное путем разделения единицы предсказания, может включать в себя единицу предсказания или единицу данных, полученную путем разделения по меньшей мере одной из высоты и ширины единицы предсказания.

Например, когда единица кодирования 2Nx2N (где N - положительное целое число) больше не разделяется и становится единицей предсказания 2Nx2N, размером разбиения может быть 2Nx2N, 2NxN, Nx2N или NxN. Примеры типа разбиения включают в себя симметричные разбиения, которые получаются путем симметричного разделения высоты или ширины единицы предсказания, разбиения, полученные путем асимметричного разделения высоты или ширина единицы предсказания, например 1:n или n:1, разбиения, которые получаются путем геометрического разделения единицы предсказания, и разбиения, имеющие произвольные формы.

Режимом предсказания единицы предсказания может быть по меньшей мере один из внутреннего (интра-) режима, внешнего (интер-) режима и режима пропуска. Например, внутренний режим или внешний режим может выполняться над разбиением 2Nx2N, 2NxN, Nx2N или NxN. Также режим пропуска может выполняться только над разбиением 2Nx2N. Кодирование независимо выполняется над одной единицей предсказания в единице кодирования, посредством этого выбирая режим предсказания, имеющий наименьшую ошибку кодирования.

Устройство 100 кодирования видео также может выполнять преобразование над данными изображения в единице кодирования не только на основе единицы кодирования для кодирования данных изображения, но также на основе единицы данных, которая отличается от единицы кодирования.

Чтобы выполнить преобразование в единице кодирования, преобразование может выполняться на основе единицы данных, имеющей размер, меньше либо равный единице кодирования. Например, единица данных для преобразования может включать в себя единицу данных для внутреннего режима и единицу данных для внешнего режима.

Единица данных, используемая в качестве базы преобразования, теперь будет называться "единицей преобразования". Глубина преобразования, указывающая количество раз разделения для достижения единицы преобразования путем разделения высоты и ширины единицы кодирования, также может устанавливаться в единице преобразования. Например, в текущей единице кодирования 2Nx2N глубина преобразования может быть равна 0, когда размер единицы преобразования также равен 2Nx2N, может быть равна 1, когда каждая из высоты и ширины текущей единицы кодирования разделяется на две равные части, разделяясь в итоге на 4^1 единицы преобразования, и размер единицы преобразования соответственно равен NxN, и может быть равна 2, когда каждая из высоты и ширины текущей единицы кодирования разделяется на четыре равные части, разделяясь в итоге на 4^2 единицы преобразования, и размер единицы преобразования соответственно равен N/2xN/2. Например, единица преобразования может устанавливаться в соответствии с иерархической древовидной структурой, в которой единица преобразования с большей глубиной преобразования разделяется на четыре единицы преобразования с меньшей глубиной преобразования в соответствии с иерархическими характеристиками глубины преобразования.

Аналогично единице кодирования единица преобразования в единице кодирования может рекурсивно разделяться на области меньшего размера, чтобы единицу преобразования можно было независимо определять в единицах областей. Таким образом, остаточные данные в единице кодирования можно разделить в соответствии с преобразованием, имеющим древовидную структуру в соответствии с глубинами преобразования.

Информация кодирования в соответствии с единицами кодирования, соответствующими кодированной глубине, требует не только информацию о кодированной глубине, но также и информацию, связанную с преобразованием и кодированием с предсказанием. Соответственно, определитель 120 единицы кодирования не только определяет кодированную глубину, имеющую наименьшую ошибку кодирования, но также определяет тип разбиения в единице предсказания, режим предсказания в соответствии с единицами предсказания и размер единицы преобразования для преобразования.

Единицы кодирования в соответствии древовидной структуры в максимальной единице кодирования и способ определения разбиения будут подробно описываться ниже по тексту со ссылкой на фиг. 3 - 12 в соответствии с вариантами осуществления настоящего изобретения.

Определитель 120 единицы кодирования может измерять ошибку кодирования более глубоких единиц кодирования в соответствии с глубинами, используя Оптимизацию искажения от скорости передачи на основе множителей Лагранжа.

Узел 130 вывода выводит данные изображения максимальной единицы кодирования, которые кодируются на основе по меньшей мере одной кодированной глубины, определенной определителем 120 единицы кодирования, и информации о режиме кодирования в соответствии с той кодированной глубиной, в потоках битов.

Кодированные данные изображения можно получить путем кодирования остаточных данных изображения.

Информация о режиме кодирования в соответствии с кодированной глубиной может включать в себя информацию о кодированной глубине, о типе разбиения в единице предсказания, режиме предсказания и размере единицы преобразования.

Информация о кодированной глубине может задаваться с использованием информации разделения в соответствии с глубинами, которая указывает, выполняется ли кодирование над единицами кодирования с меньшей глубиной вместо текущей глубины. Если текущая глубина текущей единицы кодирования является кодированной глубиной, то данные изображения в текущей единице кодирования кодируются и выводятся, и соответственно можно задать информацию разделения, чтобы не разделять текущую единицу кодирования до меньшей глубины. В качестве альтернативы, если текущая глубина текущей единицы кодирования не является кодированной глубиной, то кодирование выполняется над единицей кодирования с меньшей глубиной, и соответственно можно задать информацию разделения, чтобы разделить текущую единицу кодирования для получения единиц кодирования с меньшей глубиной.

Если текущая глубина не является кодированной глубиной, то кодирование выполняется над единицей кодирования, которая разделяется на единицу кодирования с меньшей глубиной. Поскольку по меньшей мере одна единица кодирования с меньшей глубиной существует в одной единице кодирования с текущей глубиной, кодирование повторно выполняется над каждой единицей кодирования с меньшей глубиной, и соответственно кодирование может рекурсивно выполняться для единиц кодирования, имеющих одинаковую глубину.

Поскольку единицы кодирования, имеющие древовидную структуру, определяются для одной максимальной единицы кодирования, и информация об по меньшей мере одном режиме кодирования определяется для единицы кодирования с кодированной глубиной, информация об по меньшей мере одном режиме кодирования может определяться для одной максимальной единицы кодирования. Также кодированная глубина данных изображения максимальной единицы кодирования может отличаться в соответствии с местоположениями, поскольку данные изображения иерархически разделяются в соответствии с глубинами, и соответственно информация о кодированной глубине и режиме кодирования может устанавливаться для данных изображения.

Соответственно, узел 130 вывода может назначить информацию кодирования о соответствующей кодированной глубине и режиме кодирования по меньшей мере одной из единицы кодирования, единицы предсказания и минимальной единицы, включенной в максимальную единицу кодирования.

Минимальная единица в соответствии с вариантом осуществления настоящего изобретения может быть прямоугольной единицей данных, полученной путем разделения на 4 минимальной единицы кодирования, составляющей самую нижнюю глубину, и может быть максимальной прямоугольной единицей данных, которая может включаться во все единицы кодирования, единицы предсказания, единицы разбиения и единицы преобразования, включенные в максимальную единицу кодирования.

Например, информацию кодирования, выведенную посредством узла 130 вывода, можно классифицировать на информацию кодирования в соответствии с единицами кодирования и информацию кодирования в соответствии с единицами предсказания. Информация кодирования в соответствии с единицами кодирования может включать в себя информацию о режиме предсказания и о размере разбиений. Информация кодирования в соответствии с единицами предсказания может включать в себя информацию об оцененном направлении внешнего режима, об индексе опорного изображения внешнего режима, о векторе движения, о составляющей цветности внутреннего режима и о способе интерполяции внутреннего режима. Также в заголовок потока битов может вставляться информация о максимальном размере единицы кодирования, заданном в соответствии с картинками, секциями (слайсами) или GOP, и информация о максимальной глубине.

Делитель 110 максимальной единицы кодирования и определитель 120 единицы кодирования соответствуют уровням кодирования видео, которые определяют опорный кадр каждого из кадров изображения, образующих последовательность изображений, путем выполнения оценки движения и компенсации движения над каждым кадром изображения в последовательности изображений в соответствии с единицами кодирования и кодируют каждый кадр изображения с использованием определенного опорного кадра.

Так же, как будет описываться ниже по тексту, узел 130 вывода отображает синтаксис (max_dec_frame_buffering) с помощью единицы уровня абстракции сети (NAL) и таким образом формирует поток битов, где этот синтаксис указывает максимальный размер буфера, необходимый декодеру для декодирования кадров изображения, синтаксис (num_reorder_frames), указывающий количество кадров изображения, которое должно быть переупорядочено, и синтаксис (max_latency_increase), указывающий информацию задержки кадра изображения, который имеет наибольшую разницу между порядком кодирования и порядком отображения и который находится среди кадров изображения, образующих последовательность изображений.

В устройстве 100 кодирования видео более глубокая единица кодирования может быть единицей кодирования, полученной путем деления на два высоты или ширины единицы кодирования с большей глубиной, которая находится на один уровень выше. Другими словами, когда размер единицы кодирования с текущей глубиной равен 2Nx2N, размер единицы кодирования с меньшей глубиной равен NxN. Также единица кодирования с текущей глубиной, имеющая размер 2Nx2N, может включать в себя максимум 4 единицы кодирования с меньшей глубиной.

Соответственно, устройство 100 кодирования видео может образовывать единицы кодирования, имеющие древовидную структуру, путем определения единиц кодирования, имеющих оптимальную форму и оптимальный размер для каждой максимальной единицы кодирования, на основе размера максимальной единицы кодирования и максимальной глубины, определенной с учетом характеристик текущей картинки. Также, поскольку кодирование может выполняться над каждой максимальной единицей кодирования с использованием любого из различных режимов предсказания и преобразований, оптимальный режим кодирования может определяться с учетом характеристик единицы кодирования различных размеров изображения.

Таким образом, если изображение, имеющее высокое разрешение или большой объем данных, кодируется в традиционном макроблоке, то количество макроблоков на картинку чрезмерно увеличивается. Соответственно, увеличивается количество порций сжатой информации, сформированных для каждого макроблока, и соответственно сложно передавать сжатую информацию, и снижается эффективность сжатия данных. Однако при использовании устройства 100 кодирования видео эффективность сжатия изображения можно повысить, поскольку единица кодирования регулируется с учетом характеристик изображения, увеличивая при этом максимальный размер единицы кодирования с учетом размера изображения.

Фиг. 2 является блок-схемой устройства 200 декодирования видео в соответствии с вариантом осуществления настоящего изобретения.

Устройство 200 декодирования видео включает в себя приемник 210, устройство 220 извлечения данных изображения и информации кодирования и декодер 230 данных изображения. Определения различных терминов, например единицы кодирования, глубины, единицы предсказания, единицы преобразования, и информация о различных режимах кодирования для различных операций устройства 200 декодирования видео идентичны описанным со ссылкой на фиг. 1 и устройство 100 кодирования видео.

Приемник 210 принимает и анализирует поток битов кодированного видео. Устройство 220 извлечения данных изображения и информации кодирования извлекает кодированные данные изображения для каждой единицы кодирования из проанализированного потока битов, где единицы кодирования имеют древовидную структуру в соответствии с каждой максимальной единицей кодирования, и выводит извлеченные данные изображения в декодер 230 данных изображения. Устройство 220 извлечения данных изображения и информации кодирования может извлечь информацию о максимальном размере единицы кодирования текущей картинки из заголовка о текущей картинке или SPS.

Также устройство 220 извлечения данных изображения и информации кодирования извлекает информацию о кодированной глубине и режиме кодирования для единиц кодирования, имеющих древовидную структуру в соответствии с каждой максимальной единицей кодирования, из проанализированного потока битов. Извлеченная информация о кодированной глубине и режиме кодирования выводится в декодер 230 данных изображения. Другими словами, данные изображения в потоке двоичных сигналов разделяются на максимальную единицу кодирования, чтобы декодер 230 данных изображения декодировал данные изображения для каждой максимальной единицы кодирования.

Информация о кодированной глубине и режиме кодирования в соответствии с максимальной единицей кодирования может устанавливаться для информации о по меньшей мере одной единице кодирования, соответствующей кодированной глубине, и информация о режиме кодирования может включать в себя информацию о типе разбиения соответствующей единицы кодирования, соответствующей кодированной глубине, о режиме предсказания и размере единицы преобразования. Также информация разделения в соответствии с глубинами может извлекаться в качестве информации о кодированной глубине.

Информация о кодированной глубине и режиме кодирования в соответствии с каждой максимальной единицей кодирования, извлеченная устройством 220 извлечения данных изображения и информации кодирования, является информацией о кодированной глубине и режиме кодирования, определенной как формирующей минимальную ошибку кодирования, когда кодер, например устройство 100 кодирования видео, повторно выполняет кодирование для каждой более глубокой единицы кодирования в соответствии с глубинами в соответствии с каждой максимальной единицей кодирования. Соответственно, устройство 200 декодирования видео может восстановить изображение путем декодирования данных изображения в соответствии с кодированной глубиной и режимом кодирования, которые формируют минимальную ошибку кодирования.

Поскольку информация кодирования о кодированной глубине и режиме кодирования может назначаться заранее установленной единице данных из соответствующей единицы кодирования, единицы предсказания и минимальной единицы, устройство 220 извлечения данных изображения и информации кодирования может извлечь информацию о кодированной глубине и режиме кодирования в соответствии с предопределенными единицами данных. Предопределенные единицы данных, которым назначается одинаковая информация о кодированной глубине и режиме кодирования, можно считать единицами данных, включенными в одну и ту же максимальную единицу кодирования.

Декодер 230 данных изображения восстанавливает текущую картинку путем декодирования данных изображения в каждой максимальной единице кодиро