Способ и устройство для кодирования видео, имеющего временную масштабируемость, и способ и устройство для декодирования видео, имеющего временную масштабируемость

Способ и устройство для кодирования видео, имеющего временную масштабируемость, и способ и устройство для декодирования видео, имеющего временную масштабируемость

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к кодированию и декодированию видео, а более конкретно, к способам и устройствам кодирования и декодирования видео, имеющего временную масштабируемость.

УРОВЕНЬ ТЕХНИКИ

Видеокодеки, такие как ITU-T H.261, ISO/IEC MPEG-1 Visual, ITU-T H.262 (ISO/IEC MPEG-2 Visual), ITU-T H.264, ISO/IEC MPEG-4 Visual и ITU-T H.264 (ISO/IEC MPEG-4 AVC), выполняют прогнозирующее кодирование для макроблока через внешнее (inter-) прогнозирование или внутреннее (intra-) прогнозирование и формируют и выводят поток битов согласно предварительно определенному формату, заданному посредством каждого видеокодека, посредством использования кодированных данных изображений.

Согласно предшествующему уровню техники, видео, имеющее временную масштабируемость, предоставляется посредством применения иерархического B-изображения или временной фильтрации с компенсацией движения (MCTF).

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ЗАДАЧА

Эффективность сжатия видео может повышаться, когда изображение, кодированное после изображения доступа к временному слою, к которому осуществляют доступ во время переключения временного слоя, может использовать изображение, кодированное перед изображением доступа к временному слою, в качестве опорного изображения.

Кроме того, данные единицы передачи изображения доступа к временному слою и данные единицы передачи изображения, которое не является декодируемым во время переключения временного слоя, могут отличаться друг от друга в единице уровня адаптации к сети (NAL).

ТЕХНИЧЕСКОЕ РЕШЕНИЕ

Согласно варианту осуществления настоящего изобретения, изображение доступа к временному слою классифицируется посредством различения того, когда изображение, к которому можно обращаться посредством изображений, декодированных после изображения доступа к временному слою, ограничено и не ограничено, и информация для идентификации классифицированного изображения доступа к временному слою добавляется в единицу передаваемых данных.

ПРЕИМУЩЕСТВА ИЗОБРЕТЕНИЯ

Согласно одному или более вариантов осуществления настоящего изобретения, может пропускаться необязательный процесс декодирования изображения, и могут экономиться аппаратные ресурсы посредством идентификации и отбрасывания единицы уровня адаптации к сети (NAL) относительно изображения, которое не может декодироваться после изображения доступа к временному слою. Кроме того, согласно одному или более вариантов осуществления настоящего изобретения, может повышаться эффективность сжатия видео, когда изображение, кодированное после изображения доступа к временному слою, может использовать изображение, кодированное перед изображением доступа к временному слою, в качестве опорного изображения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 является блок-схемой устройства кодирования видео согласно варианту осуществления настоящего изобретения.

Фиг. 2 является блок-схемой устройства декодирования видео согласно варианту осуществления настоящего изобретения.

Фиг. 3 является схемой, иллюстрирующей принцип единиц кодирования согласно варианту осуществления настоящего изобретения.

Фиг. 4 является блок-схемой кодера изображений на основе единиц кодирования согласно варианту осуществления настоящего изобретения.

Фиг. 5 является блок-схемой декодера изображений на основе единиц кодирования согласно варианту осуществления настоящего изобретения.

Фиг. 6 является схемой, иллюстрирующей более глубокие единицы кодирования согласно глубинам и сегментам согласно варианту осуществления настоящего изобретения.

Фиг. 7 является схемой, иллюстрирующей взаимосвязь между единицей кодирования и единицами преобразования, согласно варианту осуществления настоящего изобретения.

Фиг. 8 является схемой, иллюстрирующей информацию кодирования единиц кодирования, соответствующих кодированной глубине, согласно варианту осуществления настоящего изобретения.

Фиг. 9 является схемой более глубоких единиц кодирования согласно глубинам, согласно варианту осуществления настоящего изобретения.

Фиг. 10, 11 и 12 являются схемами, иллюстрирующими взаимосвязь между единицами кодирования, единицами прогнозирования и единицами преобразования частоты, согласно варианту осуществления настоящего изобретения;

Фиг. 13 является схемой, иллюстрирующей взаимосвязь между единицей кодирования, единицей прогнозирования и единицей преобразования, согласно информации режима кодирования по таблице 1.

Фиг. 14 является схемой устройства кодирования видео, имеющего временную масштабируемость, согласно варианту осуществления настоящего изобретения.

Фиг. 15 является схемой изображений, включенных в последовательность изображений, которые разбиваются на временные подслои, согласно варианту осуществления настоящего изобретения.

Фиг. 16 является схемой изображений, отображаемых согласно частоте кадров, согласно варианту осуществления настоящего изобретения.

Фиг. 17 является схемой для описания начального изображения и доступа к первому временному слою, согласно варианту осуществления настоящего изобретения.

Фиг. 18 является схемой для описания начального изображения, которое не может декодироваться во время повышающего переключения временного слоя, согласно варианту осуществления настоящего изобретения.

Фиг. 19 является схемой единицы уровня адаптации к сети (NAL) согласно варианту осуществления настоящего изобретения.

Фиг. 20 является блок-схемой последовательности операций, иллюстрирующей способ кодирования видео, согласно варианту осуществления настоящего изобретения.

Фиг. 21 является схемой устройства декодирования видео, имеющего временную масштабируемость, согласно варианту осуществления настоящего изобретения.

Фиг. 22 является блок-схемой последовательности операций, иллюстрирующей способ декодирования видео, согласно варианту осуществления настоящего изобретения.

ОПТИМАЛЬНЫЙ РЕЖИМ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Согласно аспекту настоящего изобретения, предусмотрен способ кодирования видео, имеющего временную масштабируемость, причем способ кодирования видео содержит: разбиение изображений, включенных в последовательность изображений, на временные подслои; классификацию изображения доступа к временному слою в качестве изображения доступа к первому временному слою или изображения доступа ко второму временному слою на основе того, допускает или нет изображение, которое кодируется после изображения доступа к временному слою и принадлежит идентичному или верхнему временному подслою по отношению к изображению доступа к временному слою, обращение к изображению, кодированному перед изображением доступа к временному слою; и добавление информации синтаксиса типа для идентификации изображения доступа к первому временному слою и изображения доступа ко второму временному слою в данные единицы передачи, содержащие изображение доступа к временному слою.

Согласно другому аспекту настоящего изобретения, предусмотрено устройство кодирования видео, имеющего временную масштабируемость, причем устройство кодирования видео содержит: видеокодер, который разбивает изображения, включенные в последовательность изображений, на временные подслои; и мультиплексор, который классифицирует изображение доступа к временному слою в качестве изображения доступа к первому временному слою или изображения доступа ко второму временному слою на основе того, допускает или нет изображение, которое кодируется после изображения доступа к временному слою и принадлежит идентичному или верхнему временному подслою по отношению к изображению доступа к временному слою, обращение к изображению, кодированному перед изображением доступа к временному слою, и добавляет информацию синтаксиса типа для идентификации изображения доступа к первому временному слою и изображения доступа ко второму временному слою в данные единицы передачи, содержащие изображение доступа к временному слою.

Согласно другому аспекту настоящего изобретения, предусмотрен способ декодирования видео, имеющего временную масштабируемость, причем способ декодирования видео содержит: прием данных единицы передачи, полученных посредством разбиения и кодирования изображений, включенных в последовательность изображений, на временные подслои; и идентификацию данных единицы передачи, содержащих изображение доступа к временному слою, к которому осуществляется доступ для повышающего переключения временного слоя с нижнего временного подслоя на верхний временной подслой, посредством использования информации синтаксиса типа, включенной в данные единицы передачи, при этом изображение доступа к временному слою классифицируется в качестве изображения доступа к первому временному слою или изображения доступа ко второму временному слою на основе того, допускает или нет изображение, которое декодируется после изображения доступа к временному слою и принадлежит идентичному или верхнему временному подслою по отношению к изображению доступа к временному слою, обращение к изображению, декодированному перед изображением доступа к временному слою.

Согласно другому аспекту настоящего изобретения, предусмотрено устройство декодирования видео, имеющего временную масштабируемость, причем устройство декодирования видео содержит: средство приема, которое принимает данные единицы передачи, полученные посредством разбиения и кодирования изображений, включенных в последовательность изображений, на временные подслои; и обратный мультиплексор, который идентифицирует данные единицы передачи, содержащие изображение доступа к временному слою, к которому осуществляется доступ для повышающего переключения временного слоя с нижнего временного подслоя на верхний временной подслой, посредством использования информации синтаксиса типа, включенной в данные единицы передачи, при этом изображение доступа к временному слою классифицируется в качестве изображения доступа к первому временному слою или изображения доступа ко второму временному слою на основе того, допускает или нет изображение, которое декодируется после изображения доступа к временному слою и принадлежит идентичному или верхнему временному подслою по отношению к изображению доступа к временному слою, обращение к изображению, декодированному перед изображением доступа к временному слою.

ОПТИМАЛЬНЫЙ РЕЖИМ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

В дальнейшем в этом документе, подробнее описываются один или более вариантов осуществления настоящего изобретения со ссылкой на прилагаемые чертежи. При описании одного или более вариантов осуществления настоящего изобретения, изображение может включать в себя неподвижное изображение или движущееся изображение и также может упоминаться в качестве видео. Кроме того, при описании одного или более вариантов осуществления настоящего изобретения, кадр с изображением также может упоминаться в качестве изображения.

Фиг. 1 является блок-схемой устройства кодирования видео согласно варианту осуществления настоящего изобретения.

Устройство 100 кодирования видео согласно варианту осуществления включает в себя модуль 110 разбиения на максимальные единицы кодирования, модуль 120 определения единиц кодирования и модуль 130 вывода.

Модуль 110 разбиения на максимальные единицы кодирования может разбивать текущее изображение на основе максимальной единицы кодирования, которая представляет собой единицу кодирования, имеющую максимальный размер для текущего изображения рисунка. Если текущее изображение превышает максимальную единицу кодирования, данные изображений для текущего изображения могут разбиваться, по меньшей мере, на одну максимальную единицу кодирования. Максимальная единица кодирования согласно варианту осуществления может представлять собой единицу данных, имеющую размер 32×32, 64×64, 128×128 или 256×256, при этом форма единицы данных представляет собой квадрат, имеющий ширину и длину в квадратах 2. Данные изображений могут выводиться в модуль 120 определения единиц кодирования согласно, по меньшей мере, одной максимальной единице кодирования.

Единица кодирования согласно варианту осуществления может отличаться посредством максимального размера и глубины. Глубина обозначает число раз, которое единица кодирования пространственно разбивается от максимальной единицы кодирования, и по мере того, как увеличивается глубина, более глубокие единицы кодирования согласно глубинам могут разбиваться от максимальной единицы кодирования до минимальной единицы кодирования. Глубина максимальной единицы кодирования является самой верхней глубиной, а глубина минимальной единицы кодирования является самой нижней глубиной. Поскольку размер единицы кодирования, соответствующей каждой глубине, снижается по мере того, как увеличивается глубина максимальной единицы кодирования, единица кодирования, соответствующая верхней глубине, может включать в себя множество единиц кодирования, соответствующих нижним глубинам.

Как описано выше, данные изображений для текущего изображения разбиваются на максимальные единицы кодирования согласно максимальному размеру единицы кодирования, и каждая из максимальных единиц кодирования может включать в себя более глубокие единицы кодирования, которые разбиваются согласно глубинам. Поскольку максимальная единица кодирования согласно варианту осуществления разбивается согласно глубинам, данные изображений пространственной области, включенные в максимальную единицу кодирования, могут быть иерархически классифицированы согласно глубинам.

Максимальная глубина и максимальный размер единицы кодирования, которые ограничивают общее число раз, которое иерархически разбиваются высота и ширина максимальной единицы кодирования, могут предварительно задаваться.

Модуль 120 определения единиц кодирования кодирует, по меньшей мере, одну область разбиения, полученную посредством разбиения области максимальной единицы кодирования согласно глубинам, и определяет глубину для того, чтобы выводить конечные результаты кодирования, согласно, по меньшей мере, одной области разбиения. Другими словами, модуль 120 определения единиц кодирования определяет кодированную глубину посредством кодирования данных изображений в более глубоких единицах кодирования согласно глубинам, согласно максимальной единице кодирования текущего изображения и выбора глубины, имеющей наименьшую ошибку кодирования. Определенная кодированная глубина и данные изображений согласно максимальной единице кодирования выводятся в модуль 130 вывода.

Данные изображений в максимальной единице кодирования кодируются на основе более глубоких единиц кодирования, соответствующих, по меньшей мере, одной глубине, равной или меньшей максимальной глубины, и результаты кодирования сравниваются на основе каждой из более глубоких единиц кодирования. Глубина, имеющая наименьшую ошибку кодирования, может быть выбрана после сравнения ошибок кодирования более глубоких единиц кодирования. По меньшей мере, одна кодированная глубина может быть выбрана для каждой максимальной единицы кодирования.

Размер максимальной единицы кодирования разбивается по мере того, как единица кодирования иерархически разбивается согласно глубинам, и по мере того, как увеличивается число единиц кодирования. Кроме того, даже если единицы кодирования соответствуют идентичной глубине в одной максимальной единице кодирования, определяется то, разбивать или нет каждую из единиц кодирования, соответствующих идентичной глубине, до нижней глубины посредством измерения ошибки кодирования данных каждой единицы кодирования, отдельно. Соответственно, даже когда данные включены в одну максимальную единицу кодирования, ошибки кодирования согласно глубинам могут отличаться согласно областям, и в силу этого кодированные глубины могут отличаться согласно областям. Таким образом, одна или более кодированных глубин могут задаваться для одной максимальной единицы кодирования, и данные максимальной единицы кодирования могут быть разделены согласно единицам кодирования одной или более кодированных глубин.

Соответственно, модуль 120 определения единиц кодирования согласно варианту осуществления может определять единицы кодирования, имеющие древовидную структуру, включенные в текущую максимальную единицу кодирования. "Единицы кодирования, имеющие древовидную структуру" согласно варианту осуществления настоящего изобретения включают в себя единицы кодирования, соответствующие глубине, определенной как кодированная глубина, из всех более глубоких единиц кодирования, включенных в максимальную единицу кодирования. Единица кодирования кодированной глубины может быть иерархически определена согласно глубинам в идентичной области максимальной единицы кодирования и может быть независимо определена в различных областях. Аналогично, кодированная глубина в текущей области может быть независимо определена из кодированной глубины в другой области.

Максимальная глубина согласно варианту осуществления представляет собой индекс, связанный с числом раз, когда выполняется разбиение от максимальной единицы кодирования до минимальной единицы кодирования. Первая максимальная глубина согласно варианту осуществления может обозначать общее число раз, когда выполняется разбиение от максимальной единицы кодирования до минимальной единицы кодирования. Вторая максимальная глубина согласно варианту осуществления может обозначать общее число уровней глубины от максимальной единицы кодирования до минимальной единицы кодирования. Например, когда глубина максимальной единицы кодирования равна 0, глубина единицы кодирования, на которую максимальная единица кодирования разбивается один раз, может задаваться равной 1, а глубина единицы кодирования, на которую максимальная единица кодирования разбивается два раза, может задаваться равной 2. В этом случае, если минимальная единица кодирования представляет собой единицу кодирования, полученную посредством разбиения максимальной единицы кодирования четыре раза, имеется 5 уровней глубины с глубинами 0, 1, 2, 3 и 4, и за счет этого первая максимальная глубина может задаваться равной 4, а вторая максимальная глубина может задаваться равной 5.

Прогнозирующее кодирование и преобразование частоты могут выполняться согласно максимальной единице кодирования. Прогнозирующее кодирование и преобразование также выполняются на основе более глубоких единиц кодирования согласно глубине, равной, или глубинам, меньшим максимальной глубины, согласно максимальной единице кодирования.

Поскольку число более глубоких единиц кодирования увеличивается каждый раз, когда максимальная единица кодирования разбивается согласно глубинам, кодирование, включающее в себя прогнозирующее кодирование и преобразование частоты, должно выполняться для всех более глубоких единиц кодирования, сформированных по мере того, как увеличивается глубина. Для удобства описания, прогнозирующее кодирование и преобразование частоты далее описываются на основе единицы кодирования текущей глубины, по меньшей мере, из одной максимальной единицы кодирования.

Устройство 100 кодирования видео согласно варианту осуществления может по-разному выбирать размер или форму единицы данных для кодирования данных изображений. Чтобы кодировать данные изображений, выполняются такие операции, как прогнозирующее кодирование, преобразование частоты и энтропийное кодирование, и в это время, идентичная единица данных может использоваться для всех операций, или различные единицы данных могут использоваться для каждой операции.

Например, устройство 100 кодирования видео может выбирать не только единицу кодирования для кодирования данных изображений, но также и единицу данных, отличающуюся от единицы кодирования, с тем чтобы выполнять прогнозирующее кодирование для данных изображений в единице кодирования.

Чтобы выполнять прогнозирующее кодирование в максимальной единице кодирования, прогнозирующее кодирование может выполняться на основе единицы кодирования, соответствующей кодированной глубине, т.е. на основе единицы кодирования, которая более не разбивается на единицы кодирования, соответствующие нижней глубине. В дальнейшем в этом документе, единица кодирования, которая более не разбивается и становится базисной единицей для прогнозирующего кодирования, далее упоминается как "единица прогнозирования". Сегмент, полученный посредством разбиения единицы прогнозирования, может включать в себя единицу прогнозирования и единицу данных, полученные посредством разбиения, по меньшей мере, одной из высоты и ширины единицы прогнозирования.

Например, когда единица кодирования в 2N×2N (где N является положительным целым числом) более не разбивается, и единица кодирования может становиться единицей прогнозирования в 2N×2N, размер сегмента может составлять 2N×2N, 2N×N, N×2N или N×N. Примеры типа сегмента включают в себя симметричные сегменты, которые получаются посредством симметричного разбиения высоты или ширины единицы прогнозирования, сегменты, полученные посредством асимметричного разбиения высоты или ширины единицы прогнозирования, к примеру, 1:n или n:1, сегменты, которые получаются посредством геометрического разбиения единицы прогнозирования, и сегменты, имеющие произвольные формы.

Режим прогнозирования для единицы прогнозирования может представлять собой, по меньшей мере, одно из внутреннего режима, внешнего режима и режима пропуска. Например, внутренний режим или внешний режим может выполняться для сегмента в 2N×2N, 2N×N, N×2N или N×N. Кроме того, режим пропуска может выполняться только для сегмента в 2N×2N. Кодирование независимо выполняется для одной единицы прогнозирования в единице кодирования, в силу этого выбирая режим прогнозирования, имеющий наименьшую ошибку кодирования.

Устройство 100 кодирования видео согласно варианту осуществления также может выполнять преобразование частоты для данных изображений в единице кодирования на основе не только единицы кодирования для кодирования данных изображений, но также и на основе единицы данных, которая отличается от единицы кодирования.

Чтобы выполнять преобразование частоты в единице кодирования, преобразование частоты может выполняться на основе единицы данных, имеющей размер, меньший или равный единице кодирования. Например, единица данных для преобразования частоты может включать в себя единицу данных для внутреннего режима и единицу данных для внешнего режима.

Единица данных, используемая в качестве базиса преобразования частоты, далее упоминается как "единица преобразования". Аналогично единице кодирования, единица преобразования в единице кодирования может рекурсивно разбиваться на единицы преобразования меньшего размера, и в силу этого остаточные данные в единице кодирования могут быть разделены согласно единице преобразования, имеющей древовидную структуру согласно глубинам преобразования.

Глубина преобразования, указывающая число раз, когда выполняется разбиение, чтобы достигать единицы преобразования посредством разбиения высоты и ширины единицы кодирования, также может задаваться в единице преобразования согласно варианту осуществления. Например, в текущей единице кодирования 2N×2N, глубина преобразования может быть равна 0, когда размер единицы преобразования составляет 2N×2N, может быть равна 1, когда размер единицы преобразования составляет N×N, и может быть равна 2, когда размер единицы преобразования составляет N/2×N/2. Иными словами, единица преобразования, имеющая древовидную структуру, также может задаваться согласно глубинам преобразования.

Информация кодирования согласно единицам кодирования, соответствующим кодированной глубине, требует не только информацию относительно кодированной глубины, но также и информацию, связанную с прогнозирующим кодированием и преобразованием частоты. Соответственно, модуль 120 определения единиц кодирования не только определяет кодированную глубину, имеющую наименьшую ошибку кодирования, но также и определяет тип сегмента в единице прогнозирования, режим прогнозирования согласно единицам прогнозирования и размер единицы преобразования для преобразования частоты.

Ниже подробно описываются единицы кодирования, имеющие древовидную структуру в максимальной единице кодирования, и способ определения сегмента согласно варианту осуществления со ссылкой на фиг. 3-12.

Модуль 120 определения единиц кодирования может измерять ошибку кодирования более глубоких единиц кодирования согласно глубинам посредством использования оптимизации искажения в зависимости от скорости передачи (RD) на основе множителей Лагранжа.

Модуль 130 вывода выводит данные изображений максимальной единицы кодирования, которая кодируется на основе, по меньшей мере, одной кодированной глубины, определенной посредством модуля 120 определения единиц кодирования, и информации относительно режима кодирования согласно кодированной глубине в потоках битов.

Кодированные данные изображений могут быть получены посредством кодирования остаточных данных изображения.

Информация относительно режима кодирования согласно кодированной глубине может включать в себя информацию относительно кодированной глубины, типа сегмента в единице прогнозирования, режима прогнозирования и размера единицы преобразования.

Информация относительно кодированной глубины может быть задана посредством использования информации разбиения согласно глубинам, которая указывает то, выполняется или нет кодирование для единиц кодирования нижней глубины вместо текущей глубины. Если текущая глубина текущей единицы кодирования является кодированной глубиной, кодирование выполняется для текущей единицы кодирования текущей глубины, и в силу этого информация разбиения может быть задана таким образом, чтобы не разбивать текущую единицу кодирования на нижнюю глубину. Альтернативно, если текущая глубина текущей единицы кодирования не является кодированной глубиной, кодирование выполняется для единицы кодирования нижней глубины, и в силу этого информация разбиения может быть задана таким образом, чтобы разбивать текущую единицу кодирования для того, чтобы получать единицы кодирования нижней глубины.

Если текущая глубина не является кодированной глубиной, кодирование выполняется для единицы кодирования, которая разбивается на единицу кодирования нижней глубины. Поскольку, по меньшей мере, одна единица кодирования нижней глубины присутствует в одной единице кодирования текущей глубины, кодирование многократно выполняется для каждой единицы кодирования нижней глубины, и за счет этого кодирование может быть рекурсивно выполнено для единиц кодирования, имеющих идентичную глубину.

Поскольку единицы кодирования, имеющие древовидную структуру, определяются для одной максимальной единицы кодирования, и информация, по меньшей мере, относительно одного режима кодирования определяется для единицы кодирования кодированной глубины, информация, по меньшей мере, относительно одного режима кодирования может быть определена для одной максимальной единицы кодирования. Кроме того, кодированная глубина данных максимальной единицы кодирования может отличаться согласно местоположениям, поскольку данные иерархически разбиваются согласно глубинам, и в силу этого информация относительно кодированной глубины и режима кодирования может задаваться для данных.

Соответственно, модуль 130 вывода согласно варианту осуществления может назначать информацию кодирования относительно соответствующей кодированной глубины и режима кодирования, по меньшей мере, одной из единицы кодирования, единицы прогнозирования и минимальной единицы, включенной в максимальную единицу кодирования.

Минимальная единица согласно варианту осуществления представляет собой прямоугольную единицу данных, полученную посредством разбиения минимальной единицы кодирования, составляющей самую нижнюю глубину, на 4. Альтернативно, минимальная единица может представлять собой максимальную прямоугольную единицу данных, которая может быть включена во все из единиц кодирования, единиц прогнозирования, единиц сегментирования и единиц преобразования, включенных в максимальную единицу кодирования.

Например, информация кодирования, выводимая через модуль 130 вывода, может классифицироваться на информацию кодирования согласно более глубоким единицам кодирования согласно глубинам и информацию кодирования согласно единицам прогнозирования. Информация кодирования согласно более глубоким единицам кодирования согласно глубинам может включать в себя информацию относительно режима прогнозирования и относительно размера сегментов. Информация кодирования согласно единицам прогнозирования может включать в себя информацию относительно оцененного направления внешнего режима, относительно индекса опорного изображения внешнего режима, относительно вектора движения, относительно компонента сигнала цветности внутреннего режима и относительно способа интерполяции внутреннего режима. Кроме того, информация относительно максимального размера единицы кодирования, заданного согласно изображениям, сериям последовательных макроблоков или GOP, и информация относительно максимальной глубины могут вставляться в заголовок потока битов.

Модуль разбиения на максимальные единицы кодирования и модуль 120 определения единиц кодирования соответствуют уровню кодирования видео (VCL), который определяет опорный кадр каждой последовательности формирования изображения кадра с изображением посредством выполнения прогнозирования и компенсации движения согласно единицам кодирования относительно каждого кадра с изображением последовательности изображений и кодирует каждый кадр с изображением посредством использования определенного опорного кадра.

В устройстве 100 кодирования видео согласно простейшему варианту осуществления, более глубокая единица кодирования представляет собой единицу кодирования, полученную посредством деления высоты или ширины единицы кодирования верхней глубины, которая на один слой выше, на два. Другими словами, когда размер единицы кодирования текущей глубины равен 2N×2N, размер единицы кодирования нижней глубины равен N×N. Кроме того, единица кодирования текущей глубины, имеющей размер 2N×2N, может включать в себя максимально 4 единицы кодирования нижней глубины.

Соответственно, устройство 100 кодирования видео согласно варианту осуществления может формировать единицы кодирования, имеющие древовидную структуру, посредством определения единиц кодирования, имеющих оптимальную форму и оптимальный размер для каждой максимальной единицы кодирования, на основе размера максимальной единицы кодирования и максимальной глубины, определенных с учетом характеристик текущего изображения. Кроме того, поскольку кодирование может выполняться для каждой максимальной единицы кодирования посредством использования любого из различных режимов прогнозирования и преобразований частоты, оптимальный режим кодирования может быть определен с учетом характеристик изображений единицы кодирования для различных размеров изображения.

Таким образом, если изображение, имеющее высокое разрешение или большой объем данных, кодируется в традиционном макроблоке, число макроблоков в расчете на изображение чрезмерно увеличивается. Соответственно, увеличивается число фрагментов сжатой информации, сформированной для каждого макроблока, и в силу этого трудно передавать сжатую информацию, и снижается эффективность сжатия данных. Тем не менее, посредством использования устройства 100 кодирования видео согласно варианту осуществления, может повышаться эффективность сжатия изображений, поскольку единица кодирования регулируется с учетом характеристик изображения при увеличении максимального размера единицы кодирования с учетом размера изображения.

Фиг. 2 является блок-схемой устройства декодирования видео согласно варианту осуществления настоящего изобретения.

Устройство 200 декодирования изображений включает в себя средство 210 приема, модуль 220 извлечения данных изображений и информации кодирования и декодер 230 данных изображений. Определения различных терминов, таких как единица кодирования, глубина, единица прогнозирования, единица преобразования и информация относительно различных режимов кодирования, для различных операций устройства 200 декодирования изображений являются идентичными определениям, описанным со ссылкой на фиг. 1 и на устройство 100 кодирования изображений.

Средство 210 приема принимает и синтаксически анализирует поток битов кодированного видео. Модуль 220 извлечения данных изображений и информации кодирования извлекает кодированные данные изображений для каждой единицы кодирования из синтаксически проанализированного потока битов, при этом единицы кодирования имеют древовидную структуру согласно каждой максимальной единице кодирования, и выводит извлеченные данные изображений в декодер 230 данных изображений. Модуль 220 извлечения данных изображений и информации кодирования может извлекать информацию относительно максимального размера единицы кодирования текущего изображения из заголовка относительно текущего изображения.

Кроме того, модуль 220 извлечения данных изображений и информации кодирования извлекает информацию относительно кодированной глубины и режима кодирования для единиц кодирования, имеющих древовидную структуру, согласно каждой максимальной единице кодирования из синтаксически проанализированного потока битов. Извлеченная информация относительно кодированной глубины и режима кодирования выводится в декодер 230 данных изображений. Другими словами, данные изображений в потоке битов разбиваются на максимальные единицы кодирования, так что декодер 230 данных изображений декодирует данные изображений для каждой максимальной единицы кодирования.

Информация относительно кодированной глубины и режима кодирования согласно максимальной единице кодирования может задаваться для информации относительно, по меньшей мере, одной кодированной глубины, и информация относительно режима кодирования согласно каждой кодированной глубине может включать в себя информацию относительно типа сегмента соответствующей единицы кодирования, соответствующей кодированной глубине, режима прогнозирования и размера единицы преобразования. Кроме того, информация разбиения согласно глубинам может быть извлечена в качестве информации относительно кодированной глубины.

Информация относительно кодированной глубины и режима кодирования согласно каждой максимальной единице кодирования, извлеченной посредством модуля 220 извлечения данных изображений и информации кодирования, является информацией относительно определенной кодированной глубины и режима кодирования для того, чтобы формировать наименьшую ошибку кодирования, когда кодер, такой как устройство 100 кодирования видео, многократно выполняет кодирование для каждой более глубокой единицы кодирования согласно глубинам согласно каждой максимальной единице кодирования. Соответственно, устройство 200 декодирования видео может восстанавливать изображение посредством декодирования данных изображений согласно режиму кодирования, который формирует наименьшую ошибку кодирования.

Поскольку информация кодирования относительно кодированной глубины и режима кодирования согласно варианту осуществления может назначаться предварительно определенной единице данных из соответствующей единицы кодирования, единицы прогнозирования и минимальной единицы, модуль 220 извлечения данных изображений и информации кодирования может извлекать информацию относительно кодированной глубины и режима кодирования согласно предварительно определенным единицам данных. Когда информация относительно кодированной глубины соответствую