Способ пространственного прогнозирования, способ декодирования изображений и способ кодирования изображений

Способ пространственного прогнозирования, способ декодирования изображений и способ кодирования изображений

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

[0001] Настоящее изобретение относится к способу пространственного прогнозирования при кодировании и декодировании изображения и, в частности, к направленной пространственной интерполяции, заключающей в себе обнаружение краев, или к эффективной реализации такой интерполяции.

Уровень техники

[0002] Способы пространственного прогнозирования, а именно пространственная интерполяция, используются во множестве вариантов применения. В частности, пространственная интерполяция составляет существенную часть многих приложений кодирования и обработки изображений и видео. В гибридных алгоритмах кодирования изображений или видео пространственное прогнозирование типично используется для определения прогнозирования для блока изображений на основе пикселей уже кодированных/декодированных блоков. С другой стороны, пространственная интерполяция также может быть использована в качестве части постобработки декодированного изображения или видеосигнала, в частности для маскирования ошибок.

[0003] Большая часть стандартизированных алгоритмов кодирования видео основана на гибридном кодировании видео. Способы гибридного кодирования видео типично комбинируют несколько различных схем сжатия без потерь и с потерями, чтобы достигать требуемого выигрыша от сжатия. Гибридное кодирование видео также является основой для стандартов ITU-T (стандартов H.26x, к примеру, H.261 и H.263), а также стандартов ISO/IEC (стандартов MPEG-X, к примеру, MPEG-1, MPEG-2 и MPEG-4). Самый последний и усовершенствованный стандарт кодирования видео в данный момент представляет собой стандарт, обозначенный как усовершенствованное кодирование видео (AVC) H.264/MPEG-4, который является результатом работы по стандартизации посредством Объединенной группы по видеостандартам (JVT), т.е. объединенной группы из коллективов ITU-T и ISO/IEC MPEG.

[0004] Сигнал изображения (входной сигнал или входной видеосигнал), вводимый в кодер (устройство кодирования изображений), является последовательностью изображений, называемых кадрами (видеокадрами), причем каждый кадр является двумерной матрицей пикселей. Все вышеуказанные стандарты на основе гибридного кодирования видео включают в себя разделение каждого отдельного кадра на меньшие блоки, состоящие из множества пикселей. Типично, макроблок (обычно обозначающий блок 16x16 пикселей) является базовым элементом изображения, для которого выполняется кодирование. Тем не менее, различные конкретные этапы кодирования могут быть выполнены для меньших элементов изображения, обозначенных субблоками или просто блоками и имеющих размер, например, 8x8, 4x4 и 16x8.

[0005] В интракодировании в соответствии с H.264/MPEG-4 AVC пространственное прогнозирование выполняется для субблоков или макроблоков размеров 8x8, 4x4, 16x16, чтобы уменьшить пространственную избыточность. Пространственное прогнозирование также упоминается как пространственная интерполяция, интрапрогнозирование или внутрикадровое прогнозирование. Пространственное прогнозирование с использованием пространственного направления упоминается как направленное пространственное прогнозирование. Кроме того, кодирование с использованием такого пространственного прогнозирования упоминается как интракодирование или пространственное кодирование, и изображение или блок, который интракодирован, является интракодированным изображением или интракодированным блоком. Внутрикадровое прогнозирование использует предварительно заданный набор режимов интрапрогнозирования (режимы пространственного прогнозирования, включающие в себя режим направленного прогнозирования), которые по существу прогнозируют текущий (цель прогнозирования) блок с использованием граничных пикселей уже кодированных соседних блоков.

[0006] Фиг. 1 схематично иллюстрирует восемь режимов направленного пространственного прогнозирования, используемых для субблоков 4x4 пикселей. Различные типы (режимы) направленного пространственного прогнозирования означают различные краевые направления, т.е. направление применяемой двумерной экстраполяции, как проиллюстрировано на фиг. 1. Существует восемь различных режимов направленного прогнозирования и один режим DC-прогнозирования для субблоков размеров 4x4 и 8x8 и три различных режима направленного прогнозирования и один режим DC-прогнозирования для макроблоков 16x16 пикселей.

[0007] Восемь из режимов направленного пространственного прогнозирования помечаются посредством значения 302 диапазона {0, 1, 3, 4, 5, 6, 7, 8} и ассоциируются с прогнозированиями в восьми различных направлениях 301. Оставшийся один режим прогнозирования (режим пространственного прогнозирования) помечается посредством значения 2 и называется "режимом DC-прогнозирования". В режиме DC-прогнозирования все пиксели в блоке прогнозируются посредством одного значения, которое является средним значением окружающих опорных пикселей. В восьми режимах направленного пространственного прогнозирования текущий блок прогнозируется таким образом, что опорные пиксели повторяются вдоль соответствующих направлений 301. Например, вертикальный режим, который является режимом направленного пространственного прогнозирования, помеченным "0", вертикально повторяет опорные пиксели строки непосредственно выше текущего блока. Горизонтальный режим, который является режимом направленного пространственного прогнозирования, помеченным "1", горизонтально повторяет опорные пиксели столбца непосредственно слева от текущего блока. Оставшиеся режимы направленного пространственного прогнозирования, помеченные значениями от 3 до 8, являются диагональными режимами интрапрогнозирования, согласно которым опорные пиксели по диагонали повторяются в соответствующих диагональных направлениях.

[0008] При кодировании видео интракодированные блоки служат для восстановления видеопоследовательности и прекращения распространения ошибки. Тем не менее, эффективность пространственного кодирования ниже производительности временного кодирования (интеркодирования), что приводит к меньшему полному выигрышу от сжатия, а также к высоким варьированиям результирующей скорости передачи битов.

[0009] Чтобы повысить эффективность кодирования, предлагается улучшенное пространственное прогнозирование, при котором число направлений экстраполяции для прогнозирования пикселей блока не ограничивается восемью (см. PTL 1). Наоборот, обнаружение краев выполняется в уже декодированных соседних блоках в PTL 1. На основе обнаружения края, определенного в качестве доминирующего, пиксели блока экстраполируются или интерполируются возможно от субпиксельной позиции между пикселями, принадлежащими соседнему блоку.

[0010] PTL 1 предоставляет более точное определение направления прогнозирования. Это приводит к более точному пространственному прогнозированию, что, с другой стороны, приводит к меньшему сигналу ошибки прогнозирования (разности между текущим блоком и прогнозированным блоком) и, таким образом, к лучшему сжатию.

[0011] Патентные документы

PTL 1

Публикация европейской патентной заявки № 2081386

Сущность изобретения

Техническая задача

[0012] Тем не менее, обнаружение краев и экстраполяция или интерполяция в направлении обнаруженного доминирующего края требуют множества довольно сложных вычислений, к примеру, делений, что повышает сложность и снижает легкость реализации кодирования и/или декодирования. Во многих вариантах применения необходимо, чтобы, по меньшей мере, декодер (устройство декодирования изображений) имел максимально возможно низкую сложность. В частности, использование в устройствах с ограниченным электропитанием и/или способами обработки требует реализаций с низкой сложностью кодера и/или декодера.

[0013] Настоящее изобретение создано, чтобы разрешить упомянутые проблемы, и цель настоящего изобретения состоит в том, чтобы предоставить способ пространственного прогнозирования, который может уменьшить сложность пространственного прогнозирования.

Решение задачи

[0014] Для достижения этой цели способ пространственного прогнозирования согласно аспекту настоящего изобретения является способом пространственного прогнозирования для пространственного прогнозирования пиксельного значения в каждой пиксельной позиции в текущем блоке, включенном в изображение, и способ включает в себя: обнаружение края, который перекрывает текущий блок, посредством получения горизонтального градиента и вертикального градиента между пикселями в блоке, смежном с текущим блоком; вычисление целочисленного наклона на основе, по меньшей мере, одного из горизонтального градиента и вертикального градиента, причем целочисленный наклон указывает целочисленное значение наклона обнаруженного края; определение субпиксельной позиции для каждой из пиксельных позиций в текущем блоке, причем субпиксельная позиция является пересечением между (i) линией, которая имеет вычисленный целочисленный наклон и проходит через пиксельную позицию, и (ii) границей смежного блока; и прогнозирование, для каждой из пиксельных позиций, пиксельного значения в пиксельной позиции на основе пиксельного значения, интерполированного в субпиксельной позиции, определенной для пиксельной позиции, при этом граница смежного блока является строкой или столбцом, который является ближайшим к текущему блоку, из множества строк или множества столбцов пикселей, включенных в смежный блок.

[0015] Таким образом, сначала вычисляется целочисленный наклон края, который перекрывает текущий блок (края, входящего в текущий блок), и субпиксельная позиция, соответствующая каждой из пиксельных позиций в текущем блоке, определяется согласно целочисленному наклону. Здесь, субпиксельная позиция для каждой из пиксельных позиций в текущем блоке может быть определена с использованием целочисленного наклона без деления. Таким образом, можно избегать деления для каждой из пиксельных позиций в текущем блоке. Другими словами, для каждой из пиксельных позиций в текущем блоке возможно избегать (i) умножения значения координат, горизонтального или вертикального для пиксельной позиции, на один из горизонтального компонента и вертикального компонента края, и (ii) деления результата умножения на другой из горизонтального компонента и вертикального компонента. Как результат, даже когда вычисление целочисленного наклона края требует деления только один раз, можно избегать деления для каждой из пиксельных позиций в текущем блоке, и сложность пространственного прогнозирования может быть уменьшена. Другими словами, сложные операции могут быть устранены.

[0016] Другими словами, способ пространственного прогнозирования согласно аспекту настоящего изобретения охарактеризован вычислением целочисленного наклона обнаруженного края только для текущего блока на основе, по меньшей мере, одного из вертикального градиента и горизонтального градиента и определением пересечения линии целочисленного наклона и строки или столбца граничных пикселей в соседних блоках.

[0017] Кроме того, при вычислении, один из горизонтального градиента и вертикального градиента может масштабироваться посредством 2 в степени с и целочисленный наклон может быть вычислен с использованием масштабированного одного из горизонтального градиента и вертикального градиента, где c является положительным целым числом, и при определении, субпиксельная позиция для пиксельной позиции может быть вычислена посредством умножения целочисленного наклона, образованного посредством масштабирования, на значение координат, горизонтальное или вертикальное для пиксельной позиции, которая должна быть прогнозирована в текущем блоке.

[0018] Поскольку целочисленный наклон вычисляется посредством масштабирования одного из вертикального градиента и горизонтального градиента посредством 2 в степени с, точность целочисленного наклона может быть повышена посредством масштабирования, когда целочисленный наклон вычисляется посредством деления, при котором значение, указывающее градиент, который должен быть масштабирован, используется в качестве числа, которое должно быть поделено (числителя). Кроме того, поскольку выполняется масштабирование посредством 2 в степени с, масштабирование может легко выполняться посредством сдвига битов значения влево. Кроме того, субпиксельная позиция, вычисленная посредством этого масштабирования, может легко заново масштабироваться посредством сдвига битов значения вправо. Кроме того, поскольку точность целочисленного наклона является большей, точность субпиксельной позиции может быть повышена.

[0019] Способ пространственного прогнозирования дополнительно может включать в себя вычисление значения с, используя функцию одного из горизонтального градиента и вертикального градиента.

[0020] Соответственно, может быть реализовано масштабирование с использованием надлежащего c. Например, целочисленный наклон вычисляется посредством деления, при котором значение, указывающее градиент, который должен быть масштабирован, используется в качестве числа, которое должно быть поделено (числителя). Когда значение больше, избыток целочисленного наклона может быть предотвращен посредством задания c так, что оно применяется к меньшему градиенту.

[0021] Кроме того, при вычислении результат деления может быть получен при обращении к таблице деления, сохраненной в запоминающем устройстве, и целочисленный наклон может быть вычислен с использованием полученного результата деления, причем при делении используют, в качестве делителя, значение, указывающее один из горизонтального градиента и вертикального градиента, и таблица деления указывает, для каждого предварительно определенного значения, предварительно определенное значение и результат деления с использованием предварительно определенного значения в качестве делителя.

[0022] Соответственно, поскольку для каждого из значений выполняется обращение к таблице деления, указывающей результат деления, при котором предварительно определенное значение используется в качестве делителя (знаменателя), результат может быть легко получен без фактического выполнения деления, при котором значение, указывающее один из горизонтального градиента и вертикального градиента, используется в качестве делителя (знаменателя). Целочисленный наклон может быть легко, т.е. с низкой сложностью, вычислен с использованием результата деления.

[0023] Здесь, запоминающее устройство может быть внутренним запоминающим устройством или внешним запоминающим устройством устройства, которое прогнозирует пиксельное значение (модуля интрапрогнозирования). Кроме того, в результате деления, указываемого в таблице деления, число, которое должно быть поделено (числитель), предпочтительно составляет 2 в степени a, где a является положительным целым числом. Также предпочтительно, что значение a является функцией от горизонтального или вертикального градиента, в частности функцией от градиента, применяемого в качестве делителя. Это обеспечивает выбор большего a для большего делителя и меньшего a для меньшего делителя, приводя к дополнительному повышению точности прогнозирования.

[0024] Кроме того, максимальное значение предварительно определенного значения, указываемого в таблице деления, может быть 2 в степени b, где b является целым числом, и при вычислении, когда значение, указывающее один из горизонтального градиента и вертикального градиента, используемого в качестве делителя, превышает 2 в степени b, один из горизонтального градиента и вертикального градиента может масштабироваться посредством сдвига битов значения вправо, чтобы получать результат деления с использованием, в качестве делителя, значения, указывающего масштабированное один из горизонтального градиента и вертикального градиента.

[0025] Соответственно, когда значение, указывающее один из горизонтального градиента и вертикального градиента в качестве делителя, превышает 2 в степени b, т.е. максимальное предварительно определенное значение, указываемое в таблице деления, биты значения, указывающего градиент, сдвигаются вправо, и результат деления с использованием значения, биты которого сдвинуты, в качестве делителя получается из таблицы деления. Таким образом, даже при ограничении в таблице деления, результат деления может быть легко получен сверх ограничения.

[0026] Кроме того, при вычислении, целочисленный наклон может быть вычислен посредством деления значения, указывающего один из горизонтального градиента и вертикального градиента, на значение, указывающее другое из горизонтального градиента и вертикального градиента, когда пиксельное значение в каждой из пиксельных позиций в текущем блоке прогнозируется, весовые коэффициенты могут задаваться согласно расстоянию, на границе, между субпиксельной позицией, определенной для пиксельной позиции, и каждой из полнопиксельных позиций, смежных с субпиксельной позицией, и пиксельное значение в субпиксельной позиции может быть интерполировано посредством задания соответствующего одного из весовых коэффициентов каждому пиксельному значению полнопиксельных позиций и вычисления взвешенного среднего пиксельных значений.

[0027] Соответственно, пиксельное значение в субпиксельной позиции может быть надлежащим образом интерполировано.

[0028] Кроме того, при вычислении, целочисленный наклон может быть вычислен только для текущего блока, и при определении, субпиксельная позиция может быть определена для каждой из пиксельных позиций в текущем блоке с использованием целочисленного наклона, который является общим для пиксельных позиций.

[0029] Поскольку один целочисленный наклон вычисляется для текущего блока, вычислительная нагрузка может быть уменьшена.

[0030] Настоящее изобретение может быть реализовано не только как такой способ пространственного прогнозирования, но также и как устройство и интегральная схема, каждая из которых прогнозирует пространство посредством способа пространственного прогнозирования как программа, заставляющая компьютер прогнозировать пространство согласно способу пространственного прогнозирования, и как носитель записи, который сохраняет программу. Кроме того, настоящее изобретение также может быть реализовано как устройство кодирования изображений и интегральная схема, каждая из которых кодирует изображение с использованием пространства, прогнозированного посредством способа пространственного прогнозирования, способ кодирования изображений для кодирования изображения как такового, программа, заставляющая компьютер кодировать изображение согласно способу кодирования изображений, и носитель записи, который сохраняет программу. Кроме того, настоящее изобретение также может быть реализовано как устройство декодирования изображений и интегральная схема, каждая из которых декодирует изображение с использованием пространства, прогнозированного посредством способа пространственного прогнозирования, способ декодирования изображений для декодирования изображения как такового, программа, заставляющая компьютер декодировать изображение согласно способу декодирования изображений, и носитель записи, который сохраняет программу.

[0031] Устройство пространственного прогнозирования согласно аспекту настоящего изобретения является устройством пространственного прогнозирования, которое пространственно прогнозирует пиксельное значение в каждой пиксельной позиции в текущем блоке, включенном в изображение, и устройство включает в себя: модуль обнаружения, выполненный с возможностью обнаруживать край, который перекрывает текущий блок, посредством получения горизонтального градиента и вертикального градиента между пикселями в блоке, смежном с текущим блоком; модуль вычисления, выполненный с возможностью вычислять целочисленный наклон на основе, по меньшей мере, одного из горизонтального градиента и вертикального градиента, причем целочисленный наклон указывает целочисленное значение наклона обнаруженного края; модуль определения, выполненный с возможностью определять субпиксельную позицию для каждой из пиксельных позиций в текущем блоке, причем субпиксельная позиция является пересечением между (i) линией, которая имеет вычисленный целочисленный наклон и проходит через пиксельную позицию, и (ii) границей смежного блока; и модуль прогнозирования, выполненный с возможностью прогнозировать, для каждой из пиксельных позиций, пиксельное значение в пиксельной позиции на основе пиксельного значения, интерполированного в субпиксельной позиции, определенной для пиксельной позиции, при этом граница смежного блока является строкой или столбцом, который является ближайшим к текущему блоку из множества строк или множества столбцов пикселей, включенных в смежный блок.

[0032] Кроме того, модуль вычисления может быть выполнен с возможностью масштабировать один из горизонтального градиента и вертикального градиента посредством 2 в степени с и вычислять целочисленный наклон с использованием масштабированного одного из горизонтального градиента и вертикального градиента, где c является положительным целым числом, и модуль определения может быть выполнен с возможностью вычислять субпиксельную позицию для пиксельной позиции посредством умножения целочисленного наклона, образованного посредством масштабирования, на значение координат, горизонтальное или вертикальное к пиксельной позиции, которая должна быть прогнозирована в текущем блоке.

[0033] Устройство пространственного прогнозирования дополнительно может включать в себя модуль вычисления коэффициентов, выполненный с возможностью вычислять значение с использованием функции от одного из горизонтального градиента (Gy) и вертикального градиента (Gx).

[0034] Кроме того, модуль вычисления может быть выполнен с возможностью получать результат деления при обращении к таблице деления, сохраненной в запоминающем устройстве, и вычислять целочисленный наклон с использованием полученного результата деления, причем деление использует, в качестве делителя, значение, указывающее один из горизонтального градиента (Gy) и вертикального градиента (Gx), и таблица деления указывает, для каждого предварительно определенного значения, предварительно определенное значение и результат деления с использованием предварительно определенного значения в качестве делителя.

[0035] Кроме того, максимальное значение предварительно определенного значения, указываемого в таблице деления, может быть 2 в степени b, где b является целым числом, и когда значение, указывающее один из горизонтального градиента (Gy) и вертикального градиента (Gx), используемого в качестве делителя, превышает 2 в степени b, модуль вычисления может быть выполнен с возможностью масштабировать один из горизонтального градиента и вертикального градиента посредством сдвига битов значения вправо, чтобы получать результат деления с использованием, в качестве делителя, значения, указывающего масштабированный один из горизонтального градиента и вертикального градиента.

[0036] Кроме того, модуль вычисления может быть выполнен с возможностью вычислять целочисленный наклон посредством деления значения, указывающего один из горизонтального градиента (Gy) и вертикального градиента (Gx), на значение, указывающее другое из горизонтального градиента и вертикального градиента, и модуль прогнозирования может быть выполнен с возможностью задавать весовые коэффициенты согласно расстоянию, на границе, между субпиксельной позицией, определенной для пиксельной позиции, и каждой из полнопиксельных позиций, смежных с субпиксельной позицией, и интерполировать пиксельное значение в субпиксельной позиции посредством задания соответствующего одного из весовых коэффициентов каждому пиксельному значению полнопиксельных позиций и вычисления взвешенного среднего пиксельных значений.

[0037] Кроме того, модуль вычисления может быть выполнен с возможностью вычислять целочисленный наклон только для текущего блока, и модуль определения может быть выполнен с возможностью определять субпиксельную позицию для каждой из пиксельных позиций в текущем блоке с использованием целочисленного наклона, который является общим для пиксельных позиций.

Преимущества изобретения

[0038] Способ пространственного прогнозирования согласно настоящему изобретению может уменьшить сложность пространственного прогнозирования.

Краткое описание чертежей

[0039] Фиг. 1 схематично иллюстрирует восемь режимов направленного прогнозирования, используемых для субблоков 4x4 пикселей.

Фиг. 2 является блок-схемой устройства кодирования изображений согласно варианту 1 осуществления настоящего изобретения.

Фиг. 3 является блок-схемой устройства декодирования изображений согласно варианту 1 осуществления.

Фиг. 4A иллюстрирует краевой вектор и его проекции на ортогональные оси X и Y согласно варианту 1 осуществления.

Фиг. 4B показывает растр из 4x4 пикселей блока, который должен быть экстраполирован, т.е. блока, который должен быть прогнозирован посредством экстраполяции, согласно варианту 1 осуществления.

Фиг. 4C иллюстрирует пример, в котором край входит в блок, который должен быть прогнозирован, с левой стороны согласно варианту 1 осуществления.

Фиг. 4D иллюстрирует другой пример краевого направления согласно варианту 1 осуществления.

Фиг. 5 является блок-схемой последовательности операций способа, указывающей процессы, выполняемые посредством модуля интрапрогнозирования согласно варианту 1 осуществления.

Фиг. 6 является примером системы согласно варианту 1 осуществления.

Фиг. 7 является блок-схемой последовательности операций способа, указывающей способ пространственного прогнозирования согласно аспекту настоящего изобретения.

Фиг. 8 иллюстрирует общую конфигурацию системы предоставления контента для реализации услуг распространения контента.

Фиг. 9 иллюстрирует общую конфигурацию системы цифровой широковещательной передачи.

Фиг. 10 иллюстрирует блок-схему примера конфигурации телевизионного приемника.

Фиг. 11 является блок-схемой, иллюстрирующей пример конфигурации модуля воспроизведения/записи информации, который считывает и записывает информацию с или на носитель записи, который является оптическим диском.

Фиг. 12 иллюстрирует пример конфигурации носителя записи, который является оптическим диском.

Фиг. 13A иллюстрирует пример сотового телефона.

Фиг. 13B иллюстрирует блок-схему примера конфигурации сотового телефона.

Фиг. 14 иллюстрирует структуру мультиплексированных данных.

Фиг. 15 схематично иллюстрирует, как каждый поток мультиплексируется в мультиплексированные данные.

Фиг. 16 подробнее иллюстрирует, как видеопоток сохраняется в потоке PES-пакетов.

Фиг. 17 иллюстрирует структуру TS-пакетов и исходных пакетов в мультиплексированных данных.

Фиг. 18 иллюстрирует структуру данных PMT.

Фиг. 19 иллюстрирует внутреннюю структуру информации мультиплексированных данных.

Фиг. 20 иллюстрирует внутреннюю структуру информации атрибутов потока.

Фиг. 21 иллюстрирует этапы для идентификации видеоданных.

Фиг. 22 является блок-схемой, иллюстрирующей пример конфигурации интегральной схемы для реализации способа кодирования изображений и способа декодирования изображений согласно каждому из вариантов осуществления.

Фиг. 23 иллюстрирует конфигурацию для переключения между частотами возбуждения.

Фиг. 24 иллюстрирует этапы для идентификации видеоданных и переключения между частотами возбуждения.

Фиг. 25 иллюстрирует пример таблицы соответствия, в которой стандарты видеоданных ассоциированы с частотами возбуждения.

Фиг. 26A иллюстрирует пример конфигурации для совместного использования модуля обработки сигналов.

Фиг. 26B иллюстрирует другой пример конфигурации для совместного использования модуля обработки сигналов.

Подробное описание вариантов осуществления

[0040] Варианты осуществления для реализации настоящего изобретения будут описаны со ссылкой на чертежи.

[0041] Первый вариант осуществления

Фиг. 2 является блок-схемой, иллюстрирующей пример кодера 100 согласно варианту 1 осуществления. Кодер 100 включает в себя модуль 105 вычитания, модуль 110 квантования с преобразованием, модуль 120 обратного квантования и обратного преобразования, модуль 125 сложения, фильтр 130 удаления блочности, запоминающее устройство 140, интерполяционный фильтр 150, модуль 160 прогнозирования с компенсацией движения, модуль 165 оценки движения, модуль 170 интрапрогнозирования, модуль 175 переключения интра-/интеррежима, модуль 180 расчетов для постфильтра и модуль 190 энтропийного кодирования.

[0042] Модуль 105 вычитания сначала определяет разности (сигнал ошибки прогнозирования, остаточный сигнал или блок ошибки прогнозирования) между текущим блоком, который должен быть кодирован, входного видеосигнала (входного сигнала) и соответствующим прогнозированным блоком (сигналом прогнозирования), прогнозированным для текущего блока. Сигнал прогнозирования (прогнозированный блок) получают либо посредством временного прогнозирования (интерпрогнозирования), либо посредством пространственного прогнозирования. Тип прогнозирования может варьироваться на покадровой основе, в расчете на серию последовательных макроблоков или в расчете на макроблок.

[0043] Прогнозирующее кодирование с использованием временного прогнозирования упоминается как интеркодирование и прогнозирующее кодирование с использованием пространственного прогнозирования упоминается как интракодирование. Тип прогнозирования для видеокадра может задаваться пользователем или выбираться посредством кодера 100 с тем, чтобы достигать возможно высокого выигрыша от сжатия. Переключатель 175 интра-/интеррежима предоставляет соответствующий сигнал прогнозирования в модуль 105 вычитания согласно выбранному типу прогнозирования. Сигнал прогнозирования с использованием временного прогнозирования извлекается из ранее кодированных изображений, которые сохраняются в запоминающем устройстве 140. Сигнал прогнозирования с использованием пространственного прогнозирования извлекается из значений граничных пикселей в соседних блоках того же кадра, которые ранее кодированы, декодированы и сохранены в запоминающем устройстве 140. Запоминающее устройство 140 тем самым работает в качестве модуля задержки, который дает возможность сравнения между текущими значениями сигналов (пиксельными значениями), которые должны быть кодированы, и значениями сигналов прогнозирования (пиксельными значениями), сформированными из предыдущих значений сигналов. Запоминающее устройство 140 может сохранять множество ранее кодированных (и декодированных) кадров. Модуль 110 квантования с преобразованием преобразует разности между входным сигналом и сигналом прогнозирования в коэффициенты (частотные коэффициенты) и квантует разности. Разности представляются посредством сигнала ошибки прогнозирования или остаточного сигнала. Модуль 190 энтропийного кодирования выполняет энтропийное кодирование для квантованных коэффициентов (кодированного видеоизображения или кодированной видеопоследовательности), чтобы дополнительно уменьшать объем данных без потерь. Это, главным образом, достигается посредством применения кода к кодовым словам переменной длины, при этом длина кодового слова выбирается на основе вероятности его появления. Модуль 190 энтропийного кодирования выводит кодированный сигнал (поток битов), включающий в себя энтропийно кодированное видео.

[0044] Интракодированные изображения (называемые также изображениями I-типа или I-кадрами) состоят только из макроблоков, которые интракодированы, т.е. интракодированные изображения могут быть декодированы независимо от других ранее декодированных изображений. Интракодированные изображения обеспечивают устойчивость к ошибкам для кодированной видеопоследовательности (кодированного видеоизображения), поскольку они восстанавливают кодированную видеопоследовательность после ошибок, возможно распространяемых между кадрами вследствие временного прогнозирования. Кроме того, I-кадры предоставляют произвольный доступ в последовательности кодированных видеоизображений.

[0045] Модуль 170 интрапрогнозирования использует предварительно заданный набор режимов интрапрогнозирования. Некоторые режимы интрапрогнозирования прогнозируют текущий блок с использованием граничных пикселей уже кодированных соседних блоков. Другие режимы интрапрогнозирования, такие как, например, сопоставление с шаблонами, используют область поиска, состоящую из уже кодированных пикселей, принадлежащих тому же кадру.

[0046] Предварительно заданный набор режимов интрапрогнозирования включает в себя некоторые режимы направленного пространственного интрапрогнозирования. Различные режимы направленного интрапрогнозирования означают различные направления применяемого двумерного прогнозирования. Это дает возможность эффективного пространственного интрапрогнозирования в случае различных краевых направлений. Модуль 105 вычитания вычитает сигнал прогнозирования, полученный посредством такого интрапрогнозирования, из входного сигнала, как описано выше. Кроме того, модуль 170 интрапрогнозирования выводит информацию режима интрапрогнозирования (не показано на фиг. 2), указывающую режим интрапрогнозирования, в модуль 190 энтропийного кодирования. Модуль 190 энтропийного кодирования энтропийно кодирует информацию режима интрапрогнозирования и выводит энтропийно кодированную информацию режима интрапрогнозирования вместе с кодированным сигналом. Модуль 170 интрапрогнозирования согласно варианту 1 осуществления дополнительно выполняет отличительное пространственное прогнозирование, помимо такой обработки. Ниже описывается отличительное пространственное прогнозирование.

[0047] В кодер 100 включен модуль декодирования для получения декодированного сигнала (локального декодированного сигнала). Другими словами, кодер 100 включает в себя обратное квантование и обратное преобразование 120, так что декодирование выполняется согласно обработке кодирования. Модуль 120 обратного квантования и обратного преобразования выполняет обратное квантование и обратное ортогональное преобразование (обратное частотное преобразование) для квантованного значения, полученного посредством выполнения ортогонального преобразования (частотного преобразования) и квантования для сигнала ошибки прогнозирования. Как результат, модуль 120 обратного квантования и обратного преобразования формирует и выводит декодированный сигнал ошибки прогнозирования.

[0048] Декодированный сигнал ошибки прогнозирования отличается от исходного сигнала ошибки прогнозирования вследствие ошибки квантования, называемой также шумом квантования. Модуль 125 сложения суммирует декодированный сигнал ошибки прогнозирования с сигналом прогнозирования, чтобы получить восстановленный сигнал (восстановленное изображение). Чтобы поддерживать совместимость между кодером 100 (устройством кодирования изображений) и декодером (устройством декодирования изображений), составляющие элементы интерполяционного фильтра 150, модуля 170 интрапрогнозирования и модуля 160 прогнозирования с компенсацией движения получают сигнал прогнозирования на основе кодированного и затем декодированного входного сигнала (декодированного сигнала), который известен как в кодере 100, так и в декодере. Вследствие квантования шум квантования накладывается на восстановленный сигнал. Вследствие поблочного кодирования наложенный шум зачастую имеет характеристики блочности, которые приводят, в частности, для сильного квантования, к видимым границам блоков в восстановленном изображении (изображении, указываемом посредством восстановленного сигнала). Чтобы уменьшать эти артефакты, фильтр 130 удаления блочности выполняет фильтрацию для удаления блочности для каждого блока восста