Способ и устройство обработки изображения

Способ и устройство обработки изображения

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к способу и устройству для обработки изображения и более конкретно к способу и устройству для обработки изображения, которые позволяют генерировать прогнозируемое изображение с высокой точностью без увеличения процессорной нагрузки.

Уровень техники

Обычно в качестве схем кодирования для обработки движущихся изображений применяют алгоритмы кодирования с использованием компенсации движения, такие как MPEG (Группа экспертов по движущимся изображениям) или Н.26х, и ортогональные преобразования, такие как дискретное косинусное преобразование, преобразование Карунена-Лоэва или вэйвлетное преобразование (преобразование по элементарным волнам). В таких способах кодирования движущихся изображений уменьшение объема кода достигается путем использования корреляции в пространственном направлении и по оси времени между характеристиками входного сигнала изображения, который подлежит кодированию.

Например, согласно стандарту Н.264, применяют однонаправленное или двунаправленное прогнозирование в процессе генерации интер-кадра, т.е. кадра, который должен быть подвергнут обработке с межкадровым прогнозированием (интер-прогнозирование) с использованием корреляции в направлении оси времени. При межкадровом прогнозировании генерируют прогнозируемое изображение на основе кадров, имеющих место в разные моменты времени.

Фиг.1 представляет схему, иллюстрирующую пример однонаправленного прогнозирования.

Как показано на фиг.1, когда подлежащий кодированию кадр Р₀, т.е. кадр, соответствующий текущему моменту времени, генерируют с использованием однонаправленного прогнозирования, компенсацию движения осуществляют с применением, в качестве опорных кадров, уже кодированного кадра, соответствующего прошедшему или будущему моменту времени относительно текущего момента времени. Остаточную погрешность между прогнозируемым изображением и реальным изображением кодируют с применением корреляции в направлении оси времени, что позволяет уменьшить объем кода. Информацию опорного кадра и вектор движения используют, соответственно, в качестве информации, определяющей опорный кадр, и информации, определяющей опорную позицию в этом опорном кадре, и передают эти блоки информации от кодирующей стороны декодирующей стороне.

Здесь число опорных кадров не обязательно равно одному. Например, согласно стандарту Н.264 можно использовать несколько кадров в качестве опорных кадров. Как показано на фиг.1, если два кадра, расположенных во времени ближе к подлежащему кодированию кадру Р₀, обозначены в качестве опорных кадров R₀ и R₁, величины пикселов в произвольном макроблоке в составе подлежащего кодированию кадра Р₀, можно предсказать на основе величин произвольных пикселов в опорном кадре R₀ или R₁.

На фиг.1 прямоугольники, выделенные внутри каждого кадра, представляют макроблоки. Если в подлежащем кодированию кадре Р₀ макроблок, который нужно прогнозировать, является макроблоком MB_P0, тогда в опорном кадре R₀ этому макроблоку MB_P0 соответствует макроблок MB_R0, определяемый вектором движения MV₀. Кроме того, в опорном кадре R₁ рассматриваемому макроблоку соответствует макроблок MB_R1, определяемый вектором движения MV₁.

Если величины пикселов в макроблоках MB_R0 и MB_R1 (значения пикселов в изображениях с компенсацией движения) обозначить MC₀(i, j) и MC₁(i, j), то поскольку величины пикселов любого из изображений с компенсацией движения используются в качестве величин пикселов прогнозируемого изображения для случая однонаправленного прогнозирования, прогнозируемое изображение Pred(i, j) представлено уравнением (1) ниже. Здесь (i, j) обозначает относительное положение пиксела в макроблоке и удовлетворяет условию 0≤i≤16 и 0≤j≤16. В уравнении (1), знак “||” указывает, что берут только одну из величин MC₀(i, j) или MC₁(i, j).

Pr e d ( i , j ) = M C 0 ( i , j ) | | M C 1 ( i , j ) …   ( 1 )

Отметим, что можно также разбить один макроблок размером 16×16 пикселов на меньшие блоки размером, например, 16×8 пикселов и выполнить компенсацию движения для каждого индивидуального блока, образованного в результате разбиения, с применением ссылки на разные опорные кадры. В результате передачи вектора движения с десятичной погрешностью, а не вектора движения с целочисленной погрешностью, и выполнения интерполяции с применением фильтра с конечной импульсной характеристикой (FIR) или КИХ-фильтра, определенного в стандарте, можно использовать величины пикселов, окружающих соответствующую рассматриваемую точку, для компенсации движения.

Фиг.2 представляет схему, иллюстрирующую пример двунаправленного прогнозирования.

Как показано на фиг.2, когда подлежащий кодированию кадр В₀, т.е. кадр, соответствующий текущему моменту времени, генерируют с использованием двунаправленного прогнозирования, компенсацию движения осуществляют с применением, в качестве опорных кадров, уже кодированных кадров, соответствующих прошедшим и будущим моментам времени относительно текущего момента времени. Здесь в качестве опорных кадров используют несколько уже кодированных кадров, а остаточную погрешность между прогнозируемым изображением и реальным изображением кодируют с применением корреляции между этими опорными кадрами, что позволяет уменьшить объем кода. Согласно стандарту Н.264 можно также в качестве опорных кадров использовать несколько кадров из прошлого и несколько кадров из будущего.

Как показано на фиг.2, если кадр из прошлого и кадр из будущего относительно подлежащего кодированию кадра В₀, служащего базой, выбраны в качестве опорных кадров L₀ и L₁, величины пикселов в произвольном макроблоке в составе подлежащего кодированию кадра В₀ можно предсказать на основе величин произвольных пикселов в опорных кадрах L₀ и L₁.

В примере, показанном на фиг.2, макроблок опорного кадра L₀, соответствующий макроблоку MB_B0 в подлежащем кодированию кадре В₀, обозначен в качестве макроблока MB_L0, определяемого вектором движения MV₀. Кроме того, макроблок опорного кадра L₁, соответствующий макроблоку MB_B0 в подлежащем кодированию кадре В₀, обозначен в качестве макроблока MB_L1, определяемого вектором движения MV₁.

Если величины пикселов в макроблоках MB_L0 и MB_L1 обозначить MC₀(i, j) и MC₁(i, j), соответственно, тогда величина пиксела Pred(i, j) в составе прогнозируемого изображения Pred(i, j) может быть получена как среднее значение для этих величин пикселов, согласно следующему уравнению (2).

Pr e d ( i , j ) = ( M C 0 ( i , j ) + M C 1 ( i , j ) ) / 2 …   ( 2 )

При такой компенсации движения, как описано выше при рассмотрении однонаправленного прогнозирования, точность прогнозируемого изображения улучшается путем повышения точности вектора движения и уменьшения размеров макроблока, чтобы уменьшить остаточную погрешность относительно реального изображения, что обеспечивает повышение эффективности кодирования.

Более того, при компенсации движения с применением двунаправленного прогнозирования в качестве величин пикселов прогнозируемого изображения используют средние значения величин пикселов опорных кадров, расположенных близко по времени, что делает возможным стабильное с вероятностной точки зрения уменьшение остаточной погрешности прогнозирования.

Перечень литературы

Непатентная литература

NPL 1: «Улучшение разрешения путем совмещения изображений», Михал Ирани и Шмуэль Пелег, Отделение компьютерных наук, Еврейский университет Иерусалима, 91904 Иерусалим, Израиль, передал Рама Хеллапа, получено 16 июня 1989 г.; принято 25 мая 1990 г. («Improving Resolution by Image Registration», MICHAL IRANI AND SHMUEL PELEG, Department of Computer Science, The Hebrew University of Jerusalem, 91904 Jerusalem, Israel, Communicated by Rama Chellapa, Received June 16, 1989; accepted May 25, 1990)

Раскрытие изобретения

Техническая проблема

В случае обычного однонаправленного прогнозирования, даже если можно выбирать из нескольких опорных кадров, необходимо избирательно использовать величины пикселов из какого-либо одного из опорных кадров в качестве величин пикселов кадра, подлежащего кодированию. Таким образом, поскольку невыбранный опорный кадр не используется для компенсации движения, корреляция по времени между этим опорным кадром и кадром, подлежащим кодированию, не может быть использована в достаточной степени, так что остается значительное пространство для усовершенствования с точки зрения повышения эффективности кодирования.

Кроме того, в случае обычного двунаправленного прогнозирования в качестве величин пикселов кадра, подлежащего кодированию, используют среднее значение величин пикселов двух опорных кадров, так что осуществляется фильтрация нижних частот по времени, вследствие чего в прогнозируемом изображении оказываются утрачены высокочастотные составляющие. В результате, поскольку сигнал остаточной погрешности, включающий высокочастотные составляющие, кодировать уже невозможно, изображение, полученное посредством декодирования, не включает высокочастотные составляющие, что приводит к деградации разрешения изображения.

Настоящее изобретение было создано с учетом такой ситуации и предназначено для предоставления возможности генерации высокоточного прогнозируемого изображения без увеличения процессорной нагрузки.

Решение проблемы

Устройство обработки изображения согласно одному из аспектов настоящего изобретения включает в себя средства определения для определения в соответствии с числом отводов фильтра, используемого для осуществления фильтрации, числа пикселов по ширине полосы, располагаемой вне макроблока, включающего опорный блок, представляющий собой блок декодированного опорного кадра, и находящейся в контакте с опорным блоком, средства получения для получения, из опорного кадра, указанных опорного блока и полосы, соответствующей числу пикселов, найденному средствами определения, если опорный блок, представляющий собой блок опорного кадра, соответствующего блоку, входящему в состав изображения, подвергаемого фильтрации, находится в контакте с границей указанного макроблока, включающего в себя опорный блок, и средства фильтрации для выполнения фильтрации изображения опорного блока и полосы, полученных посредством средств получения.

Средства получения могут получить опорный блок из опорного кадра, если опорный блок находится в контакте с границей макроблока, включающего в себя опорный блок.

Средства определения могут определить число пикселов, равное максимальному целому числу, которое меньше или равно величине, получаемой путем деления числа отводов фильтра, используемого для фильтрации, на два, причем определенное число пикселов является числом пикселов в направлении ширины области полосы.

Средства фильтрации могут содержать первые средства фильтрации для выполнения фильтрации нижних частот в отношении разностного изображения между множеством изображений, вторые средства фильтрации для выполнения фильтрации верхних частот в отношении изображения, полученного в результате фильтрации нижних частот, осуществляемой первыми средствами фильтрации, и сумматор для добавления изображения, полученного в результате фильтрации нижних частот, выполненной первыми средствами фильтрации, и изображения, полученного в результате фильтрации верхних частот, выполненной вторыми средствами фильтрации, к любому из множества изображений для генерации прогнозируемого изображения в единицах макроблоков.

Рассматриваемое устройство обработки изображения может дополнительно включать в себя средства памяти для сохранения, в качестве опорного кадра, декодированного кадра, полученного в результате декодирования, выполняемого в единицах макроблоков, составляющих этот кадр. Средства выборки могут получать опорный блок и полосу из опорного кадра, записанного в средствах памяти.

Устройство обработки изображения может дополнительно включать в себя задающие средства для задания опорного блока на основе вектора движения.

Указанный фильтр может представлять собой фильтр с конечной импульсной характеристикой (КИХ-фильтр).

Способ обработки изображения согласно одному из аспектов настоящего изобретения включает этап определения для определения в соответствии с числом отводов фильтра, используемого для осуществления фильтрации, числа пикселов по ширине полосы, располагаемой вне макроблока, включающего опорный блок, представляющий собой блок декодированного опорного кадра, и находящейся в контакте с этим опорным блоком, этап получения для получения, из опорного кадра, указанных опорного блока и полосы, соответствующей числу пикселов, найденному на этапе определения, если опорный блок, представляющий собой блок опорного кадра, соответствующий блоку, входящему в состав изображения, подвергаемое фильтрации, находится в контакте с границей указанного макроблока, включающего опорный блок, и этап фильтрации для осуществления фильтрации изображения опорного блока и полосы, полученных на указанном этапе получения.

Согласно одному из аспектов настоящего изобретения число пикселов по ширине полосы, располагаемой вне макроблока, включающего опорный блок, представляющий собой блок декодированного опорного кадра, и находящейся в контакте с опорным блоком определяют в соответствии с числом отводов фильтра, используемого для осуществления фильтрации, указанный опорный блок и полосу, соответствующие найденному числу пикселов, получают из опорного кадра, если опорный блок, представляющий собой блок опорного кадра, соответствующий блоку, составляющему изображение, подвергаемое фильтрации, находится в контакте с границей указанного макроблока, включающего этот опорный блок, и фильтрацию осуществляют применительно к изображению полученных опорного блока и полосы.

Результат изобретения

Согласно настоящему изобретению можно сформировать прогнозируемое изображение с высокой точностью без увеличения процессорной нагрузки.

Краткое описание чертежей

Фиг.1 представляет схему, иллюстрирующую пример однонаправленного прогнозирования.

Фиг.2 представляет схему, иллюстрирующую пример двунаправленного прогнозирования.

Фиг.3 представляет блок-схему, иллюстрирующую пример конфигурации декодирующего устройства согласно одному из вариантов настоящего изобретения.

Фиг.4 представляет схему, иллюстрирующую принцип третьего режима прогнозирования.

Фиг.5 представляет блок-схему, иллюстрирующую пример конфигурации схемы прогнозирования/компенсации движения, показанной на фиг.3.

Фиг.6 представляет схему, иллюстрирующую пример опорных кадров.

Фиг.7 представляет схему, иллюстрирующую другой пример опорных кадров.

Фиг.8 представляет блок-схему, иллюстрирующую пример конфигурации схемы фильтрации, показанной на фиг.5.

Фиг.9 представляет логическую схему для пояснения последовательности операций процесса декодирования в декодирующем устройстве.

Фиг.10 представляет логическую схему для пояснения последовательности операций процесса прогнозирования/компенсации движения, выполняемого на этапе S9 на фиг.9.

Фиг.11 представляет блок-схему, иллюстрирующую пример конфигурации кодирующего устройства.

Фиг.12 представляет блок-схему, иллюстрирующую пример конфигурации схемы определения режима, показанной на фиг.11.

Фиг.13 представляет блок-схему, иллюстрирующую пример конфигурации схемы прогнозирования/компенсации движения, показанной на фиг.11.

Фиг.14 представляет логическую схему для пояснения последовательности операций процесса кодирования в кодирующем устройстве.

Фиг.15 представляет логическую схему для пояснения последовательности операций процесса определения режима, выполняемого на этапе S58 на фиг.14.

Фиг.16 представляет логическую схему для пояснения последовательности операций процесса прогнозирования/компенсации движения, выполняемого на этапе S61 на фиг.14.

Фиг.17 представляет блок-схему, иллюстрирующую другой пример конфигурации схемы фильтрации.

Фиг.18 представляет блок-схему, иллюстрирующую еще один пример конфигурации схемы фильтрации.

Фиг.19 представляет схему, иллюстрирующую пример случая, когда используют три опорных кадра.

Фиг.20 представляет блок-схему, иллюстрирующую пример конфигурации схемы фильтрации для случая, когда используют три опорных кадра.

Фиг.21 представляет схему, иллюстрирующую пример интерполяции пикселов.

Фиг.22 представляет схему, иллюстрирующую принципы процесса, использующего компенсацию движения с добавлением области полей.

Фиг.23 представляет схему, иллюстрирующую пример изображения с компенсацией движения.

Фиг.24 представляет блок-схему, иллюстрирующую пример конфигурации схемы прогнозирования, показанной на фиг.5.

Фиг.25 представляет логическую схему для пояснения последовательности операций процесса компенсации движения в схеме прогнозирования.

Фиг.26 представляет схему, иллюстрирующую пример разбиения макроблока, подлежащего декодированию.

Фиг.27 представляет схему, иллюстрирующую пример опорного кадра.

Фиг.28 представляет схему, иллюстрирующую пример блоков, составляющих макроблок, показанный на фиг.27.

Фиг.29 представляет схему, иллюстрирующую пример области полей.

Фиг.30 представляет схему, иллюстрирующую пример области полей.

Фиг.31 представляет схему, иллюстрирующую пример области полей.

Фиг.32 представляет схему, иллюстрирующую пример области полей.

Фиг.33 представляет схему, иллюстрирующую пример области полей.

Фиг.34 представляет схему, иллюстрирующую пример области полей.

Фиг.35 представляет схему, иллюстрирующую пример области полей.

Фиг.36 представляет схему, иллюстрирующую пример области полей.

Фиг.37 представляет схему, иллюстрирующую пример изображения с компенсацией движения.

Фиг.38 представляет схему, иллюстрирующую пример КИХ-фильтра.

Фиг.39 представляет схему, иллюстрирующую пример процесса фильтрации.

Фиг.40 представляет схему, иллюстрирующую результат, полученный путем кодирования с применением прогнозируемого изображения, генерируемого посредством схемы фильтрации, показанной на фиг.8.

Фиг.41 представляет схему, иллюстрирующую другой результат, полученный путем кодирования с применением прогнозируемого изображения, генерируемого посредством схемы фильтрации, показанной на фиг.8.

Фиг.42 представляет блок-схему, иллюстрирующую пример конфигурации персонального компьютера.

Фиг.43 представляет блок-схему, иллюстрирующую пример основной конфигурации телевизионного приемника, в котором применено настоящее изобретение.

Фиг.44 представляет блок-схему, иллюстрирующую пример основной конфигурации мобильного телефона, в котором применено настоящее изобретение.

Фиг.45 представляет блок-схему, иллюстрирующую пример основной конфигурации устройства записи на жестком магнитном диске, в котором применено настоящее изобретение.

Фиг.46 представляет блок-схему, иллюстрирующую пример основной конфигурации видеокамеры, в которой применено настоящее изобретение.

Описание вариантов изобретения

Фиг.3 представляет блок-схему, иллюстрирующую пример конфигурации декодирующего устройства 1 согласно одному из вариантов настоящего изобретения.

Информация изображения, сжатая и кодированная в кодирующем устройстве, рассматриваемом ниже, поступает в декодирующее устройство 1 по кабелю, через сеть связи или на сменном носителе записи. Эта сжатая информация изображения представляет собой информацию изображения, сжатую и кодированную в соответствии, например, со стандартом Н.264.

Промежуточный буфер 11 последовательно записывает входные потоки битов в качестве сжатой информации изображения. Информацию, записанную в промежуточном буфере 11, по мере необходимости считывает схема 12 декодирования без потерь. Считывание происходит фрагментами (единицами) некоторого размера, такими как макроблоки, составляющие кадр. Согласно стандарту Н.264 процесс можно осуществлять не только в единицах макроблоков размером 16×16 пикселов, а также в единицах блоков размером 8×8 пикселов или 4×4 пикселов, полученных путем дальнейшего разбиения макроблоков.

Схема 12 декодирования без потерь выполняет процедуру декодирования, соответствующую способу кодирования, например декодирование кодов переменной длины или арифметическое декодирование, для изображения, считываемого из промежуточного буфера 11. Схема 12 декодирования без потерь передает квантованный коэффициент преобразования, полученный в результате декодирования, в схему 13 деквантования.

Кроме того, схема 12 декодирования без потерь идентифицирует на основе идентификационного флага, включенного в заголовок изображения, подлежащего декодированию, кодировано ли это изображение с применением внутрикадрового кодирования или межкадрового кодирования. Если схема 12 декодирования без потерь установит, что изображение, подлежащее декодированию, кодировано внутрикадровым способом, схема 12 декодирования без потерь передает в схему 22 внутрикадрового прогнозирования информацию о режиме внутрикадрового прогнозирования, записанную в заголовке изображения. Эта информация о режиме внутрикадрового прогнозирования включает информацию, относящуюся к внутрикадровому прогнозированию, такую как размер блока, используемого в качестве единицы процесса.

Если схема 12 декодирования без потерь определит, что изображение, подлежащее декодированию, кодировано межкадровым способом, схема 12 декодирования без потерь передает вектор движения и идентификационный флаг, записанные в заголовке изображения, в схему 21 прогнозирования/компенсации движения. Идентификационный флаг позволяет идентифицировать режим прогнозирования для генерации прогнозируемого изображения с применением межкадрового прогнозирования. Идентификационные флаги устанавливают в единицах, например, макроблоков или кадров.

В дополнение к режиму однонаправленного прогнозирования, показанному на фиг.1, и режиму двунаправленного прогнозирования, показанному на фиг.2, предложен также третий режим прогнозирования для генерации прогнозируемого изображения путем выполнения фильтрации изображений с компенсацией движения, выделенных из нескольких опорных кадров, расположенных в одном направлении по оси времени или в обоих направлениях.

Фиг.4 представляет схему, иллюстрирующую принципы третьего режима прогнозирования.

В примере, показанном на фиг.4, если принять за основу момент времени, соответствующий текущему кадру (прогнозируемому кадру), кадр, предшествующий по времени на один временной шаг текущему кадру, обозначен как опорный кадр R₀, а кадр, предшествующий на один временной шаг этому опорному кадру R₀, обозначен как опорный кадр R₁. В этом случае, в соответствии с третьим режимом прогнозирования изображения МС₀ и MC₁ с компенсацией движения, выделенные из опорных кадров R₀ и R₁, вводят в схему фильтрации, а величины пикселов выходного изображения схемы фильтрации рассматривают в качестве величин пикселов прогнозируемого изображения, представляющего собой целевой макроблок.

В дальнейшем режим прогнозирования, при использовании которого величины пикселов какого-либо из изображений с компенсацией движения, выделенных из нескольких опорных кадров, расположенных в одном направлении, как показано на фиг.1, принимают в качестве величин пикселов прогнозируемого изображения, именуется просто режимом однонаправленного прогнозирования. Кроме того, как показано на фиг.2, режим прогнозирования, при использовании которого средние значения величин пикселов изображений с компенсацией движения, выделенных из нескольких опорных кадров, расположенных в обоих направлениях, принимают в качестве величин пикселов прогнозируемого изображения, именуется просто режимом двунаправленного прогнозирования.

Третий режим прогнозирования, при использовании которого, как показано на фиг.4, величины пикселов прогнозируемого изображения получают посредством фильтрации индивидуальных изображений с компенсацией движения, выделенных из нескольких опорных кадров, расположенных в одном или в двух направлениях, именуется режимом прогнозирования с фильтрацией. Этот режим прогнозирования с фильтрацией будет подробно описан ниже.

Если вернуться к фиг.3, схема 13 деквантования осуществляет деквантование квантованного коэффициента преобразования, поступающего от схемы 12 декодирования без потерь, с применением способа, соответствующего способу квантования, использованному на стороне кодирования. Схема 13 деквантования выводит коэффициент преобразования, полученный путем выполнения деквантования, в схему 14 обратного ортогонального преобразования.

Схема 14 обратного ортогонального преобразования выполняет обратное ортогональное преобразование четвертого порядка над коэффициентом преобразования, поступающим от схемы 13 деквантования, с применением способа, соответствующего способу ортогонального преобразования, использованному на кодирующей стороне, такому как дискретное косинусное преобразование или преобразование Карунена-Лоэва, и передает полученное изображение в сумматор 15.

Сумматор 15 осуществляет суммирование изображения, поступающего от схемы 14 обратного ортогонального преобразования, и прогнозируемого изображения, поступающего от схемы 21 прогнозирования/компенсации движения или от схемы 22 внутрикадрового прогнозирования через переключатель 23, и выводит сложное изображение в деблокирующий фильтр 16.

Деблокирующий фильтр 16 устраняет блочные шумы, включенные в изображение, поступающее от сумматора 15, и выводит изображение, из которого удалены блочные шумы. Выходное изображение от деблокирующего фильтра 16 поступает в буфер 17 перестановок и память 19 кадров.

Буфер 17 перестановок временно сохраняет изображение, поступающее от деблокирующего фильтра 16. Буфер 17 перестановок генерирует индивидуальные кадры на основе записанных в нем изображений, например, в единицах макроблоков, переставляет сформированные кадры в определенном порядке, например порядке представления на дисплее, и выводит эти кадры в цифро-аналоговый преобразователь (ЦАП) 18.

ЦАП 18 выполняет цифроаналоговое преобразование индивидуальных кадров, поступающих от буфера 17 перестановок, и выводит сигналы этих индивидуальных кадров.

Память 19 кадров временно сохраняет изображение, поступающее от деблокирующего фильтра 16. Информацию, записанную в памяти 19 кадров, передают в схему 21 прогнозирования/компенсации движения или в схему 22 внутрикадрового прогнозирования через переключатель 20.

Переключатель 20 соединяется с клеммой a₁ в случае генерации прогнозируемого изображения посредством межкадрового прогнозирования, и соединяется с клеммой b₁ в случае генерации прогнозируемого изображения посредством внутрикадрового прогнозирования. Работой переключателя 20 управляют, например, посредством схемы 31 управления.

Схема 21 прогнозирования/компенсации движения определяет режим прогнозирования в соответствии с идентификационным флагом, поступающим от схемы 12 декодирования без потерь, и выбирает кадр для использования в качестве опорного кадра среди уже декодированных кадров, записанных в памяти 19 кадров, в зависимости от режима прогнозирования. Схема 21 прогнозирования/компенсации движения определяет макроблок, соответствующий интересующему прогнозируемому изображению, из нескольких макроблоков, образующих опорный кадр, на основе вектора движения, поступающего от схемы 12 декодирования без потерь, и выделяет определенный таким способом макроблок в качестве изображения с компенсацией движения. Схема 21 прогнозирования/компенсации движения определяет величины пикселов прогнозируемого изображения на основе величин пикселов изображения с компенсацией движения в соответствии с используемым режимом прогнозирования и выводит прогнозируемое изображение с определенными таким способом величинами пикселов в сумматор 15 через переключатель 23.

Схема 22 внутрикадрового прогнозирования выполняет такое внутрикадровое прогнозирование в соответствии с информацией о режиме внутрикадрового прогнозирования, поступающей от схемы 12 декодирования без потерь, и генерирует прогнозируемое изображение. Схема 22 внутрикадрового прогнозирования передает сформированное прогнозируемое изображение в сумматор 15 через переключатель 23.

Переключатель 23 соединяется с клеммой а₂, когда прогнозируемое изображение было сформировано схемой 21 прогнозирования/компенсации движения, и соединяется с клеммой b₂, если прогнозируемое изображение было создано схемой 22 внутрикадрового прогнозирования. Работой переключателя 23 также управляет, например, схема 31 управления.

Схема 31 управления переключает соединения переключателей 20 и 23 и управляет всей работой декодирующего устройства 1. Эта схема 31 управления может идентифицировать, кодировано ли изображение, подлежащее обработке, с применением внутрикадрового или межкадрового кодирования.

Фиг.5 представляет блок-схему, иллюстрирующую пример конфигурации схемы 21 прогнозирования/компенсации движения, показанной на фиг.3.

Как показано на фиг.5, схема 21 прогнозирования/компенсации движения составлена из схемы 41 определения режима прогнозирования, схемы 42 однонаправленного прогнозирования, схемы 43 двунаправленного прогнозирования, схемы 44 прогнозирования и схемы 45 фильтрации. Вектор движения и идентификационный флаг, поступающие от схемы 12 декодирования без потерь, направляют на входы схемы 41 определения режима прогнозирования.

Схема 41 определения режима прогнозирования определяет режим прогнозирования в соответствии с идентификационным флагом, поступающим от декодера 12 без потерь. Эта схема 41 определения режима прогнозирования передает вектор движения в схему 42 однонаправленного прогнозирования, когда определено, что прогнозируемое изображение следует генерировать посредством однонаправленного прогнозирования, или передает этот вектор движения в схему 43 двунаправленного прогнозирования, когда определено, что прогнозируемое изображение следует генерировать посредством двунаправленного прогнозирования. Кроме того, если определено, что прогнозируемое изображение следует генерировать посредством прогнозирования с фильтрацией, схема 41 определения режима прогнозирования передает вектор движения в схему 44 прогнозирования.

Таким образом, для предоставления возможности идентификации прогнозирования с фильтрацией можно установить в качестве величины идентификационного флага величину, отличную от величины, представляющей однонаправленное прогнозирование, и величины, представляющей двунаправленное прогнозирование, как это определено в обычном стандарте Н.264. В альтернативном варианте режим прогнозирования может быть определен посредством какого-либо сформулированного заранее способа вместо того, чтобы определять этот режим по идентификационному флагу, для уменьшения объема информации.

Схема 42 однонаправленного прогнозирования рассматривает несколько кадров, расположенных в одном направлении по оси времени, в качестве опорных кадров и определяет в этих опорных кадрах макроблоки, соответствующие прогнозируемому изображению, на основе векторов движения, как показано на фиг.1. Кроме того, схема 42 однонаправленного прогнозирования считывает определенные ею макроблоки в соответствующих опорных кадрах из памяти 19 в качестве изображения с компенсацией движения и генерирует прогнозируемое изображение с использованием величин пикселов какого-либо из этих изображений с компенсацией движения в качестве величин пикселов прогнозируемого изображения. Схема 42 однонаправленного прогнозирования передает это прогнозируемое изображение сумматору 15. Для выполнения однонаправленного прогнозирования схема 42 однонаправленного прогнозирования использует, например, алгоритм однонаправленного прогнозирования, определенный в стандарте Н.264.

Схема 43 двунаправленного прогнозирования рассматривает несколько кадров, расположенных в двух направлениях по оси времени, в качестве опорных кадров и определяет в этих опорных кадрах макроблоки, соответствующие прогнозируемому изображению, на основе векторов движения, как показано на фиг.2. Кроме того, схема 43 двунаправленного прогнозирования считывает определенные ею макроблоки в соответствующих опорных кадрах в качестве изображения с компенсацией движения из памяти 19 кадров и генерирует прогнозируемое изображение путем использования средних значений величин пикселов этих изображений с компенсацией движения в качестве величин пикселов прогнозируемого изображения. Схема 43 двунаправленного прогнозирования передает это прогнозируемое изображение сумматору 15. Для выполнения двунаправленного прогнозирования схема 43 двунаправленного прогнозирования использует, например, алгоритм двунаправленного прогнозирования, определенный в стандарте Н.264.

Схема 44 прогнозирования определяет несколько кадров, расположенных в одном или в двух направлениях по оси времени, в качестве опорных кадров. Какие именно кадры следует использовать в качестве опорных кадров, можно определить заранее или можно выбрать на основе информации, передаваемой кодирующей стороной вместе с идентификационным флагом.

Фиг.6 представляет схему, иллюстрирующую пример опорных кадров.

В примере, показанном на фиг.6, когда момент времени, соответствующий прогнозируемому изображению, служит базой, два кадра, находящиеся на оси времени на один шаг раньше и на два шага раньше, соответственно, прогнозируемого кадра, рассматриваются в качестве опорных кадров, аналогично описанию, данному со ссылками на фиг.4. Из этих двух опорных кадров тот, который расположен по оси времени ближе к прогнозируемому кадру, т.е. предшествует ему на один шаг по времени, обозначен как опорный кадр R₀, а кадр, предшествующий на один шаг по времени опорному кадру R₀, обозначен как опорный кадр R₁.

Фиг.7 представляет схему, иллюстрирующую другой пример опорных кадров.

В примере, показанном на фиг.7, когда момент времени, соответствующий прогнозируемому изображению, служит базой, два кадра, один из которых расположен на один шаг по времени прежде, а другой - на один шаг по времени после прогнозируемого кадра, рассматриваются в качестве опорных кадров. Из этих двух опорных кадров тот кадр, который предшествует прогнозируемому кадру на один временной шаг, обозначен как опорный кадр L₀, а тот кадр, который находится на один временной шаг после прогнозируемого кадра, обозначен как опорный кадр L₁.

Таким образом, при прогнозировании с фильтрацией в качестве опорных кадров используют несколько кадров, расположенных в одном направлении по оси времени, или несколько кадров, расположенных в двух направлениях по оси времени.

Кроме того, схема 44 прогнозирования определяет на основе векторов движения, поступающих от схемы 41 определения режима прогнозирования, макроблоки, соответствующие прогнозируемому изображению, среди уже декодированных макроблоков в опорных кадрах, определенных, как показано на фиг.6 или 7.

Схема 44 прогноз