Способ и устройство обработки изображения

Способ и устройство обработки изображения

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к способу и устройству обработки изображения и более конкретно к способу и устройству обработки изображения, которые позволяют генерировать прогнозируемое изображение с высокой точностью без увеличения процессорной нагрузки.

Уровень техники

Обычно в качестве схем кодирования для обработки движущихся изображений применяют алгоритмы кодирования с использованием компенсации движения, такие как MPEG (Группа экспертов по движущимся изображениям) или H.26x, и ортогональные преобразования, такие как дискретное косинусное преобразование, преобразование Карунена-Лоэва или вэйвлетное преобразование (преобразование по элементарным волнам). В таких способах кодирования движущихся изображений уменьшение объема кода достигается путем использования корреляции в пространственном направлении и по оси времени между характеристиками входного сигнала изображения, который подлежит кодированию.

Например, согласно стандарту H.264, применяют однонаправленное или двунаправленное прогнозирование в процессе генерации интер-кадра, т.е. кадра, который должен быть подвергнут обработке с межкадровым прогнозированием (интерпрогнозирование) с использованием корреляции в направлении оси времени. Межкадровое прогнозирование разработано для генерации прогнозируемого изображения на основе кадров, имеющих место в разные моменты времени.

Фиг.1 представляет схему, иллюстрирующую пример однонаправленного прогнозирования.

Как показано на фиг.1, когда подлежащий кодированию кадр Р₀, т.е. кадр, соответствующий текущему моменту времени, генерируют с использованием однонаправленного прогнозирования, компенсацию движения осуществляют с применением в качестве опорных кадров уже кодированного кадра, соответствующего прошедшему или будущему моменту времени относительно текущего момента времени. Остаточную погрешность между прогнозируемым изображением и реальным изображением кодируют с применением корреляции в направлении оси времени, что позволяет уменьшить объем кода. Информацию опорного кадра и вектор движения используют, соответственно, в качестве информации, определяющей опорный кадр, и информации, определяющей опорную позицию в этом опорном кадре, и передают эти блоки информации от кодирующей стороны декодирующей стороне.

Здесь число опорных кадров не ограничено одним. Например, согласно стандарту H.264 можно использовать несколько кадров в качестве опорных кадров. Как показано на фиг.1, если два кадра, расположенных во времени ближе к подлежащему кодированию кадру Р₀, обозначены в качестве опорных кадров R₀ и R₁ в этом порядке, величину пиксела в произвольном макроблоке в составе подлежащего кодированию кадра Р₀, можно предсказать на основе величины произвольного пиксела в опорном кадре R₀ или R₁.

На фиг.1 прямоугольник, выделенный внутри каждого кадра, представляет макроблок. Если в подлежащем кодированию кадре Р₀ макроблок, который нужно прогнозировать, представлен макроблоком МВ_P0, тогда в опорном кадре R₀ этому макроблоку МВ_P0 соответствует макроблок MB_R0, определяемый вектором движения MV₀. Кроме того, в опорном кадре R₁ рассматриваемому макроблоку соответствует макроблок MB_R1, определяемый вектором движения MV₁.

Если величины пикселов в макроблоках MB_R0 и MB_R1 (значения пикселов в изображениях с компенсацией движения) обозначить MC₀ (i, j) и MC₁ (i, j), тогда величина одного из пикселов в изображениях с компенсацией движения используется в качестве величины пиксела прогнозируемого изображения для случая однонаправленного прогнозирования. Таким образом, прогнозируемое изображение Pred (i, j) представлено уравнением (1) ниже. Здесь (i, j) обозначает относительное положение пиксела в макроблоке и удовлетворяет условию 0≤i≤16 и 0≤j≤16. В уравнении (1), знак "||" указывает, что берут только одну из величин MC₀ (i, j) или MC₁ (i, j).

Отметим, что можно также разбить один макроблок размером 16×16 пикселов на субблоки размером 16×8 пикселов или подобные субблоки и выполнить компенсацию движения для каждого субблока с применением ссылки на разные опорные кадры. Вместо векторов движения с целочисленной погрешностью передают векторы движения с десятичной погрешностью и выполняют интерполяцию с применением фильтра с конечной импульсной характеристикой (FIR) или КИХ-фильтра, определенного в стандарте, делая тем самым возможным использовать величины пикселов, окружающих соответствующую точку, в качестве опоры для компенсации движения.

Фиг.2 представляет схему, иллюстрирующую пример двунаправленного прогнозирования.

Как показано на фиг.2, когда подлежащий кодированию кадр B₀, т.е. кадр, соответствующий текущему моменту времени, генерируют с использованием двунаправленного прогнозирования, компенсацию движения осуществляют с применением, в качестве опорных кадров, уже кодированных кадров, соответствующих прошедшим и будущим моментам времени относительно текущего момента времени. Остаточную погрешность между прогнозируемым изображением и реальным изображением кодируют с применением нескольких уже кодированных кадров в качестве опорных кадров и с использованием корреляции между ними, что позволяет уменьшить объем кода. Согласно стандарту Н.264 можно также в качестве опорных кадров использовать несколько кадров из прошлого и несколько кадров из будущего.

Как показано на фиг.2, если кадр из прошлого и кадр из будущего относительно подлежащего кодированию кадра B₀ выбраны в качестве опорных кадров L₀ и L₁, величину пиксела в произвольном макроблоке в составе подлежащего кодированию кадра B₀ можно предсказать на основе величин произвольных пикселов в опорных кадрах L₀ и L₁.

В примере, показанном на фиг.2, макроблок опорного кадра L₀, соответствующий макроблоку МВ_B0 в подлежащем кодированию кадре В₀, обозначен в качестве макроблока MB_L0, определяемого вектором движения MV₀. Кроме того, макроблок опорного кадра L₁, соответствующий макроблоку МВ_B0 в подлежащем кодированию кадре B₀, обозначен в качестве макроблока MB_L1, определяемого вектором движения MV₁.

Если величины пикселов в макроблоках MB_L0 и MB_L1 обозначить MC₀ (i, j) и MC₁ (i, j), соответственно, тогда величина пиксела Pred (i, j) в составе прогнозируемого изображения Pred (i, j) может быть определена как среднее значение для этих величин пикселов, согласно следующему уравнению (2).

При такой компенсации движения, как описано выше при рассмотрении однонаправленного прогнозирования, точность прогнозируемого изображения улучшается путем повышения точности вектора движения или уменьшения размеров макроблока, вследствие чего остаточная погрешность относительно реального изображения оказывается уменьшена, что обеспечивает повышение эффективности кодирования.

Более того, при компенсации движения с применением двунаправленного прогнозирования в качестве величины пиксела прогнозируемого изображения используют среднее значение величин пикселов опорных кадров, расположенных близко по времени, что делает возможным вероятностно стабильное уменьшение остаточной погрешности прогнозирования.

Перечень литературы

Патентная литература

NPL1: «Улучшение разрешения путем совмещения изображений», Михал Ирани и Шмуэль Пелег, Отделение компьютерных наук, Еврейский университет Иерусалима, 91904 Иерусалим, Израиль, передал Рама Хеллапа, получено 16 июня 1989 г.; принято 25 мая 1990 г. ("Improving Resolution by Image Registration", MICHAL IRANI AND SHMUEL PELEG, Department of Computer Science, The Hebrew University of Jerusalem, 91904 Jerusalem, Israel, Communicated by Rama Chellapa, Received June 16, 1989; accepted May 25, 1990).

Раскрытие изобретения

Техническая задача

В случае обычного однонаправленного прогнозирования, даже если можно выбирать из нескольких опорных кадров, необходимо избирательно использовать величину пиксела из какого-либо одного из опорных кадров в качестве величины пиксела кодируемого кадра. Поэтому невыбранный опорный кадр не используется для компенсации движения. Таким образом, корреляции по времени между опорным кадром и кадром, подлежащим кодированию, не может быть использована в достаточной степени, вследствие чего может оставаться место для усовершенствования с точки зрения повышения эффективности кодирования.

Кроме того, в случае обычного двунаправленного прогнозирования в качестве величины пиксела кодируемого кадра используют среднее значение величин пикселов двух опорных кадров. Таким образом, осуществляется фильтрация нижних частот по времени, вследствие чего в прогнозируемом изображении оказываются утрачены высокочастотные составляющие. В результате, поскольку сигнал остаточной погрешности, включающий высокочастотные составляющие, кодировать уже невозможно, в изображении, полученном посредством декодирования, высокочастотные составляющие оказываются утрачены, что приводит к деградации разрешения изображения.

Настоящее изобретение было создано с учетом такой ситуации и предназначено для предоставления возможности генерации высокоточного прогнозируемого изображения без увеличения процессорной нагрузки.

Решение задачи

Устройство обработки изображения согласно одному из аспектов настоящего изобретения включает в себя средства компенсации движения для выполнения компенсации движения с использованием, в качестве опорных кадров, нескольких кадров изображения, полученных путем декодирования кодированных изображений, и с использованием векторов движения, включенных в эти кодированные изображения, и для генерации нескольких изображений с компенсацией движения, соответствующих прогнозируемому изображению, на основе разных опорных кадров; первые фильтрующие средства для применения фильтра нижних частот к разностному изображению между несколькими изображениями с компенсацией движения, генерируемыми с использованием средств компенсации движения; вторые фильтрующие средства для применения фильтра верхних частот к изображению, полученному первыми фильтрующими средствами путем применения фильтра нижних частот; и средства генерации прогнозируемого изображения для формирования прогнозируемого изображения посредством добавления изображения, полученного первыми фильтрующими средствами путем применения фильтра нижних частот, и изображения, полученного вторыми фильтрующими средствами путем применения фильтра верхних частот, к одному из нескольких изображений с компенсацией движения, сформированных средствами компенсации движения.

Устройство обработки изображения может дополнительно включать декодирующие средства для декодирования кодированных изображений с использованием прогнозируемого изображения, сгенерированного средствами генерации прогнозируемого изображения.

Средства компенсации движения могут выбирать в качестве опорных кадров кадр, предшествующий прогнозируемому изображению на один кадр, и кадр, предшествующий прогнозируемому изображению на два кадра.

Средства генерации прогнозируемого изображения могут добавлять изображение, полученное первыми фильтрующими средствами путем применения фильтра нижних частот, и изображение, полученное вторыми фильтрующими средствами путем применения фильтра верхних частот, к изображению с компенсацией движения, выделенному из кадра, предшествующего прогнозируемому изображению на один кадр.

Устройство для полной обработки изображения может дополнительно включать средства однонаправленного прогнозирования для выполнения однонаправленного прогнозирования с использованием нескольких изображений с компенсацией движения и для генерации прогнозируемого изображения; и средства двунаправленного прогнозирования для выполнения двунаправленного прогнозирования с использованием нескольких изображений с компенсацией движения и для генерации прогнозируемого изображения, а указанные средства генерации прогнозируемого изображения могут обращаться к идентификационному флагу, включенному в кодированное изображение, чтобы выбрать генерацию прогнозируемого изображения с использованием однонаправленного прогнозирования посредством средств однонаправленного прогнозирования, генерацию прогнозируемого изображения с использованием двунаправленного прогнозирования посредством средств двунаправленного прогнозирования или генерацию прогнозируемого изображения путем применения фильтра нижних частот к разностному изображению между несколькими изображениями с компенсацией движения, применения фильтра верхних частот к изображению, полученному в результате применения фильтра нижних частот, и добавления изображения, полученного в результате применения фильтра нижних частот, и изображения, полученного в результате применения фильтра верхних частот, к одному из нескольких изображений с компенсацией движения.

Способ обработки изображения согласно рассматриваемому аспекту настоящего изобретения включает этап компенсации движения для выполнения компенсации движения с использованием, в качестве опорных кадров, множества кадров, образованных изображениями, полученными путем декодирования кодированных изображений, и с использованием векторов движения, включенных в эти кодированные изображения, и генерации нескольких изображений с компенсацией движения, соответствующих прогнозируемому изображению, на основе разных опорных кадров; первый этап фильтрации посредством применения фильтра нижних частот к разностному изображению между несколькими изображениями с компенсацией движения, созданными на этапе компенсации движения; второй этап фильтрации посредством применения фильтра верхних частот к изображению, полученному на первом этапе фильтрации в результате применения фильтра нижних частот; и этап генерации прогнозируемого изображения для формирования прогнозируемого изображения посредством добавления изображения, полученного на первом этапе фильтрации в результате применения фильтра нижних частот, и изображения, полученного на втором этапе фильтрации в результате применения фильтра верхних частот, к одному из нескольких изображений с компенсацией движения, созданных на этапе компенсации движения.

Устройство обработки изображения согласно другому аспекту настоящего изобретения включает средства определения для определения вектора движения на основе изображения, получаемого в результате локального декодирования на основе остаточного изображения, характеризующего разность между оригинальным изображением, подлежащим кодированию, и прогнозируемым изображением, и на основе оригинального изображения; средства компенсации движения для выполнения компенсации движения с использованием, в качестве опорных кадров, множества кадров, образованных изображениями, полученными посредством локального декодирования, и использованием вектора движения, определенного средствами определения, и для выделения нескольких изображений с компенсацией движения, соответствующих прогнозируемому изображению, из разных опорных кадров; первые фильтрующие средства для применения фильтра нижних частот к разностному изображению между несколькими изображениями с компенсацией движения, выделенными с использованием средств компенсации движения; вторые фильтрующие средства для применения фильтра верхних частот к изображению, полученному первыми фильтрующими средствами путем применения фильтра нижних частот; и средства генерации прогнозируемого изображения для формирования прогнозируемого изображения посредством добавления изображения, полученного первыми фильтрующими средствами путем применения фильтра нижних частот, и изображения, полученного вторыми фильтрующими средствами путем применения фильтра верхних частот, к одному из множества изображений с компенсацией движения, выделенных средствами компенсации движения.

Устройство обработки изображения может дополнительно включать в себя кодирующие средства для кодирования оригинального изображения с использованием прогнозируемого изображения, сгенерированного средствами генерации прогнозируемого изображения.

Устройство обработки изображения может дополнительно включать средства управления для вставки в кодированное изображение, полученное в результате кодирования оригинального изображения, флага, идентифицирующего генерацию прогнозируемого изображения для добавления к изображению, подлежащему декодированию, с использованием однонаправленного прогнозирования, генерацию прогнозируемого изображения для добавления к изображению, подлежащему декодированию, с использованием двунаправленного прогнозирования или генерацию прогнозируемого изображения путем применения фильтра нижних частот к разностному изображению между множеством изображений с компенсацией движения, применения фильтра верхних частот к изображению, полученному в результате применения фильтра нижних частот, и добавления изображения, полученного в результате применения фильтра нижних частот, и изображения, полученного в результате применения фильтра верхних частот, к одному из нескольких изображений с компенсацией движения.

Способ обработки изображения согласно рассматриваемому другому аспекту настоящего изобретения включает этап определения для определения вектора движения на основе изображения, получаемого в результате локального декодирования на основе остаточного изображения, характеризующего разность между оригинальным изображением, подлежащим кодированию, и прогнозируемым изображением, и на основе оригинального изображения; этап компенсации движения для выполнения компенсации движения с использованием, в качестве опорных кадров, множества кадров, образованных изображениями, полученными посредством локального декодирования, и использованием векторов движения, определенных на этапе определения, и для выделения множества изображений с компенсацией движения, соответствующих прогнозируемому изображению, из разных опорных кадров; первый этап фильтрации для применения фильтра нижних частот к разностному изображению между множеством изображений с компенсацией движения, выделенными на этапе компенсации движения; второй этап фильтрации для применения фильтра верхних частот к изображению, полученному на первом этапе фильтрации путем применения фильтра нижних частот; и этап генерации прогнозируемого изображения для формирования прогнозируемого изображения посредством добавления изображения, полученного на первом этапе фильтрации путем применения фильтра нижних частот, и изображения, полученного на втором этапе фильтрации путем применения фильтра верхних частот, к одному из множества изображений с компенсацией движения, выделенных на этапе компенсации движения.

Согласно одному аспекту настоящего изобретения компенсацию движения выполняют с использованием, в качестве опорных кадров, множества кадров, образованных изображениями, полученными в результате декодирования кодированных изображений, и с использованием векторов движения, включенных в кодированные изображения; на основе разных опорных кадров генерируют множество изображений с компенсацией движения, соответствующих прогнозируемому изображению; к разностному изображению между множеством сгенерированных изображений с компенсацией движения применяют фильтр нижних частот; к изображению, полученному в результате применения фильтра нижних частот, применяют фильтр верхних частот; и генерируют прогнозируемое изображение посредством добавления изображения, полученного путем применения фильтра нижних частот, и изображения, полученного путем применения фильтра верхних частот, к одному из множества сформированных изображений с компенсацией движения.

Согласно другому аспекту настоящего изобретения вектор движения определяют на основе изображения, получаемого в результате локального декодирования на основе остаточного изображения, характеризующего разность между оригинальным изображением, подлежащим кодированию, и прогнозируемым изображением, и на основе оригинального изображения; компенсацию движения выполняют с использованием, в качестве опорных кадров, множества кадров, образованных изображениями, полученными посредством локального декодирования, и с использованием найденных векторов движения; множество изображений с компенсацией движения, соответствующих прогнозируемому изображению, выделяют из разных опорных кадров; к разностному изображению между множеством изображений с компенсацией движения, выделенными с использованием средств компенсации движения, применяют фильтр нижних частот; к изображению, полученному путем применения фильтра нижних частот, применяют фильтр верхних частот; и генерируют прогнозируемое изображение посредством добавления изображения, полученного путем применения фильтра нижних частот, и изображения, полученного путем применения фильтра верхних частот, к одному из множества выделенных изображений с компенсацией движения.

Результаты изобретения

Согласно настоящему изобретению можно сформировать прогнозируемое изображение с высокой точностью без увеличения процессорной нагрузки.

Краткое описание чертежей

Фиг.1 представляет схему, иллюстрирующую пример однонаправленного прогнозирования.

Фиг.2 представляет схему, иллюстрирующую пример двунаправленного прогнозирования.

Фиг.3 представляет блок-схему, иллюстрирующую пример конфигурации декодирующего устройства согласно одному из вариантов настоящего изобретения.

Фиг.4 представляет схему, иллюстрирующую принципы третьего режима прогнозирования.

Фиг.5 представляет блок-схему, иллюстрирующую пример конфигурации схемы прогнозирования/компенсации движения, показанной на фиг.3.

Фиг.6 представляет схему, иллюстрирующую пример опорных кадров.

Фиг.7 представляет схему, иллюстрирующую другой пример опорных кадров.

Фиг.8 представляет блок-схему, иллюстрирующую пример конфигурации схемы фильтрации, показанной на фиг.5.

Фиг.9 представляет логическую схему, описывающую последовательность операций процесса декодирования в декодирующем устройстве.

Фиг.10 представляет логическую схему, описывающую последовательность операций процесса прогнозирования/компенсации движения, выполняемого на этапе S9 на фиг.9.

Фиг.11 представляет блок-схему, иллюстрирующую пример конфигурации кодирующего устройства.

Фиг.12 представляет блок-схему, иллюстрирующую пример конфигурации схемы определения режима, показанной на фиг.11.

Фиг.13 представляет блок-схему, иллюстрирующую пример конфигурации схемы прогнозирования/компенсации движения, показанной на фиг.11.

Фиг.14 представляет логическую схему, описывающую последовательность операций процесса кодирования в кодирующем устройстве.

Фиг.15 представляет логическую схему, описывающую последовательность операций процесса определения режима, выполняемого на этапе S58 на фиг.14.

Фиг.16 представляет логическую схему, описывающую последовательность операций процесса прогнозирования/компенсации движения, выполняемого на этапе S61 на фиг.14.

Фиг.17 представляет блок-схему, иллюстрирующую другой пример конфигурации схемы фильтрации.

Фиг.18 представляет блок-схему, иллюстрирующую еще один пример конфигурации схемы фильтрации.

Фиг.19 представляет схему, иллюстрирующую пример случая, когда используют три опорных кадра.

Фиг.20 представляет блок-схему, иллюстрирующую пример конфигурации схемы фильтрации для случая, когда используют три опорных кадра.

Фиг.21 представляет схему, иллюстрирующую результат кодирования, выполняемого с использованием прогнозируемого изображения, генерируемого посредством схемы фильтрации, показанной на фиг.8.

Фиг.22 представляет схему, иллюстрирующую другой результат кодирования, выполняемого с использованием прогнозируемого изображения, генерируемого посредством схемы фильтрации, показанной на фиг.8.

Фиг.23 представляет блок-схему, иллюстрирующую пример конфигурации персонального компьютера.

Фиг.24 представляет блок-схему, иллюстрирующую пример конфигурации основной части телевизионного приемника, в котором применено настоящее изобретение.

Фиг.25 представляет блок-схему, иллюстрирующую пример конфигурации основной части мобильного телефона, в котором применено настоящее изобретение.

Фиг.26 представляет блок-схему, иллюстрирующую пример конфигурации основной части устройства записи на жестком магнитном диске, в котором применено настоящее изобретение.

Фиг.27 представляет блок-схему, иллюстрирующую пример конфигурации основной части видеокамеры, в которой применено настоящее изобретение.

Описание вариантов изобретения

Фиг.3 представляет блок-схему, иллюстрирующую пример конфигурации декодирующего устройства 1 согласно одному варианту настоящего изобретения.

Информация изображения, сжатая и кодированная в кодирующем устройстве, рассматриваемом ниже, поступает в декодирующее устройство 1 по кабелю, через сеть связи или на сменном носителе записи. Эта сжатая информация изображения представляет собой информацию изображения, сжатую и кодированную в соответствии, например, со стандартом Н.264.

Промежуточный буфер 11 последовательно записывает входные потоки битов в качестве сжатой информации изображения. Информацию, записанную в промежуточном буфере 11, по мере необходимости считывает схема 12 декодирования без потерь. Считывание происходит фрагментами некоторого размера, такими как макроблоки, образующие кадр. Согласно стандарту Н.264 можно также обрабатывать изображение не макроблоками размером 16×16 пикселов, а блоками меньшего размера, такими как 8×8 пикселов или 4×4 пикселов, на которые разбивают макроблоки.

Схема 12 декодирования без потерь выполняет процедуру декодирования, соответствующую алгоритму кодирования, например декодирование кодов переменной длины или арифметическое декодирование, изображения, считываемого из промежуточного буфера 11. Схема 12 декодирования без потерь передает квантованный коэффициент преобразования, полученный в результате декодирования, в схему 13 деквантования.

Кроме того, схема 12 декодирования без потерь идентифицирует на основе идентификационного флага, включенного в заголовок изображения, подлежащего декодированию, кодировано ли это изображение с применением внутрикадрового кодирования (внутрикадровым способом) или межкадрового кодирования (межкадровым способом). Если изображение, подлежащее декодированию, кодировано внутрикадровым способом, схема 12 декодирования без потерь передает в схему 22 внутрикадрового прогнозирования информацию о режиме внутрикадрового кодирования, записанную в заголовке изображения. Эта информация о режиме внутрикадрового прогнозирования включает в себя информацию, относящуюся к внутрикадровому прогнозированию, такую как размер блока, используемого в качестве единицы процесса.

Если определено, что изображение, подлежащее декодированию, содержит информацию межкадрового кодирования, схема 12 декодирования без потерь передает вектор движения и идентификационный флаг, записанные в заголовке изображения, в схему 21 прогнозирования/компенсации движения. Режим прогнозирования, в котором следует сформировать прогнозируемое изображение с применением межкадрового изображения, идентифицируют посредством идентификационного флага. Идентификационные флаги устанавливают в единицах, например, макроблоков или кадров.

В дополнение к режиму однонаправленного прогнозирования, показанному на фиг.1, и режиму двунаправленного прогнозирования, показанному на фиг.2, предложен также третий режим прогнозирования для генерации прогнозируемого изображения путем применения фильтра к изображению с компенсацией движения, выделенному из нескольких опорных кадров, расположенных в одном направлении по оси времени или в обоих направлениях.

Фиг.4 представляет схему, иллюстрирующую принципы третьего режима прогнозирования.

В примере, показанном на фиг.4, кадр, предшествующий по времени на один временной шаг текущему кадру (прогнозируемому кадру) назначен опорным кадром R₀, а кадр, предшествующий на один временной шаг этому опорному кадру R₀, назначен опорным кадром R₁. В этом случае, в соответствии с третьим режимом прогнозирования изображения МС₀ и МС₁ с компенсацией движения, выделенные из опорных кадров R₀ и R₁, вводят в схему фильтрации, а величины пикселов выходного изображения схемы фильтрации устанавливают в качестве величин пикселов интересующего макроблока прогнозируемого изображения.

В дальнейшем режим прогнозирования, при использовании которого величину пиксела одного изображения с компенсацией движения из группы изображений с компенсацией движения, выделенных из нескольких опорных кадров, расположенных в одном направлении, как показано на фиг.1, принимают в качестве величины пиксела прогнозируемого изображения, именуется просто режимом однонаправленного прогнозирования. Кроме того, как показано на фиг.2, режим прогнозирования, при использовании которого среднее значение величин пикселов изображений с компенсацией движения, индивидуально выделенных из нескольких опорных кадров, расположенных в обоих направлениях, принимают в качестве величины пиксела прогнозируемого изображения, именуется просто режимом двунаправленного прогнозирования.

Третий режим прогнозирования, как показано на фиг.4, при использовании которого величины пикселов прогнозируемого изображения определяют посредством применения фильтра к каждому из изображений с компенсацией движения, выделенных из нескольких опорных кадров, расположенных в одном или в обоих направлениях, именуется режимом прогнозирования с фильтрацией. Этот режим прогнозирования с фильтрацией будет подробно описан ниже.

Если вернуться к фиг.3, схема 13 деквантования осуществляет деквантование квантованного коэффициента преобразования, поступающего от схемы 12 декодирования без потерь, с применением алгоритма, соответствующего алгоритму квантования, использованному на стороне кодирования. Схема 13 деквантования выводит коэффициент преобразования, полученный путем выполнения деквантования, в схему 14 обратного ортогонального преобразования.

Схема 14 обратного ортогонального преобразования выполняет, например, обратное ортогональное преобразование четвертого порядка над коэффициентом преобразования, поступающим от схемы 13 деквантования, с применением алгоритма, соответствующего алгоритму ортогонального преобразования, использованному на кодирующей стороне, такому как дискретное косинусное преобразование или преобразование Карунена-Лоэва, и выводит полученное изображение в сумматор 15.

Сумматор 15 осуществляет суммирование изображения, поступающего от схемы 14 обратного ортогонального преобразования, и прогнозируемого изображения, поступающего от схемы 21 прогнозирования/компенсации движения или от схемы 22 внутрикадрового прогнозирования через переключатель 23, и передает составное изображение в деблокирующий фильтр 16.

Деблокирующий фильтр 16 устраняет блочные шумы, включенные в изображение, поступающее от сумматора 15, и выводит изображение, из которого удалены блочные шумы. Выходное изображение от деблокирующего фильтра 16 поступает в буфер 17 перестановок и память 19 кадров.

Буфер 17 перестановок временно сохраняет изображение, поступающее от деблокирующего фильтра 16. Этот буфер 17 перестановок генерирует индивидуальный кадр на основе изображения, например, каждого записанного макроблока и переставляет сформированные кадры в определенном порядке, например порядке представления на дисплее,, перед тем, как передать эти кадры в цифроаналоговый преобразователь (ЦАП (D/A)) 18.

ЦАП 18 выполняет цифроаналоговое преобразование каждого из кадров, поступающих от буфера 17 перестановок, и выводит сигналы кадров на выход.

Память 19 кадров временно сохраняет изображение, поступающее от деблокирующего фильтра 16. Информацию, записанную в памяти 19 кадров, передают в схему 21 прогнозирования/компенсации движения или в схему 22 внутрикадрового прогнозирования через переключатель 20.

Переключатель 20 соединяется с клеммой a₁, когда прогнозируемое изображение следует генерировать посредством межкадрового прогнозирования, и соединяется с клеммой b₁, когда прогнозируемое изображение следует генерировать посредством внутрикадрового прогнозирования. Работой переключателя 20 управляют, например, посредством схемы 31 управления.

Схема 21 прогнозирования/компенсации движения определяет режим прогнозирования в соответствии с идентификационным флагом, поступающим от схемы 12 декодирования без потерь, и выбирает кадр для использования в качестве опорного кадра среди уже декодированных кадров, записанных в памяти 19 кадров, в зависимости от режима прогнозирования. Схема 21 прогнозирования/компенсации движения определяет макроблок, соответствующий интересующему прогнозируемому изображению, из нескольких макроблоков, образующих опорный кадр, на основе вектора движения, поступающего от схемы 12 декодирования без потерь, и выделяет определенный таким способом макроблок в качестве изображения с компенсацией движения. Схема 21 прогнозирования/компенсации движения определяет величину пиксела прогнозируемого изображения на основе величины пиксела изображения с компенсацией движения в соответствии с используемым режимом прогнозирования и передает прогнозируемое изображение с определенными таким способом величинами пикселов в сумматор 15 через переключатель 23.

Схема 22 внутрикадрового прогнозирования выполняет такое внутрикадровое прогнозирование в соответствии с информацией режима внутрикадрового прогнозирования, поступающей от схемы 12 декодирования без потерь, и генерирует прогнозируемое изображение. Схема 22 внутрикадрового прогнозирования передает сгенерированное прогнозируемое изображение в сумматор 15 через переключатель 23.

Переключатель 23 соединяется с клеммой а₂, когда прогнозируемое изображение было сформировано схемой 21 прогнозирования/компенсации движения, и соединяется с клеммой b₂, если прогнозируемое изображение было создано схемой 22 внутрикадрового прогнозирования. Работой переключателя 23 управляет также, например, схема 31 управления.

Схема 31 управления осуществляет управление всей работой декодирующего устройства 1 посредством, например, переключения соединений переключателей 20 и 23. Эта схема 31 управления может идентифицировать, кодировано ли изображение, подлежащее обработке, с применением внутрикадрового или межкадрового кодирования.

Фиг.5 представляет блок-схему, иллюстрирующую пример конфигурации схемы 21 прогнозирования/компенсации движения, показанной на фиг.3.

Как показано на фиг.5, схема 21 прогнозирования/компенсации движения составлена из схемы 41 определения режима прогнозирования, схемы 42 однонаправленного прогнозирования, схемы 43 двунаправленного прогнозирования, схемы 44 прогнозирования и схемы 45 фильтрации. Вектор движения и идентификационный флаг от схемы 12 декодирования без потерь поступают на входы схемы 41 определения режима прогнозирования.

Схема 41 определения режима прогнозирования определяет режим прогнозирования в соответствии с идентификационным флагом, поступающим от схемы 12 декодирования без потерь. Эта схема 41 определения режима прогнозирования выводит вектор движения в схему 42 однонаправленного прогнозирования, когда определено, что прогнозируемое изображение следует генерировать посредством однонаправленного прогнозирования, или выводит этот вектор движения в схему 43 двунаправленного прогнозирования, когда определено, что прогнозируемое изображение следует генерировать посредством двунаправленного прогн