Устройство и способ обработки изображений

Устройство и способ обработки изображений

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству и способу обработки изображений, и, в частности, к устройству и способу обработки изображений, которые позволяют генерировать предсказанное изображение высокой точности без увеличения объема обработки.

Уровень техники

Обычно в качестве способов кодирования при обработке динамического изображения используются способы кодирования при помощи компенсации движения, такие как MPEG (стандарт Группы экспертов по кинематографии) или Н.26х, и ортогонального преобразования, такого как дискретное косинусное преобразование, преобразование Карунена-Лоэва или вейвлетное преобразование. В этих способах кодирования динамического изображения объем кода уменьшается за счет использования корреляции в пространственном направлении и временном направлении среди характеристик сигнала вводимого изображения, над которым должно выполняться кодирование.

Например, в способе Н.264 используется одно- или двунаправленное предсказание для генерирования промежуточного кадра, который является кадром, служащим целью межкадрового предсказания (межкадрового предсказания), с помощью корреляции во временном направлении. Межкадровое предсказание генерирует предсказанное изображение на основе кадров в разные моменты времени.

Фиг. 1 является схемой, иллюстрирующей пример однонаправленного предсказания.

Как иллюстрируется на Фиг. 1, в случае генерирования подлежащего кодированию кадра P₀, который является подлежащим кодированию кадром текущего времени, посредством однонаправленного предсказания, выполняется компенсация движения с использованием в качестве опорного кадра кодированного кадра в прошедшем или будущем времени относительно текущего времени. Остаток между предсказанным изображением и фактическим изображением кодируется с помощью корреляции во временном направлении, благодаря чему объем кода может быть снижен. Данные опорного кадра и вектор движения используются как данные, определяющие опорный кадр, и данные, определяющие позицию, на которую будут ссылаться в опорном кадре, соответственно, и эти фрагменты данных передаются от кодирующей стороны декодирующей стороне.

Здесь число опорных кадров не обязательно равно 1. Например, в способе Н.264 в качестве опорных кадров может быть использовано множество кадров. Когда два кадра, близкие по времени к подлежащему кодированию кадру P₀, используются как опорные кадры R₀ и R₁, как показано на Фиг. 1, пиксельные значения произвольного макроблока в подлежащем кодированию кадре P₀ могут быть предсказаны исходя из пиксельных значений произвольных пикселов в опорном кадре R₀ или R₁.

Прямоугольники, показанные внутри соответствующих кадров на Фиг. 1, представляют макроблоки. Если предположить, что макроблок в подлежащем кодированию кадре P₀, который является целью предсказания, является макроблоком MBP₀, то макроблок в опорном кадре R₀, соответствующий макроблоку MBP₀, является макроблоком MBR₀, который определен вектором MV₀ движения. Кроме того, макроблок в опорном кадре R₁ является макроблоком MBR₁ который определен вектором MV₁ движения.

Когда предполагается, что пиксельные значения макроблоков MBR₀ и MBR₁ (пиксельные значения изображений компенсации движения) равны МС₀(i, j) и МС₁(i, j), поскольку пиксельные значения любого из изображений компенсации движения используются в качестве пиксельные значения предсказанного изображения в однонаправленном предсказании, предсказанное изображение Pred(i, j) выражено нижеследующим уравнением (1). (i, j) обозначает относительную позицию пиксела в макроблоке, где 0≤i≤16 и 0≤j≤16. В уравнении (1) ⎪⎢ обозначает, что взято значение МС₀(i, j) или МС₁(i, j).

Кроме того, возможно разделить единый макроблок размером 16×16 пикселов на меньшие блоки, имеющие размер, например, 16×8 пикселов, и выполнить компенсацию движения в отдельных блоках, образованных посредством деления, за счет ссылки на разные опорные кадры. Путем передачи вектора движения с десятичной точностью, а не вектора движения с целочисленной точностью, и путем выполнения интерполяции с помощью фильтра КИХ (с конечной импульсной характеристикой), определенного согласно стандарту, пиксельные значения для пикселов, окружающих соответствующую опорную позицию, могут быть использованы для компенсации движения.

Фиг. 2 является схемой, иллюстрирующей пример двунаправленного предсказания.

Как иллюстрируется на Фиг. 2, в случае генерирования подлежащего кодированию кадра B₀, являющегося подлежащим кодированию кадром текущего времени, посредством двунаправленного предсказания, компенсация движения выполняется с помощью кодированных кадров в прошлом или будущем времени относительно текущего времени в качестве опорных кадров. Множество кодированных кадров используются в качестве опорных кадров, а разность между предсказанным изображением и фактическим изображением кодируется с помощью корреляции с этими кадрами, благодаря чему может быть снижен объем кода. В способе Н.264, кроме того, возможно использовать в качестве опорных кадров множество прошлых кадров и множество будущих кадров.

Как показано на Фиг. 2, когда в качестве опорных кадров L₀ и L₁ используются один прошлый кадр и один будущий кадр, причем подлежащий кодированию кадр B₀ служит основой, пиксельные значения произвольного макроблока в подлежащем кодированию кадре B₀ могут быть предсказаны на основе пиксельных значений произвольных пикселов в опорных кадрах L₀ и L₁.

В примере по Фиг. 2 макроблок в опорном кадре L₀, соответствующий макроблоку MBB₀ в подлежащем кодированию кадре B₀, является макроблоком MBL₀, определенным вектором MV₀ движения. Кроме того, макроблок в опорном кадре L₁, соответствующий макроблоку MBB₀ в подлежащем кодированию кадре B₀, является макроблоком MBL₁, определенным вектором MV₁ движения.

Если предположить, что пиксельные значения макроблоков MBL₀ и MBL₁ равны МС₀(i, j) и МС₁(i, j), соответственно, то значение Pred(i, j) пиксела предсказанного изображения Pred(i, j) может быть получено как среднее значение этих пиксельных значений, как выражено нижеследующим уравнением (2).

При описанной выше компенсации движения с помощью однонаправленного предсказания точность предсказанного изображения возрастает за счет увеличения точности вектора движения и снижения размера макроблока, чтобы уменьшить остаток относительно фактического изображения, тем самым увеличивая эффективность кодирования.

Кроме того, при компенсации движения с помощью двунаправленного предсказания средние значения пиксельных значений для пикселов близких по времени опорных кадров используются в качестве пиксельных значений для пикселов предсказанного изображения, тем самым осуществляя стабильное уменьшение разности предсказания с точки зрения вероятности.

Кроме того, в качестве другого способа предлагается способ преобразования корреляции во временном направлении в пространственное разрешение с помощью компенсации движения и КИХ-фильтрации пиксельных значений и их использования (к примеру, см. NPL 1).

В способе, описанном в NPL 1, корреляция во временном направлении используется для обработки увеличения разрешения, которая выполняется по отношению к введенной последовательности изображений. В частности, вычисляются разностные данные о разности между текущим изображением и прошлым изображением, по отношению к которому выполняется предсказание-компенсация движения, и разностные данные подаются обратно на целевое текущее изображение, тем самым восстанавливая высокочастотный компонент, включенный во введенные изображения.

Список ссылок

Непатентная литература

NPL 1: «Improving Resolution by Image Registration (Улучшение разрешения путем регистрации образа)», Michal Irani and Simon Peleg, Department of Computer Science, The Hebrew University of Jerusalem, 91904 Jerusalem, Israel, Communicated by Rama Chellapa, Received June 16, 1989; accepted May 25, 1990.

Сущность изобретения

Техническая задача

В случае обычного однонаправленного предсказания, даже когда могут быть выбраны множество опорных кадров, необходимо избирательно использовать пиксельные значения любого из этих опорных кадров в качестве пиксельных значений кадра, подлежащего кодированию. Таким образом, поскольку опорный кадр, который не выбран, не используется для компенсации движения, временная корреляция между опорным кадром и кадром, подлежащим кодированию, используется недостаточно, и с точки зрения возрастания эффективности кодирования многое можно улучшить.

Кроме того, в случае обычного двунаправленного предсказания средние значения пиксельных значений двух опорных кадров используются в качестве пиксельных значений кадра, подлежащего кодированию, так что выполняется временная операция фильтрации нижних частот, и в предсказанном изображении утрачивается высокочастотный компонент. В результате, поскольку не может быть кодирован разностный сигнал, включающий в себя высокочастотный компонент, изображение, полученное посредством декодирования, не включает в себя высокочастотный компонент, и разрешение снижается.

Далее, предсказание может быть выполнено с более высокой точностью, чем при обычном двунаправленном предсказании, путем фильтрации данных о двух или более опорных кадрах способом, описанным в NPL 2, и их использования. В этом случае, однако, необходимо передать на декодер данные вектора движения, относящиеся к двум или более опорным кадрам. То есть для возрастания точности предсказания необходим большой объем управляющих данных, что с точки зрения эффективности кодирования может быть неэффективно.

Настоящее изобретение сделано с учетом этих обстоятельств и направлено на предоставление возможности генерирования предсказанного изображения высокой точности с помощью малого объема управляющих данных путем снижения объема кода для векторов движения, которые необходимы для выполнения двунаправленного предсказания или ссылки на множество изображений.

Решение задачи

Объектом настоящего изобретения является устройство обработки изображений, содержащее схему, выполненную с возможностью: декодирования кодированного изображение; выполнения первой компенсации движения за счет использования первого вектора движения кодированного изображения, для генерирования первого изображения компенсации движения; выполнения второй компенсации движения за счет использования второго вектора движения кодированного изображения, для генерирования второго изображения компенсации движения; генерирования предсказанного изображения путем выполнения обработки фильтрации и обработки суммирования над первым изображением компенсации движения и вторым первым изображением компенсации движения.

Согласно варианту осуществления изобретения обработка фильтрации выделяет высокочастотный компонент изображения компенсации движения. Генерирование первого изображения компенсации движения осуществляется из опорного кадра образованного из декодируемого изображения; и генерирование второго изображения компенсации движения осуществляется из опорного кадра, отличного от опорного кадра, из которого сгенерировано первое изображение компенсации движения. Выделение высокочастотного компонента изображения компенсации движения выполняется за счет использования корреляции во временном направлении, включенной в изображения компенсации движения.

Согласно еще одному варианту осуществления изобретения второе изображение компенсации движения совпадает или сходно с первым изображением компенсации движения, сгенерированным из опорного кадра с помощью определенной стоимостной функции, общей для кодирующего устройства, которое кодирует изображение, причем второе изображение компенсации движения служит в качестве изображения компенсации движения, соответствующего предсказанному изображению. Стоимостная функция является функцией для вычисления итоговой суммы абсолютных значений разностных значений отдельных пиксельных значений между первым изображением компенсации изображения и целевым для обработки блоком опорного кадра. Стоимостная функция может так же является функцией для вычисления минимальной квадратичной ошибки отдельных пиксельных значений между первым изображением компенсации изображения и целевым для обработки блоком опорного кадра.

Согласно другому варианту осуществления изобретения процесс генерирования предсказанного изображения включает в себя: выполнение фильтрации нижних частот разностного изображения между первым изображением компенсации движения и вторым изображением компенсации движения; выполнение фильтрации верхних частот изображения, полученного посредством фильтрации нижних частот; и суммирование изображения, полученного посредством фильтрации нижних частот, и изображения, полученного посредством фильтрации верхних частот, с первым изображением компенсации движения или вторым изображением компенсации движения, благодаря чему генерируется предсказанное изображение.

Процесс суммирования может включать суммирование изображения, полученное посредством фильтрации нижних частот, и изображение, полученное посредством фильтрации верхних частот, с изображением компенсации движения, сгенерированным из кадра, на одну единицу времени предшествующего времени предсказанного изображения.

Согласно еще одному варианту осуществления изобретения устройство обработки изображений, дополнительно может содержать схему, выполненную с возможностью: приема идентификационной метки для определения того, должно ли предсказанное изображение генерироваться посредством однонаправленного предсказания, выполненного средством однонаправленного предсказания, должно ли предсказанное изображение генерироваться посредством двунаправленного предсказания, выполненного средством двунаправленного предсказания, или предсказанное изображение должно генерироваться посредством обработки фильтрации; и оценки, путем сверки с идентификационной меткой, принятой приемным средством, должно ли предсказанное изображение генерироваться посредством однонаправленного предсказания, должно ли предсказанное изображение генерироваться посредством двунаправленного предсказания, или предсказанное изображение должно генерироваться посредством обработки фильтрации.

Согласно еще одному варианту осуществления изобретения устройство обработки изображений, дополнительно может содержать схему, выполненную с возможностью: выполнения однонаправленного предсказания с помощью множества изображений компенсации движения для генерирования предсказанного изображения; и выполнения двунаправленного предсказания с помощью множества изображений компенсации движения для генерирования предсказанного изображения.

Объектом настоящего изобретения так же является способ обработки изображения, содержащий этапы, на которых: декодируют кодированное изображение; выполняют первую компенсацию движения за счет использования первого вектора движения кодированного изображения, для генерирования первого изображения компенсации движения; выполняют вторую компенсацию движения за счет использования второго вектора движения кодированного изображения, для генерирования второго изображения компенсации движения; и генерируют предсказанное изображение путем выполнения обработки фильтрации и обработки суммирования над первым изображением компенсации движения и вторым первым изображением компенсации движения.

Преимущественные эффекты изобретения

Согласно настоящему изобретению предсказанное изображение высокой точности может генерироваться без возрастания объема передаваемых векторов движения в потоке и может быть достигнута высокая эффективность кодирования.

Краткое описание чертежей

Фиг. 1 является схемой, иллюстрирующей пример однонаправленного предсказания.

Фиг. 2 является схемой, иллюстрирующей пример двунаправленного предсказания.

Фиг. 3 является схемой, описывающей принцип генерирования предсказанного изображения по настоящему изобретению.

Фиг. 4 является блок-схемой, иллюстрирующей пример конфигурации декодирующего устройства согласно варианту осуществления настоящего изобретения.

Фиг. 5 является схемой, иллюстрирующей идею третьего режима предсказания.

Фиг. 6 является блок-схемой, иллюстрирующей пример конфигурации схемы предсказания-компенсации движения по Фиг. 3.

Фиг. 7 является схемой, иллюстрирующей пример опорных кадров.

Фиг. 8 является схемой, иллюстрирующей другой пример опорных кадров.

Фиг. 9 является блок-схемой, иллюстрирующей пример конфигурации схемы предсказания по Фиг. 6.

Фиг. 10 является блок-схемой, иллюстрирующей пример конфигурации фильтрующей схемы по Фиг. 6.

Фиг. 11 является блок-схемой, описывающей обработку декодирования, выполняемую декодирующим устройством.

Фиг. 12 является блок-схемой, описывающей обработку предсказания-компенсации движения, выполняемую на этапе S9 по Фиг. 11.

Фиг. 13 является блок-схемой алгоритма, описывающей пример процедуры в обработке извлечения.

Фиг. 14 является блок-схемой алгоритма, описывающей пример процедуры в обработке фильтрационного предсказания.

Фиг. 15 является блок-схемой, иллюстрирующей пример конфигурации кодирующего устройства.

Фиг. 16 является блок-схемой, иллюстрирующей пример конфигурации схемы определения режима по Фиг. 15.

Фиг. 17 является блок-схемой, иллюстрирующей пример конфигурации схемы предсказания-компенсации движения по Фиг. 15.

Фиг. 18 является блок-схемой алгоритма, описывающей обработку кодирования, выполняемую кодирующим устройством.

Фиг. 19 является блок-схемой алгоритма, описывающей обработку определения режима, выполняемую на этапе S108 по Фиг.18.

Фиг. 20 является блок-схемой алгоритма, описывающей операцию предсказания-компенсации движения, выполняемую на этапе S111 по Фиг. 18.

Фиг. 21 является блок-схемой, иллюстрирующей другой пример конфигурации фильтрующей схемы.

Фиг. 22 является блок-схемой, иллюстрирующей еще один пример конфигурации фильтрующей схемы.

Фиг. 23 является блок-схемой, иллюстрирующей пример случая использования трех опорных кадров.

Фиг. 24 является блок-схемой, иллюстрирующей пример конфигурации фильтрующей схемы в случае использования трех опорных кадров.

Фиг. 25 является блок-схемой, иллюстрирующей пример конфигурации персонального компьютера.

Фиг. 26 является блок-схемой, иллюстрирующей пример основной конфигурации телевизионного приемника, к которому применено настоящее изобретение.

Фиг. 27 является блок-схемой, иллюстрирующей пример основной конфигурации мобильного телефонного аппарата, к которому применено настоящее изобретение.

Фиг. 28 является блок-схемой, иллюстрирующей пример основной конфигурации устройства записи на жесткий диск, к которому применено настоящее изобретение.

Фиг. 29 является блок-схемой, иллюстрирующей пример основной конфигурации фотокамеры, к которой применено настоящее изобретение.

Фиг. 30 является схемой, иллюстрирующей пример размеров макроблоков.

Подробное описание изобретения

Далее будут описаны варианты осуществления изобретения (далее называемые вариантами осуществления). Отметим, что описание будет вестись в следующем порядке:

1. Первый вариант осуществления (операция декодирования)

2. Второй вариант осуществления (операция кодирования)

3. Третий вариант осуществления (модификация фильтрующей схемы)

Первый вариант осуществления

Принцип предсказания

Фиг. 3 является схемой, описывающей принцип в способе генерирования предсказанного изображения, к которому применено настоящее изобретение.

В настоящем изобретении по меньшей мере один вектор движения (вектор А движения) передается в битовом потоке, чтобы получить множество изображений компенсации движения из множества опорных плоскостей в декодере.

Фиг. 3 иллюстрирует состояние, в котором два кадра - кадр (N-1) и кадр (N-2) - используются в качестве опорных плоскостей для компенсации движения, чтобы декодировать кадр N.

На Фиг. 3 вектор А движения, указывающий координаты в кадре (N-1), передается в потоке. Декодер получает при помощи этого вектора изображение МС.

В дальнейшем декодер выполняет предсказание движения, чтобы выполнить компенсацию движения на основе кадра (N-2). То есть в кадре (N-2) ищется изображение МС', которое имеет близкое значение по отношению к изображению МС. Способы поиска, например, алгоритм поиска, диапазон поиска, стоимостная функция и т.д. могут быть определены произвольно, поскольку они заранее являются общими для кодера и декодера. Когда они являются общими для кодера и декодера, результаты поиска в кодере и декодере, то есть пиксельные значения изображения МС', совпадают друг с другом.

При этом декодер может получить изображение предсказания движения на основе кадра (N-1) и кадра (N-2). Соответственно, вектор движения МС' не является необходимым. То есть объем кода векторов движения снижается. Таким образом, декодер и кодер могут генерировать предсказанные изображения высокой точности с помощью малого объема управляющих данных.

Конфигурация декодирующего устройства

Фиг. 4 является блок-схемой, иллюстрирующей пример конфигурации декодирующего устройства 1 согласно варианту осуществления настоящего изобретения.

Данные изображения, кодируемые кодирующим устройством, которое будет описано ниже, вводятся в декодирующее устройство 1 через кабель, сеть или съемный носитель. Сжатые данные изображения являются данными изображения, кодированными в соответствии, например, со стандартом Н.264.

Запоминающий буфер 11 последовательно сохраняет битовые потоки, введенные в виде сжатых данных изображения. Данные, сохраненные в запоминающем буфере 11, при необходимости считываются схемой 12 декодирования без потерь в элементах изображений определенных элементов, таких как макроблоки, составляющих кадр. В стандарте Н.264 операция может быть выполнена не только в элементах макроблоков размером 16×16 пикселов, но также в элементах блоков размером 8×8 пикселов или 4×4 пиксела, полученных дальнейшим делением макроблоков.

Схема 12 декодирования без потерь выполняет операцию декодирования, соответствующую способу кодирования, такую как операция декодирования с переменной длиной или операция арифметического декодирования изображения, считанного из запоминающего буфера 11. Схема 12 декодирования без потерь выводит квантованный коэффициент преобразования, полученный посредством обработки декодирования, на схему 13 обратного квантования.

Кроме того, схема 12 декодирования без потерь определяет на основе идентификационной метки, включенной в заголовок подлежащего декодированию изображения, является ли изображение изображением с внутрикадровым кодированием или изображением с межкадровым кодированным. Если схема 12 кодирования без потерь оценивает изображение, подлежащее декодированию, как изображение с внутрикадровым кодированием, схема 12 кодирования без потерь выводит данные режима внутрикадрового предсказания, сохраненные в заголовке изображения, на схему 22 внутрикадрового предсказания. Данные режима внутрикадрового предсказания включают в себя данные о внутрикадровом предсказании, такие как размер блока, служащего в качестве элемента обработки.

Если схема 12 кодирования без потерь оценивает изображение, подлежащее декодированию, как данные с межкадровым кодированием, схема 12 кодирования без потерь выводит вектор движения и идентификационную метку, сохраненные в заголовке изображения, на схему 21 предсказания-компенсации движения. С помощью идентификационной метки может быть определен режим предсказания для генерирования предсказанного изображения посредством межкадрового предсказания. Идентификационная метка устанавливается, например, в элементах макроблоков или кадров.

В качестве режима предсказания подготовлен третий режим предсказания для генерирования предсказанного изображения путем выполнения фильтрации изображений компенсации движения, которые извлекаются из множества опорных кадров, упорядоченных в одном или двух временных направлениях, в дополнение к режиму однонаправленного предсказания по Фиг. 1 и режиму двунаправленного предсказания по Фиг. 2.

Фиг. 5 является схемой, иллюстрирующей идею третьего режима предсказания.

В примере по Фиг. 5, где время текущего кадра (предсказанного кадра) взято за основу, кадр, на одну единицу времени предшествующий ему, рассматривается в качестве опорного кадра R₀, а кадр, на одну единицу времени предшествующий опорному кадру R₀, рассматривается в качестве опорного кадра R₁. В этом случае, согласно третьему режиму предсказания, изображения МС₀ и MC₁ компенсации движения, извлеченные из опорных кадров R₀ и R₁, подаются на фильтрующую схему, а пиксельные значения изображения, выведенного с фильтрующей схемы, рассматриваются в качестве пиксельных значений предсказанного изображения, которое является целевым макроблоком.

Далее режим предсказания, в котором пиксельные значения любого из изображений компенсации движения, извлеченных из множества опорных кадров, упорядоченных в одном направлении, рассматриваются в качестве пиксельных значений предсказанного изображения, как описано выше со ссылкой на Фиг. 1, называется просто режимом однонаправленного предсказания. Кроме того, режим предсказания, в котором средние значения пиксельных значений изображений компенсации движения, извлеченных из множества опорных кадров, упорядоченных в двух направлениях, рассматриваются в качестве пиксельных значений предсказанного изображения, как описано выше со ссылкой на Фиг. 2, называется просто режимом двунаправленного предсказания.

Третий режим предсказания, показанный на Фиг. 5, в котором пиксельные значения предсказанного изображения получаются путем выполнения фильтрации отдельных изображений компенсации движения, извлеченных из множества опорных кадров, упорядоченных в одном или двух направлениях, называется фильтрационным режимом предсказания. Фильтрационный режим предсказания будет подробно описан ниже.

На Фиг. 4 схема 13 обратного квантования выполняет способом, соответствующим способу квантования, использованному кодирующей стороной, обратное квантование квантованного коэффициента преобразования, поданного из схемы 12 декодирования без потерь. Схема 13 обратного квантования выводит коэффициент преобразования, полученный путем выполнения обратного квантования, на схему 14 обратного ортогонального преобразования.

Схема 14 обратного ортогонального преобразования выполняет обратное ортогональное преобразование четвертого порядка для коэффициента преобразования, поданного от схемы 13 обратного квантования, способом, соответствующим способу ортогонального преобразования, использованному кодирующей стороной, такому как дискретное косинусное преобразование или преобразование Карунена-Лоэва, и выводит полученное изображение на суммирующую схему 15.

Суммирующая схема 15 совмещает декодированное изображение, поданное из схемы 14 обратного ортогонального преобразования, и предсказанное изображение, поданное из схемы 21 предсказания-компенсации движения или из схемы 22 внутрикадрового предсказания через переключатель 23, и выводит комбинированное изображение на фильтр 16 устранения блочности.

Фильтр 16 устранения блочности устраняет блоковый шум, включенный в изображение, поданное от суммирующей схемы 15, и выводит изображение, из которого удален блоковый шум. Изображение, выведенное с фильтра 16 устранения блочности, подается на переупорядочивающий буфер 17 и кадровую память 19.

Переупорядочивающий буфер 17 временно сохраняет изображение, поданное с фильтра 16 устранения блочности. Переупорядочивающий буфер 17 генерирует отдельные кадры, например, из изображений в элементах макроблоков, сохраненных в нем, переупорядочивает генерированные кадры в определенном порядке, таком как порядок отображения, и выводит их на цифроаналоговую преобразовательную схему 18.

Цифроаналоговая преобразовательная схема 18 выполняет цифроаналоговое преобразование отдельных кадров, поданных из переупорядочивающего буфера 17, и выводит сигналы отдельных кадров вовне.

Кадровая память 19 временно сохраняет изображение, поданное с фильтра 16 устранения блочности. Данные, сохраненные в кадровой памяти 19, подаются на схему 21 предсказания-компенсации движения или схему 22 внутрикадрового предсказания через переключатель 20.

Переключатель 20 соединяется с терминалом a1 в случае генерирования предсказанного изображения с помощью межкадрового предсказания, а в случае генерирования его с помощью внутрикадрового предсказания соединяется с терминалом b1. Переключением переключателя 20 управляет, например, управляющая схема 31.

Схема 21 предсказания-компенсации движения определяет режим предсказания в соответствии с идентификационной меткой, поданной из схемы 12 декодирования без потерь, и выбирает кадр для использования в качестве опорного кадра среди декодированных кадров, сохраненных в кадровой памяти 19, в соответствии с режимом предсказания. Схема 21 предсказания-компенсации движения определяет макроблок, соответствующий целевому предсказанному изображению, среди макроблоков, составляющих опорный кадр, на основе вектора движения, поданного из схемы 12 декодирования без потерь, и извлекает определенный макроблок как изображение компенсации движения. Схема 21 предсказания-компенсации движения получает пиксельные значения предсказанного изображения из пиксельных значений изображения компенсации движения в соответствии с режимом предсказания и выводит предсказанное изображение, в котором получены пиксельные значения, на суммирующую схему 15 через переключатель 23.

Схема 22 внутрикадрового предсказания выполняет внутрикадровое предсказание в соответствии с данными режима внутрикадрового предсказания, поданными из схемы 12 декодирования без потерь, чтобы генерировать предсказанное изображение. Схема 22 внутрикадрового предсказания выводит генерированное предсказанное изображение на суммирующую схему 15 через переключатель 23.

Переключатель 23 соединяется с терминалом а2, если предсказанное изображение генерируется схемой 21 предсказания-компенсации движения, и с терминалом b2, если предсказанное изображение генерируется схемой 22 внутрикадрового предсказания. Переключением переключателя 23 также управляет, например, управляющая схема 31.

Управляющая схема 31 переключает соединение переключателей 20 и 23 и управляет всей работой декодирующего устройства 1. Является ли подлежащее обработке изображение изображением с внутрикадровым кодированием или изображением с межкадровым кодированием, может быть определено управляющей схемой 31.

Фиг. 6 является блок-схемой, иллюстрирующей пример конфигурации схемы 21 предсказания-компенсации движения по Фиг. 3.

Как показано на Фиг. 6, схема 21 предсказания-компенсации движения состоит из схемы 41 определения режима предсказания, схемы 42 однонаправленного предсказания, схемы 43 двунаправленного предсказания, предсказывающей схемы 44 и фильтрующей схемы 45. Вектор движения и идентификационная метка, поданные из схемы 12 декодирования без потерь, вводятся в схему 41 определения режима предсказания.

Схема 41 определения режима предсказания определяет режим предсказания в соответствии с идентификационной меткой, поданной из схемы 12 декодирования без потерь. Схема 41 определения режима предсказания выводит вектор движения на схему 42 однонаправленного предсказания, если определено, что генерирование предсказанного изображения будет выполняться с помощью однонаправленного предсказания, и на схему 43 двунаправленного предсказания, если определено, что генерирование предсказанного изображения будет выполняться с помощью двунаправленного предсказания. Кроме того, схема 41 определения режима предсказания выводит вектор движения на предсказывающую схему 44, если определено, что генерирование предсказанного изображения будет выполнена с помощью фильтрационного предсказания.

Таким образом, чтобы обеспечить определение фильтрационного предсказания, в качестве значения идентификационной метки может быть установлено значение, отличное от значения, обозначающего однонаправленное предсказание, и от значения, обозначающего двунаправленное предсказание, которые определены в обычном стандарте Н.264. Или же режим предсказания может быть определен заранее заданным способом вместо определения его в соответствии с идентификационной меткой, чтобы снизить объем данных.

Схема 42 однонаправленного предсказания рассматривает множество кадров, упорядоченных в одном временном направлении, в качестве опорных кадров и определяет макроблоки в опорных кадрах, соответствующих предсказанному изображению, на основе векторов движения, как показано на Фиг. 1. Кроме того, схема 42 однонаправленного предсказания считывает определенные макроблоки в соответствующих опорных кадрах как изображения компенсации движения из кадровой памяти 19 и генерирует предсказанное изображение, используя пиксельные значения любого из изображений компенсации движения в качестве пиксельных значений предсказанного изображения. Схема 42 однонаправленного предсказания выводит предсказанное изображение на суммирующую схему 15. В качестве однонаправленного предсказания, выполненного схемой 42 однонаправленного предсказания, используется, например, однонаправленное предсказание, определенное в стандарте Н.264.

Схема 43 двунаправленного предсказания рассматривает множество кадров, упорядоченных в двух временных направлениях, в качестве опорных кадров и определяет макроблоки в опорных кадрах, соответствующих предсказанному изображению, на основе векторов движения, как показано на Фиг.2. Кроме того, схема 43 двунаправленного предсказания считывает определенные макроблоки в соответствующих опорных кадрах как изображения компенсации движения из кадровой памяти 19 и генерирует предсказанное изображение, используя средние значения пиксельных значений считанных изображений компенсации движения в качестве пиксельных значений предсказанного изображения. Схема 43 двунаправленного предсказания выводит предсказанное изображение на суммирующую схему 15. В качестве двунаправленного предсказания, выполненного схемой 43 двунаправленного предсказания, используется, например, двунаправленное предсказание, определенное в стандарте Н.264.

Предсказывающая схема 44 определяет множество кадров, упорядоченных в одном или двух временных направлениях, в качестве опорных кадров. Кадры, подлежащие использованию в качестве опорных кадров, могут быть заранее определены или могут быть указаны с помощью данных, переданных кодирующей стороной вместе с идентификационной меткой.

Фиг. 7 является схемой, иллюстрирующей пример опорных кадров.

В примере по Фиг. 7, где за основу взято время предсказанного кадра, в качестве опорных кадров рассматриваются два кадра, предшествующие ему на одну и на две единицы времени, как в примере, описанном выше со ссылкой на Фиг. 5. Из двух опорных кадров кадр, ближайший к предсказанному кадру и на одну единицу времени предшествующий предсказанному кадру, рассматривается в качестве опорного кадра R₀, а кадр, на одну единицу времени предшествующий опорному кадру R₀, рассматривается в качестве опорного кадра R₁.

Фиг. 8 является схемой, иллюстрирующей другой пример опорных кадров.

В примере по Фиг. 8, где за основу взято время предсказанного кадра, в качестве опорных кадров рассматриваются два кадра - предшествующий ему на одну единицу времени и следующий за ним спустя одну единицу времени. Из двух о