Устройство и способ обработки изображений

Устройство и способ обработки изображений

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Изобретение относится к устройству и способу обработки изображений, и, в частности, к устройству и способу обработки изображений, которые позволяют генерировать предсказанное изображение высокой точности без увеличения объема обработки.

Уровень техники

Обычно в качестве способов кодирования при обработке динамического изображения используются способы кодирования при помощи компенсации движения, такие как MPEG (стандарт Группы экспертов по кинематографии) или H.26x, и ортогонального преобразования, такого как дискретное косинусное преобразование, преобразование Карунена-Лоэва или вейвлетное преобразование. В этих способах кодирования динамического изображения объем кода уменьшается за счет использования корреляции в пространственном направлении и временном направлении среди характеристик сигнала вводимого изображения, над которым должно выполняться кодирование.

Например, в способе Н.264 используется одно- или двунаправленное предсказание для генерирования промежуточного кадра, который является кадром, служащим целью межкадрового предсказания (межкадрового предсказания), с помощью корреляции во временном направлении. Межкадровое предсказание генерирует предсказанное изображение на основе кадров в разные моменты времени.

Фиг.1 является схемой, иллюстрирующей пример однонаправленного предсказания.

Как иллюстрируется на Фиг.1, в случае генерирования подлежащего кодированию кадра P₀, который является подлежащим кодированию кадром текущего времени, посредством однонаправленного предсказания, выполняется компенсация движения с использованием в качестве опорного кадра кодированного кадра в прошедшем или будущем времени относительно текущего времени. Остаток между предсказанным изображением и фактическим изображением кодируется с помощью корреляции во временном направлении, благодаря чему объем кода может быть снижен. Данные опорного кадра и вектор движения используются как данные, определяющие опорный кадр, и данные, определяющие позицию, на которую будут ссылаться в опорном кадре, соответственно, и эти фрагменты данных передаются от кодирующей стороны декодирующей стороне.

Здесь число опорных кадров не обязательно равно 1. Например, в способе Н.264 в качестве опорных кадров может быть использовано множество кадров. Когда два кадра, близкие по времени к подлежащему кодированию кадру P₀, используются как опорные кадры R₀ и R₁, как показано на Фиг.1, пиксельные значения произвольного макроблока в подлежащем кодированию кадре P₀ могут быть предсказаны исходя из пиксельных значений произвольных пикселов в опорном кадре R₀ или R₁.

Прямоугольники, показанные внутри соответствующих кадров на Фиг.1, представляют макроблоки. Если предположить, что макроблок в подлежащем кодированию кадре P₀, который является целью предсказания, является макроблоком МВР₀, то макроблок в опорном кадре R₀, соответствующий макроблоку МВР₀, является макроблоком MBR₀, который определен вектором MV₀ движения. Кроме того, макроблок в опорном кадре R₁ является макроблоком MBR₁, который определен вектором MV₁ движения.

Когда предполагается, что пиксельные значения макроблоков MBR₀ и MBR₁ (пиксельные значения изображений компенсации движения) равны MC₀(i,j) и MC₁(i,j), поскольку пиксельные значения любого из изображений компенсации движения используются в качестве пиксельных значений предсказанного изображения в однонаправленном предсказании, предсказанное изображение Pred(i,j) выражено нижеследующим уравнением (1). (i, j) обозначает относительную позицию пиксела в макроблоке, где 0≤i≤16 и 0≤j≤16. В уравнении (1) || обозначает, что взято значение MC₀(i,j) или MC₁(i,j)

Pr e d ( i , j ) = M C 0 ( i , j ) ‖ M C ( i , j )   … ( 1 )

Кроме того, возможно разделить единый макроблок размером 16×16 пикселов на меньшие блоки, имеющие размер, например, 16×8 пикселов, и выполнить компенсацию движения в отдельных блоках, образованных посредством деления, за счет ссылки на разные опорные кадры. Путем передачи вектора движения с десятичной точностью, а не вектора движения с целочисленной точностью, и путем выполнения интерполяции с помощью фильтра КИХ (с конечной импульсной характеристикой), определенного согласно стандарту, пиксельные значения для пикселов, окружающих соответствующую опорную позицию, могут быть использованы для компенсации движения.

Фиг.2 является схемой, иллюстрирующей пример двунаправленного предсказания.

Как иллюстрируется на Фиг.2, в случае генерирования подлежащего кодированию кадра B₀, являющегося подлежащим кодированию кадром текущего времени, посредством двунаправленного предсказания компенсация движения выполняется с помощью кодированных кадров в прошлом или будущем времени относительно текущего времени в качестве опорных кадров. Множество кодированных кадров используются в качестве опорных кадров, а разность между предсказанным изображением и фактическим изображением кодируется с помощью корреляции с этими кадрами, благодаря чему может быть снижен объем кода. В способе Н.264, кроме того, возможно использовать в качестве опорных кадров множество прошлых кадров и множество будущих кадров.

Как показано на Фиг.2, когда в качестве опорных кадров L₀ и L₁ используются один прошлый кадр и один будущий кадр, причем подлежащий кодированию кадр B₀ служит основой, пиксельные значения произвольного макроблока в подлежащем кодированию кадре B₀ могут быть предсказаны на основе пиксельных значений произвольных пикселов в опорных кадрах L₀ и L₁.

В примере по Фиг.2 макроблок в опорном кадре L₀, соответствующий макроблоку МВВ₀ в подлежащем кодированию кадре B₀, является макроблоком MBL₀, определенным вектором MV₀ движения. Кроме того, макроблок в опорном кадре L₁, соответствующий макроблоку МВВ₀ в подлежащем кодированию кадре B₀, является макроблоком MBL₁, определенным вектором MV₁ движения.

Если предположить, что пиксельные значения макроблоков MBL₀ и MBL₁ равны MC₀(i,j) и MC₁(i,j) соответственно, то значение Pred (i,j) пиксела предсказанного изображения Pred(i,j) может быть получено как среднее значение этих пиксельных значений, как выражено нижеследующим уравнением (2)

Pr e d ( i , j ) = ( M C 0 ( i , j ) + M C 1 ( i , j ) ) / 2   … ( 2 )

При описанной выше компенсации движения с помощью однонаправленного предсказания точность предсказанного изображения возрастает за счет увеличения точности вектора движения и снижения размера макроблока, чтобы уменьшить остаток относительно фактического изображения, тем самым увеличивая эффективность кодирования.

Кроме того, при компенсации движения с помощью двунаправленного предсказания средние значения пиксельных значений для пикселов близких по времени опорных кадров используются в качестве пиксельных значений для пикселов предсказанного изображения, тем самым осуществляя стабильное уменьшение разности предсказания с точки зрения вероятности.

Кроме того, в качестве другого способа предлагается способ преобразования корреляции во временном направлении в пространственное разрешение с помощью компенсации движения и КИХ-фильтрации пиксельных значений и их использования (к примеру, см. NPL 1).

В способе, описанном в NPL 1, корреляция во временном направлении используется для обработки увеличения разрешения, которая выполняется по отношению к введенной последовательности изображений. В частности, вычисляются разностные данные о разности между текущим изображением и прошлым изображением, по отношению к которому выполняется предсказание-компенсация движения, и разностные данные подаются обратно на целевое текущее изображение, тем самым восстанавливая высокочастотный компонент, включенный во введенные изображения.

Список ссылок

Непатентная литература

NPL I: «Improving Resolution by Image Registration (Улучшение разрешения путем регистрации образа)», Michal Irani and Simon Peleg, Department of Computer Science, The Hebrew University of Jerusalem, 91904 Jerusalem, Israel, Communicated by Rama Chellapa, Received June 16,1989; accepted May 25,1990.

Сущность изобретения

Техническая задача

В случае обычного однонаправленного предсказания, даже когда могут быть выбраны множество опорных кадров, необходимо избирательно использовать пиксельные значения любого из этих опорных кадров в качестве пиксельных значений кадра, подлежащего кодированию. Таким образом, поскольку опорный кадр, который не выбран, не используется для компенсации движения, временная корреляция между опорным кадром и кадром, подлежащим кодированию, используется недостаточно, и с точки зрения возрастания эффективности кодирования многое можно улучшить.

Кроме того, в случае обычного двунаправленного предсказания средние значения пиксельных значений двух опорных кадров используются в качестве пиксельных значений кадра, подлежащего кодированию, так что выполняется временная операция фильтрации нижних частот, и в предсказанном изображении утрачивается высокочастотный компонент. В результате, поскольку не может быть кодирован разностный сигнал, включающий в себя высокочастотный компонент, изображение, полученное посредством декодирования, не включает в себя высокочастотный компонент, и разрешение снижается.

Далее предсказание может быть выполнено с более высокой точностью, чем при обычном двунаправленном предсказании, путем фильтрации данных о двух или более опорных кадрах способом, описанным в NPL 2, и их использования. В этом случае, однако, необходимо передать на декодер данные вектора движения, относящиеся к двум или более опорным кадрам. То есть для возрастания точности предсказания необходим большой объем управляющих данных, что с точки зрения эффективности кодирования может быть неэффективно.

Настоящее изобретение сделано с учетом этих обстоятельств и направлено на предоставление возможности генерирования предсказанного изображения высокой точности с помощью малого объема управляющих данных путем снижения объема кода для векторов движения, которые необходимы для выполнения двунаправленного предсказания или ссылки на множество изображений.

Решение задачи

Объектом настоящего изобретения является устройство обработки изображений, включающее в себя: декодирующее средство для декодирования кодированного изображения; генерирующее средство для генерирования декодированного изображения путем суммирования изображения, декодированного декодирующим средством, и предсказанного изображения; первое извлекающее средство для выполнения компенсации движения за счет использования вектора движения кодированного изображения, причем кадр, образованный из декодированного изображения, генерируемого генерирующим средством, служит опорным кадром, и извлечения из опорного кадра изображения компенсации движения, соответствующего предсказанному изображению; второе извлекающее средство для извлечения части, которая совпадает или сходна с изображением компенсации движения, извлеченным первым извлекающим средством из опорного кадра, отличного от опорного кадра, из которого извлечено изображение компенсации движения, причем эта часть служит в качестве изображения компенсации движения, соответствующего предсказанному изображению; и средство генерирования предсказанного изображения для генерирования предсказанного изображения путем выполнения обработки фильтрации над изображением компенсации движения, извлеченным первым извлекающим средством, и изображением компенсации движения, извлеченным вторым извлекающим средством, причем процесс фильтрации добавляет высокочастотный компонент за счет использования корреляции во временном направлении, включенной в изображения компенсации движения.

Второе извлекающее средство может извлекать часть, которая совпадает или сходна с изображением компенсации движения, извлеченным первым извлекающим средством из опорного кадра, с помощью определенной стоимостной функции, общей для кодирующего устройства, которое кодирует изображение, причем эта часть служит в качестве изображения компенсации движения, соответствующего предсказанному изображению.

Стоимостная функция может являться функцией для вычисления итоговой суммы абсолютных значений для разностных значений отдельных пиксельных значений между изображением компенсации изображения, извлеченным первым извлекающим средством, и целевым для обработки блоком опорного кадра.

Стоимостная функция может являться функцией для вычисления минимальной квадратичной ошибки для отдельных пиксельных значений между изображением компенсации изображения, извлеченным первым извлекающим средством, и целевым для обработки блоком опорного кадра.

Средство генерирования предсказанного изображения может включать в себя первое фильтрующее средство для выполнения фильтрации нижних частот разностного изображения между изображением компенсации движения, извлеченным первым извлекающим средством, и изображением компенсации движения, извлеченным вторым извлекающим средством, второе фильтрующее средство для выполнения фильтрации верхних частот изображения, полученного посредством фильтрации нижних частот, выполненной первым фильтрующим средством, и суммирующее средство для суммирования изображения, полученного посредством фильтрации нижних частот, выполненной первым фильтрующим средством, и изображения, полученного посредством фильтрации верхних частот, выполненной вторым фильтрующим средством, с изображением компенсации движения, извлеченным первым извлекающим средством, или изображением компенсации движения, извлеченным вторым извлекающим средством, благодаря чему генерируется предсказанное изображение.

Суммирующее средство может суммировать изображение, полученное посредством фильтрации нижних частот, выполненной первым фильтрующим средством, и изображение, полученное посредством фильтрации верхних частот, выполненной вторым фильтрующим средством, с изображением компенсации движения, извлеченным из кадра, на одну единицу времени предшествующего времени предсказанного изображения.

Устройство обработки изображений может далее включать в себя: средство однонаправленного предсказания для выполнения однонаправленного предсказания с помощью множества изображений компенсации движения для генерирования предсказанного изображения; средство двунаправленного предсказания для выполнения двунаправленного предсказания с помощью множества изображений компенсации движения для генерирования предсказанного изображения; и оценивающее средство для оценки с помощью идентификационной метки, включенной в заголовок кодированного изображения, должно ли предсказанное изображение генерироваться посредством однонаправленного предсказания, выполненного средством однонаправленного предсказания, двунаправленного предсказания, выполненного средством двунаправленного предсказания, или обработки фильтрации, выполненной средством генерирования предсказанного изображения.

Объектом настоящего изобретения является способ обработки изображения, включающий в себя этапы, на которых: декодируют кодированное изображение; генерируют декодированное изображение путем суммирования декодированного изображения и предсказанного изображения; выполняют компенсацию движения за счет использования вектора движения кодированного изображения, причем кадр, образованный из генерированного декодированного изображения, служит опорным кадром, и извлекают изображение компенсации движения, соответствующее предсказанному изображению, из этого опорного кадра; извлекают часть, которая совпадает или сходна с извлеченным изображением компенсации движения, из опорного кадра, отличного от опорного кадра, из которого извлечено изображение компенсации движения, причем эта часть служит в качестве изображения компенсации движения, соответствующего предсказанному изображению; и генерируют предсказанное изображение путем выполнения обработки фильтрации множества извлеченных изображений компенсации движения, причем операция фильтрации добавляет высокочастотный компонент за счет использования корреляции во временном направлении, включенной в изображения компенсации движения.

Другим объектом настоящего изобретения является устройство обработки изображений, включающее в себя: кодирующее средство для кодирования исходного изображения, которое является изображением, подлежащим кодированию, чтобы генерировать кодированное изображение; обнаруживающее средство для обнаружения вектора движения на основе исходного изображения и изображения, которое получено путем выполнения локального декодирования на основе остаточного сигнала, представляющего разность между исходным изображением и предсказанным изображением; первое извлекающее средство для выполнения компенсации движения с помощью вектора движения, обнаруженного обнаруживающим средством, причем кадр, образованный из изображения, которое получено путем выполнения локального декодирования, служит опорным кадром, и извлечения изображения компенсации движения, соответствующего предсказанному изображению, из этого опорного кадра; второе извлекающее средство для извлечения части, которая совпадает или сходна с изображением компенсации движения, извлеченным первым извлекающим средством из опорного кадра, отличного от опорного кадра, из которого извлечено изображение компенсации движения, причем эта часть служит в качестве изображения компенсации движения, соответствующего предсказанному изображению; и генерирующее средство для генерирования предсказанного изображения путем выполнения обработки фильтрации над изображением компенсации движения, извлеченным первым извлекающим средством, и изображением компенсации движения, извлеченным вторым извлекающим средством, причем операция фильтрации добавляет высокочастотный компонент за счет использования корреляции во временном направлении, включенной в изображения компенсации движения.

Второе извлекающее средство может извлекать часть, которая совпадает или сходна с изображением компенсации движения, извлеченным первым извлекающим средством из опорного кадра, с помощью определенной стоимостной функции, общей для декодирующего устройства, которое декодирует кодированное изображение, причем эта часть служит в качестве изображения компенсации движения, соответствующего предсказанному изображению.

Стоимостная функция может являться функцией для вычисления итоговой суммы абсолютных значений для разностных значений отдельных пиксельных значений между изображением компенсации движения, извлеченным первым извлекающим средством, и целевым для обработки блоком опорного кадра.

Стоимостная функция может являться функцией для вычисления минимальной квадратичной ошибки для отдельных пиксельных значений между изображением компенсации движения, извлеченным первым извлекающим средством, и целевым для обработки блоком опорного кадра.

Генерирующее средство может включать в себя первое фильтрующее средство для выполнения фильтрации нижних частот разностного изображения между изображением компенсации движения, извлеченным первым извлекающим средством, и изображением компенсации движения, извлеченным вторым извлекающим средством, второе фильтрующее средство для выполнения фильтрации верхних частот изображения, полученного посредством фильтрации нижних частот, выполненной первым фильтрующим средством, и суммирующее средство для суммирования изображения, полученного посредством фильтрации нижних частот, выполненной первым фильтрующим средством, и изображения, полученного посредством фильтрации верхних частот, выполненной вторым фильтрующим средством, с изображением компенсации движения, извлеченным первым извлекающим средством, или изображением компенсации движения, извлеченным вторым извлекающим средством, благодаря чему генерируется предсказанное изображение.

Суммирующее средство может суммировать изображение, полученное посредством фильтрации нижних частот, выполненной первым фильтрующим средством, и изображение, полученное посредством фильтрации верхних частот, выполненной вторым фильтрующим средством, с изображением компенсации движения, извлеченным из кадра, который на одну единицу времени предшествует времени предсказанного изображения.

Кодирующее средство может включать в заголовок кодированного изображения идентификационную метку для определения того, должно ли предсказанное изображение, которое подлежит суммированию с изображением, декодированным декодирующим устройством, генерироваться посредством однонаправленного предсказания, двунаправленного предсказания или обработки фильтрации.

Другим объектом настоящего изобретения является способ обработки изображений, включающий в себя этапы, на которых: кодируют исходное изображение, которое является изображением, подлежащим кодированию, чтобы генерировать кодированное изображение; обнаруживают вектор движения на основе исходного изображения и изображения, которое получено путем выполнения локального декодирования на основе остаточного сигнала, представляющего разность между исходным изображением и предсказанным изображением; выполняют компенсацию движения с помощью обнаруженного вектора движения, причем кадр, образованный из изображения, которое получено путем выполнения локального декодирования, служит опорным кадром, и извлекают изображение компенсации движения, соответствующее предсказанному изображению, из этого опорного кадра; извлекают часть, которая совпадает или сходна с извлеченным изображением компенсации движения из опорного кадра, отличного от опорного кадра, из которого извлечено изображение компенсации движения, причем эта часть служит в качестве изображения компенсации движения, соответствующего предсказанному изображению; и генерируют предсказанное изображение путем выполнения обработки фильтрации множества извлеченных изображений компенсации движения, причем операция фильтрации добавляет высокочастотный компонент за счет использования корреляции во временном направлении, включенной в изображения компенсации движения.

В объекте настоящего изобретения кодированное изображение декодируется, декодированное изображение и предсказанное изображение суммируются, чтобы генерировать декодированное изображение, компенсация движения выполняется с помощью вектора движения кодированного изображения, причем кадр, образованный генерируемым декодированным изображением, служит опорным кадром, изображение компенсации движения, соответствующее предсказанному изображению, извлекается из опорного кадра, часть, которая совпадает или сходна с извлеченным изображением компенсации движения, извлекается из опорного кадра, отличного от опорного кадра, из которого извлечено изображение компенсации движения, причем эта часть служит в качестве изображения компенсации движения, соответствующего предсказанному изображению, и выполняется операция фильтрации множества извлеченных изображений компенсации движения, причем операция фильтрации добавляет высокочастотный компонент за счет использования корреляции во временном направлении, включенной в изображения компенсации движения, так что генерируется предсказанное изображение.

В другом объекте настоящего изобретения исходное изображение, которое является изображением, подлежащим кодированию, кодируется, кодированное изображение генерируется, вектор движения выявляется на основе исходного изображения и изображения, которое получено путем выполнения локального декодирования на основе остаточного сигнала, представляющего разность между исходным изображением и предсказанным изображением, компенсация движения выполняется с помощью обнаруженного вектора движения, причем кадр, образованный изображением, полученным выполнением локального декодирования, служит опорным кадром, изображение компенсации движения, соответствующее предсказанному изображению, извлекается из опорного кадра, часть, которая совпадает или сходна с извлеченным изображением компенсации движения, извлекается из опорного кадра, отличного от опорного кадра, из которого извлечено изображение компенсации движения, причем эта часть служит в качестве изображения компенсации движения, соответствующего предсказанному изображению, и выполняется операция фильтрации множества извлеченных изображений компенсации движения, причем операция фильтрации добавляет высокочастотный компонент за счет использования корреляции во временном направлении, включенной в изображения компенсации движения, так что генерируется предсказанное выражение.

Преимущественные эффекты изобретения

Согласно настоящему изобретению предсказанное изображение высокой точности может генерироваться без возрастания объема передаваемых векторов движения в потоке и может быть достигнута высокая эффективность кодирования.

Краткое описание чертежей

Фиг.1 является схемой, иллюстрирующей пример однонаправленного предсказания.

Фиг.2 является схемой, иллюстрирующей пример двунаправленного предсказания.

Фиг.3 является схемой, описывающей принцип генерирования предсказанного изображения по настоящему изобретению.

Фиг.4 является блок-схемой, иллюстрирующей пример конфигурации декодирующего устройства согласно варианту осуществления настоящего изобретения.

Фиг.5 является схемой, иллюстрирующей идею третьего режима предсказания.

Фиг.6 является блок-схемой, иллюстрирующей пример конфигурации схемы предсказания-компенсации движения по Фиг.3.

Фиг.7 является схемой, иллюстрирующей пример опорных кадров.

Фиг.8 является схемой, иллюстрирующей другой пример опорных кадров.

Фиг.9 является блок-схемой, иллюстрирующей пример конфигурации схемы предсказания по Фиг.6.

Фиг.10 является блок-схемой, иллюстрирующей пример конфигурации фильтрующей схемы по Фиг.6.

Фиг.11 является блок-схемой, описывающей обработку декодирования, выполняемую декодирующим устройством.

Фиг.12 является блок-схемой, описывающей обработку предсказания-компенсации движения, выполняемую на этапе S9 по Фиг.11.

Фиг.13 является блок-схемой алгоритма, описывающей пример процедуры в обработке извлечения.

Фиг.14 является блок-схемой алгоритма, описывающей пример процедуры в обработке фильтрационного предсказания.

Фиг.15 является блок-схемой, иллюстрирующей пример конфигурации кодирующего устройства.

Фиг.16 является блок-схемой, иллюстрирующей пример конфигурации схемы определения режима по Фиг.15.

Фиг.17 является блок-схемой, иллюстрирующей пример конфигурации схемы предсказания-компенсации движения по Фиг.15.

Фиг.18 является блок-схемой алгоритма, описывающей обработку кодирования, выполняемую кодирующим устройством.

Фиг.19 является блок-схемой алгоритма, описывающей обработку определения режима, выполняемую на этапе S108 по Фиг.18.

Фиг.20 является блок-схемой алгоритма, описывающей операцию предсказания-компенсации движения, выполняемую на этапе S111 по Фиг.18.

Фиг.21 является блок-схемой, иллюстрирующей другой пример конфигурации фильтрующей схемы.

Фиг.22 является блок-схемой, иллюстрирующей еще один пример конфигурации фильтрующей схемы.

Фиг.23 является блок-схемой, иллюстрирующей пример случая использования трех опорных кадров.

Фиг.24 является блок-схемой, иллюстрирующей пример конфигурации фильтрующей схемы в случае использования трех опорных кадров.

Фиг.25 является блок-схемой, иллюстрирующей пример конфигурации персонального компьютера.

Фиг.26 является блок-схемой, иллюстрирующей пример основной конфигурации телевизионного приемника, к которому применено настоящее изобретение.

Фиг.27 является блок-схемой, иллюстрирующей пример основной конфигурации мобильного телефонного аппарата, к которому применено настоящее изобретение.

Фиг.28 является блок-схемой, иллюстрирующей пример основной конфигурации устройства записи на жесткий диск, к которому применено настоящее изобретение.

Фиг.29 является блок-схемой, иллюстрирующей пример основной конфигурации фотокамеры, к которой применено настоящее изобретение.

Фиг.30 является схемой, иллюстрирующей пример размеров макроблоков.

Подробное описание изобретения

Далее будут описаны варианты осуществления изобретения (далее называемые вариантами осуществления). Отметим, что описание будет вестись в следующем порядке:

1. Первый вариант осуществления (операция декодирования)

2. Второй вариант осуществления (операция кодирования)

3. Третий вариант осуществления (модификация фильтрующей схемы)

Первый вариант осуществления

Принцип предсказания

Фиг.3 является схемой, описывающей принцип в способе генерирования предсказанного изображения, к которому применено настоящее изобретение.

В настоящем изобретении по меньшей мере один вектор движения (вектор А движения) передается в битовом потоке, чтобы получить множество изображений компенсации движения из множества опорных плоскостей в декодере.

Фиг.3 иллюстрирует состояние, в котором два кадра - кадр (N-1) и кадр (N-2) - используются в качестве опорных плоскостей для компенсации движения, чтобы декодировать кадр N.

На Фиг.3 вектор А движения, указывающий координаты в кадре (N-1), передается в потоке. Декодер получает при помощи этого вектора изображение МС.

В дальнейшем декодер выполняет предсказание движения, чтобы выполнить компенсацию движения на основе кадра (N-2). То есть в кадре (N-2) ищется изображение МС', которое имеет близкое значение по отношению к изображению МС. Способы поиска, например алгоритм поиска, диапазон поиска, стоимостная функция и т.д., могут быть определены произвольно, поскольку они заранее являются общими для кодера и декодера. Когда они являются общими для кодера и декодера, результаты поиска в кодере и декодере, то есть пиксельные значения изображения МС' совпадают друг с другом.

При этом декодер может получить изображение предсказания движения на основе кадра (N-1) и кадра (N-2). Соответственно, вектор движения МС' не является необходимым. То есть объем кода векторов движения снижается. Таким образом, декодер и кодер могут генерировать предсказанные изображения высокой точности с помощью малого объема управляющих данных.

Конфигурация декодирующего устройства

Фиг.4 является блок-схемой, иллюстрирующей пример конфигурации декодирующего устройства 1 согласно варианту осуществления настоящего изобретения.

Данные изображения, кодируемые кодирующим устройством, которое будет описано ниже, вводятся в декодирующее устройство 1 через кабель, сеть или съемный носитель. Сжатые данные изображения являются данными изображения, кодированными в соответствии, например, со стандартом Н.264.

Запоминающий буфер 11 последовательно сохраняет битовые потоки, введенные в виде сжатых данных изображения. Данные, сохраненные в запоминающем буфере 11, при необходимости считываются схемой 12 декодирования без потерь в элементах изображений определенных элементов, таких как макроблоки, составляющих кадр. В стандарте Н.264 операция может быть выполнена не только в элементах макроблоков размером 16×16 пикселов, но также в элементах блоков размером 8×8 пикселов или 4×4 пиксела, полученных дальнейшим делением макроблоков.

Схема 12 декодирования без потерь выполняет операцию декодирования, соответствующую способу кодирования, такую как операция декодирования с переменной длиной или операция арифметического декодирования изображения, считанного из запоминающего буфера 11. Схема 12 декодирования без потерь выводит квантованный коэффициент преобразования, полученный посредством обработки декодирования, на схему 13 обратного квантования.

Кроме того, схема 12 декодирования без потерь определяет на основе идентификационной метки, включенной в заголовок подлежащего декодированию изображения, является ли изображение изображением с внутрикадровым кодированием или изображением с межкадровым кодированным. Если схема 12 кодирования без потерь оценивает изображение, подлежащее декодированию, как изображение с внутрикадровым кодированием, схема 12 кодирования без потерь выводит данные режима внутрикадрового предсказания, сохраненные в заголовке изображения, на схему 22 внутрикадрового предсказания. Данные режима внутрикадрового предсказания включают в себя данные о внутрикадровом предсказании, такие как размер блока, служащего в качестве элемента обработки.

Если схема 12 кодирования без потерь оценивает изображение, подлежащее декодированию, как данные с межкадровым кодированием, схема 12 кодирования без потерь выводит вектор движения и идентификационную метку, сохраненные в заголовке изображения, на схему 21 предсказания-компенсации движения. С помощью идентификационной метки может быть определен режим предсказания для генерирования предсказанного изображения посредством межкадрового предсказания. Идентификационная метка устанавливается, например, в элементах макроблоков или кадров.

В качестве режима предсказания подготовлен третий режим предсказания для генерирования предсказанного изображения путем выполнения фильтрации изображений компенсации движения, которые извлекаются из множества опорных кадров, упорядоченных в одном или двух временных направлениях, в дополнение к режиму однонаправленного предсказания по Фиг.1 и режиму двунаправленного предсказания по Фиг.2.

Фиг.5 является схемой, иллюстрирующей идею третьего режима предсказания.

В примере по Фиг.5, где время текущего кадра (предсказанного кадра) взято за основу, кадр, на одну единицу времени предшествующий ему, рассматривается в качестве опорного кадра R₀, а кадр, на одну единицу времени предшествующий опорному кадру R₀, рассматривается в качестве опорного кадра R₁. В этом случае, согласно третьему режиму предсказания изображения МС₀ и MC₁ компенсации движения, извлеченные из опорных кадров R₀ и R₁, подаются на фильтрующую схему, а пиксельные значения изображения, выведенного с фильтрующей схемы, рассматриваются в качестве пиксельных значений предсказанного изображения, которое является целевым макроблоком.

Далее режим предсказания, в котором пиксельные значения любого из изображений компенсации движения, извлеченных из множества опорных кадров, упорядоченных в одном направлении, рассматриваются в качестве пиксельных значений предсказанного изображения, как описано выше со ссылкой на Фиг.1, называется просто режимом однонаправленного предсказания. Кроме того, режим предсказания, в котором средние значения пиксельных значений изображений компенсации движения, извлеченных из множества опорных кадров, упорядоченных в двух направлениях, рассматриваются в качестве пиксельных значений предсказанного изображения, как описано выше со ссылкой на Фиг.2, называется просто режимом двунаправленного предсказания.

Третий режим предсказания, показанный на Фиг.5, в котором пиксельные значения предсказанного изображения получаются путем выполнения фильтрации отдельных изображений компенсации движения, извлеченных из множества опорных кадров, упорядоченных в одном и