Устройство и способ обработки изображений

Устройство и способ обработки изображений

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству и способу обработки изображений, и, в частности, к устройству и способу обработки изображений, которые могут генерировать предсказанное изображение высокой точности без увеличения объема обработки.

Уровень техники

Обычно в качестве способов кодирования при обработке динамических изображений используются способы кодирования при помощи компенсации движения и ортогонального преобразования, такого как дискретное косинусное преобразование, преобразование Карунена-Лоэва или вейвлетное преобразование, включая MPEG (стандарт Группы экспертов по кинематографии), Н.2бх и т.д. В этих способах кодирования динамического изображения объем кода уменьшается за счет использования корреляции в пространственном направлении и временном направлении среди характеристик вводимого сигнала изображения, подлежащего кодированию.

Например, в способе Н.264 используется одно- или двунаправленное предсказание, когда промежуточный кадр, который будет подвергнут межкадровому предсказанию (межкадровое предсказание), генерируется с помощью корреляции во временном направлении. Межкадровое предсказание спроектировано для генерирования предсказанного изображения на основе кадров в различные моменты времени.

Фиг.1 является схемой, иллюстрирующей пример однонаправленного предсказания.

Как иллюстрируется на Фиг.1, в случае, когда подлежащий кодированию кадр P₀, который является кадром настоящего времени и объектом кодирования, должен быть генерирован посредством однонаправленного предсказания, выполняется компенсация движения с использованием в качестве опорных кадров кодированных кадров в прошлом или будущем времени относительно настоящего времени. Остаток между предсказанным изображением и фактическим изображением кодируется с помощью корреляции во временном направлении, благодаря чему достигается возможность снизить объем кода. Данные опорного кадра и вектор движения, соответственно, используются как данные, определяющие опорный кадр, и данные, определяющие позицию, на которую будут ссылаться, в опорном кадре, и эти фрагменты данных передаются от кодирующей стороны к декодирующей стороне.

Здесь число опорных кадров не ограничено 1. Например, в способе Н.264 возможно использовать в качестве опорных кадров множество кадров. Как иллюстрируется на Фиг.1, в случае, когда два кадра, близкие по времени к подлежащему кодированию кадру P₀, обозначены как опорные кадры R₀ и R₁, в этом порядке, пиксельное значение в произвольном макроблоке в подлежащем кодированию кадре P₀ может быть предсказано исходя из пиксельного значения произвольного пиксела в опорном кадре R₀ или R₁.

На Фиг.1 прямоугольник, показанный внутри каждого кадра, обозначает макроблок. Если макроблок в подлежащем кодированию кадре P₀, который является целью предсказания, обозначен как макроблок МВP₀, то макроблок в опорном кадре R₀, соответствующий макроблоку МВР₀, является макроблоком MBR₀, который определен вектором MV₀ движения. Кроме того, макроблок в опорном кадре R₁ является макроблоком MBR₁, который определен вектором MV₁ движения.

Если пиксельные значения в макроблоках MBR₀ и MBR₁ (пиксельные значения в изображениях компенсации движения) обозначены как MC₀(i,j) и MC₁(i,j), то пиксельное значение любого изображения компенсации движения используется в качестве пиксельного значения в предсказанном изображении в однонаправленном предсказании. Таким образом, предсказанное изображение Pred(i, j) представлено нижеследующим уравнением (1), (i, j) обозначает относительную позицию пиксела в макроблоке и удовлетворяет 0≤i≤16 и 0≤j≤16. В уравнении (1) «||» указывает, что взято значение MC₀(i,j) или MC₁(i,j).

Pr e d ( i , j ) = M C 0 ( i , j ) | | M C 1 ( i , j )   … ( 1 )

Отметим, что возможно также разделить единый макроблок размером 16×16 пикселов на подблоки размером 16×8 пикселов или т.п. и выполнить компенсацию движения в каждом из подблоков за счет ссылки на разные опорные кадры. Вместо векторов движения с целочисленной точностью передаются векторы движения с десятичной точностью, и выполняется интерполяция с помощью фильтра КИХ (с конечной импульсной характеристикой), определенного в стандарте, таким образом становится возможным использовать также значения пикселов, окружающих соответствующую опорную позицию, для компенсации движения.

Фиг.2 является схемой, иллюстрирующей пример двунаправленного предсказания.

Как показано на Фиг.2, в случае, если подлежащий кодированию кадр B₀, являющийся кадром в настоящем времени и являющийся целью кодирования, должен генерироваться посредством двунаправленного предсказания, компенсация движения выполняется с помощью кодированных кадров в прошлом или будущем времени относительно настоящего времени в качестве опорных кадров. Остаток между предсказанным изображением и фактическим изображением кодируется с помощью множества кодированных кадров в качестве опорных кадров и за счет использования корреляции с ними, благодаря чему можно снизить объем кода. В Н.264 также возможно использовать в качестве опорных кадров множество кадров в прошлом и множество кадров в будущем.

Как показано на Фиг.2, в случае, когда в качестве опорных кадров L₀ и L₁ используются один кадр в прошлом и один кадр в будущем относительно подлежащего кодированию кадра В₀, пиксельное значение в произвольном макроблоке в подлежащем кодированию кадре В₀ может быть предсказано на основе пиксельных значений произвольных пикселов в опорных кадрах L₀ и L₁.

В примере по Фиг.2 макроблок в опорном кадре L₀, соответствующий макроблоку МВB₀ в подлежащем кодированию кадре В₀, задан в качестве макроблока MBL₀, определенного вектором MV₀ движения. Кроме того, макроблок в опорном кадре L₁, соответствующий макроблоку МВВ₀ в подлежащем кодированию кадре В₀ задан в качестве макроблока MBL₁, определенного вектором MV₁ движения.

Если пиксельные значения макроблоков MBL₀ и MBL₁ обозначены как MC₀(i, j) и MC₁(i, j) соответственно, то значение Pred (i, j) пиксела предсказанного изображения Pred(i, j) может быть определено как среднее значение этих пиксельных значений, как дано в нижеследующем уравнении (2).

Pr e d ( i , j ) = ( M C 0 ( i , j ) + M C 1 ( i , j ) ) / 2   … ( 1 )

При описанной выше компенсации движения с помощью однонаправленного предсказания точность предсказанного изображения улучшается путем увеличения точности вектора движения или путем снижения размера макроблока, и отличия от фактического изображения снижаются, тем самым достигается улучшение эффективности кодирования.

Кроме того, при компенсации движения с помощью двунаправленного предсказания среднее пиксельное значение для пикселов в близких по времени опорных кадрах используется в качестве пиксельного значения для пиксела предсказанного изображения, тем самым становится достижимым стабильное в вероятностном смысле уменьшение остатка предсказания.

Фиг.3 является схемой, иллюстрирующей пример внутрикадрового предсказания.

В примере по Фиг.3 показан способ, которым выполняется предсказание от соседних пикселов в том же экране для декодирования текущего блока кодированного изображения I₀. В изображениях значения соседних пикселов обычно имеют значимо высокую корреляцию. Таким образом, предсказание способом от соседних пикселов уменьшает остаточные компоненты текущего блока. Тем самым осуществляется улучшение эффективности кодирования.

Например, при внутрикадровом предсказании 4×4 на основе стандарта Н.264 возможно предсказать текущий блок девятью способами, используя ближайшие кодированные пикселы. Двумерная направленность включена в корреляцию между ближайшими изображениями, тем самым осуществляется улучшение точности предсказания.

В качестве другого способа внутрикадрового предсказания существует метод, в котором область высокой корреляции копируется изнутри экрана. В частности, этот метод таков, что конкретная позиция в декодированном изображении определяется для декодирования текущего блока и, следовательно, соответствующая область используется для предсказанного изображения текущего блока.

Этот метод обеспечивает высокую эффективность предсказания для регулярного повторяющегося рисунка или в случае, когда на экране представлено множество объектов одинаковой формы, или в подобном случае.

В качестве еще одного способа внутрикадрового предсказания существует технология, в которой при анализе компонентов сигнала в характерной области или текстурной области, существующих в изображении, являющемся целью кодирования, объем кода может быть снижен путем использования искусственно синтезированного изображения в качестве изображения, подлежащего кодированию.

Таким способом с появлением различных технологий внутрикадрового предсказания улучшилась точность предсказания при внутрикадровом предсказании. В обычных динамических изображениях, однако, точность предсказания при межкадровом предсказании все еще выше, потому что, например, даже сравнительно сложная текстура обеспечит почти нулевой остаток предсказания в результате межкадрового предсказания, хотя увеличить точность внутрикадрового предсказания в случае неподвижной текстуры на экране сложно.

Кроме того, в качестве другого способа предсказания рассматривается техника, в которой корреляция во временном направлении преобразуется в пространственное разрешение с помощью компенсации движения и КИХ-фильтрации пиксельных значений, и используется пространственное разрешение (напр., см. NPL 1).

В способе, описанном в NPL 1, корреляция во временном направлении используется для обработки увеличения разрешения введенной последовательности изображений. В частности, вычисляются разностные данные изображения предсказанного-компенсированного движения между текущим изображением и предыдущим изображением и подаются обратно на целевое текущее изображение, чтобы вернуть высокочастотный компонент, включенный во введенное изображение.

Список ссылок

Непатентная литература

NPL 1: «Improving Resolution by Image Registration (Улучшение разрешения путем регистрации образа)», Michal Irani and Simon Peleg, Department of Computer Science, The Hebrew University of Jerusalem, 91904 Jerusalem, Israel, Communicated by Rama Chellapa, Received June 16, 1989; accepted May 25, 1990.

Сущность изобретения

Техническая задача

В случае обычного межкадрового предсказания использование множества опорных кадров требует, чтобы затраты на обработку предсказания движения или компенсацию движения, либо такие необходимые затраты как затраты на емкость памяти для сохранения опорных плоскостей, превосходили таковые в случае внутрикадрового предсказания. Это аналогичным образом относится к способу, описанному в NPL 1.

С другой стороны, в случае внутрикадрового предсказания затраты на обработку генерирования предсказанного изображения ниже, чем при межкадровом предсказании, однако благодаря низкой точности предсказания генерированного изображения возникает проблема, заключающаяся в том, что эффективность кодирования хуже, чем в случае межкадрового предсказания.

Настоящее изобретение сделано с учетом изложенных выше обстоятельств и направлено на осуществление улучшения эффективности кодирования путем компенсации недостатка точности предсказания при внутрикадровом предсказании с помощью точности предсказания при межкадровом предсказании, а также на осуществление снижения затрат на обработку путем снижения числа опорных кадров, необходимых для межкадрового предсказания.

Решение задачи

Объектом настоящего изобретения является устройство обработки изображений, включающее в себя декодирующее средство для декодирования кодированного изображения; генерирующее средство для суммирования изображения, декодированного декодирующим средством, и предсказанного изображения, и для генерирования декодированного изображения; извлекающее средство для выполнения компенсации движения, используя в качестве опорного кадра кадр, образованный из декодированного изображения, генерированного генерирующим средством, и используя вектор движения в кодированном изображении, и для извлечения изображения компенсации движения, соответствующего предсказанному изображению, из опорного кадра; средство генерирования изображения с внутрикадровым предсказанием для выполнения внутрикадрового предсказания для текущего кадра, для которого должно генерироваться предсказанное изображение, и для генерирования изображения с внутрикадровым предсказанием, соответствующего предсказанному изображению, из части декодированного изображения, генерированного генерирующим средством; и средство генерирования предсказанного изображения для генерирования предсказанного изображения путем выполнения обработки фильтрации для компенсации недостатка высокочастотных компонентов в изображении компенсации движения, извлеченном извлекающим средством, и в изображении с внутрикадровым предсказанием, генерированном средством генерирования изображения с внутрикадровым предсказанием, за счет использования корреляции во временном направлении, которая включена в изображение компенсации движения и изображение с внутрикадровым предсказанием.

Средство генерирования предсказанного изображения может включать в себя первое фильтрующее средство для применения фильтра нижних частот к разностному изображению между изображением компенсации движения, извлеченным первым извлекающим средством, и изображением с внутрикадровым предсказанием, генерированным средством генерирования изображения с внутрикадровым предсказанием; второе фильтрующее средство для применения фильтра верхних частот к изображению, полученному путем применения фильтра нижних частот с помощью первого фильтрующего средства; и суммирующее средство для суммирования изображения, полученного путем применения фильтра нижних частот с помощью первого фильтрующего средства, и изображения, полученного путем применения фильтра верхних частот с помощью второго фильтрующего средства, с изображением с внутрикадровым предсказанием, генерированным средством генерирования изображения с внутрикадровым предсказанием, и для генерирования предсказанного изображения.

Суммирующее средство может суммировать изображение, полученное путем применения фильтра нижних частот с помощью первого фильтрующего средства, и изображения, полученного путем применения фильтра верхних частот с помощью второго фильтрующего средства, с изображением компенсации движения, извлеченным из предшествующего кадра по отношению ко времени предсказанного изображения.

Устройство обработки изображений может дополнительно включать в себя средство однонаправленного предсказания для выполнения однонаправленного предсказания с помощью множества изображений компенсации движения и для генерирования предсказанного изображения; средство двунаправленного предсказания для выполнения двунаправленного предсказания с помощью множества изображений компенсации движения и для генерирования предсказанного изображения; и оценивающее средство для оценки с помощью идентификационной метки, включенной в заголовок кодированного изображения, как должно генерироваться предсказанное изображение: посредством однонаправленного предсказания с помощью средства однонаправленного предсказания, посредством двунаправленного предсказания с помощью средства двунаправленного предсказания или посредством обработки фильтрации с помощью средства генерирования предсказанного изображения.

Одним объектом настоящего изобретения дополнительно является способ обработки изображения, включающий в себя этапы, на которых: декодируют кодированное изображение; суммируют изображение, которое декодировано, и предсказанное изображение и генерируют декодированное изображение; выполняют компенсацию движения, используя в качестве опорного кадра кадр, образованный из генерированного декодированного изображения, и используя вектор движения в кодированном изображении, и извлекают изображение компенсации движения, соответствующее предсказанному изображению, из опорного кадра; выполняют внутрикадровое предсказание для текущего кадра, для которого должно генерироваться предсказанное изображение, и генерируют изображение с внутрикадровым предсказанием, соответствующее предсказанному изображению, из части декодированного изображения; и генерируют предсказанное изображение путем выполнения обработки фильтрации для компенсации недостатка высокочастотных компонентов в изображении компенсации движения и в изображении с внутрикадровым предсказанием за счет использования корреляции во временном направлении, которая включена в изображение компенсации движения и в изображение с внутрикадровым предсказанием.

Другим объектом настоящего изобретения является устройство обработки изображений, включающее в себя: кодирующее средство для кодирования исходного изображения, которое является целевым изображением кодирования, и для генерирования кодированного изображения; обнаруживающее средство для обнаружения вектора движения на основе изображения и исходного изображения, причем изображение получено путем выполнения локального декодирования на основе остаточного сигнала, указывающего разность между исходным изображением и предсказанным изображением; первое средство для выполнения компенсации движения, используя в качестве опорного кадра кадр, образованный из изображения, которое получено путем выполнения локального декодирования, и с помощью вектора движения, обнаруженного обнаруживающим средством, и для извлечения изображения компенсации движения, соответствующего предсказанному изображению, из опорного кадра; средство генерирования изображения с внутрикадровым предсказанием для выполнения внутрикадрового предсказания для текущего кадра, для которого должно генерироваться предсказанное изображение, и для генерирования изображения с внутрикадровым предсказанием, соответствующего предсказанному изображению, из части изображения кадра; и генерирующее средство для генерирования предсказанного изображения путем выполнения обработки фильтрации для компенсации недостатка высокочастотных компонентов в изображении компенсации движения, извлеченном первым извлекающим средством, и в изображении с внутрикадровым предсказанием, генерированном средством генерирования изображения с внутрикадровым предсказанием, за счет использования корреляции во временном направлении, которая включена в изображение компенсации движения.

Генерирующее средство может включать в себя первое фильтрующее средство для применения фильтра нижних частот к разностному изображению между изображением компенсации движения, извлеченным первым извлекающим средством, и изображением с внутрикадровым предсказанием, генерированным средством генерирования изображения с внутрикадровым предсказанием; второе фильтрующее средство для применения фильтра верхних частот к изображению, полученному путем применения фильтра нижних частот первым фильтрующим средством; и суммирующее средство для суммирования изображения, полученного путем применения фильтра нижних частот первым фильтрующим средством, и изображения, полученного путем применения фильтра верхних частот вторым фильтрующим средством, с изображением с внутрикадровым предсказанием, генерированным средством генерирования изображения с внутрикадровым предсказанием, и для генерирования предсказанного изображения.

Суммирующее средство может суммировать изображение, полученное путем применения фильтра нижних частот первым фильтрующим средством, и изображения, полученного путем применения фильтра верхних частот вторым фильтрующим средством, с изображением компенсации движения, извлеченным из предшествующего кадра по отношению ко времени предсказанного изображения.

Кодирующее средство может помещать идентификационную метку в заголовок кодированного изображения, причем идентификационная метка определяет, должно ли предсказанное изображение, которое подлежит суммированию с изображением, декодированным декодирующим устройством, генерироваться посредством однонаправленного предсказания, генерироваться посредством двунаправленного предсказания или генерироваться посредством обработки фильтрации.

Другим объектом настоящего изобретения также является способ обработки изображений, включающий в себя этапы, на которых: кодируют исходное изображение, которое является целевым изображением кодирования, и генерируют кодированное изображение; обнаруживают вектор движения на основе изображения и исходного изображения, причем изображение получено путем выполнения локального декодирования на основе остаточного сигнала, указывающего разность между исходным изображением и предсказанным изображением; выполняют компенсацию движения, используя в качестве опорного кадра кадр, образованный из изображения, которое получено путем выполнения локального декодирования, и с помощью обнаруженного вектора движения, и извлекают изображение компенсации движения, соответствующее предсказанному изображению, из опорного кадра; выполняют внутрикадровое предсказание для текущего кадра, для которого должно генерироваться предсказанное изображение, и генерируют изображение с внутрикадровым предсказанием, соответствующее предсказанному изображению, из части изображения кадра; и генерируют предсказанное изображение путем выполнения обработки фильтрации для компенсации недостатка высокочастотных компонентов в извлеченном изображении компенсации движения и генерированном изображении с внутрикадровым предсказанием за счет использования корреляции во временном направлении, включенной в изображение компенсации движения.

В одном объекте настоящего изобретения декодируют кодированное изображение; суммируют изображение, которое декодировано, и предсказанное изображение; генерируют декодированное изображение; выполняют компенсацию движения, используя в качестве опорного кадра кадр, образованный из генерированного декодированного изображения, и используя вектор движения в кодированном изображении; извлекают изображение компенсации движения, соответствующее предсказанному изображению, из опорного кадра; выполняют внутрикадровое предсказание для текущего кадра, для которого должно генерироваться предсказанное изображение; генерируют изображение с внутрикадровым предсказанием, соответствующее предсказанному изображению, из части декодированного изображения; и выполняют операцию фильтрации для компенсации недостатка высокочастотных компонентов в изображении компенсации движения за счет использования корреляции во временном направлении, включенной в изображение компенсации движения и изображение с внутрикадровым предсказанием, благодаря чему генерируется предсказанное изображение.

В другом объекте настоящего изобретения кодируют исходное изображение, которое является целевым изображением кодирования; генерируют кодированное изображение; обнаруживают вектор движения на основе изображения и исходного изображения, причем изображение получено путем выполнения локального декодирования на основе остаточного сигнала, указывающего разность между исходным изображением и предсказанным изображением; выполняют компенсацию движения, используя в качестве опорного кадра кадр, образованный из изображения, полученного выполнением локального декодирования, и используя обнаруженный вектор движения; извлекают изображение компенсации движения, соответствующее предсказанному изображению, из опорного кадра; выполняют внутрикадровое предсказание для текущего кадра, для которого должно генерироваться предсказанное изображение; генерируют изображение с •внутрикадровым предсказанием, соответствующее предсказанному изображению, из части изображения кадра; и выполняют операцию фильтрации для компенсации недостатка высокочастотных компонентов в извлеченном изображении компенсации движения и генерированном изображении с внутрикадровым предсказанием за счет использования корреляции во временном направлении, включенной в изображения компенсации движения, тем самым генерируется предсказанное изображение.

Преимущественные эффекты изобретения

Согласно настоящему изобретению может генерироваться предсказанное изображение высокой точности, и может быть достигнута высокая эффективность кодирования без увеличения объема передачи векторов движения в потоке.

Краткое описание чертежей

Фиг.1 является схемой, иллюстрирующей пример однонаправленного

предсказания.

Фиг.2 является схемой, иллюстрирующей пример двунаправленного предсказания.

Фиг.3 является схемой, иллюстрирующей пример внутрикадрового предсказания.

Фиг.4 является схемой, поясняющей общие принципы генерирования предсказанного изображения по настоящему изобретению.

Фиг.5 является блок-схемой, иллюстрирующей пример конфигурации декодирующего устройства согласно варианту осуществления настоящего изобретения.

Фиг.6 является схемой, иллюстрирующей идею третьего режима предсказания.

Фиг.7 является схемой, иллюстрирующей идею третьего режима предсказания.

Фиг.8 является блок-схемой, иллюстрирующей пример конфигурации схемы предсказания-компенсации движения по Фиг.5.

Фиг.9 является схемой, иллюстрирующей пример опорных кадров.

Фиг.10 является схемой, иллюстрирующей другой пример опорных кадров.

Фиг.11 является блок-схемой, иллюстрирующей пример конфигурации схемы предсказания по Фиг.8.

Фиг.12 является блок-схемой, иллюстрирующей пример конфигурации фильтрующей схемы по Фиг.8.

Фиг.13 является блок-схемой, поясняющей обработку декодирования, выполняемую декодирующим устройством.

Фиг.14 является блок-схемой, поясняющей обработку предсказания-компенсации движения, выполняемую на этапе S9 по Фиг 13.

Фиг.15 является блок-схемой алгоритма, поясняющей пример последовательности обработки извлечения.

Фиг.16 является блок-схемой алгоритма, поясняющей пример последовательности обработки фильтрационного предсказания.

Фиг.17 является блок-схемой, иллюстрирующей пример конфигурации кодирующего устройства.

Фиг.18 является блок-схемой, иллюстрирующей пример конфигурации схемы определения режима по Фиг.17.

Фиг.19 является блок-схемой, иллюстрирующей пример конфигурации схемы предсказания-компенсации движения по Фиг.17.

Фиг.20 является блок-схемой алгоритма, поясняющей обработку кодирования, выполняемую кодирующим устройством.

Фиг.21 является блок-схемой алгоритма, поясняющей обработку определения режима, выполняемую на этапе S108 по Фиг.20.

Фиг.22 является блок-схемой алгоритма, поясняющей обработку предсказания-компенсации движения, выполняемую на этапе S111 по Фиг.20.

Фиг.23 является блок-схемой, иллюстрирующей другой пример конфигурации фильтрующей схемы.

Фиг.24 является блок-схемой, иллюстрирующей еще один пример конфигурации фильтрующей схемы.

Фиг.25 является блок-схемой, иллюстрирующей пример в случае использования трех опорных кадров.

Фиг.26 является блок-схемой, иллюстрирующей пример конфигурации фильтрующей схемы в случае использования трех опорных кадров.

Фиг.27 является блок-схемой, иллюстрирующей пример конфигурации персонального компьютера.

Фиг.28 является блок-схемой, иллюстрирующей пример конфигурации основной части телевизионного приемника, к которому применено настоящее изобретение.

Фиг.29 является блок-схемой, иллюстрирующей пример конфигурации основной части мобильного телефона, к которому применено настоящее изобретение.

Фиг.30 является блок-схемой, иллюстрирующей пример конфигурации основной части устройства записи на жесткий диск, к которому применено настоящее изобретение.

Фиг.31 является блок-схемой, иллюстрирующей пример конфигурации основной части фотокамеры, к которой применено настоящее изобретение.

Фиг.32 является схемой, иллюстрирующей примеры размера макроблока.

Подробное описание изобретения

Далее будут описаны режимы осуществления изобретения (далее варианты осуществления). Отметим, что описание будет вестись в следующем порядке:

1. Первый вариант осуществления (обработка декодирования).

2. Второй вариант осуществления (обработка кодирования).

3. Третий вариант осуществления (модификации фильтрующей схемы).

Первый вариант осуществления

Принцип предсказания

Фиг.4 является схемой, поясняющей принцип способа генерирования предсказанного изображения, к которому применено настоящее изобретение. В настоящем изобретении в декодере по меньшей мере один вектор движения передается в битовом потоке, чтобы получить изображение компенсации движения.

На Фиг.4 показан способ использования одиночного кадра (N-1) в качестве опорной плоскости для использования в компенсации движения, чтобы декодировать кадр N. На Фиг.4 вектор движения для обозначения координат изображения, которое должно быть подвергнуто компенсации движения для кадра (N-1), передается потоком. Декодер использует этот вектор для получения изображения МС.

Далее выполняется внутрикадровое предсказание с помощью декодированного пиксельного значения в кадре N. При этом предсказании используется, например, внутрикадровое предсказание на основе стандарта Н.264. Однако настоящее изобретение не ограничивает тип обработки внутрикадрового предсказания, и может быть выбрано любое предсказание, подходящее для предсказания высокой точности с помощью последующей обработки фильтрации путем использования кодированного пиксела в текущем кадре.

В двух описанных выше обработках предсказания декодер может получать изображение предсказания движения из кадра (N-1) и изображение пространственного предсказания из кадра N во время декодирования текущего блока. Два этих типа изображений подвергаются обработке фильтрации для генерирования нового предсказанного изображения, более близкого к исходному изображению, путем использования компонентов, включенных во введенное предсказанное изображение.

Конфигурация декодирующего устройства

Фиг.5 является блок-схемой, иллюстрирующей пример конфигурации декодирующего устройства 1 согласно варианту осуществления настоящего изобретения.

Данные изображения, кодируемые описанным ниже кодирующим устройством, вводятся в декодирующее устройство 1 через кабель, сеть или съемный носитель. Примеры сжатых данных изображения включают в себя данные изображения, кодированные в соответствии со стандартом Н.264.

Запоминающий буфер 11 последовательно сохраняет битовые потоки, введенные в качестве сжатых данных изображения. Данные, сохраненные в запоминающем буфере 11, при необходимости считываются схемой 12 декодирования без потерь в элементах изображений определенных элементов, таких как макроблоки, составляющих кадр. В стандарте Н.264 также возможно вместо выполнения обработки в элементах макроблоков размером 16×16 пикселов выполнить ее в элементах блоков, на которые далее делится макроблок, таких как 8×8 пикселов или 4×4 пиксела.

Схема 12 декодирования без потерь выполняет обработку декодирования, соответствующую способу кодирования, такую как обработка декодирования с переменной длиной слова или обработка арифметического декодирования изображения, считанного из запоминающего буфера 11. Схема 12 декодирования без потерь выводит квантованный коэффициент преобразования, который получен путем выполнения обработки декодирования, на схему 13 обратного квантования.

Кроме того, схема 12 декодирования без потерь определяет на основе идентификационной метки, включенной в заголовок подлежащего декодированию изображения, является это изображение изображением с внутрикадровым кодированием или изображением с межкадровым кодированием. В случае, если установлено, что изображение, подлежащее декодированию, является изображением с внутрикадровым кодированием, схема 12 кодирования без потерь выводит данные режима внутрикадрового предсказания, сохраненные в заголовке изображения, на схему 22 внутрикадрового предсказания. Данные режима внутрикадрового предсказания включают в себя данные, относящиеся к внутрикадровому предсказанию, такие как размер блока, служащего в качестве группы обработки.

В случае же, если установлено, что изображение, подлежащее декодированию, является данными с межкадровым кодированием, схема 12 кодирования без потерь выводит векторы движения и идентификационную метку, которые сохранены в заголовке изображения, на схему 21 предсказания-компенсации движения. Режим предсказания, в котором предсказанное изображение должно генерироваться посредством межкадрового предсказания, определяется с помощью идентификационной метки. Идентификационные метки устанавливаются, например, в элементах макроблоков или кадров.

В дополнение к режиму однонаправленного предсказания по Фиг.1 и режиму двунаправленного предсказания по Фиг.2 подготовленные режимы предсказания включают в себя третий режим предсказания для генерирования предсказанного изображения путем выполнения фильтрации изображений компенсации движения, извлеченных из множества опорных кадров, расположенных в одном или обоих временных направлениях.

Фиг.6 является схемой, иллюстрирующей принцип третьего режима предсказания.

В примере по Фиг.6 кадр, предшествующий по времени текущему кадру (предсказанному кадру), задан в качестве опорного кадра R₀, а кадр, предшествующий по времени опорному кадру R₀, задан в качестве опорного кадра R₁. В этом случае согласно третьему режиму предсказания изображения МС₀ и MC₁ компенсации движения, извлеченные из опорных кадров R₀ и R₁, вводятся в фильтрующую схему, а пиксельное значение в изображении, выведенном из фильтрующей схемы, задается в качестве пиксельного значения в предсказанном изображении, которое является целевым макроблоком.

Фиг.7 является схемой, иллюстрирующей идею в случае, когда различные изображения вводятся в третий режим предсказания.

В примере по Фиг.7 кадр, предшествующий по времени текущему кадру (предсказанному кадру), задается в качестве опорного кадра R₀. В этом случае для третьего режима предсказания изображение МС₀ компенсации движения, извлеченное из опорного кадра R₀, и изображение IP с внутрикадровым предсказанием, генерированное из кодированного изображения, которое расположено рядом с текущим блоком в текущем кадре, вводятся в фильтрующую схему, а пиксельное значение в изображении, выведенном из фильтрующей схемы, задается в качестве пиксельного значения в предсказанном изображении, которое является целевым макроблоком.

Далее режим предсказания, поясненный со ссылкой на Фиг.1, в котором пиксельное значение в одном изображении компенсации движения среди изображений компенсации движения, извлеченных из множества опорных кадров, расположенных в одном направлении, задается в качестве пиксельного значения предсказанного изображения, называется просто режимом однонаправленного предсказания. Кроме того, режим предсказания, поясненный со ссы