Устройство и способ обработки изображений

Устройство и способ обработки изображений

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Изобретение относится к устройству и способу обработки изображений, и, более конкретно, к устройству и способу обработки изображений, которые могут улучшить эффективность кодирования, предотвращая увеличение нагрузки.

Уровень техники

При обработке движущихся изображений обычно используются схемы кодирования, в которых применяют компенсацию движения и ортогональное преобразование, такое как дискретное косинусное преобразование, преобразование Карунена-Лоэва или вейвлет-преобразование, включающее в себя MPEG (Экспертная группа по вопросам движущегося изображения), Н.26х и т.д. В таких схемах кодирования движущихся изображений уменьшение количества кода достигается путем использования корреляции в пространственном направлении и в направлении времени среди характеристик сигнала входного изображения, предназначенного для кодирования.

Например, в Н.264, однонаправленное прогнозирование или двунаправленное прогнозирование используются, когда промежуточный кадр, то есть кадра, подвергаемый межкадровому прогнозированию (межкадровое прогнозирование), генерируют, используя корреляцию в направлении времени. Межкадровое прогнозирование разрабатывают для генерирования изображения прогнозирования на основе кадров в разные моменты времени.

Кроме того, в SVC (масштабируемое кодирование видеоданных), которое представляет собой расширение стандарта Н.264, была установлена схема кодирования, которая учитывает пространственную масштабируемость. SVC (H.264/AVC Annex G) представляет собой современный стандарт видеокодирования, который был стандартизирован в ноябре 2007 г. ITU-T (Международный союз электросвязи - Сектор телекоммуникаций) и ISO/IEC (Международная организация стандартизации/Международная электротехническая комиссия).

На фиг.1 иллюстрируется взаимосвязь ссылок для формирования изображения прогнозирования для сжатия, при котором учитывается пространственная масштабируемость в SVC. В SVC кодирование выполняют для множества значений разрешения, например, на уровне основания и на уровне улучшения, показанным на фиг.1. В случае примера по фиг.1, в качестве уровня основания, кодируют изображение, имеющее разрешение n×m [пикселей (pix)] (n и m представляют собой целые числа), используя пространственную масштабируемость. Вместе с этим, изображение, имеющее разрешение N×М [пикселей (pix)] (N и М представляют собой целые числа, где N>n и М>m), как уровень расширения, кодируют, используя пространственную масштабируемость.

В случае уровня основания текущий кадр кодируют, используя внутрикадровое прогнозирование или межкадровое прогнозирование аналогично случаю кодирования на основе стандарта Н.264. В случае примера, показанного на фиг.1, когда выполняют кодирование на уровне основания, используют две опорные плоскости (Ref0, Ref1). Из отдельных опорных плоскостей выделяют изображения (МС0, МС1) компенсации движения и выполняют межкадровое прогнозирование.

Также, в случае уровня расширения, аналогично случаю уровня основания, текущий кадр может быть кодирован, используя внутрикадровое прогнозирование или межкадровое прогнозирование.

В случае внутрикадрового прогнозирования прогнозирование выполняют, используя пространственную корреляцию на уровне расширения текущего кадра. Внутрикадровое прогнозирование эффективно для движущегося изображения, которое должно быть кодировано, когда корреляция в направлении времени низкая, например, когда субъект перемещается на небольшое расстояние. Однако, в обычных движущихся изображениях, во многих случаях, корреляция в направлении времени выше, чем прогнозирование в пространственном направлении, и внутрикадровое прогнозирование нельзя назвать оптимальным с точки зрения эффективности кодирования.

В случае межкадрового прогнозирования декодируемые изображения на уровне расширения временно предшествующих или следующих кадров используют в качестве опорных плоскостей. При межкадровом прогнозировании используют корреляцию в направлении времени и, таким образом, делают реально выполнимой высокую эффективность кодирования. Однако, требуется, чтобы было необходимо заранее декодировать изображения кадра с высоким разрешением на уровне расширения, которые используются, как опорные плоскости. Кроме того, также необходимо сохранять изображения с высоким разрешением в запоминающем устройстве для использования их в качестве опорных изображений. Кроме того, необходимо считывать изображения с высоким разрешением, имеющие большое количество данных, из запоминающего устройства. В соответствии с этим межкадровое прогнозирование можно назвать схемой, которая накладывает большую нагрузку с точки зрения объема обработки и стоимости воплощения.

В этом отношении, в случае уровня расширения, в дополнение к описанным выше двум схемам, можно использовать способ прогнозирования, основанный на пространственном повышении частоты выборки (преобразование с повышением частоты) уровня основания (ниже называется прогнозированием с преобразованием с повышением частоты) для кодирования текущего кадра.

Изображение на уровне основания представляет собой версию с низким разрешением изображения на уровне расширения, и, поэтому, его можно рассматривать, как включающее в себя сигнал, соответствующий компонентам низкой частоты изображения на уровне расширения. То есть изображение на уровне расширения может быть получено путем добавления высокочастотных компонентов к изображению на уровне основания. Прогнозирование с преобразованием с повышением частоты представляет собой способ для выполнения прогнозирования с использованием такой корреляции между уровнями, и представляет собой способ прогнозирования, полезный для улучшения эффективности кодирования, в частности, в случае, когда внутри- или межкадровое прогнозирование не применяется. Кроме того, такой способ прогнозирования декодирует изображение на уровне расширения только для текущего кадра, путем декодирования изображения одновременно на уровне основания, и, поэтому, можно сказать, эта схема прогнозирования является отличной (которая накладывает малую нагрузку) также с точки зрения объема обработки.

В то же время процессы для повышения разрешения включают в себя технологию для выполнения компенсации движения и фильтрации FIR значений пикселя, для преобразования корреляции в направлении времени в пространственное разрешение для использования (см., например, NPL 1).

В способе, описанном в NPL 1, корреляция в направлении времени используется для обработки, направленной на увеличение разрешения входной последовательности изображения. В частности, рассчитывают информацию о разности прогнозируемого/компенсированного по движению изображения между текущим изображением и предыдущим изображением и подают, как обратную связь, в целевое текущее изображение для восстановления высокочастотного компонента, включенного во входное изображение.

Список литературы

Непатентная литература

NPL 1: "Improving Resolution by Image Registration", MICHAL IRANI AND SHMUEL PELEG. Department of Computer Science, The Hebrew University of Jerusalem, 91904 Jerusalem, Israel, Communicated by Rama Chellapa, Received June 16, 1989; accepted May 25, 1990.

Сущность изобретения

Техническая задача

Однако прогнозирование с преобразованием с повышением частоты изображения с низким разрешением приводит к получению изображения, имеющего малое количество высокочастотных компонентов, генерируемых из-за влияния фильтра линейной интерполяции. При прогнозировании с преобразованием с повышением частоты, поэтому, может быть получено только изображение прогнозирования, имеющее небольшое количество высокочастотных компонентов. То есть при прогнозировании с преобразованием с повышением частоты нельзя сказать, что переданная информация пикселя на уровне основания в достаточной степени используется для выполнения прогнозирования. На уровне расширения, поэтому, большое количество кода может потребоваться для кодирования остаточного сигнала.

Как отмечено выше, в обычных способах кодировании и декодирования было трудно достичь одновременно и улучшения эффективности кодирования, и предотвращения увеличения нагрузки.

Таким образом, может быть рассмотрен способ, в котором улучшение эффективности кодирования реализовано путем применения технологии обработки изображений, как описано в NPL 1, для преобразования временной корреляции движущегося изображения в пространственное разрешение. Однако, способ, описанный в NPL 1, нельзя просто применять для SVC.

Например, при межкадровом прогнозировании, разрешение изображения компенсации движения, получаемого из опорной плоскости, является таким же, как у изображения прогнозирования, которое генерируют, и способ, описанный в NPL 1, нельзя применять для преобразования прогнозирования с повышением частоты. Кроме того, при прогнозирования преобразовании с повышением частоты, поскольку изображение прогнозирования генерируют только из изображения текущего кадра на уровне основания, способ, описанный в NPL 1, где разрешение повышают, используя три изображения, нельзя применять для прогнозирования с преобразованием с повышением частоты.

Настоящее изобретение было предложено с учетом описанной выше ситуация, и оно предназначено для выполнения кодирования, в котором учитывается пространственная масштабируемость, путем более эффективного использования временной корреляции, включенной в последовательность сигналов в движущемся изображении, обеспечивая, таким образом, возможность улучшения эффективности кодирования, предотвращая повышение нагрузки на процессы, такие как кодирование и декодирование.

Решение задачи

В одном аспекте настоящего изобретения предусмотрено устройство обработки изображений, включающее в себя: средство декодирования, предназначенное для декодирования кодированного изображения; средство генерирования, предназначенное для суммирования изображения, декодированного средством декодирования, и изображения прогнозирования, и для генерирования декодированного изображения; средство выделения, предназначенное для выполнения компенсации движения, использующее, в качестве опорных кадров, кадры, сформированные из декодируемых изображений, генерируемых средством генерирования, и использующее векторы движения в изображениях, которые были кодированы, и для выделения изображения компенсации движения, имеющего более низкое разрешение, чем у изображения прогнозирования, из опорных кадров, соответствующих изображению прогнозирования; и средство генерирования изображения прогнозирования, предназначенное для выполнения процесса фильтрации для компенсации изображения компенсации движения, выделенного средством выделения в отношении высокочастотных компонентов, используя корреляцию в направлении времени, которая включена в изображения компенсации движения, генерируя, таким образом, изображение прогнозирования, имеющее более высокое разрешение, чем у изображений компенсации движения.

Кодированное изображение было иерархически разложено на изображения во множестве уровней, имеющие различные значения разрешения, и эти изображения были кодированы; средство декодирования может декодировать кодированное изображение на каждом уровне; средство генерирования может генерировать декодированное изображение на каждом уровне; когда должно быть выполнено декодирование на уровне с высоким разрешением, средство выделения может использовать, как опорные кадры, кадры на уровне, имеющем более низкое разрешение, чем на уровне, и выделять изображения компенсации движения из опорных кадров на уровне, имеющем более низкое разрешение; и средство генерирования изображения прогнозирования может генерировать изображение прогнозирования на уровне с высоким разрешением путем выполнения процесса фильтрации изображений компенсации движения, выделенных из опорных кадров на уровне, имеющем более низкое разрешение.

Средство генерирования изображения прогнозирования может включать в себя: средство преобразования разрешения, предназначенное для преобразования разрешения разностного изображения между множеством изображений компенсации движения, выделенных средством выделения, и увеличения разрешения; средство первого фильтра, предназначенное для применения фильтра низкой частоты к разностному изображению, разрешение которого было увеличено средством преобразования разрешения; средство второго фильтра, предназначенное для применения фильтра высокой частоты к изображению, полученному путем применения фильтра низкой частоты в средстве первого фильтра; и средство суммирования, предназначенное для суммирования изображения, полученного путем применения фильтра низкой частоты средством первого фильтра, и изображения, полученного путем применения фильтра высокой частоты в средстве второго фильтра к одному из множества изображений компенсации движения, выделенных средством выделения, и для генерирования изображения прогнозирования.

Средство суммирования может суммировать изображение, полученное путем применения фильтра низкой частоты средством первого фильтра, и изображение, полученное путем применения фильтра высокой частоты средством второго фильтра с изображением компенсации движения, выделенным из предыдущего кадра относительно времени изображения прогнозирования.

Устройство обработки изображений может, кроме того, включать в себя средство однонаправленного прогнозирования, предназначенное для выполнения однонаправленного прогнозирования, используя множество изображений компенсации движения, и для генерирования изображения прогнозирования; средство двунаправленного прогнозирования, предназначенное для выполнения двунаправленного прогнозирования, используя множество изображений компенсации движения, и для генерирования изображения прогнозирования; и средство определения, предназначенное для определения, следует ли генерировать изображение прогнозирования через однонаправленное прогнозирование средством однонаправленного прогнозирования, генерировать через двунаправленное прогнозирование средством двунаправленного прогнозирования, или генерировать посредством процесса фильтрации средством генерирования изображения прогнозирования при использовании флага идентификации, включенного в заголовок кодированного изображения.

В одном аспекте настоящего изобретения, кроме того, предусмотрен способ обработки изображений, в котором декодируют кодированное изображение;

суммируют декодированное изображение и изображение прогнозирования и генерируют декодированное изображение; выполняют компенсацию движения, используя в качестве опорных кадров кадры, сформированные из сгенерированных декодированных изображений и используя векторы движения в изображениях, которые были кодированы, и выделяют изображение компенсация движения, имеющее более низкое разрешение, чем у изображения прогнозирования, из опорных кадров, соответствующих изображению прогнозирования; и выполняют обработку фильтрации для компенсации выделенных изображений компенсации движения в отношении высокочастотных компонентов, используя корреляцию в направлении времени, которая включена в изображения компенсации движения, генерируя, таким образом, изображение прогнозирования, которое имеет более высокое разрешение, чем у изображений компенсации движения.

В другом аспекте настоящего изобретеняе предусмотрено устройство обработки изображений, включающее в себя: средство кодирования, предназначенное для кодирования исходного изображения, которое представляет собой изображение, предназначенное для кодирования и для генерирования кодированного изображения; средство детектирования, предназначенное для детектирования векторов движения на основе изображений и исходного изображения, каждого из изображений, получаемых, выполняя локальное декодирование на основе остаточного сигнала, обозначающего различие между исходным изображением и изображением прогнозирования; средство выделения, предназначенное для выполнения компенсации движения, используя в качестве опорных кадров кадры, сформированные из изображений, полученных при выполнении локального декодирования и используя векторы движения, детектированные средством детектирования, и для выделения изображений компенсации движения, имеющих более низкое разрешение, чем у изображений прогнозирования из опорных кадров, соответствующих изображениям прогнозирования; и средство генерирования, предназначенное для выполнения процесса фильтрации для компенсации изображений компенсации движения, выделенных средством выделения в отношении высокочастотных компонентов, используя корреляцию в направлении времени, которая включена в изображения компенсации движения, таким образом, генерируя изображение прогнозирования, имеющее более высокое разрешение, чем у изображения компенсации движения.

Средство кодирования может генерировать кодированные изображения на множестве уровней, имеющие различные значения разрешения; когда должно быть выполнено декодирование уровня с высоким разрешением, средство выделения может использовать, как опорные кадры, кадры на уровне, имеющем более низкое разрешение, чем на уровне, и выделять изображения компенсации движения из опорных кадров на уровне, имеющем низкое разрешение, используя векторы движения, детектированные средством детектирования на уровне, имеющем низкое разрешение; и средство генерирования может генерировать изображение прогнозирования на уровне с высоким разрешением, выполняя процесс фильтрации для изображений компенсации движения, выделенных из опорных кадров, на уровне, имеющем низкое разрешение.

Средство генерирования может включать в себя средство преобразования разрешения, предназначенное для преобразования разрешения разностного изображения между множеством изображений компенсации движения, выделенных средством выделения, и повышения разрешения; средство первого фильтра, предназначенное для применения фильтра низкой частоты к разностному изображению, разрешение которого было увеличено средством преобразования разрешения; средство второго фильтра, предназначенное для применения фильтра высокой частоты к изображению, полученному путем применения фильтра низкой частоты средства первого фильтра; и средство суммирования, предназначенное для суммирования изображения, полученного путем применения фильтра низкой частоты средством первого фильтра, и изображения, полученного путем применения фильтра высокой частоты средством второго фильтра, для одного из множества изображений компенсации движения, выделенных средством выделения, и генерирования изображения прогнозирования.

Средство суммирования может суммировать изображение, полученное путем применения фильтра низкой частоты средством первого фильтра, и изображение, полученное путем применения фильтра высокой частоты средством второго фильтра с изображением компенсации движения, выделенным из предыдущего кадра относительно времени изображения прогнозирования.

Средство кодирования может обеспечить включение в заголовок флага идентификации, идентифицирующего, должно ли изображение прогнозирования, которое будет добавлено к изображению, декодируемому устройством декодирования, быть сгенерированным через однонаправленное прогнозирование, сгенерированным через двунаправленное прогнозирование или сгенерированным посредством процесса фильтрации.

В другом аспекте настоящего изобретение, кроме того, предусмотрен способ обработки изображений, в котором кодируют исходное изображение, которое представляет собой изображение, предназначенное для кодирования, и генерируют кодированное изображение; детектируют векторы движения на основе изображений и исходного изображения, причем каждое из изображений получают, выполняя локальное декодирование на основе остаточного сигнала, обозначающего разность между исходным изображением и изображением прогнозирования; выполняют компенсацию движения используя, как опорные кадры, кадры, сформированные из изображений, полученных при выполнении локального декодирования, и используя детектированные векторы движения, а также выделяя изображения компенсации движения, имеющие более низкое разрешение, чем у изображений прогнозирования из опорных кадров, соответствующих изображениям прогнозирования; и выполняют обработку фильтрации для компенсации выделенных изображений компенсации движения в отношении высокочастотных компонентов, используя корреляцию в направлении времени, которая включена в изображения компенсации движения, таким образом, генерируя изображение прогнозирования, имеющее более высокое разрешение, чем у изображения компенсации движения.

В одном аспекте настоящего изобретения декодируют кодированное изображение; декодированное изображение и изображение прогнозирования суммируют и генерируют декодированное изображение; выполняют компенсацию движения, используя, как опорные кадры, кадры, сформированные из сгенерированных декодированных изображений, и используя векторы движения в изображениях, которые были кодированы, и выделяют изображение компенсация движения, имеющее более низкое разрешение, чем у изображения прогнозирования, из опорных кадров, соответствующих изображению прогнозирования; и выполняют обработку фильтрации, предназначенную для компенсации выделенных изображений компенсации движения в отношении высокочастотных компонентов, используя корреляцию в направлении времени, которая включена в изображения компенсации движения, генерируя, таким образом, изображение прогнозирования, которое имеет более высокое разрешение, чем у изображений компенсации движения.

В другом аспекте настоящего изобретения кодируют исходное изображение, которое представляет собой изображение, предназначенное для кодирования, и генерируют кодированное изображение; векторы движения детектируют на основе изображений и исходного изображения каждого из изображений, получаемых при выполнении локального декодирования на основе остаточного сигнала, обозначающего различие между исходным изображением и изображением прогнозирования; компенсацию движения выполняют, используя, как опорные кадры, кадры, сформированные из изображений, полученных при выполнении локального декодирования, и используя детектированные вектора движения, и изображения компенсации движения, имеющие более низкое разрешение, чем у изображения прогнозирования, выделяют из опорных кадров, соответствующих изображениям прогнозирования; и выполняют обработку фильтрации, предназначенную для компенсации выделенных изображений компенсации движения в отношении высокочастотных компонентов, используя корреляцию в направлении времени, которая включена в изображения компенсации движения, таким образом, генерируя изображение прогнозирования, имеющее более высокое разрешение, чем у изображения компенсации движения.

Предпочтительные эффекты изобретения

Информация может быть обработана в соответствии с настоящим изобретением. В частности, изображение прогнозирования с высокой точностью может быть сгенерировано, и эффективность кодирования может быть улучшена без увеличения нагрузки более чем необходимо.

Краткое описание чертежей

На фиг.1 показана схема, поясняющая декодирование схемы кодирования, которая учитывает обычную пространственную масштабируемость.

На фиг.2 показана схема, представляющая собой краткий обзор генерирования изображения прогнозирования, в котором применяется настоящее изобретение.

На фиг.3 показана блок-схема, иллюстрирующая пример конфигурации основной части устройства декодирования, в котором применено настоящее изобретение.

На фиг.4 показана блок-схема, иллюстрирующая пример конфигурации основной части схемы декодирования без потерь по фиг.3.

На фиг.5 показана блок-схема, иллюстрирующая пример конфигурации основной части схемы прогнозирования/компенсации движения по фиг.3.

На фиг.6 показана блок-схема, иллюстрирующая пример конфигурации основной части схемы прогнозирования путем фильтрации по фиг.5.

На фиг.7 показана блок-схема последовательности операций, поясняющая пример потока процесса декодирования.

На фиг.8 показана блок-схема последовательности операций, поясняющая пример потока процесса декодирования без потерь.

На фиг.9 показана блок-схема последовательности операций, поясняющая пример потока процесса прогнозирования путем фильтрации, когда выполняют декодирование.

На фиг.10 показана блок-схема, иллюстрирующая пример конфигурации основной части устройства кодирования, в котором применено настоящее изобретение.

На фиг.11 показана блок-схема, иллюстрирующая пример конфигурации основной части схемы определения режима по фиг.10.

На фиг.12 показана блок-схема, иллюстрирующая пример конфигурации основной части схемы прогнозирования/компенсации движения.

На фиг.13 показана блок-схема последовательности операций, поясняющая пример потока процесса кодирования.

На фиг.14 показана блок-схема последовательности операций, поясняющая пример потока процесса определения режима.

На фиг.15 показана блок-схема последовательности операций, поясняющая пример потока процесса прогнозирования путем фильтрации, когда выполняют кодирование.

На фиг.16 показана схема, поясняющая другой пример краткого обзора процесса декодирования, к которому применено настоящее изобретение.

На фиг.17 - блок-схема, иллюстрирующая другой пример конфигурации схемы фильтрации на фиг.6.

На фиг.18 - схема, объясняющая все еще другой пример обзора процесса декодирования, в котором применено настоящее изобретение.

На фиг.19 показана блок-схема последовательности операций, поясняющая другой пример потока процесса прогнозирования путем фильтрации, когда выполняют декодирование.

На фиг.20 показана блок-схема последовательности операций, поясняющая другой пример процесса прогнозирования путем фильтрации, когда выполняют кодирование.

На фиг.21 показана блок-схема, иллюстрирующая пример конфигурации основной части персонального компьютера, в котором применено настоящее изобретение.

На фиг.22 показана блок-схема, иллюстрирующая пример конфигурации основной части телевизионного приемника, к котором применено настоящее изобретение.

На фиг.23 показана блок-схема, иллюстрирующая пример конфигурации основной части мобильного телефона, в котором применено настоящее изобретение.

На фиг.24 показана блок-схема, иллюстрирующая пример конфигурации основной части устройства записи жесткого диска, в котором применено настоящее изобретение.

На фиг.25 показана блок-схема, иллюстрирующая пример конфигурации основной части камеры, в которой применено настоящее изобретение.

На фиг.26 показана схема, иллюстрирующая примеры размеров макроблока.

Подробное описание изобретения

Далее поясняются режимы выполнения изобретения (ниже называются вариантами осуществления). Следует отметить, что пояснение будет представлено в следующем порядке:

1. Первый вариант осуществления (обработка декодирования)

2. Второй вариант осуществления (обработка кодирования)

3. Третий вариант осуществления (обработка декодирования с тремя или больше изображениями компенсации движения)

4. Четвертый вариант осуществления (обработка декодирования и обработка кодирования, используя изображения компенсации движения на том же уровне),

1. Первый вариант осуществления

Обзор прогнозирования

На фиг.2 показана схема, поясняющая обзор способа генерирования изображения прогнозирования, в котором используется настоящее изобретение. Как представлено на фиг.2, в этом случае фильтрацию выполняют для изображений множества опорных плоскостей на уровне основания, для генерирования изображения прогнозирования текущего блока (обработка целевого блока в текущее время) на уровне расширения.

Таким образом, используя анализ в направлении времени, становится возможным более эффективно использовать компоненты сигнала в последовательности изображения, чем при использовании пространственного фильтра с повышением частоты выборки. В результате, изображение прогнозирования, генерируемое с помощью технологии в соответствии с настоящим изобретением (ниже называется прогнозированием фильтрации), может уменьшить остаточные элементы прогнозирования, имея при этом пространственно более высокочастотные компоненты, чем у изображения прогнозирования, сгенерированного с использованием обычного прогнозирования с преобразованием с повышением частоты выборки, в котором используется изображение текущего кадра (обработка целевого кадра в текущее время) в слое основания. То есть количество кода для изображения, предназначенного для кодирования на уровне расширения, может быть уменьшено, и при этом можно способствовать улучшению эффективности кодирования.

Кроме того, при таком прогнозировании фильтрации не обращаются к декодированным изображениям на уровне расширения при различающихся по времени кадрах. Таким образом, объем обработки, необходимой для кодирования, емкость для временного сохранения, количество информации, считываемой из запоминающего устройства и т.п., можно уменьшить, и затраты на воплощение могут быть уменьшены. Кроме того, также можно уменьшить потребление энергии.

Конфигурация устройства декодирования

На фиг.3 показана блок-схема, иллюстрирующая примерную конфигурацию устройства 1 декодирования в соответствии с вариантом осуществления настоящего изобретения.

Информацию об изображении, кодированном устройством кодирования, описанным ниже, подают в устройство 1 декодирования через кабель, сеть или съемный носитель информации. Примеры информации сжатого изображении включают в себя информацию изображении, кодированную в соответствии со стандартом H.264/SVC.

В SVC сжатая информация изображения состоит из уровней множества значений разрешения. Уровень с самым низким разрешением представляет собой уровень основания, и уровни с большим разрешением, чем у уровня основания, представляют собой уровни расширения. Следует отметить, что количество уровней является произвольным; однако, в следующем описании предполагается, что информация сжатого изображении состоит из двух уровней. Таким образом, информация сжатого изображения, подаваемая в устройство 1 декодирования, имеет уровень основания и один уровень расширения.

Информацию сжатого изображения каждого кадра последовательно подают в устройство 1 декодирования. В каждом кадре последовательно вводят потоки битов соответствующих уровней со стороны с низким разрешением на сторону с высоким разрешением. То есть поток битов на уровне основания раньше подают в устройство 1 декодирования.

Поток битов на уровне основания декодируют аналогично случаю информации сжатого изображении на основе стандарта H.264/AVC, и его пояснение здесь не представлено. После того, как поток битов на уровне основания будет декодирован, поток битов на уровне расширения подают в устройство 1 декодирования. В основном, обработка потока битов на уровне расширения поясняется ниже.

В буфере 11 сохранения последовательно сохраняют потоки битов, вводимые как информация сжатого изображении. Информацию, содержащуюся в буфере 11 сохранения, считывают с помощью схемы 12 декодирования без потерь в единицах изображений определенной размерности, таких как макроблоки, формирующие кадр соответствующим образом. В стандарте Н.264 также можно выполнить обработку вместо единиц макроблоков по 16×16 пикселей, в единицах блоков, на которые макроблок дополнительно разделен, таких как блоки по 8×8 пикселей или 4×4 пикселя.

Схема 12 декодирования без потерь выполняет обработку декодирования, соответствующую схеме кодирования, такой как обработка декодирования с переменной длиной или обработка арифметического декодирования изображения, считываемого из буфера 11 сохранения. Схема 12 декодирования без потерь выводит квантованный коэффициент преобразования, который получают путем выполнения процесса декодирования, в схему 13 деквантования.

Кроме того, схема 12 декодирования без потерь идентифицирует способ прогнозирования на основе флага идентификации, включенного в заголовок изображения, предназначенного для декодирования. В случае, когда определяют, что изображение, предназначенное для декодирования, представляет собой изображение с внутрикадровым кодированием, схема 12 декодирования без потерь выводит информацию режима внутрикадрового прогнозирования, сохраненную в заголовке изображения, в схему 22 внутрикадрового прогнозирования. Информация режима внутрикадрового прогнозирования включает в себя информацию, относящуюся к внутрикадровому прогнозированию, такую как размер блока, используемого как единица при обработке.

В случае, когда определяют, что изображение, предназначенное для декодирования, представляет собой информацию межкадрового кодирования, схема 12 декодирования без потерь выводит вектора движения и флаг идентификации, которые содержатся в заголовке изображения, в схему 21 прогнозирования/компенсации движения. Режим прогнозирования, в котором изображение прогнозирования должно быть сгенерировано с использованием межкадрового прогнозирования, идентифицируют, используя флаг идентификации. Флаги идентификации устанавливают в единицах, например, макроблоков или кадров.

В дополнение к режиму однонаправленного прогнозирования, режиму двунаправленного прогнозирования и режиму прогнозирования с преобразованием с повышением частоты, подготовленные режимы прогнозирования включают в себя режим прогнозирования путем фильтрации для генерирования изображения прогнозирования, путем выполнения фильтрации для изображений со скомпенсированным движением, выделенных из множества опорных кадров, расположенных в одной или обеих временных директориях на уровне основания.

Ниже режим прогнозирования, в котором значение пикселя в одном изображении компенсации движения среди изображений компенсации движения, выделенных из множества опорных кадров, расположенных в одном направлении, установлено, как значение пикселя в изображении прогнозирования, просто называется режимом однонаправленного прогнозирования. Кроме того, режим прогнозирования, в котором среднее значение для значений пикселя в изображениях компенсации движения, индивидуально выделенных из множества опорных кадров, расположенных в обоих направлениях, установленных, как значение пикселя в изображении прогнозирования, просто называется режимом двунаправленного прогнозирования. Кроме того, режим прогнозирования, в котором изображение компенсации движения, выделенное из текущего кадра на уровне основания, преобразуют с повышением частоты для определения значений пикселя в изображении прогнозирования, называется просто режимом прогнозирования с преобразованием с повышением частоты.

Четвертый режим прогнозирования, как показано на фиг.2, в котором значение пикселя в изображении прогнозирования определяют путем выполнения фильтрации, включающей в себя прогнозирование с преобразованием с повышением частоты для каждого из изображений компенсации движения, выделенных из множества опорных кадров, расположенных в одном или обоих направлениях уровня основания, называется режимом прогнозирования путем фильтрации.

Схема 13 деквантования выполняет деквантование квантованных коэффициентов преобразования, подаваемых из схемы 12 декодирования без потерь, используя схему, соответствующую схеме квантования, используемой на стороне кодирования. Схема 13 деквантования выводит коэффициент преобразования, полученный в результате выполнения деквантования, в схему 14 обратного ортогонального преобразования.

Схема 14 обратного ортогонального преобразования выполняет, например, обратное ортогональное преобразование четвертого порядка по коэффициенту преобразования,