Устройство обработки изображения и способ обработки изображения

Устройство обработки изображения и способ обработки изображения

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее раскрытие относится к устройству обработки изображения и способу обработки изображения.

Уровень техники

Стандарты схемы кодирования изображения, называемой Высокоэффективное кодирование видеоданных (HEVC), разрабатываемые Joint Collaboration Team-Video Coding (JCTVC), которая представляет собой объединенную организацию по стандартизации ITU-T и ISO/IEC, в настоящее время выполняется с целью улучшения эффективности кодирования, в большей степени, чем H.264/AVC (см., например, непатентную литературу 1, представленную ниже).

HEVC обеспечивает не только кодирование одного уровня, но также и масштабируемое кодирование видеоданных, как в известных схемах кодирования изображения, таких как MPEG2 и усовершенствованное кодирование видеоданных (AVC) (например, см. представленную ниже непатентную литературу 2). Технология масштабируемого кодирования видеоданных HEVC также называется масштабируемым HEVC (SHVC). В SHVC, в то время как значение уровня расширения кодируют в схеме HEVC, основный уровень может быть кодирован в схеме HEVC или может быть кодирован в другой схеме кодирования изображения, кроме схемы HEVC (например, в схеме AVC).

Обычно масштабируемое кодирование видеоданных относится к технологии для иерархического кодирования уровня, передающего необработанный сигнал изображения, и уровня, передающего сигнал изображения более высокого качества. Типичные атрибуты, для которых установлена иерархия при масштабируемом кодировании видеоданных, в основном, включают в себя следующие три:

Пространственная масштабируемость: иерархию устанавливают для пространственного разрешения или размеров изображения.

- Временная масштабируемость: иерархию устанавливают для скорости передачи кадров.

- Масштабируемость отношения "сигнал-шум" (SNR): иерархию устанавливают для отношения SN.

Далее, хотя это еще не принято в стандарте, также описываются масштабируемость глубины битов и масштабируемость формата цветности.

При масштабируемом кодировании видеоданных, эффективность кодирования может быть улучшена путем кодирования только на одном уровне параметра, который может повторно использоваться на разных уровнях (например, см. непатентную литературу 3).

Список литературы

Непатентная литература

Непатентная литература 1: "High Efficiency Video Coding (HEVC) text specification draft 9" by Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Thomas Wiegand (JCTVC-K1003_v9, October 10^th to 19^th, 2012)

Непатентная литература 2: "NAL unit header and parameter set designs for HEVC extensions" by Jill Boyce, Ye-Kui Wang (JCTVC-K1007, October 10^th to 19^th, 2012)

Непатентная Литература 3: "TE6: Inter-layer syntax prediction from AVC base layer" by Jill Boyce, Kawamura Kei, Haricharan Lakshman (JCTVC-K1106v2, October 10^th to 19^th, 2012)

Раскрытие изобретения

Техническая задача

В соответствии с технологиями масштабируемого кодирования видеоданных, предложенными до настоящего времени, однако, множество параметров, относящихся к квантованию данных коэффициента преобразования после ортогонального преобразования не используются повторно на уровнях. Для оптимизации эффективности кодирования желательно обеспечить повторное использование параметров, относящихся к квантованию на уровнях, если это возможно. Этот момент относится не только к масштабируемому кодированию видеоданных, но также и к общему многоуровневому кодеку, который поддерживает прогнозирование между уровнями. Другой пример многоуровневого кодека представляет собой многопроекционный кодек.

Решение задачи

В соответствии с вариантом осуществления настоящего раскрытия, обеспечивается устройство обработки изображения, включающее в себя блок управления, выполненный с возможностью установки, на основе смещения первого параметра квантования, установленного для компонента цветности первого уровня, смещения второго параметра квантования, для компонента цветности второго уровня, декодированного со ссылкой на первый уровень, и блок обратного квантования, выполненный с возможностью обратного квантования данных коэффициента преобразования компонента цветности второго уровня, с использованием параметра квантования, вычисленного с использованием смещения второго параметра квантования, установленного блоком управления.

Упомянутое выше устройство обработки изображения может обычно быть реализовано, как устройство декодирования изображения, которое декодирует изображение.

В соответствии с другим вариантом осуществления настоящего раскрытия, обеспечивается способ обработки изображения, включающий в себя этапы, на которых: устанавливают, на основе смещения первого параметра квантования, установленного для компонента цветности первого уровня, второй параметр квантования, смещенный для компонента цветности второго уровня, декодированного со ссылкой на первый уровень, и выполняют преобразование с обратным квантованием данных коэффициента компонента цветности второго уровня, с использованием параметра квантования, вычисленного, с использованием второго установленного смещения второго параметра квантования.

В соответствии с другим вариантом осуществления настоящего раскрытия, обеспечивается устройство обработки изображения, включающее в себя блок квантования, выполненный с возможностью квантования данных коэффициента преобразования компонента цветности второго уровня, кодированных со ссылкой на первый уровень, с использованием заданного параметра квантования, и блок кодирования, выполненный с возможностью кодирования смещения второго параметра квантования компонента цветности второго уровня, вычисленного на основе первого параметра квантования, установленного со смещением, для компонента цветности первого уровня и заданного параметра квантования.

Упомянутое выше устройство обработки изображения обычно может быть реализовано, как устройство кодирования изображения, которое кодирует изображение.

В соответствии с другим вариантом осуществления настоящего раскрытия, обеспечивается способ обработки изображения, включающий в себя этапы, на которых: квантуют данные коэффициента преобразования компонента цветности второго уровня, кодированные со ссылкой на первый уровень, с использованием заданного параметра квантования, и кодируют смещение второго параметра квантования компонента цветности второго уровня, вычисленного на основе смещения первого параметра квантования, установленного для компонента цветности первого уровня и заданного параметра квантования.

Предпочтительные эффекты изобретения

В соответствии с технологией, относящейся к настоящему раскрытию, в многоуровневом кодеке, эффективность кодирования может быть повышена, путем повторного использования параметра, относящего к уровням квантования.

Краткое описание чертежей

На фиг. 1 представлена иллюстративная схема для описания масштабируемого кодирования видеоданных.

На фиг. 2 представлена иллюстративная схема для описания гранулярности управления скоростью.

На фиг. 3 представлена иллюстративная схема для описания примера отношения между параметрами квантования и шагами квантования.

На фиг. 4 представлена иллюстративная схема для описания примера ссылочной взаимосвязи блоков при прогнозировании в-СТВ и при прогнозировании между-СТВ.

На фиг. 5 показана блок-схема, представляющая схематическую конфигурацию устройства кодирования изображения в соответствии с вариантом осуществления.

На фиг. 6 показана блок-схема, представляющая схематическую конфигурацию устройства декодирования изображения в соответствии с вариантом осуществления.

На фиг. 7 показана блок-схема, представляющая пример конфигурации блока кодирования EL, представленного на фиг. 5

На фиг. 8 показана блок-схема, представляющая пример конфигурации блока управления квантованием, представленного на фиг. 7.

На фиг. 9А показана первая иллюстративная схема для описания повторного использования матриц квантования.

На фиг. 9В показана вторая иллюстративная схема для описания повторного использования матриц квантования.

На фиг. 9С показана третья иллюстративная схема для описания повторного использования матриц квантования.

На фиг. 9D показана четвертая иллюстративная схема для описания повторного использования матриц квантования.

На фиг. 10 показана блок-схема последовательности операций, представляющая пример последовательности операций схематического потока обработки для кодирования в соответствии с вариантом осуществления.

На фиг. 11 показана блок-схема последовательности операций, представляющая пример последовательности операций потока обработки, относящейся к квантованию, при обработке кодирования уровня расширения.

На фиг. 12 показана блок-схема, представляющая пример конфигурации блока декодирования EL, представленного на фиг. 6.

На фиг. 13 показана блок-схема, представляющая пример конфигурации блока управления обратным квантованием, представленного на фиг. 12.

На фиг. 14 показана блок-схема последовательности операций, представляющая пример последовательности операций схемы последовательности обработки для декодирования, в соответствии с вариантом осуществления.

На фиг. 15 показана блок-схема последовательности операций, представляющая пример последовательности операций потока обработки, относящейся к обратному квантованию при обработке декодирования на уровне расширения.

На фиг. 16А показана первая иллюстративная схема для описания примера синтаксиса уровня расширения, которая может использоваться в варианте осуществления.

На фиг. 16В показана вторая иллюстративная схема для описания примера синтаксиса уровня расширения, которая может использоваться в варианте осуществления.

На фиг. 16С показана третья иллюстративная схема для описания примера синтаксиса уровня расширения, которая может использоваться в варианте осуществления.

На фиг. 16D представлена иллюстративная схема для описания первого модифицированного примера синтаксиса уровня расширения.

На фиг. 16Е представлена иллюстративная схема для описания второго модифицированного примера синтаксиса уровня расширения.

На фиг. 17А показана первая иллюстративная схема для описания комбинации кодеков, которые могут быть разрешены или запрещены.

На фиг. 17В показана вторая иллюстративная схема для описания комбинации кодеков, которые могут быть разрешены или запрещены.

На фиг. 18 показана блок-схема, представляющая пример схематической конфигурации телевизора.

На фиг. 19 показана блок-схема, представляющая пример схематической конфигурации мобильного телефона.

На фиг. 20 показана блок-схема, представляющая пример схематической конфигурации устройства записи и воспроизведения.

На фиг. 21 показана блок-схема, представляющая пример схематической конфигурации устройства формирования изображения.

На фиг. 22 представлена иллюстративная схема для описания первого примера использования масштабируемого кодирования видеоданных.

На фиг. 23 представлена иллюстративная схема для описания второго примера использования масштабируемого кодирования видеоданных.

На фиг. 24 представлена иллюстративная схема для описания третьего примера использования масштабируемого кодирования видеоданных.

На фиг. 25 представлена иллюстративная схема для описания многопроекционного кодека.

На фиг. 26 показана блок-схема, представляющая схематическую конфигурацию устройства кодирования изображения для многопроекционного кодека.

На фиг. 27 показана блок-схема, представляющая схематическую конфигурацию устройства декодирования изображения для многопроекционного кодека.

На фиг. 28 показана блок-схема, представляющая пример схематической конфигурации видеонабора.

На фиг. 29 показана блок-схема, представляющая пример схематической конфигурации видеопроцессора.

На фиг. 30 показана блок-схема, представляющая другой пример схематической конфигурации видеопроцессора.

На фиг. 31 показана иллюстративная схема, представляющая краткий обзор системы воспроизведения содержания.

На фиг. 32 показана иллюстративная схема, представляющая пример потока данных в системе воспроизведения содержания.

На фиг. 33 показана иллюстративная схема, представляющая конкретный пример MPD.

На фиг. 34 показаны блок-схема, представляющая пример конфигурации содержания сервера.

На фиг. 35 показана блок-схема, представляющая пример конфигурации устройства воспроизведения содержания.

На фиг. 36 показана блок-схема, представляющая другой пример конфигурации содержания сервера.

На фиг. 37 показана половина предыдущей схемы последовательности, представляющая основную последовательность операций в системе беспроводной связи, которая формируется в режиме Р2Р Wi-Fi.

На фиг. 38 показана половина более поздней схемы последовательности, представляющая основную последовательность операций в системе беспроводной связи, которая формируется в режиме Р2Р Wi-Fi.

На фиг. 39 показана иллюстративная схема представляющая пример формата фрейма для фрейма MAC для расширенной последовательности операций.

На фиг. 40 показана схема последовательности, представляющая расширенную последовательность операций.

Осуществление изобретения

Ниже будут подробно описаны предпочтительные варианты осуществления настоящего раскрытия со ссылкой на приложенные чертежи. Следует отметить, что в данном описании и на чертежах, элементы, которые имеют, по существу, одинаковую функцию и структуру, обозначены одинаковыми номерами ссылочных позиций, и повторное их пояснение исключено.

Кроме того, описание будет представлено в следующем порядке.

1. Краткий обзор

1-1. Масштабируемое кодирование видеоданных

1-2. Общее управление скоростью

1-3. Параметр квантования компонента цветности

1-4. Матрица квантования

1-5. Пример основной конфигурации кодера

1-6. Пример основной конфигурации декодера

2. Пример конфигурации блока кодирования EL в соответствии с вариантом осуществления

2-1. Общая конфигурация

2-2. Подробная конфигурация блока управления квантованием

3. Поток обработки кодирования в соответствии с вариантом осуществления

3-1. Схема потока

3-2. Обработка, относящаяся к квантованию

4. Пример конфигурации блока декодирования EL в соответствии с вариантом осуществления

4-1. Общая конфигурация

4-2. Подробная конфигурация блока управления обратным квантованием

5. Поток обработки декодирования в соответствии с вариантом осуществления

5-1. Схема потока

5-2. Обработка, относящаяся к обратному квантованию

5-3. Пример синтаксиса

6. Пример комбинации кодека

7. Пример применения

7-1. Применение к различным продуктам

7-2. Различные варианты использования масштабируемого кодирования видеоданных

7-3. Применение для другого кодека

7-4. Различные уровни установки

7-5. Система, в которой используется MPEG-DASH

7-6. Система, в которой используется режим Р2Р для Wi-Fi

8. Заключение

1. Краткий обзор

1-1. Масштабируемое кодирование видеоданных

При масштабируемом кодировании видеоданных кодируют множество уровней, каждый из которых содержит последовательность изображений. Основной уровень представляет собой уровень, кодируемый первым, для представления изображения самого низкого качества. Кодированный поток основного уровня может быть независимо декодирован, без декодирования кодированных потоков других уровней. Другие уровни, кроме основного уровня, представляют собой уровни, называемые уровнями расширения, представляющие изображения более высокого качества. Кодированные потоки уровней расширения кодируют, используя информацию, содержащуюся в кодированном потоке основного уровня. Поэтому, для воспроизведения изображения уровня расширения, декодируют кодированные потоки, как основного уровня, так и уровня расширения. Количество уровней, обрабатываемых при масштабируемом кодировании видеоданных, может представлять собой любое количество, равное или большее 2. Когда кодируют три уровня или больше, самый нижний уровень представляет собой основной уровень, и остальные множество уровней представляют собой уровни расширения. Для кодированного потока более высокого уровня расширения информация, содержащаяся в кодированных потоках более низкого уровня расширения и основного уровня, может использоваться для кодирования и декодирования.

На фиг. 1 показаны три уровня L1, L2 и L3, подвергаемые масштабируемому кодированию видеоданных. Уровень L1 представляет собой основной уровень и уровни L2 и L3 представляют собой уровни расширения. Следует отметить, что среди различных видов масштабируемости пространственная масштабируемость принята в данном случае в качестве примера. Отношение пространственного разрешения уровня L2 к уровню L1 составляет 2:1. Отношение пространственного разрешения уровня L3 к уровню L1 составляет 4:1. Отношения разрешения здесь представляют просто примеры, и можно использовать, например, нецелочисленное отношение разрешения, такое, как 1,5:1. Блок В1 уровня L1 представляет собой модуль обработки для обработки кодирования в изображении основного уровня. Блок В2 уровня L2 представляет собой модуль обработки при обработке кодирования в изображении уровня расширения, для которого спроектирована общая сцена для модуля В1. Модуль В2 соответствует модулю В1 уровня L1. Модуль В3 уровня L3 представляет собой модуль обработки процесса кодирования в изображении уровня расширения более высокого, чем уровни, в которых запроектирована общая сцена для модулей В1 и В2. Модуль В3 соответствует модуля В1 уровня L1 и модулю В2 уровня L2.

В такой структуре уровня уровни, в которых запроектирована общая сцена, имеют аналогичные характеристики частоты кадров. Например, когда изображение модуля В1 уровня L1 является плоским, и его компонент высокой частоты мал, существует высокая вероятность того, что изображение модуля В2 уровня L2 также имеет малый компонент высокой частоты. То же относится к модулю В2 уровня L2 и модулю В3 уровня L3.

1-2. Общее управление скоростью

Частотная характеристика изображения влияет на количество битов данных коэффициента преобразования, которые генерируют в результате ортогонального преобразования. Для поддержания частоты битов кодированного потока, данные коэффициента преобразования обычно квантуют, используя больший шаг квантования, если количество битов данных коэффициента преобразования большое. Пример схемы управления скоростью для реализации ожидаемой скорости битов выражен в модели тестирования MPEG2. В модели тестирования MPEG2 количество выделенного кода каждого изображения вначале определяют на основе количества битов, выделенных для GOP, типа изображения каждого изображения в GOP, и сложности (Мера глобальной сложности). Кроме того, параметр квантования каждого макроблока в каждом изображении (коде шкалы квантования) рассчитывают на основе активности, рассчитанной для каждого макроблока и выделенного количества кода изображения. Упомянутая здесь активность представляет собой тип индекса, выражающего сложность изображения. Следует отметить, что детали схемы управления скоростью в модели тестирования MPEG2 раскрыты на следующей веб-странице.

- URL ссылки

http://www.mpeg.org/MPEG/MSSG/tm5/Ch10/Ch10.html

В схеме MPEG2, однако, описанный выше код шкалы квантования определяют для каждого макроблока, имеющего размер 16×16 пикселей. Максимальный размер наибольшего модуля кодирования (LCU), соответствующий макроблоку в схеме HEVC, составляет 64×64 пикселя. Когда гранулярность управления скоростью становится чрезмерно большой, однако, могут быть сгенерированы локальные области, в которых шаг квантования не соответствует сложности изображения. Например, на фиг. 2, результат, полученный в результате расчета активности нормализации изображения, показанного в верхней части с гранулярностью 64×64 пикселя, представлен в средней части, и результат, полученный путем расчета активности нормализации с гранулярностью 16×16 пикселей, показан в нижней части. Здесь более высокая активность представлена белым. Как можно понять на фиг. 2, если управление скоростью выполняют с гранулярностью 64×64 пикселя, можно сгенерировать множество областей, в которых, например, выполняется квантование, используя только большой шаг квантования, даже при том, что сложность низкая, или квантование выполняют, используя малый шаг квантования, даже при том, что сложность высокая.

Для соответствующего выполнения управления скоростью, исключая такое несоответствие, из-за описанных выше размеров блока, в схеме HEVC используется технология управления шагами квантования в модулях блоков, которые меньше, чем LCU. Более конкретно, обращаясь к синтаксису установленного параметра изображения (PPS), описанного в Непатентной литературе 1, описанной выше, когда cu_qp_delta_enabled_flag имеет значение true, размер блока, который представляет собой единицу для обозначения шага квантования, обозначен на основе информации размера diff_cu_qp_delta_depth. На практике, поскольку логарифм шага квантования представляет собой пропорциональную взаимосвязь с отношением сигнал-шум (SN), параметр квантования обозначают для каждого блока, вместо того, чтобы использовать прямое обозначение шага квантования. Если шаг квантования, соответствующий параметру квантования qp, установлен как S (qp), взаимосвязь между параметром qp квантования и шагом S (qp) квантования определяется таким образом, что шаг S (qp) квантования удовлетворяет следующему выражению.

Уравнение 1

В схеме HEVC значения переменной а=6 и переменной b=2 приняты так, чтобы диапазоны параметра квантования и шага квантования были оптимизированными. Взаимосвязь между параметрами qp квантования и шагами S (qp) квантования в этом случае представлена на фиг. 3. Как показано на фиг. 3, значение шага S (qp квантования) удваивается каждый раз, когда значение параметра qp квантования увеличивается в шесть раз.

Параметр квантования фактически устанавливают, используя комбинацию множества соответствующих параметров квантования. Что касается синтаксиса, описанного в Непатентной литературе 1, описанной выше, параметры квантования инициализируют, используя параметры pic_init_qp_minus26 в PPS и slice_qp_delta в заголовке среза (SliceQP_Y=26+pic_init_qp_minus26+slice_qp_delta). Параметры квантования отдельных модулей кодирования (CU) прогнозируют по параметру квантования одного из верхнего соседнего CU и левого соседнего CU или по параметрам квантования их обоих (при прогнозировании в-СТВ), или прогнозируют из параметра квантования предыдущего CU в порядке декодирования (при прогнозировании между-СТВ). На фиг. 4 представлен пример ссылочной взаимосвязи при прогнозировании параметров квантования, при кодировании древовидных блоков (СТВ) и между-СТВ. При прогнозировании в-СТВ, в котором ссылка может быть сделана на оба из верхнего соседнего CU и левого соседнего CU, прогнозируемое значение параметра квантования равно среднему значению ((TopQP+LeftQP+1)>>1) параметров квантования верхнего соседнего CU и левого соседнего CU (TopQP и LeftQP). Кроме того, путем добавления остатков, обозначенных как cu_qp_delta_abs и cu_qp_delta_sign в модуле преобразования (TU) к прогнозируемому значению, рассчитывают значения отдельных параметров квантования.

1-3. Параметр квантования компонента цветности

Технология расчета параметра квантования, описанная в представленном выше разделе, в основном, представляет собой технологию, относящуюся к параметру квантования компонента яркости. Что касается компонента цветности, в результате добавления смещения к параметру квантования компонента яркости, можно использовать параметр квантования, который регулируют для компонента цветности. Что касается синтаксиса, описанного в Непатентной литературе 1, описанной выше, смещение параметра квантования для компонента цветности устанавливают на основе pic_cb_qp_offset и pic_cr_qp_offset в PPS, и slice_cb_qp_offset, и slice_cr_qp_offset в заголовке среза. Сумма pic_cb_qp_offset и slice_cb_qp_offset представляет собой смещение параметра квантования компонента Cb, и сумма pic_cr_qp_offset и slice_cr_qp_offset представляет собой смещение параметра квантования компонента Cr.

Следует отметить, что конкретное выражение взаимоотношения между параметром квантования компонента яркости и параметром квантования компонента цветности в схеме HEVC описано в Непатентной литературе 1, описанной выше. Поскольку в отличие от схемы AVC, когда значения смещения компонента Cb и компонента Cr равны друг другу в схеме AVC, в PPS кодируют только один chroma_qp_index_offset. С другой стороны, в схеме HEVC, соответствующие смещения компонента Cb и компонента Cr кодируют в PPS и в заголовке среза, как описано выше. Таким образом, параметр квантования компонента цветности можно гибко регулировать в единицах срезов, в схеме HEVC. Кроме того, в то время, как верхнее значение параметра квантования компонента цветности равно 39 в схеме AVC, верхнее значение параметра квантования компонента цветности равно 51, что является таким же, как у компонента яркости в схеме HEVC. Таким образом, в схеме HEVC легко исключается переполнение буфера гипотетического опорного декодера (HRD), благодаря уменьшению количества информации данных коэффициента преобразования компонента цветности.

1-4. Матрица квантования

Матрица квантования (которая также называется списком масштабирования) представляет собой технологию, введенную для квантования компонентов высокой частоты более грубого, чем компонентов низкой частоты, используя характеристики зрения человека, который с трудом воспринимает высокочастотные компоненты изображения. Когда используется матрица квантования, шаг квантования, масштабированный значениями соответствующих элементов матрицы квантования, используется для квантования и обратного квантования по данным коэффициента преобразования вместо самого шага квантования, соответствующего параметру квантования, описанному в представленном выше разделе. В схеме AVC каждая матрица квантования имеет размеры 4×4 пикселя и могут использоваться 8×8 пикселей. С другой стороны, в схеме HEVC может использоваться матрица квантования, каждая из которых имеет размеры 4×4 пикселя, 8×8 пикселей, 16×16 пикселей и 32×32 пикселей. В схеме HEVC, однако, каждая из матриц квантования размером 16×16 пикселей и 32×32 пикселей кодированы размером 8×8 пикселей, исключая компоненты постоянного тока, для уменьшения количества кода, и их подвергают предварительной выборке, используя фиксатор нулевого порядком с размером 8×8 пикселей при использовании. Компоненты постоянного тока кодируют отдельно.

Как описано выше, различные параметры, относящиеся к квантованию, кодируют в текущем описании в схеме HEVC. Здесь характеристики частоты изображения аналогичны уровням, как описано выше. Кроме того, такие характеристики частоты изображения влияют на количество битов данных коэффициента преобразования, и количеством битов управляют с помощью квантования. Таким образом, путем управления квантованием основного уровня и уровня расширения при масштабируемом кодировании видеоданных, используя общие параметры для уровней, ожидается, что можно будет реализовать соответствующее управление скоростью, и можно будет уменьшить количество кода параметра, относящегося к квантованию. Таким образом, варианты осуществления устройства обработки изображения, которое обеспечивает возможность повторного использования параметра, относящегося к квантованию, предназначенного для использования на уровнях, будут описаны подробно в следующих разделах.

1-5. Пример основной конфигурации кодера

На фиг. 5 показана блок-схема, представляющая схематичную конфигурацию устройства 10 кодирования изображения, в соответствии с вариантом осуществления, поддерживающим масштабируемое кодирование видеоданных. На фиг. 5 устройство 10 кодирования изображения включает в себя блок 1а кодирования основного уровня (BL), блок 1b кодирования уровня расширения (EL), общее запоминающее устройство 2 и блок 3 мультиплексирования.

В блоке 1а кодирования BL кодируют изображение основного уровня для генерирования кодированного потока основного уровня. Блок 1b кодирования EL кодирует изображение уровня расширения для генерирования кодированного потока уровня расширения. В общем запоминающем устройстве 2 содержится информация, обычно используемая между уровнями. Блок 3 мультиплексирования мультиплексирует кодированный поток основного уровня, генерируемый блоком 1а кодирования BL, и кодированный поток одного или больше уровней расширения, генерируемый блоком 1b кодирования EL, для генерирования мультиплексированного потока для множества уровней.

1-6. Пример основной конфигурации декодера

На фиг. 6 показана блок-схема, представляющая схематичную конфигурацию устройства 60 декодирования изображения в соответствии с вариантом осуществления, поддерживающим масштабируемое кодирование видеоданных. На фиг. 6 устройство 60 декодирования изображения включает в себя блок 5 демультиплексирования, блок 6а декодирования основного уровня (BL), блок 6b декодирования уровня расширения (EL), и общее запоминающее устройство 7.

Блок 5 демультиплексирования демультиплексирует мультиплексированный поток для множества уровней в кодированный поток основного уровня и кодированный поток одного или больше уровней расширения. Блок 6а декодирования BL декодирует изображение основного уровня из кодированного потока основного уровня. Блок 6b декодирования EL декодирует изображение уровня расширения из кодированного потока уровня расширения. Общее запоминающее устройство 7 содержит информацию, совместно используемую между уровнями.

В устройстве 10 кодирования изображения, представленном на фиг. 5, конфигурация блока 1а кодирования BL, предназначенного для кодирования основного уровня и блока 1b кодирования EL, предназначенного для кодирования уровня расширения, аналогичны друг другу. Некоторые параметры, генерируемые или получаемые блоком 1а кодирования BL, могут быть размещены в буфере, используя общее запоминающее устройство 2, и могут повторно использоваться блоком 1b кодирования EL. В следующем разделе такая конфигурация блока 1b кодирования EL будет описана подробно.

Аналогично, в устройстве 60 декодирования изображения, представленном на фиг. 6, конфигурация блока 6а декодирования BL для декодирования основного уровня и блока 6b кодирования EL для декодирования уровня расширения аналогичны друг другу. Некоторые параметры, генерируемые или получаемые блоком 6а декодирования BL, могут быть размещены в буфере путем использования общего запоминающего устройства 7 и могут повторно использоваться блоком 6b декодирования EL. Кроме того, такая конфигурация блока 6b декодирования EL будет подробно описана в следующем разделе.

2. Пример конфигурации блока кодирования EL в соответствии с вариантом осуществления

2-1. Общая конфигурация

На фиг. 7 показана блок-схема, представляющая пример конфигурации блока 1b кодирования EL, представленного на фиг. 5. Как показано на фиг. 7, блок 1b кодирования EL включает в себя буфер 11 сортировки, блок 13 вычитания, блок 14 ортогонального преобразования, блок 15 квантования, блок 16 кодирования без потерь, буфер 17 накопления, блок 18 управления скоростью, блок 21 обратного квантования, блок 22 обратного ортогонального преобразования, блок 23 суммирования, фильтр 24 удаления блочности, запоминающее устройство 25 кадра, селекторы 26 и 27, блок 30 прогнозирования внутри кадра, блок 35 прогнозирования между кадрами и блок 40 управления квантованием.

Буфер 11 сортировки сортирует изображения, включенные в последовательность данных изображения. После сортировки изображений, в соответствии со структурой GOP (группа изображений), в соответствии с процессом кодирования, буфер 11 сортировки выводит данные изображения, которые были отсортированы, в блок 13 вычитания, блок 30 прогнозирования внутри кадра и блок 35 прогнозирования между кадрами.

Данные изображения, подаваемые из буфера 11 сортировки, и данные прогнозируемого изображения, подаваемые блоком 30 прогнозирования внутри кадра, или блоком 35 прогнозирования между кадрами, которые будут описаны ниже, подают в блок 13в вычитания. Блок 13 вычитания вычисляет данные ошибки прогнозирования, которые представляют собой разность между данными изображения, вводимыми из буфера 11 сортировки, и данными прогнозируемого изображения и выводит вычисленные прогнозируемые данные ошибки в блок 14 ортогонального преобразования.

Блок 14 ортогонального преобразования выполняет ортогональное преобразование для прогнозируемых данных ошибки, вводимых из блока 13 вычитания. Ортогональное преобразование, которое должно быть выполнено блоком 14 ортогонального преобразования, может представлять собой, например, дискретное косинусное преобразование (DCT) или преобразование Карунена-Лоэва. Блок 14 ортогонального преобразования выводит данные коэффициента преобразования, полученные при обработке ортогонального преобразования, в блок 15 квантования.

Блок 15 квантования принимает данные коэффициента преобразования из блока 14 ортогонального преобразования и принимает параметр квантования из блока 40 управления квантованием, который будет описан ниже. Блок 15 квантования может также принимать матрицу квантования из блока 40 управления квантованием. Используя шаг квантования, определенный из введенного параметра квантования (и матрицы квантования), блок 15 квантования квантует данные коэффициента преобразования уровня расширения и, таким образом, генерирует квантованные данные (квантованные данные коэффициента преобразования). Затем блок 15 квантования выводит квантованные данные в блок 16 кодирования без потерь и в блок 21 обратного квантования.

Блок 16 кодирования без потерь выполняет обработку кодирования без потерь для квантованных данных, введенных из блока 15 квантования, для генерирования кодированного потока уровня расширения. Блок 16 кодирования без потерь кодирует различные параметры, к которым обращаются, когда декодируют кодированный поток, и вводит кодированные параметры в область заголовка кодированного потока. Параметры, кодируемые блоком 16 кодирования без потерь, могут включать в себя информацию, относящуюся к прогнозированию внутри кадра, которое будет описано ниже, информацию, относящуюся к прогнозированию между кадрами, и параметры, относящиеся к квантованию. Затем блок 16 кодирования без потерь выводит сгенерированный кодированный поток в буфер 17 накопления.

Буфер 17 накопления временно накапливает кодированный поток, вводимый из блока 16 кодирования без потерь, используя носитель информации, такой как полупроводниковое запоминающее устройство. Затем буфер 17 накопления выводит накопленный кодированный поток в блок передачи, который не показан (например, интерфейс связи или интерфейс соединения с периферийными устройствами) со скоростью, в соответствии с полосой пропускания маршрута передачи.

Блок 18 управления скоростью отслеживает свободную емкость буфера 17 накопления. Затем блок 18 управления скоростью генерирует сигнал управления скоростью, в соответствии с вакантной емкостью буфера 17 накопления, и выводит сгенерированный сигнал управления скоростью в блок 40 управления квантованием. Блок 18 управления скоростью может управлять скоростью кодированного потока, в соответствии с определенной схемой управления скоростью, как в описанной выше модели тестирования MPEG2, и в соответствии с другими схемами управления скоростью. Сигнал управления скоростью, выводимый блоком 40 управления квантованием, может включать в себя параметр квантования и матрицу квантования.

Блок 21 обратного квантования, блок 22 обратного ортогонального преобразования и блок 23 суммирования составляют локальный декодер. Блок 21 обратного квантования принимает квантованные данные из блока 15 квантования и принимает параметр квантования из блока 40 управления квантованием, который будет описан ниже. Блок 21 обратного квантования также может принимать матрицу квантования из блока 40 управления квантованием. Блок 21 обратного квантования выполняет обратное квантование для квантованных данных уровня расширения, для восстановления данных коэффициента преобразования, используя шаг квантования, определенный по входному параметру квантован