Устройство обработки изображений и способ обработки изображений

Устройство обработки изображений и способ обработки изображений

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству обработки изображений и способу обработки изображений.

Уровень техники

В настоящее время осуществляется работа по стандартизации схемы кодирования изображений под названием HEVC (Высокоэффективное видеокодирование), которая выполняется JCTVC (Объединенная команда по видеокодированию), являющейся совместной организацией стандартизации ITU-T и ISO/IEC, в целях повышения эффективности кодирования Н.264/AVC (см, например, непатентный документ 1 ниже).

HEVC обеспечивает не только кодирование одного уровня, но также и масштабируемое видеокодирование, как и в известных схемах кодирования изображений, таких как MPEG2 и AVC (Усовершенствованное кодирование видеосигнала). HEVC технология масштабируемого видеокодирования также называют SHVC (масштабируемое HEVC) (например, см. непатентный документ 2 ниже).

В этой связи, масштабируемое видеокодирование, как правило, представляет собой технологию, которая иерархически кодирует уровень, передающий сигнал изображения низкого разрешения, и уровень, передающий сигнал изображения высокого разрешения. Типичные атрибуты, расположенные в иерархическом порядке, в масштабируемом видеокодировании, в основном, включают в себя следующие три:

- пространственная масштабируемость: пространственное разрешение изображений или размеры изображения расположены в иерархическом порядке.

- временная масштабируемость: частоты кадров расположены в иерархическом порядке.

- SNR (отношение сигнал-шум) масштабируемость: отношение сигнал/шум в иерархическом порядке.

Дополнительно, хотя еще не принято в стандарте, также обсуждаются масштабируемость битовой глубины и масштабируемость цветового формата.

В непатентном документе 3, описывается масштабируемость цветовой палитры, в котором палитры воспроизводимых цветов размещаются в иерархическом порядке. Например, в телевидение высокой четкости (HD), как правило, используется размер изображения 1920×1080 пикселей, цветовая палитра ITU-R ВТ.709 и битовая глубина 8 бит. С другой стороны, в телевидении сверхвысокой четкости (UHD) будет изучена возможность использования изображения размером 4000×2000 пикселей или 8000×4000 пикселей, цветовая палитра ITU-R ВТ.2020 и битовая глубина 10 или 12 бит. В общем, для преобразования цветовой палитры необходимо выполнять вычисление матрицы на 3-х мерных векторах пикселей. Тем не менее, с точки зрения аппроксимации соотношения между ВТ.709 и ВТ.2020 линейной зависимости, независимо для каждого цветового компонента, непатентный документ 3 предлагает предсказание значения пикселя усовершенствованного уровня из значения пикселя основного уровня простым способом, когда ВТ.709 используется в основном уровне и ВТ.2020 используется в усовершенствованном уровне.

Список противопоставленных материалов

Непатентная литература

Непатентный документ 1: "Высокоэффективное видеокодирование (HEVC) текст спецификации версии 10 (для FDIS & Одобрения)" Benjamin Bross, Woo-Jin Han, Gary J. Sullivan, Jens-Rainer Ohm, Gary J. Sullivan, Ye-Kui Wang и Thomas Wiegand (JCTVC - L1003 v4, с 14 по 23 января, 2013)

Непатентный документ 2: "Описание технологии масштабируемого видеокодирования, предложенное Qualcomm (конфигурации 2)" Jianle Chen, el. al, (JCTVC - K0036, 10-19 октября, 2012)

Непатентный документ 3: "Цветовая палитра масштабируемого видеокодирования: новые результаты" Louis Kerofsky, el. al, (JCTVC - L0334, 14-23 января, 2013)

Раскрытие изобретения

Техническая задача

В предлагаемом в непатентном документе 3 способе, однако, коэффициент усиления и величина смещения каждого цветового компонента кодируются для каждого изображения в адаптивном режиме настройки, где высокая точность предсказания может быть достигнута посредством увеличения количества кодированной информации. В режиме битового сдвига и в фиксированном режиме настройки, дополнительного кодирования параметров не происходит, но точность предсказания незначительно ухудшается.

Соответственно, желательно обеспечить новую структуру, способную не допускать увеличения количества кодирования для достижения высокой точности предсказания при масштабируемости цветовой палитры.

Решение технической задачи

В соответствии с вариантом осуществления настоящего изобретения, предусмотрено устройство обработки изображения, включающее в себя секцию декодирования, выполненную с возможностью декодировать разностное значение от предшествующего значения параметра предсказания, используемого, когда изображение второго уровня, имеющее иную цветовую палитру, чем первый уровень, предсказывается из изображения первого уровня, и секцию предсказания, выполненную с возможностью предсказывать изображение второго уровня из изображения первого уровня, используя параметр предсказания, вычисленный, используя разностное значение, декодированное посредством секции декодирования.

Устройство обработки изображения, упомянутое выше, может быть, как правило, реализовано как устройство декодирования изображения, которое декодирует изображение.

В соответствии с вариантом осуществления настоящего изобретения, предусмотрен способ обработки изображения, включающий в себя декодирования разностного значения из предшествующего значения параметра предсказания, используемого, когда изображение второго уровня, имеющее другую цветовую палитру, чем первый уровень, предсказывается из изображения первого уровня, и предсказание изображения второго уровня из изображения первого уровня, используя параметр предсказания, вычисленный с использованием декодированного разностного значения.

В соответствии с вариантом осуществления настоящего изобретения, предусмотрено устройство обработки изображения, включающее в себя секцию предсказания, выполненную с возможностью предсказывать изображение второго уровня из изображения первого уровня, указанное, когда изображение второго уровня, имеющее иную цветовую палитру, чем первый уровень, декодируется, и секцию кодирования, выполненную с возможностью кодировать разностное значение из предшествующего значения параметра предсказания, используемого секцией предсказания.

Устройство обработки изображения, упомянутое выше, может быть, как правило, реализовано как устройство кодирования изображений, которое кодирует изображение.

В соответствии с вариантом осуществления настоящего изобретения, предусмотрен способ обработки изображения, включающий в себя предсказание изображения второго уровня из изображения первого уровня, указанного, когда изображение второго уровня, имеющее иную цветовую палитру, чем первого уровня, декодируется, и кодирование разностного значения от предшествующего значения параметра предсказания, используемого для предсказания изображения второго уровня.

Полезные результаты изобретения

В соответствии с технологией в настоящем изобретении, можно не допустить увеличение объема кодирования при достижении высокой точности предсказания в масштабируемости цветовой палитры.

Краткое описание чертежей

Фиг. 1 является пояснительным видом, иллюстрирующим масштабируемое видеокодирование.

Фиг. 2 является пояснительным видом, иллюстрирующим цветовые палитры, выраженные ВТ.709 и ВТ.2020.

Фиг. 3А представляет собой таблицу, показывающую режим предсказания для предсказания цветовой палитры, предложенной JCTVC - L0334.

Фиг. 3В является первым пояснительным видом, иллюстрирующим синтаксис параметров предсказания, предложенных JCTVC - L0334.

Фиг. 3С представляет собой второй вид, иллюстрирующий синтаксис параметров предсказания, предложенных JCTVC - L0334.

Фиг. 4 является блок-схемой, показывающей схематичную конфигурацию устройства кодирования изображения в соответствии с вариантом осуществления.

Фиг. 5 является блок-схемой, показывающей схематичную конфигурацию устройства декодирования изображения в соответствии с вариантом осуществления.

Фиг. 6 представляет собой блок-схему, показывающую пример конфигурации EL секции кодирования, показанной на фиг. 4.

Фиг. 7 показывает блок-схему, показывающую пример конфигурации секции предсказания цветовой палитры, показанной на фиг. 6.

Фиг. 8 является пояснительным видом, иллюстрирующим пример синтаксиса параметров кодирования для предсказания цветовой палитры.

Фиг. 9 показывает пояснительный вид, иллюстрирующий значения параметров, которые являются базисом для вычисления разностного значения коэффициента усиления и величины смещения.

Фиг. 10 показывает пояснительный вид, иллюстрирующий пример кодирования использованного коэффициента усиления и величины смещения каждого среза.

Фиг. 11 показывает пояснительный вид, иллюстрирующий известный синтаксис ассоциированных параметров взвешенного предсказания.

Фиг. 12 показывает пояснительный вид, иллюстрирующий избирательное применение параметров предсказания в соответствии с диапазонами, к которым принадлежат значения пикселей.

Фиг. 13 представляет собой график, который просто показывает зависимость компоненты яркости модели предсказания, реализованной в соответствии со способом, описанным со ссылкой на фиг. 12.

Фиг. 14 показывает пояснительный вид, иллюстрирующий пример синтаксиса в соответствии со способом, описанным со ссылкой на фиг. 12.

Фиг. 15 показывает пояснительный вид, иллюстрирующий избирательное применение параметров предсказания в соответствии с областью изображения, к которой принадлежат пиксели.

Фиг. 16 показывает пояснительный вид, иллюстрирующий пример синтаксиса в соответствии со способом, описанным со ссылкой на фиг. 15.

Фиг. 17А представляет собой первый пояснительный вид, иллюстрирующий способ снижения стоимости обработки межуровневого предсказания, который предложен в JCTVC - О0194.

Фиг. 17В представляет собой второй пояснительный вид, иллюстрирующий способ снижения стоимости обработки межуровневого предсказания, который предложен в JCTVC - О0194.

Фиг. 17С является третьим пояснительным видом, иллюстрирующий способ снижения стоимости обработки межуровневого предсказания, который предложен в JCTVC - О0194.

Фиг. 18А представляет собой первый пояснительный вид, иллюстрирующий новый способ снижения стоимости обработки межуровневого предсказания.

Фиг. 18В представляет собой второй пояснительный вид, иллюстрирующий новый способ снижения стоимости обработки межуровневого предсказания.

Фиг. 18С является третьим пояснительным видом, иллюстрирующим новый способ снижения стоимости обработки межуровневого предсказания.

Фиг. 19 показывает пояснительный вид, иллюстрирующий пример синтаксиса в соответствии со способом, описанным со ссылкой на фиг. 18А - 18С.

Фиг. 20 является блок-схемой алгоритма, показывающей пример схематического процесса кодирования в соответствии с вариантом осуществления.

Фиг. 21 является блок-схемой алгоритма, показывающей первый пример потока процесса предсказания цветовой палитры в процессе кодирования для усовершенствованного уровня.

Фиг. 22 является блок-схемой алгоритма, показывающей второй пример потока процесса предсказания цветовой палитры в процессе кодирования для усовершенствованного уровня.

Фиг. 23 является блок-схемой алгоритма, показывающей третий пример потока процесса предсказания цветовой палитры в процессе кодирования для усовершенствованного уровня.

Фиг. 24 является блок-схемой алгоритма, показывающей четвертый пример потока процесса предсказания цветовой палитры в процессе кодирования для усовершенствованного уровня.

Фиг. 25А показывает пояснительный вид, иллюстрирующий пример порядка обработки известного межуровневого предсказания.

Фиг. 25В показывает пояснительный вид, иллюстрирующий пример порядка обработки нового межуровневого предсказания.

Фиг. 26 является блок-схемой, показывающей пример конфигурации секции EL декодирования, показанной на фиг. 5.

Фиг. 27 является блок-схемой, показывающей пример конфигурации секции предсказания цветовой палитры, показанной на фиг. 26.

Фиг. 28 является блок-схемой алгоритма, показывающей пример схематического потока выполнения процесса в момент декодирования согласно варианту осуществления.

Фиг. 29 является блок-схемой алгоритма, показывающей первый пример потока процесса предсказания цветовой палитры в процессе декодирования для усовершенствованного уровня.

Фиг. 30 является блок-схемой алгоритма, показывающей второй пример потока процесса предсказания цветовой палитры в процессе декодирования для усовершенствованного уровня.

Фиг. 31 является блок-схемой алгоритма, показывающей третий пример потока процесса предсказания цветовой палитры в процессе декодирования для усовершенствованного уровня.

Фиг. 32 является блок-схемой алгоритма, показывающей четвертый пример потока процесса предсказания цветовой палитры в процессе декодирования для усовершенствованного уровня.

Фиг. 33 является блок-схемой, показывающей пример схематичной конфигурации телевизора.

Фиг. 34 является блок-схемой, показывающей пример схематичной конфигурации мобильного телефона.

Фиг. 35 является блок-схемой, показывающей пример схематичной конфигурации устройства записи/воспроизведения.

Фиг. 36 является блок-схемой, показывающей пример схематичной конфигурации устройства захвата изображения.

Фиг. 37 показывает пояснительный вид, иллюстрирующий первый пример использования масштабируемого видеокодирования.

Фиг. 38 показывает пояснительный вид, иллюстрирующий второй пример использования масштабируемого видеокодирования.

Фиг. 39 показывает пояснительный вид, иллюстрирующий третий пример использования масштабируемого видеокодирования.

Фиг. 40 показывает пояснительный вид, иллюстрирующий многоракурсный кодек.

Фиг. 41 является блок-схемой, показывающей схематичную конфигурацию устройства кодирования изображения для многоракурсного кодека.

Фиг. 42 является блок-схемой, показывающей схематичную конфигурацию устройства декодирования изображения для многоракурсного кодека.

Осуществление изобретения

В дальнейшем, предпочтительные варианты осуществления настоящего изобретения будут описаны подробно со ссылкой на прилагаемые чертежи. Следует отметить, что в этом описании и на чертежах, элементы, которые имеют, по существу, ту же самую функцию и структуру, обозначены теми же ссылочными позициями, и повторное объяснение опущено.

Описание будет сделано в следующем порядке.

1. Обзор

1-1. Масштабируемое видеокодирование

1-2. Масштабируемость цветовой палитры

1-3. Пример базовой конфигурации устройства кодирования

1-4. Пример базовой конфигурации декодирующего устройства

2. Пример конфигурации EL секции кодирования в одном варианте осуществления

2-1. Общая конфигурация

2-2. Подробная конфигурация секции предсказания цветовой палитры

2-3. Пример синтаксиса

3. Алгоритм выполнения процесса кодирования в соответствии с вариантом осуществления

3-1. Блок-схема алгоритма

3-2. Процесс предсказания цветовой палитры

4. Пример конфигурации EL секции декодирования в одном варианте осуществления

4-1. Общая конфигурация

4-2. Подробная конфигурация секции предсказания цветовой палитры

5. Алгоритм выполнения процесса декодирования в соответствии с вариантом осуществления

5-1. Блок-схема алгоритма

5-2. Процесс предсказания цветовой палитры

6. Пример применения

6-1. Применение на различных продуктах

6-2. Примеры использования масштабируемого видеокодирования

6-3. Прочее

7. Заключение

1. Обзор

Масштабируемое видеокодирование

При масштабируемом видеокодировании, множество уровней, каждый из которых содержит серию изображений, кодируется. Основной уровень представляет собой уровень, который кодируется первым, и представляет изображение низкого разрешения. Кодированный поток основного уровня может быть независимо декодирован без декодирования кодированных потоков других уровней. Уровни, отличные от основного уровня, называются усовершенствованными уровнями, представляющие изображения высокого разрешения. Кодированные потоки усовершенствованных уровней кодируются с использованием информации, содержащейся в кодированном потоке основного уровня. Поэтому, чтобы воспроизвести изображение усовершенствованного уровня, закодированные потоки, как основного уровня, так и усовершенствованного уровня, декодируются. Количество уровней, обработанных в масштабируемом видеокодировании, может быть любым числом, равным 2 или больше. Когда кодируются три или более уровней, нижний уровень является основным уровнем и остальные уровни являются усовершенствованными уровнями. Для кодированного потока более высокого усовершенствованного уровня, информация, содержащаяся в кодированных потоках нижнего усовершенствованного уровня и основного уровня, может быть использована для кодирования и декодирования.

Фиг. 1 показывает три уровня L1, L2 и L3, которые подвергаются масштабируемому видеокодированию. Уровень L1 представляет собой основной уровень и уровни L2 и L3 являются усовершенствованными уровнями. Соотношение пространственного разрешения уровня L2 к уровню L1 составляет 2:1, и соотношение пространственного разрешения уровня L3 к уровню L1 составляет 4:1. Коэффициенты разрешения, приведенные в данном описании, являются просто примерами. Например, может быть использовано нецелое число коэффициента разрешения, такое как 1,5:1. Блок В1 уровня L1 представляет собой блок обработки процесса кодирования в изображении основного уровня. Блок В2 уровня L2 представляет собой блок обработки процесса кодирования в изображении усовершенствованного уровня, в котором, проецируется общий кадр блока В1. Блок В2 соответствует блоку В1 уровня L1. Блок В3 уровня L3 является блоком обработки процесса кодирования в изображении усовершенствованного уровня выше, чем уровни, на которые проецируются общий кадр блоков В1 и В2. Блок В3 соответствует блоку В1 уровня L1 и блоку В2 уровня L2.

1-2. Масштабируемость цветовой палитры

В уровневой структуре, показанной на фиг. 1, текстуры изображений схожи между уровнями, в которой проецируется общий кадр. То есть, текстуры блока В1 уровня L1, блока В2 уровня L2 и блока В3 уровня L3 аналогичны. Соответственно, например, когда пиксели блока В2 или В3 предсказаны с использованием блока В1 в качестве опорного блока, или пиксели блока В3 предсказаны с использованием блока В2 в качестве опорного блока, существует вероятность получения высокой точности предсказания. Такое предсказание между уровнями упоминается как межуровневое предсказание. Непатентный документ 2 предлагает несколько способов межуровневого предсказания. В способах, декодированное изображение (восстановленное изображение) основного уровня, используется в качестве опорного изображения для предсказания декодированного изображения усовершенствованного уровня при внутрикадровом BL предсказании. Во внутреннем остаточном предсказании и внешнем остаточном предсказании, ошибка предсказания (остаточное) изображения основного уровня используется в качестве опорного изображения для предсказания ошибки предсказания изображения усовершенствованного уровня.

Здесь, например, предполагается, что изображение на уровне L1 является HD телевизионным изображением, и предполагается, что изображение на уровне L2 является UHD телевизионным изображением. Фиг. 2 показывает пояснительный вид, иллюстрирующий цветовую палитру, выраженную ВТ.709 и ВТ.2020. Со ссылкой на фиг. 2, показано графическое изображение цветовой палитры, в котором 3-мерное цветовое пространство отображается на 2-мерную плоскость, используя заранее определенное ограничивающее условие. Крестик на графике указывает позицию, к которой сопоставляется белый цвет. Пунктирная линия на графике указывает на цветовой диапазон выраженный ВТ.709. Сплошная линия на графике указывает на цветовой диапазон выраженный ВТ.2020. Линия из точек на графике указывает на диапазон цветов, которые могут быть определены с помощью человеческого зрения. Как понятно из фиг. 2, ВТ.2020 может выразить большее разнообразие цветов, чем ВТ.709. Когда каждый пиксель уровня L1 выражается ВТ.709 и каждый пиксель уровня L2 выражается ВТ.2020, преобразование разрешения (то есть, повышающая дискретизация) или преобразование цветовой палитры выполняется на опорном изображении (изображение уровня 1) в момент межуровневого предсказания. В целом, преобразование цветовой палитры выполняется путем умножения 3-мерного вектора пикселя на матрицу преобразования из 3 строк и 3 столбцов. Как описано в непатентном документе 3, отношение между ВТ.709 и ВТ.2020 может быть аппроксимировано в линейную зависимость независимо для каждой цветовой составляющей. Таким образом, непатентный документ 3 предлагает упрощенный способ уменьшения сложности вычислений и времени, необходимого для преобразования цветовой палитры.

Фиг. 3А показывает таблицу, иллюстрирующую режим предсказания для предсказания цветовой палитры, предложенной непатентным документом 3. Как показано на фиг. 3А, номер режима предсказания обозначен как "0", "1" и "2", то есть, существует три типа кандидатов режима предсказания. Когда номер режима предсказания равен "0", то значения пикселей (Y₂₀₂₀, U₂₀₂₀, V₂₀₂₀) ВТ.2020 предсказываются из значений пикселей (Y₇₀₉, U₇₀₉, V₇₀₉) ВТ.709 цветовых компонентов посредством битового сдвига (побитовый инкремент), как показано в следующих уравнениях с (1) по (3). Такой режим предсказания в настоящем описании упоминается как режим битового сдвига.

Математика 1

Когда номер режима предсказания равен "1" или "2", то значения пикселей ВТ.2020 предсказываются из значений пикселей ВТ.709 цветовых компонентов посредством линейного преобразования с использованием величины усиления g_i и смещения o_i (где i=1, 2, 3), как показано в следующих уравнениях с (4) по (6).

Математика 2

Когда номер режима предсказания = "1", то используются фиксированные значения, указанные заранее как значения усиления и смещения. Режим предсказания, в котором номер режима предсказания = "1", в данном описании называется режимом фиксированного параметра. Когда номер режима предсказания = "2", то используются переменные значения, адаптивно назначенные как значения усиления и смещения. Режим предсказания, в котором номер режима предсказания = "2", в настоящем описании называется режимом адаптивного параметра. Когда выбран режим адаптивного параметра, дополнительно кодируются шесть типов параметров предсказания (три параметра усиления и три смещения) как параметры предсказания.

Фиг. 3В и 3С показывают пояснительные виды, иллюстрирующие синтаксис параметров предсказания, предложенные в непатентном документе 3. Здесь, "pps_extension_flag" в первой строке на фиг. 3В является флагом, который указывает, включает ли набор параметров изображения (PPS) в себя синтаксис, расширенный для предсказания цветовой палитры. Кроме того, "color_pred_data ()" в 5-й строке на фиг. 3В, является функцией синтаксиса для масштабируемости цветовой палитры и его контент, показан на фиг. 3С. Здесь "color_prediction_model" в 1-й строке на фиг. 3С является параметром, который указывает на выбранный режим предсказания и принимает одно значение среди "0", "1" и "2", как показано на фиг. 3А. В случае режима адаптивного параметра ("color_prediction_model=2"), обозначено число битов ("numFractionBits"), соответствующие знаменателю величины усиления в 3-й строке, числителю ("color_prediction_gain [I]" величины усиления для i-th цветового компонента в 5-й строке, и смещение ("color_prediction_offset [I]") для i-th цветового компонента в 6-й строке.

Из трех режимов предсказания, режим адаптивного параметра является режимом, в котором можно получить высокую точность предсказания. Однако когда вышеописанные параметры предсказания кодируются для каждого изображения в режиме адаптивного параметра, величина кодирования увеличивается. Таким образом, в вариантах осуществления, которые будут описаны ниже, будет описаны структуры, которые выполнены с возможностью эффективно кодировать параметры предсказания в масштабируемости цветовой палитры, чтобы не допустить увеличения величины кодирования.

1-3. Пример базовой конфигурация устройства кодирования

Фиг. 4 является блок-схемой, показывающей схематичную конфигурацию устройства 10 кодирования изображений в соответствии с вариантом осуществления, поддерживающая масштабируемое видеокодирование. Как показано на фиг. 4, устройство 10 кодирования изображения включает в себя секцию 1а кодирования основного уровня (BL), секцию 1b кодирования усовершенствованного уровня (EL), общую память 2 и секцию 3 мультиплексирования.

Секция 1а кодирования основного уровня (BL) кодирует изображение основного уровня для генерации кодированного потока основного уровня. Секция 1b кодирования усовершенствованного уровня (EL) кодирует изображение усовершенствованного уровня для генерации кодированного потока усовершенствованного уровня. Общая память 2 хранит информацию, которая совместно используется между уровнями. Секция 3 мультиплексирования мультиплексирует кодированный поток основного уровня, генерируемый секцией 1а кодирования BL, и кодированный поток, по меньшей мере, одного усовершенствованного уровня, генерируемый секцией 1b кодирования EL, генерируя многоуровневый мультиплексированный поток.

1-4. Пример базовой конфигурации устройства декодирования

Фиг. 5 является блок-схемой, показывающей схематичную конфигурацию устройства 60 декодирования изображения в соответствии с вариантом осуществления, поддерживающая масштабируемое видеокодирование. Как показано на фиг. 5, устройство 60 декодирования изображения включает в себя секцию 5 демультиплексирования, секцию 6а декодирования основного уровня (BL), секцию 6b декодирования усовершенствованного уровня (EL) и общую память 7.

Секция 5 демультиплексирования демультиплексирует многоуровневый мультиплексированный поток в кодированный поток основного уровня и кодированный поток, по меньшей мере, одного усовершенствованного уровня. Секция 6а декодирования BL декодирует изображение основного уровня из кодированного потока основного уровня. Секция 6b декодирования EL декодирует изображение усовершенствованного уровня из закодированного потока усовершенствованного уровня. Общая память 7 хранит информацию, обычно используемая между уровнями.

В устройстве 10 кодирования изображения, как показано на фиг. 4, конфигурация секции 1а кодирования BL для кодирования основного уровня и секция 1b кодирования EL для кодирования усовершенствованного уровня, аналогичны друг другу. Некоторые параметры и изображения, сгенерированные или полученные секцией 1а кодирования BL, могут быть буферизованы, используя общую память 2, и повторно использованы секцией 1b кодирования EL. В следующем разделе будет приведено подробное описание такой конфигурации секции 1b кодирования EL.

Аналогично, в устройстве 60 декодирования изображения, показанного на фиг. 5, конфигурация секции 6а декодирования BL для декодирования основного уровня и конфигурация секции 6b декодирования EL для декодирований усовершенствованного уровня аналогичны друг другу. Некоторые параметры и изображения, сгенерированные или полученные секцией 6а кодирования BL, могут быть буферизованы, используя общую память 7, и повторно использованы секцией 6b кодирования EL. Дополнительно в следующем разделе будет приведено подробное описание такой конфигурации секции 6b кодирования EL.

2. Пример конфигурации секции кодирования EL в одном варианте осуществления

2-1. Общая конфигурация

Фиг. 6 представлена блок-схема, показывающая пример конфигурации секции 1b кодирования EL, показанной на фиг. 4. Как показано на фиг. 6, секция 1b кодирования EL включает в себя сортировочный буфер 11, секцию 13 вычитания, секцию 14 ортогонального преобразования, секцию 15 квантования, секцию 16 кодирования без потерь, буфер 17 накопления, секцию 18 управления скоростью, секцию 21 обратного квантования, секцию 22 обратного ортогонального преобразования, секцию 23 сложения, контурный фильтр 24, память 25 кадров, селекторы 26 и 27, секцию 30 внутреннего предсказания, секцию 35 внешнего предсказания и секцию 40 предсказания цветовой палитры.

Сортировочный буфер 11 сортирует изображения, включенные в состав серии данных изображения. После сортировки изображений в соответствии с GOP (Группа изображений) структурой в соответствии со способом кодирования, сортировочный буфер 11 выводит данные изображения, которые уже были отсортированы, в секцию 13 вычитания, секцию 30 внутреннего предсказания, секцию 35 внешнего предсказания и в секцию 40 предсказания цветовой палитры.

Входные данные изображения из сортировочного буфера 11 и предсказанные входные данные изображения секцией 30 внутреннего предсказания или секцией 35 внешнего предсказания, описанные ниже, подают в секцию 13 вычитания. Секция 13 вычитания вычисляет ошибку предсказания данных, которая является разницей между входными данными изображения из сортировочного буфера 11 и предсказанными данными изображения, и подает вычисленное значение ошибки предсказания данных в секцию 14 ортогонального преобразования.

Секция 14 ортогонального преобразования выполняет ортогональное преобразование ошибки предсказания, поступившие из секции 13 вычитания. Ортогональное преобразование, которое выполняется секцией 14 ортогонального преобразования, может представлять собой дискретное косинусного преобразование (DCT) или преобразование Карунена-Лоэва, например. В HEVC ортогональное преобразование выполняется для каждого блока, называемого блоком преобразования (TU). TU представляет собой блок, сформированный путем деления блока кодирования (CU). Секция 14 ортогонального преобразования вырабатывает коэффициент преобразования данных, полученный в результате процесса ортогонального преобразования в секции 15 квантования.

В секцию 15 квантования подается коэффициент преобразования входных данных из секции 14 ортогонального преобразования и сигнал управления скоростью передачи из секции 18 управления скоростью передачи, которые будут описаны ниже. Секция 15 квантования квантует коэффициент преобразования данных на этапе квантования, определенный в соответствии с сигналом управления скоростью передачи. Секция 15 квантования выводит квантованный коэффициент преобразования данных (далее, как квантованные данные) в секцию 16 кодирования без потерь и секцию 21 обратного квантования.

Секция 16 кодирования без потерь выполняет процесс кодирования без потерь квантованных входных данных из секции 15 квантования для генерации кодированного потока усовершенствованного уровня. Секция 16 кодирования без потерь кодирует различные параметры, указанные, когда кодированный поток декодируется, и вставляет кодированные параметры в область заголовка кодированного потока. Параметры, кодируемые секцией 16 кодирования без потерь, могут включать в себя информацию относительно внутреннего предсказания и информацию, касающуюся внешнего предсказания, который будет описан ниже. Параметры предсказания, относящиеся к предсказанию цветовой палитры, дополнительно могут быть закодированы. Затем секция 16 кодирования без потерь выводит сгенерированный кодированный поток в буфер 17 накопления.

Буфер 17 накопления временно аккумулирует входной кодированный поток из секции 16 кодирования без потерь, используя носитель данных, такой как полупроводниковая память. Затем буфер 17 накопления направляет аккумулированный кодированный поток в секцию передачи (не показано) (например, коммуникационный интерфейс или интерфейс периферийных устройств) со скоростью, в соответствии с диапазоном канала передачи.

Секция 18 управления скоростью передачи контролирует свободное пространство буфера 17 накопления. Затем, секция 18 управления скоростью передачи генерирует сигнал управления скоростью передачи в соответствии с наличием свободного пространства в буфере 17 накопления, и выводит сгенерированный сигнал управления скоростью передачи в секцию 15 квантования. Например, когда нет большого количества свободного пространства в буфере 17 накопления, секция 18 управления скоростью передачи генерирует сигнал управления скоростью передачи для снижения скорости передачи битов квантованных данных. Кроме того, например, когда свободного места на буфере 17 накопления достаточно, секция 18 управления скоростью передачи генерирует сигнал управления скоростью передачи для увеличения битовой скорости квантованных данных.

Секция 21 обратного квантования, секция 22 обратного ортогонального преобразования и секция 23 сложения образуют локальный декодер. На стадии квантования, используемого секцией 15 квантования, секция 21 обратного квантования выполняет обратное квантование квантованных данных усовершенствованного уровня для восстановления коэффициента преобразования данных. Затем, секция 21 обратного квантования вырабатывает восстановленный коэффициент преобразования данных в секцию 22 обратного ортогонального преобразования.

Секция 22 обратного ортогонального преобразования выполняет обратное ортогональное преобразование процесса преобразования входных данных коэффициента квантования из секции 21 обратного квантования, тем самым восстанавливая предсказанные данные об ошибках. Как и при ортогональном преобразовании, обратное ортогональное преобразование выполняется для каждого TU. Затем секция 22 обратного ортогонального преобразования выводит восстановленные предсказанные данные об ошибках в секцию 23 сложения.

Секция 23 сложения складывает восстановленные предсказанные входные данные об ошибке из секции 22 обратного ортогонального преобразования и предсказанные входные данные изображения из секции 30 внутреннего предсказания или секции 35 внешнего предсказания, таким образом, генерируя данные декодированного изображения (восстановленное изображение усовершенствованного уровня). Затем секция 23 сложения выводит сгенерированные данные декодированного изображения в контурный фильтр 24 и память 25 кадров.

Контурный фильтр 24 включает в себя фильтр группы с целью улучшения качества изображения. Фильтр деблокинга (DF) представляет собой фильтр, который уменьшает артефакты блочности, возникающие при кодировании изображения. Дискретный фильтр адаптивного смещения (SAO) является фильтром, который добавляет адаптивно определяемое значение смещения для каждого значения пикселя. Адаптивный контурный фильтр (ALF) представляет собой фильтр, который минимизирует ошибку между изображением после выполнения процесса SAO и исходным изображением. Контурный фильтр 24 фильтрует декодированные входные данные изображения из секции 23 сложения и выводит отфильтрованные данные декодированного изображения в память 25 кадров.

Память 25 кадров хранит данные декодированного изображения усовершенствованного уровня, поступившие из секции 23 сложения, отфильтрованные декодированные данные изображения усовершенствованного уровня, поступившие из контурного фильтра 24, и данные опорного изображения основного уровня, поступившие из секции 40 предсказания цветовой палитры, используя носитель данных.

Селектор 26 считывает данные декодированного изображения до фильтрации, используемые для внутреннего предсказания, из памяти 25 кадров, и поставляет считанные декодированные данные изображения как данные опорного изображения, в секцию 30 внутреннего предсказания. Дополнительно, селектор 26 считывает отфильтрованные данные декодированного изображения, использованные для внешнего предсказания, из памяти 25 кадров, и поставляет считанные декодированные данные изображения как данные опорного изображения в секцию 35 внешнего предсказания. При осуществлении межуровневого предсказания секцией 30 внутреннего предсказания или секцией 35 внешнего предсказания, селектор 26 поставляет данные опорного изображе