Устройство и способ обработки изображений
Иллюстрации
Показать всеИзобретение относится к вычислительной технике. Технический результат заключается в предотвращении ухудшения субъективного качества изображения для декодированного изображения. Устройство обработки изображений содержит устанавливающий модуль для установки, на основе значения, указывающего минимальный размер элемента кодирования, для которого установлен разностный параметр квантования, текущего параметра квантования для текущего элемента кодирования, сформированного посредством рекурсивного разделения наибольшего элемента кодирования на меньшие элементы кодирования в качестве разделения элемента; модуль квантования для квантования данных изображения для генерирования квантованных данных с использованием указанного текущего параметра квантования и кодирующий модуль для кодирования сгенерированных квантованных данных в указанном текущем элементе кодирования для генерирования кодированного потока данных. 2 н. и 20 з.п. ф-лы, 43 ил.
Реферат
Область техники, к которой относится изобретение
Данная технология относится к устройству и способу обработки изображений и относится к устройству и способу обработки изображения, предназначенных для выполнения процесса квантования или обратного квантования.
Уровень техники
В последнее время, как при распространении информации на вещательной станции, так и при приеме информации в обычном доме широкое использование получили устройства, соответствующие такой системе, как MPEG (формат, разработанный Экспертной группой по вопросам движущегося изображения), обрабатывающие в цифровой форме информацию изображения и сжимающие ее посредством ортогонального преобразования, такого как дискретное косинусное преобразование, и посредством компенсации движения, используя избыточность, характерную для информации изображения, для эффективной передачи и накопления информации.
В наши дни возрастают потребности в кодировании с более высокой степенью сжатия, таком как кодирование изображения с разрешением, составляющим приблизительно 4096×2048 пикселей, что в четыре раза больше, чем для изображения высокой четкости, или в распространении изображения высокой четкости в среде, имеющей ограниченную пропускную способность, такой как сеть "Интернет". По этой причине группа VCEG (Экспертная группа по кодированию видеоинформации), действующая под руководством сектора телекоммуникаций Международного союза электросвязи (ITU-T) непрерывно исследует вопросы повышения эффективности кодирования.
Выраженный в пикселях размер макроблока, представляющего собой частную область изображения, которая является элементом разделения (элементом процесса кодирования) изображения во время кодирования изображения в стандартах MPEG 1 (Стандарт 1, разработанный Экспертной группой по вопросам движущегося изображения), MPEG 2 (Стандарт 2, разработанный Экспертной группой по вопросам движущегося изображения) и ITU-T Н.264 (Стандарт Н.264 сектора телекоммуникаций Международного союза электросвязи)/MPEO 4 - AVC (Стандарт 4, разработанный Экспертной группой по вопросам движущегося изображения, - Усовершенствованное кодирование видеоданных), являющихся традиционными системами кодирования изображения, всегда составляет 16×16 пикселей. С другой стороны, в непатентном документе 1 предлагается в качестве элементарной технологии стандарта кодирования изображений, относящегося к следующему поколению, увеличить количество пикселей макроблока в горизонтальном направлении и в вертикальном направлении. В нем также предлагается в дополнение к выраженному в пикселях размеру макроблока, составляющему 16×16 пикселей, определенному в стандартах MPEG 1, MPEG 2, ITU - Т H.264/MPEG 4 - AVC и им подобных, использовать макроблок размером 32×32 пикселя и 64×64 пикселя. Это делается для повышения эффективности кодирования благодаря выполнению компенсации движения и ортогонального преобразования на элементе с большей площадью в областях со сходным движением, поскольку прогнозируется, что выраженный в пикселях размер кодируемого изображения возрастет в будущем в горизонтальном направлении и в вертикальном направлении, как, например, в формате UHD (формате Сверхвысокой четкости изображения, где он составляет 4000 пикселей × 2000 пикселей).
В непатентном документе 1 принята иерархическая структура, определяющая, таким образом, более крупный блок как надмножество для блока, не превышающего 16×16 пикселей, сохраняющая при этом совместимость с макроблоком действующего на текущий момент стандарта AVC (Усовершенствованного кодирования видеоданных).
Хотя в непатентном документе 1 предлагается применять расширенный макроблок к межкадровому слою (последовательности макроблоков), в непатентном документе 2 предлагается применять расширенный макроблок к внутрикадровому слою.
Список документов
Непатентные документы
Непатентный документ 1: Peisong Chenn, Yan Ye, Marta Karczewicz, "Video Coding Using Extended Block Sizes", COM16-C123-E, Qualcomm Inc (Пейсонг Ченн, Ян Йе, Марта Карцевич "Кодирование видеоданных с использованием расширенных размеров блока", COM 16 - С 123 - Е, Квел комм Инк.)
Непатентный документ 2: Sung-Chang Lim, Hahyun Lee, Jinho Lee, Jongho Kim, Haechul Choi, Seyoon Jeong, Jin Soo Choi, "Intra coding using extended block size", VCEG-AL28, July, 2009 (Сунг - Чанг Лим, Хахюн Ли, Джинхо Ли, Джонгхо Ким, Хаэчул Чой, Сейоон Джеонг, Джин Соо Чой "Внутрикадровое кодирование с использованием расширенного размера блока" (VCEG - AL28, июль 2009 года)
Раскрытие изобретения
Задачи, решаемые изобретением
При применении расширенного макроблока, который предложен в непатентных документах 1 и 2, появляется высокая вероятность того, что в одном макроблоке будут смешаны однотонная область и область, включающая в себя текстуру.
Однако поскольку в Непатентных документах 1 и 2 для одного макроблока может быть определен только один параметр квантования, то трудно выполнить адаптивное квантование, соответствующее характеристикам соответствующих областей в плоскости.
Данная технология была реализована ввиду такого рода обстоятельств, и цель ее заключается в том, чтобы воспрепятствовать ухудшению субъективного качества изображения для декодированного изображения благодаря выполнению более подходящего процесса квантования.
Решение задач
Один аспект данной технологии представляет собой устройство обработки изображений, включающее в себя: декодирующий модуль для декодирования закодированного потока данных для генерирования квантованных данных; устанавливающий модуль для установки параметра квантования, используемого при выполнении над квантованными данными, сгенерированными декодирующим модулем, обратного квантования, для элемента кодирования на уровне более низком, чем опорный элемент кодирования на опорном уровне элемента кодирования, являющегося элементом процесса кодирования при кодировании данных изображения; и модуль обратного квантования для обратного квантования с использованием параметра квантования, устанавливаемого устанавливающим модулем квантованных данных, сгенерированных декодирующим модулем.
Устанавливающий модуль выполнен с возможностью установки параметра квантования для текущего элемента кодирования, с использованием разностного параметра квантования, указывающего значение разности между параметром квантования, установленным для текущего элемента кодирования, являющегося объектом обратного квантования, и параметром квантования, установленным для элемента кодирования на том же самом уровне, что и текущий элемент кодирования.
Разностный параметр квантования может представлять собой значение разности между параметром квантования, установленным для текущего элемента кодирования, и параметром квантования, установленным для элемента кодирования, который в порядке процесса декодирования декодируется перед текущим элементом кодирования.
Разностный параметр квантования может представлять собой значение разности между параметром квантования, установленным для текущего элемента кодирования, и параметром квантования, установленным для элемента кодирования, который в порядке процесса декодирования декодируется непосредственно перед текущим элементом кодирования.
Опорный элемент кодирования может представлять собой наибольший элемент кодирования, являющийся элементом кодирования самого верхнего уровня.
Устройство обработки изображений может дополнительно включать в себя: принимающий модуль, который принимает закодированный поток данных и данные о минимальном размере элемента кодирования, указывающие минимальный размер элемента кодирования, для которого устанавливается разностный параметр квантования, и устанавливающий модуль может устанавливать параметр квантования для текущего элемента кодирования в соответствии с данными о минимальном размере элемента кодирования, принятыми принимающим модулем.
Принимающий модуль может получать данные о минимальном размере элемента кодирования из заголовка слоя закодированного потока данных.
В случае, когда размер, указанный данными о минимальном размере элемента кодирования, составляет 16 пикселей, разностный параметр квантования для элемента кодирования, размер которого меньше, чем 16 пикселей, может быть установлен в 0.
Устанавливающий модуль выполнен с возможностью установки параметра квантования для текущего элемента кодирования, с использованием разностного параметра квантования, указывающего значение разности между параметром квантования, устанавливаемым для текущего элемента кодирования, являющегося объектом декодирования, и параметром квантования, устанавливаемым для слоя, к которому принадлежит текущий элемент кодирования.
Устанавливающий модуль выполнен с возможностью установки параметра квантования для текущего элемента кодирования, с использованием разностного параметра квантования, указывающего значение разности между параметром квантования, установленным для текущего элемента кодирования, и параметром квантования, установленным для слоя, к которому принадлежит текущий элемент кодирования, в том случае, когда текущий элемент кодирования представляет собой первый элемент кодирования в порядке процесса декодирования на уровне опорного элемента кодирования.
Опорный элемент кодирования может представлять собой наибольший элемент кодирования, являющийся элементом кодирования самого верхнего уровня.
Устройство обработки изображений может дополнительно включать в себя: принимающий модуль для приема закодированного потока данных и данных о минимальном размере элемента кодирования, указывающих минимальный размер элемента кодирования, для которого устанавливается разностный параметр квантования, и устанавливающий модуль выполнен с возможностью установки параметра квантования для текущего элемента кодирования в соответствии с данными о минимальном размере элемента кодирования, принятыми принимающим модулем.
Принимающий модуль выполнен с возможностью получения данных о минимальном размере элемента кодирования из заголовка слоя закодированного потока данных.
В случае, когда размер, указанный данными о минимальном размере элемента кодирования, составляет 16 пикселей, разностный параметр квантования для элемента кодирования, размер которого меньше, чем 16 пикселей, может быть установлен в 0.
В случае, когда значение разностного параметра квантования для элемента кодирования на уровне, более низком, чем опорный элемент кодирования, составляет 0, устанавливающий модуль выполнен с возможностью установки в качестве параметра квантования, устанавливаемого для указанного элемента кодирования на уровне, более низком, чем опорный элемент кодирования, параметр квантования, устанавливаемый для этого опорного элемента кодирования.
Устройство обработки изображений может дополнительно включать в себя: принимающий модуль для приема данных идентификации разности для идентификации того, равно ли 0 значение разностного параметра квантования для элемента кодирования на уровне, более низком, чем опорный элемент кодирования, и устанавливающий модуль, выполненный с возможностью установки с использованием данных идентификации разности, принятых принимающих модулем, в качестве параметра квантования, устанавливаемого для элемента кодирования на уровне, более низком, чем опорный элемент кодирования, параметр квантования, устанавливаемый для указанного опорного элемента кодирования.
Один аспект данной технологии представляет собой способ обработки изображения, включающий в себя этапы, на которых: генерируют квантованные данные, декодируя закодированный поток данных; устанавливают параметр квантования, используемый при обратном квантовании сгенерированных квантованных данных, для элемента кодирования на уровне, более низком, чем опорный элемент кодирования на опорном уровне элемента кодирования, являющегося элементом процесса кодирования при кодировании данных изображения; и выполняют обратное квантование, используя установленный параметр квантования, сгенерированных квантованных данных.
Другой аспект данной технологии представляет собой устройство обработки изображений, включающее в себя: устанавливающий модуль для установки параметра квантования, используемого при квантовании данных изображения, для элемента кодирования на уровне более низком, чем опорный элемент кодирования на опорном уровне элемента кодирования, являющегося элементом процесса кодирования при кодировании данных изображения; модуль квантования для генерирования квантованных данных, при квантовании данных изображения, с использованием параметра квантования, установленного устанавливающим модулем; и кодирующий модуль для кодирования квантованных данных, сгенерированных модулем квантования, для генерирования закодированного потока данных.
Устанавливающий модуль выполнен с возможностью установки разностного параметра квантования, указывающего значение разности между параметром квантования, устанавливаемого для текущего элемента кодирования, являющегося объектом процесса кодирования, и параметром квантования, устанавливаемым для элемента кодирования на том же самом уровне, что и текущий элемент кодирования, и устройство обработки изображений может дополнительно включать в себя: передающий элемент для передачи разностного параметра квантования, установленного устанавливающим модулем, и закодированного потока данных, сгенерированного кодирующим модулем.
Устанавливающий модуль выполнен с возможностью установки в качестве разностного параметра квантования, значения разности между параметром квантования, устанавливаемым для текущего элемента кодирования, и параметром квантования, устанавливаемым для элемента кодирования, который в порядке процесса кодирования кодируется перед текущим элементом кодирования.
Устанавливающий модуль выполнен с возможностью установки в качестве разностного параметра квантования, значения разности между параметром квантования, установленным для текущего элемента кодирования, и параметром квантования, установленным для элемента кодирования, который в порядке процесса кодирования кодируется непосредственно перед текущим элементом кодирования.
Опорный элемент кодирования может представлять собой наибольший элемент кодирования, являющийся элементом кодирования самого верхнего уровня.
Устанавливающий модуль выполнен с возможностью установки данных о минимальном размере элемента кодирования, указывающих минимальный размер элемента кодирования, для которого устанавливается разностный параметр квантования, и передающий модуль выполнен с возможностью передачи данных о минимальном размере элемента кодирования, установленных устанавливающим модулем.
Передающий модуль выполнен с возможностью добавления в качестве заголовка слоя данных о минимальном размере элемента кодирования, установленных устанавливающим модулем, в синтаксис закодированного потока данных, сгенерированного кодирующим модулем.
В случае, когда размер, указанный данными о минимальном размере элемента кодирования, задан как 16 пикселей, устанавливающий модуль выполнен с возможностью установки разностного параметра квантования для элемента кодирования, размер которого меньше, чем 16 пикселей, в 0.
Устанавливающий модуль выполнен с возможностью установки разностного параметра квантования, указывающего значение разности между параметром квантования, устанавливаемым для текущего элемента кодирования, являющегося объектом процесса кодирования, и параметром квантования, устанавливаемым для слоя, к которому принадлежит текущий элемент кодирования, и устройство обработки изображений может дополнительно включать в себя: передающий модуль для передачи разностного параметра квантования, установленного устанавливающим модулем, и закодированного потока данных, сгенерированного кодирующим модулем.
Устанавливающий модуль выполнен с возможностью установки, в качестве разностного параметра квантования, значения разности между параметром квантования, установленным для текущего элемента кодирования, и параметром квантования, установленным для слоя, к которому принадлежит текущий элемент кодирования, в том случае, когда текущий элемент кодирования представляет собой первый элемент кодирования в порядке процесса кодирования на уровне опорного элемента кодирования.
Опорный элемент кодирования может представлять собой наибольший элемент кодирования, являющийся элементом кодирования самого верхнего уровня.
Устанавливающий модуль выполнен с возможностью установки данных о минимальном размере элемента кодирования, указывающих минимальный размер элемента кодирования, для которого устанавливается разностный параметр квантования, а передающий модуль выполнен с возможностью передачи данных о минимальном размере элемента кодирования, установленных устанавливающим модулем.
Передающий модуль выполнен с возможностью добавления, в качестве заголовка слоя данных о минимальном размере элемента кодирования, установленных устанавливающим модулем, к синтаксису закодированного потока данных, сгенерированного кодирующим модулем.
В случае, когда размер, указанный данными о минимальном размере элемента кодирования, установлен как 16 пикселей, устанавливающий модуль выполнен с возможностью установки разностного параметра квантования для элемента кодирования, размер которого меньше, чем 16 пикселей, в 0.
В случае, когда значение разностного параметра квантования для элемента кодирования на уровне более низком, чем опорный элемент кодирования, установлено в 0, устанавливающий модуль выполнен с возможностью установки в качестве параметра квантования, устанавливаемого для этого элемента кодирования на уровне более низком, чем опорный элемент кодирования.
Устанавливающий модуль выполнен с возможностью установки данных идентификации разности для идентификации того, равно ли 0 значение разностного параметра квантования для элемента кодирования на уровне, более низком, чем опорный элемент кодирования, и устройство обработки изображений может дополнительно включать в себя: передающий модуль для передачи данных идентификации разности, установленных устанавливающим модулем, и закодированного потока данных, сгенерированного кодирующим модулем.
Другой аспект данной технологии представляет собой способ обработки изображения, включающий в себя этапы, на которых: устанавливают параметр квантования, используемый при квантовании данных изображения квантуемых для элемента кодирования на уровне более низком, чем опорный элемент кодирования на опорном уровне элемента кодирования, являющегося элементом процесса кодирования при кодировании данных изображения; генерируют квантованные данные, квантуя данные изображения, используя установленный параметр квантования; и генерируют закодированный поток данных, кодируя сгенерированные квантованные данные.
В одном аспекте данной технологии осуществляют декодирование закодированного потока данных и генерируют квантованные данные; параметр квантования, используемый при обратном квантовании сгенерированных квантованных данных, устанавливают для элемента кодирования на уровне, более низком, чем опорный элемент кодирования на опорном уровне элемента кодирования, являющегося элементом процесса кодирования при кодировании данных изображения; и, используя установленный параметр квантования, осуществляют обратное квантование над сгенерированными квантованными данными.
В другом аспекте данной технологии параметр квантования, используемый тогда, когда квантуются данные изображения, устанавливают для элемента кодирования на уровне более низком, чем опорный элемент кодирования на опорном уровне элемента кодирования, являющегося элементом процесса кодирования при кодировании данных изображения; квантуют данные изображения и генерируют квантованные данные, используя установленный параметр квантования; и кодируют сгенерированные квантованные данные и генерируют закодированный поток данных.
Результаты изобретения
В соответствии с данной технологией процесс квантования или обратного квантования, могут быть выполнены более подходящим образом.
Краткое описание чертежей
Фиг.1 представляет собой структурную схему, на которой иллюстрирован пример основной конфигурации устройства кодирования изображения, к которому применена данная технология.
Фиг.2 представляет собой чертеж, на котором проиллюстрирован пример отношения соответствия между параметром квантования для сигнала яркости и параметра квантования для сигнала цветности.
Фиг.3 представляет собой чертеж, на котором проиллюстрирован пример макроблока.
Фиг.4 представляет собой чертеж, на котором проиллюстрирован другой пример макроблока.
Фиг.5 представляет собой структурную схему, на которой проиллюстрирован пример детализированной конфигурации модуля квантования.
Фиг.6 представляет собой чертеж, на котором проиллюстрирован пример изображения в элементе - макроблоке.
Фиг.7 представляет собой блок-схему алгоритма, на которой проиллюстрирован пример алгоритма процесса кодирования.
Фиг.8 представляет собой блок-схему алгоритма, на которой проиллюстрирован пример алгоритма процесса вычисления параметра квантования.
Фиг.9 представляет собой структурную схему, на которой проиллюстрирована пример основной конфигурации устройства декодирования изображений, к которому применена данная технология.
Фиг.10 представляет собой структурную схему, на которой проиллюстрирован пример детализированной конфигурации модуля обратного квантованию.
Фиг.11 представляет собой блок-схему алгоритма, на которой проиллюстрирован пример алгоритма декодирования.
Фиг.12 представляет собой блок-схему алгоритма, на которой проиллюстрирован пример алгоритма обратного квантованию.
Фиг.13 представляет собой блок-схему алгоритма, на которой проиллюстрирован другой пример алгоритма вычисления параметра квантования.
Фиг.14 представляет собой блок-схему алгоритма, на которой проиллюстрирован другой пример алгоритма обратного квантованию.
Фиг.15 представляет собой чертеж, на котором проиллюстрирован пример конфигурации элемента кодирования.
Фиг.16 представляет собой чертеж, на котором проиллюстрирован пример параметра квантования, присваиваемого каждому элементу кодирования.
Фиг.17 представляет собой чертеж, на котором проиллюстрирован пример синтаксиса.
Фиг.18 представляет собой структурную схему, на которой проиллюстрирован другой пример конфигурации устройства кодирования изображений, к которому применена данная технология.
Фиг.19 представляет собой структурную схему, на которой проиллюстрирован пример детализированной конфигурации модуля квантования элемента кодирования и контроллера скорости.
Фиг.20 представляет собой блок-схему алгоритма, на которой проиллюстрирован еще один пример последовательности процесса вычисления параметра квантования.
Фиг.21 представляет собой структурную схему, на которой проиллюстрирован другой пример конфигурации устройства декодирования изображений, к которому применена данная технология.
Фиг.22 представляет собой структурную схему, на которой проиллюстрирован пример детализированной конфигурации элемента кодирования модуля обратного квантования.
Фиг.23 представляет собой блок-схему алгоритма, на которой проиллюстрирован еще один пример последовательности процесса обратного квантования.
Фиг.24 представляет собой чертеж, на котором сравниваются характеристики способов вычисления параметра dQP квантования.
Фиг.25 представляет собой чертеж, на котором проиллюстрирован пример параметра квантования, назначаемого каждому элементу кодирования.
Фиг.26 представляет собой чертеж, на котором проиллюстрирован пример синтаксиса заголовка слоя.
Фиг.27 представляет собой чертеж, на котором проиллюстрирован пример способа вычисления активности.
Фиг.28 представляет собой чертеж, на котором проиллюстрирована связь между параметром квантования и масштабом квантования.
Фиг.29 представляет собой структурную схему, на которой проиллюстрирован еще один другой пример конфигурации устройства кодирования изображений, к которому применена данная технология.
Фиг.30 представляет собой структурную схему, на которой проиллюстрирован пример детализированной конфигурации модуля квантования элемента кодирования, модуля квантования и контроллера отношения.
Фиг.31 представляет собой блок-схему алгоритма, на которой проиллюстрирован другой пример последовательности процесса кодирования.
Фиг.32 представляет собой блок-схему алгоритма, на которой проиллюстрирован пример последовательности процесса квантования.
Фиг.33 представляет собой чертеж, на котором проиллюстрирован пример системы кодирования изображения с множественными представлениями.
Фиг.34 представляет собой чертеж, на котором проиллюстрирован пример основной конфигурации устройства кодирования изображений с множественными представлениями, к которому применена данная технология.
Фиг.35 представляет собой чертеж, на котором проиллюстрирован пример основной конфигурации устройства декодирования изображений с множественными представлениями, к которому применена данная технология.
Фиг.36 представляет собой чертеж, на котором проиллюстрирован пример системы кодирования иерархического изображения.
Фиг.37 представляет собой чертеж, на котором проиллюстрирован пример основной конфигурации устройства кодирования иерархических изображений, к которому применена данная технология.
Фиг.38 представляет собой чертеж, на котором проиллюстрирован пример основной конфигурации устройства декодирования иерархических изображений, к которому применена данная технология.
Фиг.39 представляет собой структурную схему, на которой проиллюстрирован пример основной конфигурации компьютера, к которому применена данная технология.
Фиг.40 представляет собой структурную схему, на которой проиллюстрирован пример основной конфигурации телевизионного устройства, к которому применена данная технология.
Фиг.41 представляет собой структурную схему, на которой проиллюстрирован пример основной конфигурации мобильного оконечного устройства, к которому применена данная технология.
Фиг.42 представляет собой структурную схему, на которой проиллюстрирован пример основной конфигурации устройства записи/воспроизведения, к которому применена данная технология.
Фиг.43 представляет собой структурную схему, на которой проиллюстрирован пример основной конфигурации устройства формирования изображений, к которому применена данная технология.
Осуществление изобретения
Ниже описываются способы осуществления данной технологии (в дальнейшем именуемые как варианты реализации изобретения). Отметим, что описание приводится в нижеследующем порядке.
1. Первый вариант реализации изобретения (Устройство кодирования изображения)
2. Второй вариант реализации изобретения (Устройство декодирования изображения)
3. Третий вариант реализации изобретения (Устройство кодирования изображения/Устройство декодирования изображения)
4. Четвертый вариант реализации изобретения (Устройство кодирования изображения/Устройство декодирования изображения)
5. Пятый вариант реализации изобретения (Устройство кодирования изображения)
6. Шестой вариант реализации изобретения (Устройства кодирования изображения с множественными представлениями/декодирования изображения с множественными представлениями)
7. Седьмой вариант реализации изобретения (Устройства кодирования иерархического изображения/декодирования иерархического изображения)
8. Восьмой вариант реализации изобретения (Применение)
1. Первый вариант реализации изобретения
Устройство кодирования изображения
На Фиг.1 проиллюстрирована конфигурация одного варианта реализации устройства кодирования изображения в качестве устройства обработки изображений, к которому применена данная технология.
Устройство (100) кодирования изображения, проиллюстрированное на Фиг.1, представляет собой устройство кодирования, кодирующее изображение способом, аналогичным например, системе стандарта Н.264/Часть 10 MPEG - 4 (Часть 10 стандарта 4 экспертной группы по движущемуся изображению) (AVC (Усовершенствованное кодирование видеоданных)) (в дальнейшем, именуемая как H.264/AVC). Однако устройство 100 кодирования изображения определяет параметр квантования для каждого субмакроблока.
Макроблок представляет собой частную область изображения, которая является элементом процесса при кодировании изображения. Субмакроблок представляет собой малую область, получаемую при разделении макроблока на множество областей.
В примере, показанном на Фиг.1, устройство 100 кодирования изображения включает в себя аналого-цифровой (A/D) преобразователь 101, буфер 102 переупорядочивания экранного изображения, арифметический модуль 103, модуль 104 ортогонального преобразования, модуль 105 квантования, модуль 106 кодирования без потерь и буфер 107 накопления. Устройство 100 кодирования изображения также включает в себя модуль 108 обратного квантования, модуль 109 обратного ортогонального преобразования, арифметический модуль НО, фильтр 111 устранения блочности, память 112 кадров, переключатель 113, модуль 114 внутрикадрового предсказания, модуль 115 предсказания/компенсации движения, переключатель 116 и контроллер 117 отношения.
Кроме того, устройство 100 кодирования изображения включает в себя модуль 121 квантования субмакроблока и модуль 122 обратного квантования, для субмакроблока.
Аналого-цифровой преобразователь 101 осуществляет аналого-цифровое преобразование данных входного изображения и выводит их для сохранения в буфер 102 переупорядочивания экранного изображения.
Буфер 102 переупорядочивания экранного изображения переупорядочивает сохраненное изображение с кадрами, располагающимися в порядке их отображения, перестраивая их в порядок следования кадров для кодирования в соответствии с GOP -структурой (структурой Группы изображений). Буфер 102 переупорядочивания экранного изображения предоставляет изображение, в котором был переупорядочен порядок следования кадров, арифметическому модулю 103. Буфер 102 переупорядочивания экранного изображения предоставляет изображение, в котором порядок следования кадров был переупорядочен, также модулю 114 внутрикадрового предсказания и модулю 122 предсказания/компенсации движения.
Арифметический модуль 103 вычитает предсказанное изображение, предоставляемое через переключатель 116 от модуля 114 внутрикадрового предсказания или модуля 122 предсказания/компенсации движения, из изображения, считываемого из буфера 102 переупорядочивания экранного изображения, и выводит информацию разности на модуль 104 ортогонального преобразования.
Например, в случае изображения, над которым выполняется внутрикадровое кодирование, арифметический модуль 103 вычитает, из изображения, считываемого из буфера 102 переупорядочивания экранного изображения, предсказанное изображение, предоставляемое модулем 114 внутрикадрового предсказания. Кроме того, в случае изображения, над которым выполняется межкадровое кодирование, например, арифметический модуль 103 вычитает из изображения, считываемого из буфера 102 переупорядочивания экранного изображения, предсказанное изображение, предоставляемое модулем 115 предсказания/компенсации движения.
Модуль 104 ортогонального преобразования выполняет над информацией разности, предоставленной из арифметического модуля 103, ортогональное преобразование, такое как дискретное косинусное преобразование и преобразование Карунена - Лоэва (Karhunen - Loeve) и предоставляет коэффициент преобразования модулю 105 квантования.
Модуль 105 квантования осуществляет квантование коэффициента преобразования, выводимого модулем 104 ортогонального преобразования. Модуль 105 квантования, взаимодействуя с модулем 121 квантования субмакроблока, основываясь на информации, предоставленной от контроллера 117 отношения, устанавливает параметр квантования для каждого субмакроблока, который представляет собой область, меньшую чем макроблок, и выполняет квантование. Модуль 105 квантования предоставляет квантованный коэффициент преобразования модулю 106 кодирования без потерь.
Модуль 106 кодирования без потерь выполняет над квантованным коэффициентом преобразования кодирование без потерь, такое как кодирование с переменной длиной кодового слова и арифметическое кодирование.
Модуль 106 кодирования без потерь получает от модуля 114 внутрикадрового предсказания информацию, указывающую внутрикадровое предсказание и тому подобное, и получает от модуля 115 предсказания/компенсации движения информацию, указывающую режим межкадрового предсказания, информацию вектора движения и тому подобное. Между тем, информация, указывающая внутрикадровое предсказание, (внутрикадровое предсказание) в дальнейшем также именуется как информация режима внутрикадрового предсказания. Кроме того, информация, указывающая информационный режим, указывающий межкадровое предсказание, (межкадровое предсказание) в дальнейшем также именуется как информация режима межкадрового предсказания.
Модуль 106 кодирования без потерь кодирует квантованный коэффициент преобразования и делает различные секции информации, такие как коэффициент фильтрации, информация режима внутрикадрового предсказания, информация режима межкадрового предсказания и параметр квантования, областью информации заголовка кодированных данных (мультиплексирует их). Модуль 106 кодирования без потерь предоставляет закодированные данные, полученные посредством кодирования, буферу 107 накопления для накопления.
Например, модуль 106 кодирования без потерь выполняет процесс кодирования без потерь, такой как кодирование с переменной длиной кодового слова или арифметическое кодирование. Кодирование с переменной длиной кодового слова включает в себя CAVLC - кодирование (Контекстно зависимое адаптивное кодирование с переменной длиной кодового слова), определенное системой H.264/AVC и тому подобное. Арифметическое кодирование включает в себя САВАС - кодирование (Контекстно зависимое адаптивное бинарное арифметическое кодирование) и тому подобное.
Буфер 107 накопления временно сохраняет в себе кодированные данные, предоставленные модулем 106 кодирования без потерь, и выводит их в качестве закодированного изображения, закодированного в системе H.264/AVC, в некоторые предварительно заданные моменты времени, например, на следующие за ним устройства записи и канал передачи данных, не проиллюстрированные на чертеже.
Коэффициент преобразования, подвергшийся квантованию в модуле 105 квантования, также предоставляется модулю 108, обратного квантования. Модуль 108 обратного квантования осуществляет над квантованным коэффициентом преобразования обратное квантование, способом, соответствующим квантованию в модуле 105 квантования. Модуль 108 обратного квантования выполняет преобразование, обратное квантованию, используя параметр квантования для каждого субмакроблока, установленный модулем 105 квантования, во взаимодействии с модулем 122 обратного квантования. Модуль 108 обратного квантования предоставляет полученный коэффициент преобразования модулю 109 обратного ортогонального преобразования.
Модуль 109 обратного ортогонального преобразования осуществляет обратное ортогональное преобразование предоставленного коэффициента преобразования, используя способ, соответствующий процессу ортогонального преобразования, проводимому модулем 104 ортогонального преобразования. Выходные данные, полученные обратным ортогональным преобразованием (восстановленная информация разности) предоставляется арифметическому модулю 110.
Арифметический модуль 110 суммирует предсказанное изображение, предоставляемое через переключатель 116 модулем 114 внутрикадрового предс