Устройство и способ обработки изображений

Устройство и способ обработки изображений

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее раскрытие относится к устройствам и способам обработки изображений и, более конкретно, к устройству и способу обработки изображений, которые обеспечивают улучшение эффективности обработки при кодировании или декодировании.

Уровень техники

В последние годы, все более распространенными становятся устройства, обрабатывающие информацию изображений в цифровой форме и, в данном случае, использующие избыточность, специфичную для информации изображения, для достижения сжатия и кодирования изображений, используя схему кодирования для сжатия на основе ортогонального преобразования, такого как дискретное косинусное преобразование и компенсация движения, для эффективной передачи и накопления информации. Примеры такой схемы кодирования включают в себя MPEG (Группа экспертов движущегося изображения) и Н.264, и MPEG 4, Часть 10 (Усовершенствованное кодирование видеоданных, ниже называется Н.264/AVC).

Кроме того, стандартизация схемы кодирования, называемой HEVC (Высокоэффективное кодирование видеоданных) в настоящее время выполняется JCTVC (Объединенная команда сотрудничества - кодирование видеоданных), которая представляет собой объединенную команду по стандартизации ITU-T и ISO/IEC, для достижения улучшенной эффективности кодирования, чем у H.264/AVC (см., например, NPL 1).

В настоящем рабочем проекте HEVC, фильтр удаления блочности, фильтр адаптивного контура и адаптивный фильтр смещения (адаптивное смещение выборки: SAO), используются, как фильтры в контуре.

В HEVC параметры фильтра адаптивного контура совместно подают на сторону декодера группами по одному кадру. В отличие от этого, в NPL 2 предложено, чтобы процесс фильтра адаптивного контура выполнялся в модулях наибольшего модуля кодирования или LCU.

Список литературы

Непатентная литература

NPL 1: Thomas Wiegand, Woo-Jin Han, Benjamin Bross, Jens-Rainer Ohm, Gary J. Sullivan, "Working Draft 4 of High-Efficiency Video Coding", JCTVC-F803, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino, IT, 14-22 July, 2011

NPL 2: A. Fuldseth, Cisco Systems, G. bjontegaard, Cisco Systems, "Improved ALF with low latency and reduced complexity", JCTVC-G499, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 7th Meeting: Geneva, CH, 21-30 November, 2011

Раскрытие изобретения

Техническая задача

В HEVC, кроме того, фильтр адаптивного смещения адаптирован для областей, называемых областями квадродерева, которые уникально определены для фильтра адаптивного смещения. Кроме того, параметры фильтра адаптивного смещения совместно определены в sao_param () в группах по одному кадру.

sao_param () помещается перед данными (видеоинформации) в кодированном потоке. На стороне кодера, поэтому, необходимо содержать данные для одного кадра в буфере до тех пор, пока не закончится обработка фильтра адаптивного смещения, определения коэффициентов фильтра адаптивного смещения и формирования sao_param ().

Настоящее раскрытие было выполнено с учетом такой ситуации, и обеспечивает улучшение эффективности обработки при кодировании или декодировании.

Решение задачи

Устройство обработки изображений, в соответствии с первым аспектом настоящего раскрытия включает в себя модуль получения для получения параметров фильтра адаптивного смещения в модулях наибольшего модуля кодирования из кодированного потока, при этом параметры фильтра адаптивного смещения установлены с использованием наибольшего модуля кодирования, в качестве модуля передачи; модуль декодирования для выполнения процесса декодирования для кодированного потока и затем генерирования изображения; и модуль фильтра адаптивного смещения для выполнения фильтрации адаптивного смещения для изображения, генерируемого модулем декодирования, в модулях наибольшего модуля кодирования с использованием параметров, полученных модулем получения.

Параметры фильтра адаптивного смещения могут включать в себя тип фильтра адаптивного смещения и значения смещения.

Устройство обработки изображений может дополнительно включать в себя модуль фильтра удаления блочности для выполнения фильтрации удаления блочности для изображения, генерируемого модулем декодирования, а модуль фильтра адаптивного смещения может выполнять фильтрацию адаптивного смещения для изображения, для которого модуль фильтра удаления блочности выполнил фильтрацию удаления блочности.

Модуль получения может получать, из кодированного потока, идентификационные данные, идентифицирующие параметр предыдущего наибольшего модуля кодирования, для которого была выполнена фильтрация адаптивного смещения перед текущим наибольшим модулем кодирования, который является таким же, как параметр текущего наибольшего модуля кодирования, а модуль фильтра адаптивного смещения может выполнять фильтрацию адаптивного смещения для изображения, генерируемого модулем декодирования, в модулях наибольшего модуля кодирования, используя идентификационные данные, полученные модулем получения.

Модуль получения может получать из кодированного потока идентификационные данные, идентифицирующие, следует ли использовать параметр предыдущего наибольшего модуля кодирования, для которого была выполнена фильтрация адаптивного смещения, перед текущим наибольшим модулем кодирования, а модуль фильтра адаптивного смещения может выполнять фильтрацию адаптивного смещения для изображения, генерируемого модулем декодирования, в модулях наибольшего модуля кодирования, используя идентификационные данные, полученные модулем получения.

Модуль получения может получать, из кодированного потока идентификационные данные, идентифицирующие, следует ли использовать копию параметра предыдущего наибольшего модуля кодирования, для которого фильтрация адаптивного смещения была выполнена перед текущим наибольшим модулем кодирования, модуль фильтра адаптивного смещения может выполнять фильтрацию адаптивного смещения для изображения, генерируемого модулем декодирования, в модулях наибольшего модуля кодирования, используя идентификационные данные, полученные модулем получения.

Модуль получения может получать, из кодированного потока, идентификационные данные, устанавливающие наибольший модуль кодирования, который идентичен текущему наибольшему модулю кодирования, в виде параметра, из предыдущих наибольших модулей кодирования, для которых была выполнена фильтрация адаптивного смещения перед текущим наибольшим модулем кодирования, а модуль фильтра адаптивного смещения может выполнять фильтрацию адаптивного смещения для изображения, генерируемого модулем декодирования, в модулях наибольшего модуля кодирования, используя идентификационные данные, полученные модулем получения.

Параметры фильтра адаптивного смещения передают в моменты времени начала наибольшего модуля кодирования.

Модуль декодирования может выполнять процесс декодирования в модулях, каждый из которых имеет иерархическую структуру.

Способ обработки изображений, в соответствии с первым аспектом настоящего раскрытия выполняется устройством обработки изображений, включающий в себя этапы, на которых: получают параметры фильтра адаптивного смещения в модулях наибольшего модуля кодирования из кодированного потока, при этом параметры фильтра адаптивного смещения устанавливают, используя наибольший модуль кодирования в качестве модуля передачи; выполняют процесс декодирования для кодированного потока для генерирования изображения; и выполняют фильтрацию адаптивного смещения для сгенерированного изображения в модулях наибольшего модуля кодирования, используя полученные параметры.

Устройство обработки изображений, в соответствии со вторым аспектом настоящего раскрытия, включает в себя модуль установки, который устанавливает параметры фильтра адаптивного смещения, используя наибольший модуль кодирования, в качестве модуля передачи; модуль фильтра адаптивного смещения, который выполняет фильтрацию адаптивного смещения для изображения, которое было подвергнуто процессу локального декодирования, в случае, когда изображение кодируют в модулях наибольшего модуля кодирования, используя параметры, установленные модулем установки; модуль кодирования, который выполняет процесс кодирования для изображения, для которого модуль фильтра адаптивного смещения выполнил фильтрацию адаптивного смещения, и генерирующий кодированный поток, используя изображение; и модуль передачи, который передает параметры, установленные модулем установки, и кодированный поток, генерируемый модулем кодирования.

Параметры фильтра адаптивного смещения могут включать в себя тип фильтра адаптивного смещения и значения смещения.

Устройство обработки изображений может дополнительно включать в себя модуль фильтра удаления блочности, который выполняет фильтрацию удаления блочности для локально декодированного изображения, и модуль фильтра адаптивного смещения может выполнять фильтрацию адаптивного смещения для изображения, для которого модуль фильтра удаления блочности выполнил фильтрацию удаления блочности.

Модуль установки может устанавливать идентификационные данные, идентифицирующие параметр предыдущего наибольшего модуля кодирования, для которого была выполнена фильтрация адаптивного смещения перед текущим наибольшим модулем кодирования, который является таким же, как и параметр текущего наибольшего модуля кодирования, и модуль передачи может передавать идентификационные данные, установленные модулем установки, и кодированный поток, генерируемый модулем кодирования.

Модуль установки может устанавливать идентификационные данные, идентифицирующие, следует ли использовать параметр предыдущего наибольшего модуля кодирования, для которого была выполнена фильтрация адаптивного смещения перед текущим наибольшим модулем кодирования, а модуль передачи может передавать идентификационные данные, установленные модулем установки, и кодированный поток, генерируемый модулем кодирования.

Модуль установки может устанавливать идентификационные данные, идентифицирующие, следует ли использовать копию параметра предыдущего наибольшего модуля кодирования, для которого была выполнена фильтрация адаптивного смещения перед текущим наибольшим модулем кодирования, и модуль передачи может передавать идентификационные данные, установленные модулем установки, и кодированный поток, генерируемый модулем кодирования.

Модуль установки может устанавливать идентификационные данные, устанавливающие наибольший модуль кодирования, который идентичен текущему наибольшему модулю кодирования, с точки зрения параметра, среди предыдущих наибольших модулей кодирования, для которых была выполнена фильтрация адаптивного смещения перед текущим наибольшим модулем кодирования, и модуль передачи может передавать идентификационные данные, установленные модулем установки, и кодированный поток, генерируемый модулем кодирования.

Модуль передачи может передавать параметры фильтра адаптивного смещения, установленного модулем установки в момент времени начала наибольшего модуля кодирования.

Модуль кодирования может выполнять процесс кодирования в модулях, каждый из которых имеет иерархическую структуру.

Способ обработки изображений по второму аспекту настоящего раскрытия выполняется устройством обработки изображений, и включает в себя этапы, на которых: устанавливают параметры фильтра адаптивного смещения, с использованием наибольшего модуля кодирования, в качестве модуля передачи; выполняют фильтрацию адаптивного смещения для изображения, подвергнутого процессу локального декодирования, в случае, когда изображение кодировано, в модулях наибольшего модуля кодирования, с использованием установленных параметров; выполняют процесс кодирования для изображения, для которого была выполнена фильтрация адаптивного смещения, для генерирования кодированного потока, с использованием изображения; и передают набор параметров и генерируемый кодированный поток.

В первом аспекте настоящего раскрытия параметры фильтра адаптивного смещения получают в модулях наибольшего модуля кодирования из кодированного потока, в котором параметры фильтра адаптивного смещения устанавливают с использованием наибольшего модуля кодирования, в качестве модуля передачи; и процесс декодирования выполняют для кодированного потока, для генерирования изображения. Затем фильтрацию адаптивного смещения выполняют для генерируемого изображения в модулях наибольшего модуля кодирования с использованием полученных параметров.

Во втором аспекте настоящего раскрытия параметры фильтра адаптивного смещения устанавливают с использованием наибольшего модуля кодирования, в качестве модуля передачи; и фильтрацию адаптивного смещения выполняют для изображения, которое было подвергнуто обработке локального декодирования, в случае, когда изображение кодировано, в модулях наибольшего модуля кодирования с использованием установленных параметров. Затем выполняют процесс кодирования для изображения, для которого была выполнена фильтрация адаптивного смещения, для генерирования кодированного потока, с использованием указанного изображения; и передают установленные параметры и сгенерированный поток кодирования.

Следует отметить, что каждое из устройств обработки изображений, описанное выше, может представлять собой независимое устройство или внутренний блок, включенный в одно устройство кодирования изображения, или в устройство декодирования изображения.

В соответствии с первым аспектом настоящего раскрытия, возможно декодировать изображение. В частности, возможно улучшить эффективность обработки.

В соответствии со вторым аспектом настоящего раскрытия, возможно кодировать изображение. В частности, возможно улучшить эффективность обработки.

Краткое описание чертежей

На фиг. 1 показана блок-схема, поясняющая основной пример конфигурации устройства кодирования изображения.

На фиг. 2 показана блок-схема последовательности операций, представляющая пример потока процесса кодирования.

На фиг. 3 показана блок-схема, поясняющая основной пример конфигурации устройства декодирования изображения.

На фиг. 4 показана блок-схема последовательности операций, представляющая пример потока обработки декодирования.

На фиг. 5 показана схема, представляющая структуру квадродерева в схеме HEVC.

На фиг. 6 показана схема, представляющая смещение полосы.

На фиг. 7 показана схема, представляющая смещение кромки.

На фиг. 8 представлена схема, иллюстрирующая правила классификации для смещения кромки.

На фиг. 9 показана схема, представляющая краткий обзор представленной технологии.

На фиг. 10 показана схема, представляющая преимущества представленной технологии.

На фиг. 11 представлена схема, иллюстрирующая пример синтаксиса sao_param ().

На фиг. 12 показана схема, представляющая sao_type_idx.

На фиг. 13 показана блок-схема, поясняющая пример конфигурации фильтра адаптивного смещения, в котором применено настоящее раскрытие.

На фиг. 14 показана блок-схема последовательности операций, представляющая процесс фильтра адаптивного смещения.

На фиг. 15 показана блок-схема последовательности операций, представляющая запись коэффициента.

На фиг. 16 показана схема, представляющая запись коэффициента.

На фиг. 17 показана блок-схема, поясняющая пример конфигурации фильтра адаптивного смещения, в котором применено настоящее раскрытие.

На фиг. 18 показана блок-схема последовательности операций, представляющая процесс фильтра адаптивного смещения.

На фиг. 19 показана блок-схема последовательности операций, представляющая процесс считывания коэффициента.

На фиг. 20 показана схема, представляющая процесс считывания коэффициента.

На фиг. 21 представлена схема, иллюстрирующая пример схемы кодирования многопроекционного изображения.

На фиг. 22 представлена схема, иллюстрирующая конфигурацию основного примера устройства кодирования многопроекционного изображения, в котором применена настоящая технология.

На фиг. 23 представлена схема, иллюстрирующая конфигурацию основного примера устройства декодирования многопроекционного изображения, в котором применена настоящая технология.

На фиг. 24 представлена схема, иллюстрирующая пример схемы кодирования многослойного изображения.

На фиг. 25 представлена схема, иллюстрирующая конфигурацию основного примера устройства кодирования многослойного изображения, в котором применена существующая технология.

На фиг. 26 представлена схема, иллюстрирующая конфигурацию основного примера устройства декодирования многослойного изображения, в котором применена существующая технология.

На фиг. 27 показана блок-схема, поясняющая основной пример конфигурации компьютера.

На фиг. 28 показана блок-схема, поясняющая пример схематической конфигурации телевизионного устройства.

На фиг. 29 показана блок-схема, поясняющая пример схематической конфигурации мобильного телефона.

На фиг. 30 показана блок-схема, поясняющая пример схематической конфигурации устройства записи/воспроизведения.

На фиг. 31 показана блок-схема, поясняющая пример схематической конфигурации устройства формирования изображения.

На фиг. 32 показана блок-схема, поясняющая пример использования масштабируемого кодирования.

На фиг. 33 показана блок-схема, поясняющая другой пример использования масштабируемого кодирования.

На фиг. 34 показана блок-схема, поясняющая еще один другой пример использования масштабируемого кодирования.

Осуществление изобретения

Режимы для выполнения настоящего раскрытия (ниже называются вариантами осуществления) будут описаны ниже. Следует отметить, что описание будет представлено в следующем порядке.

1. Общий обзор устройств и операций

2. Пояснение технологий предшествующего уровня техники

3. Первый вариант осуществления (устройство обработки изображений)

4. Второй вариант осуществления (устройство кодирования многопроекционного изображения/декодирования многопроекционного изображения)

5. Третий вариант осуществления (устройство кодирования многослойного изображения/устройство декодирования многослойного изображения)

6. Четвертый вариант осуществления (компьютер)

7. Примерные приложения

8. Примерные приложения масштабируемого кодирования

1. Общий обзор устройств и операций

Пример конфигурации устройства кодирования изображения

На фиг. 1 иллюстрируется конфигурация варианта осуществления устройства кодирования изображения, используемого, как устройство обработки изображений, в котором применяется настоящее раскрытие.

Устройство 11 кодирования изображения, представленное на фиг. 1, кодирует данные изображения, используя процесс прогнозирования. Примеры схемы кодирования, используемые здесь, включают в себя схему HEVC (высокоэффективное кодирование видеоданных). В схеме HEVC установлены модуль CU кодирования, наибольший модуль кодирования LCU, наименьший модуль кодирования SCU, модуль прогнозирования PU и модуль преобразования TU, и кодирование/декодирование выполняют в модулях, каждый из которых имеет иерархическую структуру.

В примере на фиг. 1 устройство 11 кодирования изображения включает в себя модуль 21 A/D (аналогово/цифрового) преобразования, буфер 22 изменения компоновки экрана, вычислительный модуль 23, модуль 24 ортогонального преобразования, модуль 25 квантования, модуль 26 кодирования без потерь и буфер 27 накопления. Устройство 11 кодирования изображения дополнительно включает в себя модуль 28 обратного квантования, модуль 29 обратного ортогонального преобразования, вычислительный модуль 30, фильтр 31 удаления блочности, запоминающее устройство 32 кадра, модуль 33 выбора, модуль 34 прогнозирования внутри кадра, модуль 35 прогнозирования и компенсации движения, модуль 36 выбора изображения прогнозирования и модуль 37 управления скоростью.

Устройство 11 кодирования изображения дополнительно включает в себя фильтр 41 адаптивного смещения и фильтр 42 адаптивного контура между фильтром 31 удаления блочности и запоминающим устройством 32 кадра.

Модуль 21 A/D преобразования выполняет A/D преобразование для данных входного изображения, и выводит полученные в результате данные изображения в буфер 22 изменения компоновки экрана для сохранения.

Буфер 22 изменения компоновки экрана изменяет компоновку сохраненного изображения, имеющего кадры, расположенные в порядке отображения, в изображение, имеющее кадры, размещенные в порядке кодирования, в соответствии со структурой GOP (группа изображений). Буфер 22 изменения компоновки экрана подает изображение, в котором компоновка кадров была изменена, в вычислительный модуль 23. Буфер 22 изменения компоновки экрана также подает изображение, в котором компоновка кадров была изменена на модуль 34 прогнозирования внутри кадров и модуль 35 прогнозирования и компенсации движения.

Вычислительный модуль 23 вычитает изображение прогнозирования, подаваемое из модуля 34 прогнозирования внутри кадров, или модуля 35 прогнозирования и компенсации движения через модуль 36 выбора изображения прогнозирования из изображения, считываемого из буфера 22 изменения компоновки экрана, и выводит информацию о разности, представляющую разность между ними, в модуль 24 ортогонального преобразования.

Например, в случае, когда изображение кодировано внутри кадра, вычислительный модуль 23 вычитает изображение прогнозирования, подаваемое из модуля 34 прогнозирования внутри кадров, из изображения, считываемого из буфера 22 изменения компоновки экрана. Далее, например, в случае, когда изображение должно быть кодировано между кадрами, вычислительный модуль 23 вычитает изображение прогнозирования, подаваемое из модуля 35 прогнозирования и компенсации движения, из изображения, считываемого из буфера 22 изменения компоновки экрана.

Модуль 24 ортогонального преобразования выполняет ортогональное преобразование, такое как дискретное косинусное преобразование или преобразование Карунена-Лоэва, для информации разности, подаваемой из вычислительного модуля 23, и подает полученные коэффициенты преобразования в модуль 25 квантования.

Модуль 25 квантования квантует коэффициенты преобразования, выводимые из модуля 24 ортогонального преобразования. Модуль 25 квантования подает квантованные коэффициенты преобразования в модуль 26 кодирования без потерь.

Модуль 26 кодирования без потерь выполняет кодирование без потерь, такое как кодирование переменной длины или арифметическое кодирование, для квантованных коэффициентов преобразования.

Модуль 26 кодирования без потерь получает параметры, такие как информация, обозначающая режим прогнозирования внутри кадра, из модуля 34 прогнозирования внутри кадра, и получает параметры, такие как информация, обозначающая режим прогнозирования между кадрами, и информация о векторе движения, из модуля 35 прогнозирования и компенсации движения.

Модуль 26 кодирования без потерь кодирует квантованные коэффициенты преобразования и полученные соответствующие параметры (элементы синтаксиса), и организует (мультиплексирует) кодированные квантованные коэффициенты преобразования и параметры в часть информации о заголовке кодированных данных. Модуль 26 кодирования без потерь подает кодированные данные, полученные путем кодирования, в буфер 27 накопления для накопления.

В модуле 26 кодирования без потерь, например, выполняют процесс кодирования без потерь, такой как кодирование переменной длины или арифметическое кодирование. Примеры кодирования переменной длины включают в себя CAVLC (контекстно-адаптивное кодирование переменной длины). Примеры арифметического кодирования включают в себя САВАС (контекстно-адаптивное двоичное арифметическое кодирование).

Буфер 27 накопления временно содержит кодированный поток (данные), подаваемый из модуля 26 кодирования без потерь, и выводит кодированный поток (данные) в непредставленное устройство, расположенное далее по потоку, такое как устройство записи и канал передачи в определенные моменты времени, как кодированное изображение, которое было подвергнуто кодированию. Таким образом, буфер 27 накопления также используется, как модуль передачи, который передает кодированные потоки.

Далее, коэффициенты преобразования, квантованные модулем 25 квантования, также подают в модуль 28 деквантования. Модуль 28 деквантования деквантует квантованные коэффициенты преобразования, используя способ, соответствующий способу квантования, выполняемому модулем 25 квантования. Модуль 28 деквантования подает полученные коэффициенты преобразования в модуль 29 обратного ортогонального преобразования.

Модуль 29 обратного ортогонального преобразования выполняет обратное ортогональное преобразование для подаваемых коэффициентов преобразования, используя способ, соответствующий процессу ортогонального преобразования, выполняемому модулем 24 ортогонального преобразования. Выходные данные после обработки обратного ортогонального преобразования (восстановленная информация разности), подают в вычислительный модуль 30.

Вычислительный модуль 30 добавляет изображение прогнозирования, подаваемое из модуля 34 прогнозирования внутри кадра или модуля 35 прогнозирования и компенсации движения, через модуль 36 выбора изображения прогнозирования, к результату обратного ортогонального преобразования, подаваемому из модуля 29 обратного ортогонального преобразования, то есть, к восстановленной информации разности, для получения локально декодированного изображения (декодированного изображения).

Например, если информация разности соответствует изображению, предназначенному для кодирования внутри кадра, вычислительный модуль 30 добавляет изображение прогнозирования, подаваемое из модуля 34 прогнозирования внутри кадров, к информации разности. Далее, например, если информация разности соответствует изображению, предназначенному для кодирования между кадрами, вычислительный модуль 30 добавляет изображение прогнозирования, переданное из модуля 35 прогнозирования и компенсации движения, к информации разности.

Декодированное изображение, которое представляет собой результат суммирования, подают в фильтр 31 удаления блочности и запоминающее устройство 32 кадра.

Фильтр 31 удаления блочности соответствующим образом выполняет процесс фильтра удаления блочности, для удаления блочного искажения из декодированного изображения. Фильтр 31 удаления блочности подает результат процесса фильтрации в фильтр 41 адаптивного смещения.

Фильтр 41 адаптивного смещения выполняет процесс фильтра смещения (SAO: адаптивное смещение выборки) для изображения, фильтрованного фильтром 31 удаления блочности, для удаления, в основном, "звона".

В сумме существует девять типов фильтра смещения: два типа смещения полосы, шесть типов смещения кромки и без смещения. Фильтр 41 адаптивного смещения определяет вид (тип) фильтра смещения и (значение) смещения для каждого LCU, который представляет собой наибольший модуль кодирования, и выполняет процесс фильтрации для изображения, отфильтрованного фильтром 31 удаления блочности, используя определенный тип и смещение. В фильтре 41 смещения описанное выше смещение представляет собой коэффициент фильтра. Смещение ниже также называется коэффициентом, когда это необходимо.

Следует отметить, что, по мере того, как детали фильтра 41 адаптивного смещения будут описаны ниже со ссылкой на фиг. 13, фильтр 41 адаптивного смещения имеет буфер для сохранения коэффициентов. Если в буфере сохранен тот же коэффициент, что и коэффициент, определенный для каждого LCU, фильтр 41 адаптивного смещения подает флаг, обозначающий сохранение коэффициента, индекс, обозначающий положение сохранения коэффициента в буфере, и информацию, обозначающую тип, в модуль 26 кодирования без потерь, для их кодирования.

С другой стороны, если в буфере не сохранен тот же коэффициент, что и коэффициент, определенный для каждого LCU, фильтр 41 адаптивного смещения подает флаг, обозначающий отсутствие сохранения коэффициента, коэффициент и информацию, обозначающую тип, в модуль 26 кодирования без потерь, для их кодирования.

Фильтр 41 адаптивного смещения подает изображение, которое было подвергнуто обработке фильтра, в фильтр 42 адаптивного контура.

Фильтр 42 адаптивного контура выполняет процесс фильтра адаптивного контура (ALF), например, для каждого LCU, который представляет собой наибольший модуль кодирования. В фильтре 42 адаптивного контура, например, используется двумерный фильтр Винера, в качестве фильтра. Само собой, разумеется, может использоваться любой фильтр, кроме фильтра Винера.

Фильтр 42 адаптивного контура выполняет процесс фильтрации для изображения, отфильтрованного фильтром 41 адаптивного смещения, для каждого LCU, используя коэффициент фильтра, и подает результат процесса фильтрации в запоминающее устройство 32 кадра.

Следует отметить, что, в устройстве 11 кодирования изображения, коэффициент фильтра рассчитывают с помощью фильтра 42 адаптивного контура для каждого LCU, с тем, чтобы минимизировать остаток исходного изображения, из буфера 12 изменения компоновки экрана, и используют, что не будет подробно описано здесь. Расчетный коэффициент фильтра кодируют с помощью модуля 26 кодирования без потерь, и передают в устройство 51 декодирования изображения по фиг. 3, описанной ниже. Кроме того, в то время как здесь описан пример, в котором выполняется обработка для каждого LCU, модуль обработки фильтра 42 адаптивного контура не ограничен этим.

Запоминающее устройство 32 кадра выводит опорное изображение, накопленное в нем, в модуль 34 прогнозирования внутри кадра или в модуль 35 прогнозирования и компенсации движения 35 через модуль 33 выбора в определенные моменты времени.

Например, в случае изображения, которое должно быть кодировано внутри кадра, запоминающее устройство 32 кадра подает опорное изображение в модуль 34 прогнозирования внутри кадра через модуль 33 выбора. Далее, например, в случае, когда должно быть выполнено кодирование между кадрами, запоминающее устройство 32 кадра передает опорное изображение в модуль 35 прогнозирования и компенсации движения через модуль 33 выбора.

Если опорное изображение, подаваемое из запоминающего устройства 32 кадра, представляет собой изображение для кодирования внутри кадра, модуль 33 выбора подает опорное изображение в модуль 34 прогнозирования внутри кадра. Далее, если опорное изображение, переданное из запоминающего устройства 32 кадра, представляет собой изображение для кодирования между кадрами, модуль 33 выбора подает опорное изображение в модуль 35 прогнозирования и компенсации движения.

Модуль 34 прогнозирования внутри кадра выполняет прогнозирование внутри кадра (прогнозирование внутри экрана), для генерирования изображения прогнозирования, используя значения пикселя на экране. Модуль 34 прогнозирования внутри кадра выполняет прогнозирование внутри кадров, используя множество режимов (режимы прогнозирования внутри кадра).

Модуль 34 внутри кадров генерирует изображение прогнозирования во всех режимах прогнозирования внутри кадра, выполняет оценку каждого изображения прогнозирования, и выбирает оптимальный режим. После выбора оптимального режима прогнозирования внутри кадра, модуль 34 прогнозирования внутри кадра подает изображение прогнозирования, сгенерированное в оптимальном режиме, в вычислительный модуль 23 и вычислительный модуль 30 через модуль 36 выбора изображения прогнозирования.

Кроме того, как описано выше, модуль 34 прогнозирования внутри кадра подает параметры, такие как информацию о принятом режиме прогнозирования внутри кадра, обозначающую режим прогнозирования внутри кадра, в модуль 26 кодирования без потерь, если необходимо.

Модуль 35 прогнозирования и компенсации движения выполняет прогнозирование движения для изображения, предназначенного для кодирования между кадрами, используя входное изображение, подаваемое из буфера 22 изменения компоновки экрана, и опорное изображение, подаваемое из запоминающего устройства 32 кадра через модуль 33 выбора. Модуль 35 прогнозирования и компенсации движения дополнительно выполняет процесс компенсации движения в соответствии с векторами движения, обнаруживаемыми в ходе прогнозирования движения, и генерирует изображение прогнозирования (информацию изображения прогнозирования между кадрами).

Модуль 35 прогнозирования и компенсации движения выполняет процесс прогнозирования между кадрами для всех кандидатов режимов прогнозирования между кадрами, и генерирует изображение прогнозирования. Модуль 35 прогнозирования и компенсации движения передает сгенерированное изображение прогнозирования в вычислительный модуль 23 и вычислительный модуль 30 через модуль 36 выбора изображения прогнозирования.

Модуль 35 прогнозирования и компенсации движения дополнительно подает параметры, такие как информация о режиме прогнозирования между кадрами, обозначающая режим прогнозирования между кадрами, который был принят, и информация вектора движения, обозначающая рассчитанные вектора движения, в модуль 26 кодирования без потерь.

В случае изображения, предназначенного для кодирования внутри кадра, модуль 36 выбора изображения прогнозирования подает выход модуля 34 прогнозирования внутри кадра в вычислительный модуль 23 и вычислительный модуль 30. В случае изображения, которое должно быть кодировано между кадрами, модуль 36 выбора изображения прогнозирования подает выход модуля прогнозирования и компенсации движения в вычислительный модуль вычисления 23 и вычислительный модуль 30.

Модуль 37 управления скоростью управляет скоростью операции квантования модуля 25 квантования на основе сжатого изображения, накопленного в буфере 27 накопления, таким образом, чтобы не будут происходить переполнение или потеря значимости.

Операция устройства кодирования изображения

Поток процесса кодирования, выполняемый устройством 11 кодирования изображения, как описано выше, будет описан со ссылкой на фиг. 2.

На этапе S11, модуль 21 AID преобразования выполняет A/D преобразование для входного изображения. На этапе S12 буфер 22 изменения компоновки экрана сохраняет изображение, подвергнутое A/D преобразованию, и изменяет компоновку изображений в порядке отображения на порядок кодирования.

Если изображение, предназначенное для обработки, подаваемое из буфера 22 изменения компоновки экрана, представляет собой изображение блока, который должен быть подвергнут обработке внутри кадра, декодированное изображение, которое представляет собой опорное изображение, считывают из запоминающего устройства 32 кадра, и подают в модуль 34 прогнозирования внутри кадра через модуль 33 выбора.

На этапе S13, на основе этих изображений, модуль 34 прогнозирования внутри кадра выполняет прогнозирование внутри кадра для пикселей в целевом блоке обработки, во всех кандидатах режимов прогнозирования внутри кадра. Следует отметить, что декодированный пиксель, который представляет собой опорный пиксель, может представлять собой пиксель, который не подвергают фильтрации с использованием фильтра 31 удаления блочности.

В результате процесса, описанного выше, выполняют прогнозирование внутри кадров во всех кандидатах режимов прогнозирования внутри кадра, и рассчитывают функцию стоимости для всех кандидатов режимов прогнозирования внутри кадра. Затем выбирают оптимальный режим прогнозирования внутри кадра на основе рассчитанных функций стоимости, и изображение прогнозирования, сгенерированное в ходе прогнозирования внутри кадра, в оптимальном режиме прогнозирования внутри кадра, и его функцию стоимости подают в модуль 36 выбора изображения прогнозирования.

Если изображение, предназначенное для обработки, переданное из буфера 22 изменения компоновки экрана, представляет собой изображение, которое должно быть подвергнуто обработке между кадрами, опорное изображение считывают из запоминающего устройства 32 кадра и подают в модуль 35 прогнозирования и компенсации движения ч