Устройство и способ обработки изображений

Устройство и способ обработки изображений

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее раскрытие относится к устройству обработки изображений и к способу обработки изображений, и более конкретно, к устройству обработки изображений и к способу обработки изображений, которое позволяет уменьшить нагрузку, связанную с обработкой, требуемую, когда генерируют поток, используемый во время передачи, или поток, используемый во время сохранения данных в файле.

Уровень техники

В H.264/AVC, который представляет собой одно из описаний стандарта системы кодирования изображения, определены два вида набора параметров, называемые набором параметров последовательности (SP) и набором параметров изображения (PPS), которые используются для сохранения параметров для кодирования и декодирования изображения. Данные изображения каждого среза классифицируют в модулях VCL (уровень кодирования видеоданных) NAL (уровень абстракции сети), и эти наборы параметров классифицируют на модули, не являющиеся VCL NAL. В общем, в случае, когда кодированный поток, который кодируют, используя систему H.264/AVC, сохраняют в файле, включающем в себя область заголовка и область данных, SPS и PPS вставляют в область заголовка, и данные изображения вставляют в область данных.

При стандартизации операции HEVC (кодирование видеоданных высокой эффективности), которая представляет собой систему кодирования изображения следующего поколения, следующую после H.264/AVC, было предложен ввод набора параметра адаптации (APS), который представляет собой новый набор параметров, чем SPS и PPS (см. Непатентные документы 1 и 2, описанные ниже).

APS также представляет собой один вид набора параметров. Таким образом, в соответствии с существующей технологией, аналогично SPS и PPS, APS также вставляют в область заголовка файла. Примеры формата файла, включающие в себя область заголовка и область данных, включают в себя формат MPEG 4 Часть 14 (IS(MEC 14496-14: 2003, ниже называется МР4) и формат MPEG 4 Часть 15 (ISO/IEC 14496-15: 2004, файл AVC).

Список литературы

Непатентный документ

Непатентный документ 1: Stephan Wenger, Jill Boyce, Yu-Wen Huang, Chia-Yang Tsai, Ping Wu, Ming Li, "Adaptation Parameter Set (APS)", JCTVC-F747r3, July 2011

Непатентный документ 2: Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Thomas Wiegand, "High efficiency video coding (HEVC) text specification draft 6", JCTVC-H1003 ver20, February 2012

Сущность изобретения

Задачи, решаемые изобретением

Однако, в случае, когда генерируют поток, используемый для передачи, или поток, используемый для сохранения данных в файле, существует формат, в котором данные, такие как начальный код и данные заполнения, не разрешено включать в поток. Таким образом, когда считывают данные потока, это приводит к увеличению нагрузки, связанной с обработкой.

Настоящее раскрытие составлено с учетом таких ситуаций и уменьшает нагрузку, связанную с обработкой, требуемой, когда генерируют поток, используемый во время передачи, или поток, используемый во время сохранения данных в файле.

Решение задачи

В соответствии с первым аспектом настоящего раскрытия, предусмотрено устройство обработки изображений, включающее в себя: модуль установки, который устанавливает начальный код, и данные заполнителя для файла, включающие в себя поток битов, полученный путем кодирования изображения; и модуль управления, который выполняет управление модулями установки таким образом, что начальный код и данные заполнителя, установленные модулем установки, составляют файл с характеристикой параметра, управляющего буфером декодера, который поддерживается в мультимедийных данных файла.

Параметр, управляющий буфером декодера, представляет собой параметр, включенный в VUI (информация об удобстве использования видеоданных), параметр, включенный в SEI периода буферизации (дополнительная информация расширения), или параметр, включенный в SEI синхронизации изображения.

Модуль установки может устанавливать данные заполнителя, как данные VCL.

В соответствии с первым аспектом настоящего раскрытия, предусмотрен способ обработки изображений, использующий устройство обработки изображений. Способ обработки изображений включает в себя: устанавливают начальный код и данные заполнителя для файла, включающего в себя поток битов, полученный путем кодирования изображения; и выполняют управление установкой начального кода и данными заполнителя таким образом, что начальный код и данные заполнителя, которые устанавливают, составляют файл с характеристикой параметра, управляющего буфером декодера, который поддерживается в мультимедийных данных файла.

В соответствии со вторым аспектом настоящего раскрытия, предусмотрено устройство обработки изображений, включающее в себя: модуль приема, который принимает файл, включающий в себя поток битов, полученный в результате кодирования изображения, и которым управляют, и который устанавливают таким образом, что начальный код и данные заполнителя составляют файл с характеристикой параметра, управляющим буфером декодера, который поддерживается в мультимедийных данных файла; и модуль декодирования, который считывает начальный код и данные заполнителя из файла, принятого модулем приема, и декодирует поток битов, используя параметр, управляющий буфером декодера.

Параметр, управляющий буфером декодера, представляет собой параметр, включенный в VUI (информация об удобстве использования видеоданных), параметр, включенный в SEI периода буферизации (дополнительная информация расширения), или параметр, включенный в SEI синхронизации изображения.

Данные заполнителя устанавливают, как данные VCL.

В соответствии со вторым аспектом настоящего раскрытия, предусмотрен способ обработки изображений, использующий устройство обработки изображений. Способ обработки изображений включает в себя: принимают файл, включающий в себя поток битов, полученный путем кодирования изображения, и которым управляют, и который устанавливают, таким образом, что начальный код и данные заполнителя составляют файл с характеристикой параметра, управляющего буфером декодера, который поддерживают в мультимедийных данных файла; и считывают начальный код и данные заполнителя из принятого файла и декодируют поток битов, используя параметр, управляющий буфером декодера.

В соответствии с третьим аспектом настоящего раскрытия, предусмотрено устройство обработки изображений, включающее в себя: модуль установки, который устанавливает характеристику параметра, управляющего буфером декодера, в случае, когда начальный код и данные заполнителя удаляют из потока битов в мультимедийных данных файла, включающего в себя поток битов, полученный путем кодирования изображения; и модуль генерирования, который генерирует файл, используя характеристику, установленную модулем установки.

Модуль установки может устанавливать параметры установки, идентифицирующие, что характеристика параметра, управляющего буфером декодера, изменилась.

Модуль установки может устанавливать параметры идентификации, как необязательное поле во вводе выборки файла.

В соответствии с третьим аспектом настоящего раскрытия, предусмотрен способ обработки изображений, использующий устройство обработки изображений. Способ обработки изображений включает в себя: устанавливают характеристику параметра, управляющего буфером декодирования, в случае, когда начальный код и данные заполнителя удалены из потока битов в мультимедийных данных файла, включающего в себя поток битов, полученный в результате кодирования изображения; и генерируют файл, используя установленные характеристики.

В соответствии с четвертым аспектом настоящего раскрытия, предусмотрено устройство обработки изображений, включающее в себя: модуль приема, который принимает файл, генерируемый, используя установленные характеристики параметра, управляющего буфером декодирования, который установлен в случае, когда начальный код и данные заполнителя удалены из мультимедийных данных файла, включающих в себя поток битов, полученный путем кодирования изображения; и модуль декодирования, который считывает параметр, управляющий буфером декодера, из файла, принятого модулем приема, и декодирует поток битов путем использования считанного параметра.

В файле устанавливают параметр идентификации, идентифицирующий, что характеристика параметра, управляющего буфером декодирования, была изменена.

В соответствии с четвертым аспект настоящего раскрытия, предусмотрен способ обработки изображений, использующий устройство обработки изображений. Способ обработки изображений включает в себя: принимают файл, сгенерированный с использованием установленной характеристики параметра, управляющего буфером декодера, который устанавливают в случае, когда начальный код и данные заполнителя удалены из мультимедийных данных файла, включающих в себя поток битов, полученный путем кодирования изображения; и считывают параметр, управляющий буфером декодера из принятого файла, и декодируют поток битов, используя считанный параметр.

В соответствии с первым аспектом настоящего раскрытия, начальный код и данные заполнителя устанавливают для файла, включающего в себя поток битов, полученный в результате кодирования изображения. Затем установкой начального кода и данных заполнителя управляют таким образом, что начальный код и установленные данные заполнителя конфигурируют файл с характеристикой параметра, управляющего буфером декодера, который поддерживают в мультимедийных данных файла.

В соответствии со вторым аспектом настоящего раскрытия, принимают файл, включающий в себя поток битов, полученный в результате кодирования изображения и которым управляют, и устанавливают таким образом, что начальный код и данные заполнителя конфигурируют файл с характеристикой параметра, управляющего буфером декодера, который поддерживают в мультимедийных данных файла. Затем начальный код и данные заполнителя считывают из принятого файла, и поток битов декодируют, используя параметр, управляющий буфером декодера.

В соответствии с третьим аспектом настоящего раскрытия, характеристику параметра, управляющего буфером декодера, устанавливают в случае, когда начальный код и данные заполнителя удалены из потока битов в мультимедийных данных файла, включающего в себя поток битов, полученный в результате кодирования изображения. Затем файл генерируют, используя установленные характеристики.

В соответствии с четвертым аспектом настоящего раскрытия, принимают файл, генерируемый при использовании установленной характеристики параметра, управляющего буфером декодера, который устанавливают в случае, когда начальный код и данные заполнителя удалены из мультимедийных данных файла, включающего в себя поток битов, полученный в результате кодирования изображения. Затем параметр, управляющий буфером декодера, считывают из принятого файла, и поток битов декодируют, используя считанный параметр.

Здесь описанное выше устройство обработки изображений может представлять собой независимое устройство или внутренний блок, который конфигурирует устройство кодирования изображения или устройство декодирования изображения.

Эффекты изобретения

В соответствии с первым и третьим аспектами настоящего раскрытия, изображение может быть кодировано. В частности, нагрузка на обработку может быть уменьшена, когда генерируют поток, используемый во время передачи потока битов, или поток, используемый во время сохранения данных в файле.

Кроме того, в соответствии со вторым и четвертым аспектами настоящего раскрытия, изображение может декодировано. В частности, нагрузка на обработку может быть уменьшена, когда декодируют поток, используемый во время передачи, или поток, используемый во время сохранения данных в файле.

Краткое описание чертежей

На фиг. 1 показана блок-схема, которая иллюстрирует пример конфигурации устройства кодирования, в котором применяется настоящая технология, в соответствии с первым вариантом осуществления.

На фиг. 2 показана блок-схема, которая иллюстрирует пример конфигурации кодера.

На фиг. 3 показана блок-схема, которая иллюстрирует пример конфигурации модуля генерирования файла.

На фиг. 4 показана блок-схема последовательности операций, иллюстрирующая обработку генерирования файла.

На фиг. 5 показана блок-схема последовательности операций, которая иллюстрирует другой пример обработки генерирования файла.

На фиг. 6 показана блок-схема последовательности операций, иллюстрирующая обычную обработку генерирования данных mdat.

На фиг. 7 показана блок-схема последовательности операций, иллюстрирующая обработку генерирования данных mdat в соответствии с настоящей технологией.

На фиг. 8 показана блок-схема, иллюстрирующая пример конфигурации устройства декодирования, в котором применяется настоящая технология, в соответствии с первым вариантом осуществления.

На фиг. 9 показана блок-схема, которая иллюстрирует пример конфигурации модуля считывания файла.

На фиг. 10 показана блок-схема, которая иллюстрирует пример конфигурации декодера.

На фиг. 11 показана блок-схема последовательности операций, иллюстрирующая обработку декодирования файла.

На фиг. 12 показана блок-схема последовательности операций, которая иллюстрирует другой пример обработки декодирования файла.

На фиг. 13 показана блок-схема, иллюстрирующая пример конфигурации устройства кодирования, в котором применяется настоящая технология, в соответствии со вторым вариантом осуществления.

На фиг. 14 показана блок-схема, иллюстрирующая пример конфигурации устройства декодирования, в котором применяется настоящая технология, в соответствии со вторым вариантом осуществления.

На фиг. 15 показана схема, иллюстрирующая пример обычной структуры выборки МР4 Video.

На фиг. 16 показана схема, иллюстрирующая пример конфигурации одного устройства доступа потока AVC.

На фиг. 17 показана схема, иллюстрирующая пример структуры выборки МР4 Video в соответствии с настоящей технологией.

На фиг. 18 показана схема, иллюстрирующая другой пример структуры выборки МР4 Video в соответствии с настоящей технологией.

На фиг. 19 показана схема, иллюстрирующая пример расширения блока соответствия HRD.

На фиг. 20 показана схема, иллюстрирующая еще один другой пример структуры выборки МР4 Video в соответствии с настоящей технологией.

На фиг. 21 показана схема, иллюстрирующая пример блока, добавленного к таблице выборки.

На фиг. 22 показана схема, иллюстрирующая другой пример структуры выборки МР4 Video, показанных на фиг. 20.

На фиг. 23 показана схема, иллюстрирующая еще один другой пример структуры выборки МР4 Video, показанных на фиг. 20.

На фиг. 24 показана схема, иллюстрирующая пример формата функции вспомогательной информации выборки.

На фиг. 25 показана схема, иллюстрирующая другой пример формата функции вспомогательной информации выборки.

На фиг. 26 показана схема для сравнения примеров структуры выборки МР4 Video в соответствии с настоящей технологией.

На фиг. 27 показана схема, иллюстрирующая другой пример структуры выборки МР4 Video, показанных на фиг. 23.

На фиг. 28 показана схема, иллюстрирующая пример блока информации формата потока байтов.

На фиг. 29 показана схема, иллюстрирующая другой пример блока информации формата потока байтов.

На фиг. 30 показана схема, иллюстрирующая пример структуры данных блока информации формата потока байтов, сохраненной в каждом вводе выборки.

На фиг. 31 показана схема, иллюстрирующая пример структуры выборки МР4 Video в случае Структуры 1.

На фиг. 32 показана схема, иллюстрирующая пример структуры выборки МР4 Video в случае Структуры 2.

На фиг. 33 показана схема, иллюстрирующая пример структуры выборки МР4 Video в случае Структуры 3.

На фиг. 34 показана схема, иллюстрирующая другой пример структуры данных информации формата потока байтов, сохраненной в каждом вводе выборки.

На фиг. 35 показана схема, иллюстрирующая пример конфигурации устройства преобразования файла, в котором применяется настоящая технология.

На фиг. 36 показана блок-схема последовательности операций, иллюстрирующая обработку преобразования файла.

На фиг. 37 показана блок-схема, иллюстрирующая пример конфигурации устройства кодирования, в котором применяется настоящая технология, в соответствии с третьим вариантом осуществления.

На фиг. 38 показана блок-схема, которая иллюстрирует пример конфигурация кодера.

На фиг. 39 показана блок-схема, иллюстрирующая пример конфигурации устройства декодирования, в котором применяется настоящая технология, в соответствии с третьим вариантом осуществления.

На фиг. 40 показана блок-схема, которая иллюстрирует пример конфигурации декодера.

На фиг. 41 показана блок-схема, которая иллюстрирует пример конфигурации компьютера.

На фиг. 42 показана блок-схема, которая иллюстрирует пример конфигурации схемы телевизионного устройства.

На фиг. 43 показана блок-схема, которая иллюстрирует пример конфигурации схемы мобильного телефона.

На фиг. 44 показана блок-схема, которая иллюстрирует пример конфигурации схемы устройства записи/воспроизведения.

На фиг. 45 показана блок-схема, которая иллюстрирует пример конфигурации схемы устройства формирования изображения.

На фиг. 46 показана блок-схема, которая иллюстрирует пример конфигурации схемы видеонабора.

На фиг. 47 показана блок-схема, которая иллюстрирует пример конфигурации схемы видеопроцессора.

На фиг. 48 показана блок-схема, которая иллюстрирует другой пример конфигурации схемы видеопроцессора.

Подробное описание изобретения

Далее будут описаны варианты осуществления для выполнения настоящего раскрытия (ниже называются вариантами осуществления). Описание будет представлено в следующем порядке.

1. Первый вариант осуществления (Устройство кодирования и устройство декодирования системы HEVC)

2. Второй вариант осуществления (Устройство кодирования и устройство декодирования изображения),

3. Третий вариант осуществления (Структура выборки МР4 Video)

4. Четвертый вариант осуществления (Блок информации формата потока байтов)

5. Пятый вариант осуществления (Устройство преобразования файла)

6. Шестой вариант осуществления (Устройство кодирования и устройство декодирования в системе AVC)

7. Пример применения

8. Седьмой вариант осуществления (набор/модуль/блок/процессор)

1. Первый вариант осуществления

Пример конфигурации устройства кодирования в соответствии с первым вариантом осуществления

На фиг. 1 показана блок-схема, которая иллюстрирует пример конфигурации устройства кодирования, в соответствии с первым вариантом осуществления, как устройства обработки изображений, в котором применяется настоящая технология.

Устройство кодирования, представленное на фиг. 1, выполнено, как кодер 1 и модуль 2 генерирования файла, и генерирует файл, в котором сохраняют кодированный поток, путем кодирования изображения, такого как снятое изображение, используя систему HEVC.

Более конкретно, изображение, такое как снятое изображение, сконфигурированное в модулях в виде кадров, подают в кодер 1 устройства кодирования, в качестве входного сигнала. Кроме того, в него подают SPS (набор параметров последовательности) и PPS (набор параметров изображения), установленные на предыдущем этапе кодера 1, не представлены на чертеже, VUI (информация об удобстве использования видеоданных), которая представляет характеристику (удобство использования) изображения, соответствующего кодированным данным для каждой последовательности, SEI (Дополнительная информация о расширении), и т.п.

Кодер 1 кодирует входной сигнал, используя параметры, включенные в SPS, PPS, VUI и SEI, используя систему HEVC. Затем кодер 1 генерирует кодированный поток, такой как MPEG 2 TS (транспортный поток) на основе SPS, PPS, VUI и SEI, и кодированные данные, полученные в результате обработки кодирования, и подает сгенерированный кодированный поток в модуль 2 генерирования файла. Кодер 1 будет подробно описан ниже со ссылкой на фиг. 2.

Модуль 2 генерирования файла генерирует файл (например, файл MPEG 4 Часть 14 (ISO/IEC14496-14:2003, ниже называется МР4), содержащий кодированный поток (последовательность кодированных данных изображения), подаваемый из кодера 1. Модуль 2 генерирования файла будет описан подробно ниже со ссылкой на фиг. 3. Пример конфигурации кодера

На фиг. 2 показана блок-схема, которая иллюстрирует пример конфигурации кодера 1, показанного на фиг. 1. Каждый модуль кодера 1 кодирует изображение, которое представляет собой входной сигнал, используя параметры, включенные в SPS, PPS, VUI и SEI, подаваемые с предыдущего этапа, который не показан на чертеже, генерируя, таким образом, кодированный поток.

Кодер 1, показанный на фиг. 2, сконфигурирован так, что он включает в себя: A/D преобразователь 11; буфер 12 изменения компоновки экрана; модуль 13 расчета; модуль 14 ортогонального преобразования; модуль 15 квантования; модуль 16 кодирования без потерь; буфер 17 накопления; модуль 18 обратного квантования; модуль 19 обратного ортогонального преобразования; модуль 20 суммирования; фильтр 21 удаления блоков; запоминающее устройство 22 кадра; переключатель 23; модуль 24 прогнозирования внутри кадра; модуль 25 прогнозирования/компенсации движения; модуль 26 выбора прогнозируемого изображения; и модуль 27 управления скоростью.

Кроме того, между фильтром 21 удаления блоков и запоминающим устройством 22 кадра предусмотрены фильтр 41 адаптивного смещения и адаптивный фильтр 42 контура.

Более конкретно, A/D преобразователь 11 кодера 1 выполняет A/D преобразование изображения, которое представлено в модулях кадров, вводится, как входной сигнал, и выводит преобразованное изображение в буфер 12 изменения компоновки экрана для сохранения в нем. Буфер 12 изменения компоновки экрана изменяет компоновку сохраненного изображения, которое сконфигурировано в модулях кадров, в порядке отображения, для кодирования в соответствии со структурой GOP (группа изображений), и выводит изображение с измененной компоновкой в модуль 13 расчета, модуль 24 прогнозирования внутри кадра и модуль 25 прогнозирования/компенсации движения.

Модуль 13 расчета выполняет кодирование путем расчета разности между прогнозируемым изображением, подаваемым из модуля 26 выбора прогнозируемого изображения, и текущим изображением кодирования, выводимым из буфера 12 изменения компоновки экрана. Более конкретно, модуль 13 расчета вычитает прогнозируемое изображение, подаваемое из модуля 26 выбора прогнозируемого изображения, из текущего изображения кодирования, выводимого из буфера 12 изменения компоновки экрана. Модуль 13 расчета выводит изображение, полученное в результате его обработки, в модуль 14 ортогонального преобразования, как дифференциальную информацию. Кроме того, в случае, когда прогнозируемое изображение не подают из модуля 26 выбора прогнозируемого изображения, модуль 13 расчета выводит изображение, считанное из буфера 12 изменения компоновки экрана, в модуль 14 ортогонального преобразования, в том виде, как оно есть, как дифференциальную информацию.

Модуль 14 ортогонального преобразования выполняет ортогональное преобразование для дифференциальной информации, подаваемой из модуля 13 расчета, и подает коэффициенты, полученные в результате ортогонального преобразования, в модуль 15 квантования.

Модуль 15 квантования квантует коэффициенты, подаваемые из модуля 14 ортогонального преобразования. Квантованные коэффициенты подают в модуль 16 кодирования без потерь.

Модуль 16 кодирования без потерь получает информацию (ниже называется информацией режима прогнозирования внутри кадра), представляющую оптимальный режим прогнозирования внутри кадра, из модуля 24 прогнозирования внутри кадра. Кроме того, модуль 16 кодирования без потерь получает информацию, представляющую оптимальный режим прогнозирования между кадрами (ниже называется информацией режима прогнозирования между кадрами), вектор движения, информацию, используемую для установления опорного изображения, и т.п., из модуля 25 прогнозирования/компенсации движения. Кроме того, модуль 16 кодирования без потерь получает сохраненные флаги, индекс или значение смещения и информацию типа из фильтра 41 адаптивного смещения, как информацию фильтра смещения, и получает коэффициенты фильтра из адаптивного фильтра 42 контура.

Модуль 16 кодирования без потерь выполняет кодирование без потерь, такое как кодирование переменной длины (например, CAVLC (Адаптивное к контексту кодирование переменной длины) и т.п.), арифметическое кодирование (например, САВАС (Адаптивное к контексту двоичное арифметическое кодирование) и т.п.) для квантованных коэффициентов, подаваемых из модуля 15 квантования.

Кроме того, модуль 16 кодирования без потерь выполняет кодирование без потерь информации режима прогнозирования внутри кадра или информации режима прогнозирования между кадрами, вектора движения, информации, устанавливающей опорное изображение, информации фильтра смещения, коэффициентов фильтра и т.п., как информации кодирования, относящейся к кодированию. Модуль 16 кодирования без потерь генерирует кодированный поток на основе информации кодирования и коэффициентов, которые были кодированы без потерь, и подает сгенерированный кодированный поток в буфер 17 накопления, для накопления в нем. Здесь информация кодирования, которую кодируют без потерь, может рассматриваться, как информация заголовка коэффициентов, которые кодируют без потерь.

Буфер 17 накопления временно содержит кодированный поток, подаваемый из модуля 16 кодирования без потерь. Кроме того, буфер 17 накопления подает сохраненный кодированный поток в модуль 2 генерирования файла, показанный на фиг. 1.

Кроме того, квантованные коэффициенты, выводимые из модуля 15 квантования, вводят также в модуль 18 обратного квантования, подвергают обратному квантованию и затем подают в модуль 19 обратного ортогонального преобразования.

Модуль 19 обратного ортогонального преобразования выполняет обратное ортогональное преобразование для коэффициентов, поданных из модуля 18 обратного квантования, и подает дифференциальную информацию, полученную, как результат его обработки, в модуль 20 суммирования.

Модуль 20 суммирования суммирует вместе дифференциальную информацию, как текущее изображение декодирования, подаваемое из модуля 19 обратного ортогонального преобразования, и прогнозируемое изображение, поданное из модуля 26 выбора прогнозируемого изображения, получая, таким образом, локально декодируемое изображение. Кроме того, в случае, когда прогнозируемое изображение не подают из модуля 26 выбора прогнозируемого изображения, модуль 20 суммирования устанавливает дифференциальную информацию, подаваемую из модуля 19 обратного ортогонального преобразования, как локально декодируемое изображение. Модуль 20 суммирования подает локально декодируемое изображение в фильтр 21 удаления блоков и подает локально декодируемое изображение в запоминающее устройство 22 кадра, для накопления в нем.

Фильтр 21 удаления блоков фильтрует изображение, которое было локально декодировано, переданное из модуля 20 суммирования, удаляя, таким образом, искажения блока. Фильтр 21 удаления блоков подает изображение, полученное в результате его обработки, в фильтр 41 адаптивного смещения.

Фильтр 41 адаптивного смещения выполняет обработку фильтра адаптированного смещения (SAO: адаптивное смещение выборки), состоящую, в основном, из удаления затухающих колебаний изображения, в котором была выполнена обработка фильтра адаптивного удаления блоков с помощью фильтра 21 удаления блоков.

При более подробном описании, фильтр 41 адаптивного смещения определяет тип обработки фильтра адаптивного смещения для каждого LCU (наибольший модуль кодирования), который представляет собой максимальный модуль кодирования, и получает смещение, которое используется для обработки фильтра адаптивного смещения. Фильтр 41 адаптивного смещения выполняет обработку фильтра адаптивного смещения определенного типа для изображения, полученного после обработки фильтра адаптивного удаления блоков, используя полученное смещение. Затем фильтр 41 адаптивного смещения подает изображение, полученное после обработки фильтра адаптивного смещения, в адаптивный фильтр 42 в контуре.

Кроме того, фильтр 41 адаптивного смещения включает в себя буфер, в котором содержится смещение. Фильтр 41 адаптивного смещения определяет, было или нет значение смещения, используемое для обработки адаптивного фильтра удаления блоков, уже сохранено в буфере для каждого LCU.

В случае, когда будет определено, что значение смещение, используемое для обработки адаптивного фильтра удаления блоков, уже сохранено в буфере, в фильтре 41 адаптивного смещения устанавливают флаг сохранения, представляющий, сохранено ли смещение в буфере, в значение (в данном случае 1), представляющее, что смещение сохранено в буфере.

Затем фильтр 41 адаптивного смещения подает флаг сохранения, установленный в "1", индекс, представляющий положение сохранения смещения в буфере, и информацию типа, представляющую тип выполненной обработки фильтра адаптивного смещения, в модуль 16 кодирования без потерь для каждого LCU.

С другой стороны, в случае, когда смещение, используемое для обработки адаптивного фильтра удаления блоков, еще не сохранено в буфере, фильтр 41 адаптивного смещения последовательно сохраняет значение смещения в буфере. Кроме того, фильтр 41 адаптивного смещения устанавливает флаг сохранения в значение (в данном случае, "0"), представляющее, что значение смещения не сохранено в буфере. Затем фильтр 41 адаптивного смещения подает флаг сохранения, установленный в "0", значение смещения, и информацию типа в модуль 16 кодирования без потерь для каждого LCU.

Адаптивный фильтр 42 контура, например, выполняет обработку адаптивного фильтра контура (ALF) для изображения, которое получают после обработки фильтра адаптивного смещения, передаваемого из фильтра 41 адаптивного смещения, для каждого LCU. При обработке адаптивного фильтра в контуре, например, используется обработка, использующая двумерный фильтр Винера. Очевидно, что можно использовать другой фильтр, помимо фильтра Винера.

Более конкретно, адаптивный фильтр 42 в контуре рассчитывает коэффициенты фильтра, используемые для обработки адаптивного процесса фильтра в контуре для каждого LCU таким образом, что разность между оригинальным изображением, которое представляет собой изображение, выводимое из буфера 12 изменения компоновки экрана, и изображением, полученным после обработки адаптивного фильтра в контуре, будет сведена к минимуму. Затем адаптивный фильтр 42 в контуре выполняет обработку адаптивного фильтра в контуре для изображения, полученного после обработки фильтра адаптивного смещения, используя рассчитанные коэффициенты фильтра для каждого LCU.

Адаптивный фильтр 42 в контуре подает изображение, полученное после обработки адаптивного фильтра в контуре в запоминающее устройство 22 кадра. Кроме того, адаптивный фильтр 42 в контуре подает коэффициенты фильтра в модуль 16 кодирования без потерь.

Здесь, в то время как обработка адаптивного фильтра в контуре выполняется для каждого LCU, модуль обработки для обработки адаптивного фильтра в контуре не ограничен LCU. Однако, в результате сопоставления модуля обработки фильтра 41 адаптивного смещения и адаптивного фильтра 42 в контуре, обработка может быть эффективно выполнена.

Изображение, накопленное в запоминающем устройстве 22 кадра, выводят в модуль 24 прогнозирования внутри кадра или в модуль 25 прогнозирования/компенсации движения через переключатель 23, как опорное изображение.

Модуль 24 прогнозирования внутри кадра выполняет обработку прогнозирования внутри кадра каждого из всех режимов прогнозирования внутри кадра, которые представляют собой кандидатов в модулях мозаичного изображения и срезов, используя опорное изображение, которое не было отфильтровано фильтром 21 удаления блоков, считанное из запоминающего устройства 22 кадра, через переключатель 23.

Кроме того, модуль 24 прогнозирования внутри кадра рассчитывает значения функции стоимости (которая будет описана подробно ниже) для всех режимов прогнозирования внутри кадра, которые представляют собой кандидатов, на основе изображения, считанного из буфера 12 изменения компоновки экрана, и прогнозируемое изображение, генерируемое, как результат обработки прогнозирования внутри кадра. Затем модуль 24 прогнозирования внутри кадра определяет режим прогнозирования внутри кадра, в котором значение функции стоимости является наименьшим, как оптимальный режим прогнозирования внутри кадра.

Модуль 24 прогнозирования внутри кадра подает прогнозируемое изображение, генерируемое в оптимальном режиме прогнозирования внутри кадра, и соответствующее значение функции стоимости в модуль 26 выбора прогнозируемого изображения. В случае, когда модуль 24 прогнозирования внутри кадра уведомляют о выборе прогнозируемого изображения, сгенерированного в режиме оптимального прогнозирования внутри кадра, из модуля 26 выбора прогнозируемого изображения, модуль 24 прогнозирования внутри кадра подает информацию о режиме прогнозирования внутри кадра в модуль 16 кодирования без потерь.

Значение функции стоимости также называется стоимостью RD (искажение скорости) и, например, рассчитывают, используя технологию одного из режима высокой сложности и режима низкой сложности, как определено в JM (Объединенной модели), которая представляет собой опорное программное обеспечение в системе H.264/AVC.

Более конкретно, в случае, когда используется режим высокой сложности, как технология для расчета значения функции стоимости, для всех режимов прогнозирования, которые представляют собой кандидатов, временно выполняется обработка вплоть до кодирования без потерь, и значение функции стоимости, представленное в следующем Уравнении (1), рассчитывают для каждого режима прогнозирования.

Здесь D представляет собой разность между исходным изображением и декодированным изображением, R представляет сгенерированную величину кодирования, включающую в себя вплоть до коэффициентов ортогонального преобразования, и λ представляет собой множитель Лагранжа, который задан, как функция параметра QP квантования.

С другой стороны, в случае, когда используется режим низкой сложности, в качестве технологии для расчета значения функции стоимости, для каждого из всех режимов прогнозирования, которые представляют собой кандидатов, генерируют декодированное изображение, и рассчитывают бит заголовка, такой как информация, представляющая режим прогнозирования, и значение функции стоимости, представленное в следующем Уравнении (2), рассчитывают для каждого режима прогнозирования.

Здесь D представляет собой разность (искажение) между оригинальным изображением и декодированным изображением, Header_Bit представляет собой бит заголовка для режима прогнозирования, и QPtoQuant представляет собой функцию, заданную, как функция параметра QP квантования.

В режиме малой сложности, только декодированные изображения могут быть сгенерированы для всех режимов прогнозирования, и кодирование без потерь не требуется выполнять, в результате чего, уменьшается объем расчетов.

Модуль 25 прогнозирования/компенсации движения выполняет обработку прогнозирования/компенсации движения в каждом из всех режимов прогнозирования между кадрами, которые являются кандидатами, в модулях мозаичного изображения и срезов. Более конкретно, модуль 25 прогнозирования/компенсации движения детектирует вектор движения каждого из всех режимов прогнозирования между кадрами, которые представляют собой кандидатов, в модулях мозаичного изображения и срезов на основе изображения, подаваемого из буфера 12 изменения компоновки экрана, и опорного отфильтрованного изображения, считанного из запоминающего устройства 22 кадра через переключатель 23. Затем модуль 25 прогнозирования/компенсации движения выполняет обработку компенсации для опорного изображения на основе вектора движения в модулях мозаичного изображения и срезов, генерируя, таки