Устройство и способ обработки изображений

Устройство и способ обработки изображений

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству и способу обработки изображений, и, в частности, к устройству и способу обработки изображений, которые позволяют подавлять ухудшение эффекта фильтрации посредством локального управления фильтрацией при кодировании или декодировании.

Уровень техники

В последние годы широкое распространение получили устройства, совместимые с таким форматам, как MPEG (Экспертная группа по вопросам движущегося изображения) и т.п., которые обрабатывают информацию изображения как цифровые сигналы и в которых используются преимущества избыточности, в частности, информации изображения, для выполнения чрезвычайно эффективной передачи информации с последующим сохранением для сжатия изображения, используя ортогональное преобразование, такое как дискретное косинусное преобразование и т.п., и компенсацию движения, как при распространении информации, такой как широковещательная передача, так и при приеме информации в обычных жилых домах.

В частности, MPEG2 (ISO (Международная организация по стандартизации)/IEC (Международная электротехническая комиссия) 13818-2) определен как формат кодирования изображения общего назначения, и представляет собой стандарт, охватывающий как изображения с чересстрочной разверткой, так и изображения с последовательной разверткой, и изображения со стандартным разрешением, и изображения с высокой четкостью. Например, MPEG2 в настоящее время широко используется в широком диапазоне приложений для профессионального использования и для использования потребителями. В результате применения формата сжатия MPEG2, выделяют количество кодов (частота битов) от 4 до 8 Мбит/с, например, в случае изображения с чересстрочной разверткой или стандартным разрешением, имеющим 720×480 пикселей. Кроме того, в результате использования формата сжатия MPEG2, выделяют количество кодов (частоту битов) от 18 до 22 Мбит/с в случае изображения с чересстрочной разверткой с высоким разрешением, например, имеющим 1920×1088 пикселей, в результате чего могут быть реализованы как высокая степень сжатия, так и превосходное качество изображения.

При использовании MPEG2 берется за основу кодирование с высокой четкостью изображения, предназначенное для использования при широковещательной передаче, но при меньшем количестве кодов (частота битов), чем количество кодов при MPEG1, то есть, формат кодирования, имеющий более высокую степень сжатия, не обрабатывается. В соответствии с распространением использования карманных персональных компьютеров, ожидается, что в будущем увеличится потребность в таком формате кодирования, и в ответ на это, была выполнена стандартизация формата кодирования MPEG4. Что касается формата кодирования изображения, его спецификация была подтверждена как международный стандарт, такой как ISO/IEC 14496-2 в декабре 1998 г.

Кроме того, в последние годы была продолжена стандартизация стандарта H.26L (ITU-T (Сектор стандартизации для телекоммуникаций ITU) Q6/16 VCEG (Группа экспертов кодирования видеоизображений), первоначально будучи направленной на кодирование изображения для использования в видеоконференциях. Что касается H.26L стало известно, что по сравнению с обычным форматом кодирования, таким как MPEG2 или MPEG4, хотя требуется больший объем вычислений для его кодирования и декодирования, реализуется более высокая эффективность кодирования. Кроме того, в настоящее время, как часть действий, связанных со стандартизацией MPEG4, была выполнена стандартизация для того, чтобы также использовать преимущество функций, не поддерживаемых H.26L, используя этот H.26L, как основу для реализации кодирования более высокой эффективности, как Обобщенной модели видеокодирования с улучшенным сжатием. В качестве плана стандартизации, Н.264 и MPEG 4 Part 10 (AVC (Улучшенное кодирование видеоданных)) были приняты как международный стандарт в марте 2003 г.

Кроме того, использование фильтра с адаптивным контуром (ALF (Фильтр с адаптивным контуром)) в качестве технологии кодирования видеоизображения следующего поколения, рассматривают в последнее время (см., например, NPL 1). Что касается такого фильтра с адаптивным контуром, оптимальную фильтрацию выполняют для каждого кадра, и блоки шумов, которые не были полностью удалены в фильтре удаления блоков, и шумы из-за квантования могут быть уменьшены.

Однако изображения обычно имеют различные свойства, поэтому оптимальные коэффициенты фильтра являются локально разными. Что касается способа в NPL 1, один и тот же коэффициент фильтра применяют для всех пикселей в пределах одного кадра, так, что качество изображения всего кадра улучшается, но возникает некоторая проблема, связанная с возможным локальным ухудшением.

В соответствии с этим, рассматривалась возможность не выполнять фильтрацию в областях, в которых происходит локальное ухудшение (см., например, NPL 2 и NPL 3). В этом случае устройство кодирования изображения соответствует множеству блоков управления, расположенных без зазоров, как если бы они использовались как мощеная улица, с областями изображения, и выполняют управление, следует или нет выполнить фильтрацию для изображения, для каждого блока управления. Устройство кодирования изображения устанавливает информацию флага для каждого блока и выполняет обработку адаптивного фильтра, в соответствии с информацией флага. Таким же образом, устройство декодирования изображения также выполняет обработку адаптивного фильтра, в соответствии с информацией флага.

Список литературы

Непатентная литература

NPL 1: Yi-Jen Chiu and L.Xu, "Adaptive (Wiener) Filter for Video Compression," ITU-T SG16 Contribution, C437, Geneva, April 2008.

NPL 2: Takeshi. Chujoh, et al., "Block-based Adaptive Loop Filter" ITU-T SG16 Q6 VCEG Contribution, A118, Germany, July, 2008

NPL 3: Т.Chujoh, N.Wada and G.Yasuda, "Quadtree-based Adaptive Loop Filter," ITU-T SG16 Q6 VCEG Contribution, VCEG-AK22 (r1), Japan, April, 2009

Раскрытие изобретения

Техническая задача

Однако существует способ, в котором один кадр разделяют на множество срезов, и обработку кодирования, и обработку декодирования изображения выполняют для каждого такого среза (множества срезов). NPL 2 и NPL 3 не упоминают обработку пикселей рядом с границами срезов, в случае множества срезов, и как они должны быть обработаны, остается неясным.

Настоящее изобретение было предложено с учетом этой ситуации, и его цель состоит в том, чтобы подавлять ухудшение эффектов фильтрации посредством локального управления фильтрацией при кодировании или декодировании.

Решение задачи

Один аспект настоящего изобретения представляет собой устройство обработки изображений, включающее в себя: средство определения, выполненное с возможностью определения, содержат ли пиксели, окружающие пиксель, предназначенный для обработки с использованием фильтрации, выполняемой локально на изображении, пиксели соседнего со срезом, содержащем пиксель, предназначенный для обработки среза; средство выбора, выполненное с возможностью выбора из множества способов, способа для фильтрации, предназначенной для выполнения над пикселем, предназначенным для обработки, на основании флага управления границей, в случае, когда средством определения определено, что пиксель соседнего среза содержится в окружающих пикселях; и средство фильтрации, выполненное с возможностью выполнения фильтрации для пикселя, предназначенного для обработки с использованием способа, выбранного средством выбора.

Средство выбора выполнено с возможностью выбора либо способа выполнения фильтрации для пикселя, предназначенного для обработки, после получения окружающих пикселей, расположенных в соседнем срезе, либо способа выполнения фильтрации для пикселя, предназначенного для обработки, посредством генерирования фиктивных данных окружающих пикселей, расположенных в соседнем срезе, путем дублирования окружающих пикселей, расположенных в срезе, включающем в себя пиксель, предназначенный для обработки.

Средство выбора выполнено с возможностью выбора либо способа выполнения фильтрации для пикселя, предназначенного для обработки, после получения окружающих пикселей, расположенных в соседнем срезе, либо способа пропуска выполнения фильтрации для пикселя, предназначенного для обработки.

Устройство обработки изображений может дополнительно включать в себя: средство генерирования, выполненное с возможностью генерирования флага управления границей на основе спецификаций системы; причем средство выбора выбирает способ фильтрации для пикселя, предназначенного для обработки, на основе флага управления границей, генерируемого средством генерирования.

Спецификации системы могут включать в себя аппаратные ресурсы устройства обработки изображений.

Спецификации системы могут включать в себя назначение использования устройства обработки изображений.

Устройство обработки изображений может дополнительно включать в себя: средство кодирования, выполненное с возможностью кодирования изображения и генерирования кодированных данных; причем средство кодирования дополнительно кодирует флаг управления границей, генерируемый средством генерирования, и добавляет к кодированным данным.

Устройство обработки изображений может дополнительно включать в себя: средство декодирования, выполненное с возможностью декодирования кодированных данных кодированного изображения, и генерирования упомянутого изображения; с помощью средства декодирования дополнительно декодируют кодированный флаг управления границей, который был добавлен к кодированным данным; и средство выбора выполнено с возможностью выбора способа фильтрации для пикселя, предназначенного для обработки, на основе флага управления границей, декодированного средством декодирования.

В одном аспекте настоящее изобретение также представляет собой способ обработки изображений, в котором средство определения устройства обработки изображений определяет, содержат ли пиксели, окружающие пиксель, предназначенный для обработки с использованием фильтрации, выполняемой локально на изображении, пиксели соседнего со срезом, в который включен пиксель, предназначенный для обработки среза, средство выбора устройства обработки изображений выбирает из множества способов, способ для фильтрации, предназначенный для выполнения над пикселем, предназначенным для обработки, на основании флага управления границей, в случае, когда определяется, что пиксель соседнего среза содержится в окружающих пикселях, и средство фильтрации устройства обработки изображений выполняет фильтрацию, в отношении пикселя, предназначенного для обработки с помощью способа, который был выбран.

В аспекте настоящего изобретения выполняют определение в отношении содержания пикселей в окружении пикселя, предназначенного для обработки, используя фильтрацию, выполняемую локально на изображении, пикселей соседнего со срезом, в который включен пиксель, предназначенный для обработки среза, способ для фильтрации, предназначенный для выполнения над пикселем, предназначенным для обработки, выбирают из множества способов на основании флага управления границей, в случае, когда определяют, что пиксель соседнего среза содержится в окружающих пикселях, и выполняют фильтрацию для пикселя, предназначенного для обработки, с использованием способа, который был выбран.

Полезные эффекты изобретения

В соответствии с настоящим изобретением, изображение может быть кодировано или декодировано. В частности, ухудшение эффектов фильтрации может быть подавлено посредством локального управления фильтрацией, при кодировании или декодировании. Например, ухудшение эффектов фильтрации может быть подавлено даже в случае выполнения кодирования или декодирования, когда каждый кадр изображения разделен на множество.

Краткое описание чертежей

На фиг.1 показана блок-схема, иллюстрирующая конфигурацию варианта осуществления устройства кодирования изображения, в котором было применено настоящее изобретение.

На фиг.2 показана схема, описывающая обработку прогнозирования/компенсации движения с переменным размером блока.

На фиг.3 показана блок-схема, описывающая пример основной конфигурации примера модуля генерирования управляющей информации.

На фиг.4 показана схема, описывающая блоки ALF и флаги блока фильтра.

На фиг.5 показана схема, описывающая пример множества срезов.

На фиг.6 показана схема, описывающая окружающие пиксели, используемые для фильтрации.

На фиг.7 показана схема, описывающая способ, в соответствии с которым выполняют фильтрацию близко к границе.

На фиг.8 показана блок-схема, описывающая пример первичной конфигурации модуля обработки адаптивного фильтра.

На фиг.9 показана блок-схема последовательности операций, описывающая пример последовательности обработки кодирования.

На фиг.10 показана блок-схема последовательности операций, описывающая пример последовательности обработки генерирования управляющей информации.

На фиг.11 показана блок-схема последовательности операций, описывающая пример последовательности обработки установки граничного флага управления.

На фиг.12 показана блок-схема последовательности операций, описывающая пример последовательности обработки управления адаптивным фильтром.

На фиг.13 показана блок-схема последовательности операций, описывающая пример последовательности фильтрации.

На фиг.14 показана блок-схема последовательности операций, описывающая пример последовательности фильтрации.

На фиг.15 показана блок-схема, описывающая пример основной конфигурации декодера изображения, в котором применено настоящее изобретение.

На фиг.16 показана блок-схема последовательности операций, описывающая пример последовательности обработки декодирования.

На фиг.17 показана блок-схема, описывающая другой пример конфигурации устройства кодирования изображения, в котором применено настоящее изобретение.

На фиг.18 показана блок-схема, описывающая другой пример конфигурации декодера изображения, в котором применено настоящее изобретение.

На фиг.19 показана блок-схема последовательности операций, описывающая пример последовательности обработки для обмена информацией спецификации.

На фиг.20 показана схема, описывающая другой пример блоков ALF и флагов блока фильтра.

На фиг.21 показана схема, описывающая другой пример блоков ALF и флагов блока фильтра.

На фиг.22 показана схема, описывающая способ обработки, выполняемой в случае множества срезов.

На фиг.23 показана блок-схема, описывающая пример основной конфигурации персонального компьютера, в котором применено настоящее изобретение.

На фиг.24 показана блок-схема, описывающая пример основной конфигурации телевизионного приемника, в котором применено настоящее изобретение.

На фиг.25 показана блок-схема, описывающая пример основной конфигурации сотового телефона, в котором применено настоящее изобретение.

На фиг.26 показана блок-схема, описывающая пример основной конфигурации устройства записи жесткого диска, в котором применено настоящее изобретение.

На фиг.27 показана блок-схема, описывающая пример основной конфигурации камеры, в которой применено настоящее изобретение.

На фиг.28 показана схема, иллюстрирующая пример макроблоков.

Осуществление изобретения

Далее будут описаны варианты осуществления настоящего изобретения. Следует отметить, что описание будет представлено в следующем порядке.

1. Первый вариант осуществления (устройство кодирования изображения)

2. Второй вариант осуществления (устройство декодирования изображения)

3. Третий вариант осуществления (система кодирования/декодирования изображения)

4. Четвертый вариант осуществления (QALF)

5. Пятый вариант осуществления (персональный компьютер)

6. Шестой вариант осуществления (телевизионный приемник)

7. Седьмой вариант осуществления (сотовый телефон)

8. Восьмой вариант осуществления (устройство записи на жесткий диск)

9. Девятый вариант осуществления (камера).

1. Первый вариант осуществления

Конфигурация устройства

На фиг.1 представлена конфигурация варианта осуществления устройства кодирования изображения, используемого в качестве устройства обработки изображений, в котором применено настоящее изобретение.

Устройство 100 кодирования изображения, показанное на фиг.1, представляет собой устройство кодирования изображения, которое подвергает изображение кодированию сжатия, используя, например, формат Н.264 и MPEG 4 Part10 (Улучшенное кодирование видеоданных) (ниже обозначено, как формат H.264/AVC), и дополнительно используется фильтр с адаптивным контуром.

В примере, показанном на фиг.1, устройство 100 кодирования изображения имеет модуль 101 A/D (аналогово/цифрового) преобразования, буфер 102 изменения компоновки экрана, вычислительный модуль 103, модуль 104 ортогонального преобразования, модуль 105 квантования, модуль 106 кодирования без потерь и буфер 107 сохранения. Устройство 100 кодирования изображения также имеет модуль 108 обратного квантования, модуль 109 обратного ортогонального преобразования, вычислительный модуль 110 и фильтр 111 удаления блоков. Кроме того, устройство 100 кодирования изображения имеет модуль 112 генерирования информации управления, модуль 113 обработки адаптивного фильтра и запоминающее устройство 114 кадра. Кроме того, устройство 100 кодирования изображения имеет модуль 115 прогнозирования внутри кадра, модуль 116 компенсации движения, модуль 117 прогнозирования движения и модуль 118 выбора изображения прогнозирования. Кроме того, устройство 100 кодирования изображения имеет модуль 119 управления скоростью.

Модуль 101 A/D преобразования выполняет A/D преобразование для входного изображения и выводит в буфер 102 изменения компоновки экрана, и сохраняет. Буфер 102 изменения компоновки экрана изменяет компоновку изображения кадров в сохраненном порядке для отображения в порядке кадров для кодирования в соответствии с GOP (группа изображений). Вычислительный модуль 103 вычитает из изображения, считываемого из буфера 102 изменения компоновки экрана, изображение прогнозирования модуля 115 прогнозирования внутри кадра, выбранного модулем 118 выбора изображения прогнозирования, или изображение прогнозирования из модуля 116 компенсации движения, и выводит информацию разности в модуль 104 ортогонального преобразования. Модуль 104 ортогонального преобразования подвергает информацию разности от вычислительного модуля 103 ортогональному преобразованию, такому, как дискретное косинусное преобразование, преобразование Карунена-Лоэва и т.п., и выводит его коэффициент преобразования. Модуль 105 квантования квантует коэффициент преобразования, который выводит модуль 104 ортогонального преобразования.

Квантованный коэффициент преобразования, который выводит модуль 105 квантования, подают на модуль 106 кодирования без потерь, где его подвергают кодированию без потерь, такому как кодирование с переменной длиной, арифметическое кодирование и т.п., и сжимают.

Модуль 106 кодирования без потерь получает информацию, обозначающую прогнозирование внутри кадра и т.д., от модуля 115 прогнозирования внутри кадра, и получает информацию, указывающую режим прогнозирования между кадрами и т.д., от модуля 117 прогнозирования движения. Следует отметить, что информация, обозначающая прогнозирование внутри кадра, в дальнейшем также может называться информацией режима прогнозирования внутри кадра. Кроме того, информация, обозначающая прогнозирование между кадрами, в дальнейшем также будет называться информацией режима прогнозирования между кадрами.

Модуль 106 кодирования без потерь получает информацию управления обработкой адаптивного фильтра, выполняемой в модуле 113 обработки адаптивного фильтра, из модуля 112 генерирования информации управления.

Модуль 106 кодирования без потерь кодирует квантованный коэффициент преобразования, и также кодирует информацию управления обработкой адаптивного фильтра, информацию, указывающую прогнозирование внутри кадра, информацию, указывающую режим прогнозирования между кадрами, параметры квантования и т.д., и получаемые, как часть информации заголовка в сжатом изображении (мультиплексирование). Модуль 106 кодирования без потерь подает кодированные данные в буфер 107 хранения для хранения.

Например, с помощью модуля 106 кодирования без потерь, выполняют обработку кодирования без потерь, такую, как кодирование переменной длины, арифметическое кодирование и т.п. Примеры кодирования переменной длины включают в себя CAVLC (Адаптивное к контексту кодирование переменной длины) определенное форматом H.264/AVC. Примеры арифметического кодирования включают в себя САВАС (Адаптивное к контексту двоичное арифметическое кодирование).

Буфер 107 сохранения временно содержит данные, предоставляемые модулем 106 кодирования без потерь, и в заданные моменты времени выводит их, например, в устройство хранения или в канал передачи и т.п., расположенный после него, и не показанный на чертеже, в качестве сжатого изображения, кодированного в формате H.264/AVC.

Кроме того, квантованный коэффициент преобразования, выводимый модулем 105 квантования, также вводят в модуль 108 обратного квантования. Модуль 108 обратного квантования выполняет обратное квантование квантованного коэффициента преобразования с помощью способа, соответствующего квантованию, в модуле 105 квантования и вводят полученный коэффициент преобразования в модуль 109 обратного ортогонального преобразования.

Модуль 109 обратного ортогонального преобразования выполняет обратное ортогональное преобразование поданных коэффициентов преобразования, используя способ, соответствующий обработке ортогонального преобразования, выполняемый с помощью модуля 104 ортогонального преобразования. Выходные данные, подвергнутые обратному ортогональному преобразование, подают на вычислительный модуль 110. Вычислительный модуль 110 суммирует изображение прогнозирования, подаваемое от модуля 118 выбора изображения прогнозирования, с результатом обратного ортогонального преобразования, поданным модулем 109 обратного ортогонального преобразования, то есть, восстановленную информацию разности, и получает локально декодированное изображение (декодированное изображение). Результаты суммирования подают в фильтр 111 удаления блоков.

Фильтр 111 удаления блоков удаляет блоки шумов из декодированного изображения. Фильтр 111 удаления блоков затем подает результаты удаления шумов на модуль 112 генерирования информации управления и модуль 113 обработки адаптивного фильтра.

Модуль 112 генерирования информации управления получает декодированное изображение, поданное от фильтра 111 удаления блоков, и текущее входное изображение, считываемое из буфера 102 изменения компоновки экрана, и генерирует из них информацию управления для адаптивной фильтрации, выполняемой в модуле 113 обработки адаптивного фильтра. Хотя детали будут описаны ниже, информация управления включает в себя коэффициенты фильтра, размер блока, флаги блока фильтра и флаги управления границей и т.п.

Модуль 112 генерирования информации управления подает генерируемую информацию управления на модуль 113 обработки адаптивного фильтра. Модуль 112 генерирования информации управления также подает сгенерированную информацию управления на модуль 106 кодирования без потерь. Как описано выше, информацию управления подвергают обработке сжатия без потерь с помощью модуля 106 кодирования без потерь и включают в информацию сжатого изображения (мультиплексируют). То есть, информацию управления передают в устройство декодирования изображения вместе с информацией сжатия изображения.

Модуль 113 обработки адаптивного фильтра выполняет фильтрацию для декодированного изображения, переданного от фильтра 111 удаления блоков, используя коэффициенты фильтра, спецификацию размера блока и флаги блока фильтра, и т.п., информации управления, переданной от модуля 112 генерирования информации управления. Фильтр Винера (фильтр Винера), например, используется в качестве такого фильтра. Конечно, можно использовать другой фильтр, кроме фильтра Винера. Модуль 113 обработки адаптивного фильтра передает результат фильтрации в запоминающее устройство 114 кадра и сохраняет как опорное изображение.

Память 114 кадра выводит сохраненное опорное изображение на модуль 116 компенсации движения и модуль 117 прогнозирования движения в заданные моменты времени.

В таком устройстве 100 кодирования изображения, например, картинку I, картинку В и картинку Р из буфера 102 изменения компоновки экрана передают в модуль 115 прогнозирования внутри кадра, как изображение, подвергаемое обработке прогнозирования внутри кадра (также называется обработкой внутри кадра). Кроме того, картинка В и картинка Р, считываемые из буфера 102 изменения компоновки экрана, подают в модуль 117 компенсации движения, как изображение, подвергаемое обработке прогнозирования между кадрами (также называется обработкой между кадрами).

Модуль 115 прогнозирования внутри кадра выполняет обработку прогнозирования внутри кадра всех кандидатов режима прогнозирования внутри кадра на основе изображения, подвергаемого прогнозированию внутри кадра, считываемому из буфера 102 изменения компоновки экрана, и опорного изображения, поданного из запоминающего устройства 114 кадра для генерирования изображения прогнозирования.

С помощью модуля 115 прогнозирования внутри кадра, информацию, относящуюся к режиму прогнозирования внутри кадра, подаваемую в текущий блок/макроблок, преобразуют в модуле 106 кодирования без потерь и кодируют как часть информации заголовка в информацию сжатия изображения. В формате кодирования информация изображения Н.264, режим прогнозирования внутри кадра 4×4, режим прогнозирования внутри кадра 8×8 и режим прогнозирования внутри кадра 16×16 определены для сигналов яркости, и также в отношении цветоразностных сигналов режим прогнозирования может быть определен для каждого макроблока, независимого от сигналов яркости. Для режима прогнозирования внутри кадра 4×4 определяют один режим прогнозирования внутри кадра для каждого блока яркости размером 4×4. Для режима прогнозирования внутри кадра размером 8×8 определяют один режим прогнозирования внутри кадра для каждого блока яркости 8×8. Для режима прогнозирования внутри кадра 16×16 и для цветоразностных сигналов, один режим прогнозирования внутри кадра определяют для каждого макроблока.

Модуль 115 прогнозирования внутри кадра рассчитывает значение функции стоимости для режима прогнозирования внутри кадра, где изображение прогнозирования было сгенерировано, и выбирает режим прогнозирования внутри кадра, где рассчитанное значение функции стоимости получает минимальное значение, как оптимальный режим прогнозирования внутри кадра. Модуль 115 прогнозирования внутри кадра подает изображение прогнозирования, генерируемое в оптимальном режиме прогнозирования внутри кадра, в модуль 118 выбора изображения прогнозирования.

Что касается изображения, подвергаемого прогнозированию между кадрами, модуль 117 прогнозирования движения получает информацию изображения, передаваемую от буфера 102 изменения компоновки экрана (входное изображение) и информацию изображения, используемую как опорный кадр, передаваемую от запоминающего устройства 114 кадра (декодируемое изображение), и рассчитывает вектор движения. Модуль 117 прогнозирования движения подает информацию вектора движения, обозначающую рассчитанный вектор движения, на модуль 106 кодирования без потерь. Такую информацию вектора движения подвергают обработке сжатия без потерь с помощью модуля 106 кодирования без потерь и включают в информацию сжатия изображения. То есть, информацию вектора движения подают в устройство декодирования изображения вместе с информацией сжатия изображения.

Кроме того, модуль 117 прогнозирования движения также подает информацию вектора движения на модуль 116 компенсации движения.

Модуль 116 компенсации движения выполняет обработку компенсации движения в соответствии с информацией вектора движения, переданной от модуля 117 прогнозирования движения, и генерирует информацию изображения прогнозирования между кадрами. Модуль 116 компенсации движения подает сгенерированную информацию изображения прогнозирования в модуль 118 выбора изображения прогнозирования.

В случае изображения для выполнения кодирования внутри кадра, модуль 118 выбора изображения прогнозирования подает выходные данные модуля 115 прогнозирования внутри кадра на вычислительный модуль 103, и в случае изображения для выполнения кодирования между кадрами подает выходные данные модуля 116 компенсации движения на вычислительный модуль 103.

Модуль 119 управления скоростью управляет скоростью операций квантования модуля 105 квантования на основании сжатого изображения, сохраненного в буфере 107 хранения, таким образом, что не происходит переполнение или потеря значимости буфера.

В MPEG (Экспертная группа по вопросам движущегося изображения) 2, последовательное приращение обработки прогнозирования/компенсации движения представляет собой блоки компенсации движения, и независимая информация вектора движения может содержаться в каждом блоке компенсации движения. Размер блока компенсации движения составляет 16×16 пикселей, в случае режима компенсации движения кадра, и в случае режима компенсации движения поля составляет 16×8 пикселей для каждого из первого поля и второго поля.

С другой стороны, при кодировании AVC (Улучшенное кодирование видеоданных), один макроблок, составленный из 16×16 пикселей, как показано в верхней части на фиг.2, может быть разделен на любые участки размером 16×16, 16×8, 8×16 или 8×8, каждый из которых содержит независимую информацию вектора движения. Кроме того, как показано в нижней части на фиг.2, участок 8×8 может быть разделен на любой из подучастков размером 8×8, 8×4, 4×8 или 4×4, каждый из которых содержит информацию независимого вектора движения. Обработка прогнозирования/компенсации движения выполняется в таком блоке компенсации движения в качестве последовательного приращения.

На фиг.3 показана блок-схема, иллюстрирующая пример первичной конфигурации модуля 112 генерирования информации управления.

Модуль 112 генерирования информации управления генерирует информацию управления, используемую в адаптивном фильтре (ALF (адаптивный контурный фильтр)), который представляет собой контурный фильтр, выполняемый в модуле 113 обработки адаптивного фильтра. Модуль 112 генерирования информации управления генерирует, в качестве информации управления, например, коэффициенты фильтра, размер блока ALF, флаги блока фильтра и флаги управления границей.

Модуль 112 генерирования информации управления имеет модуль 131 расчета коэффициента фильтра, модуль 132 генерирования флага управления границей и модуль 133 генерирования информации блока.

Модуль 131 расчета коэффициента фильтра получает декодированное изображение, подаваемое от фильтра 111 удаления блоков, и текущее входное изображение, считываемое из буфера 102 изменения компоновки экрана, и рассчитывает коэффициент фильтра ALF для каждого кадра.

Модуль 132 генерирования флага управления границей генерирует флаг управления границей (alf_enable_in_slice_boundary), который управляет, как должна быть выполнена фильтрация для пикселей, расположенных рядом с границей срезов, множество из которых сформировано в кадре (устанавливает способ фильтрации). Подробности будут описаны ниже.

Модуль 133 генерирования информации блока определяет размер блока ALF на основе декодированного изображения, переданного фильтром 111 удаления блоков, и коэффициентов фильтра, рассчитанных модулем 131 расчета коэффициента фильтра, и генерирует флаг блока фильтра для каждого блока ALF в пределах среза, предназначенного для обработки.

Далее будет представлено описание в отношении блока ALF и флага блока фильтра. На фиг.4 показана схема, предназначенная для описания блоков ALF и флагов блока фильтра.

Как описано выше, адаптивный фильтр имеет коэффициенты фильтра, установленные для каждого кадра. То есть, оптимальную фильтрацию выполняют с покадровыми приращениями. Однако обычно изображения кадра не являются полностью однородными и имеют различные локальные особенности. Поэтому оптимальные коэффициенты фильтра отличаются локально. В соответствии с этим, в то время как фильтрация, с использованием коэффициентов фильтра, определенных в каждом кадре, как описано выше, улучшает качество изображения для общего кадра, существовала озабоченность, состоящая в том, что она фактически может привести к локальным ухудшениям.

В соответствии с этим, был рассмотрен BALF (адаптивный контурный фильтр на основе блока), в котором фильтрацию не выполняют в областях, где качество изображения локально ухудшается.

Декодированное изображение после фильтрации удаления блоков показано в кадре 151 в позиции А на фиг.4. Как показано в позиции В на фиг.4, модуль 133 генерирования информации блока располагает множество блоков 152 ALF, которые представляют собой блоки управления, используемые как последовательное приращение управления для обработки адаптивного фильтра, выполняемой локально, без зазоров, как если бы их использовали в качестве вымощенной мостовой по всей области кадра 151. Область, где размещены блоки 152 ALF, не обязательно должна быть той же, что и область кадра 151, но включает в себя, по меньшей мере, всю область кадра. Область кадра 151, в результате, разделяют на области блоков 152 ALF (множество областей).

Модуль 133 генерирования информации блока определяет размер в горизонтальном направлении (двусторонние стрелки 153) и размер в вертикальном направлении (двусторонние стрелки 154) блока 152 ALF. Для размера блоков ALF, в каждом срезе может быть установлен один из блоков 8×8, 16×16, 24×24, 32×32, 48×48, 64×64, 96×96 или 128×128. Информация, определяющая размер блока ALF, будет называться индексом размера блока.

После определения размера блока, также определяют количество блоков ALF в кадре, поскольку размер кадра является фиксированным.

Как показано в позиции С на фиг.4, модуль 133 генерирования информации блока устанавливает флаг 155 блока фильтра, который управляет, следует или нет выполнить фильтрацию в каждом блоке 152 ALF. Например, флаг 155 блока фильтра со значением "1" генерируют для области, где качество изображения улучшено с помощью адаптивного фильтра, и флаг 155 блока фильтра со значением "0" генерируют для области, где качество изображения было ухудшено адаптивным фильтром. С помощью флага 155 блока фильтра, значение "1" представляет собой значение, обозначающее, что фильтрация должна быть выполнена, и значение "0" представляет собой значение, обозначающее, что фильтрацию не следует выполнять.

Модуль 113 обработки адаптивного фильтра управляет обработкой адаптивного фильтра, на основе значения флага 155 блока фильтра. Например, модуль 113 обработки адаптивного фильтра выполняет фильтрацию только в областях, где блоки 152 ALF имеют значение "1" для флага 155 фильтра, и не выполняет фильтрацию в областях, где блоки 152 ALF имеют значение "0" для флага 155 фильтра.

Кроме того, описанный выше индекс размера блока и флаг блока фильтра включены в заголовок среза информации о сжатии изображения, и их передают с устройства 100 кодирования изображения на устройство декодирования изображения. Один или больше флагов блока фильтра, соответствующих количеству блоков ALF, включены в заголовок среза, например, в порядке растрового сканирования.

В соответствии с этим, может быть реализован меньший размер блока ALF, может быть выполнено более тонкое управление фильтром и более соответствующая фильтрация ALF. Однако меньший размер блока ALF увеличивает количество битов флагов блока фильтра. То есть, чем меньше размер блока ALF, тем в большей степени уменьшается эффективность кодирования информации сжатия изображения. Таким образом, возможности адаптивного фильтра и эффективность кодирования информации сжатия изображения составляют компромисс друг с другом.

Количество блоков ALF рассчитывают, исходя из следующего Выражения (1).

Математическое выражение 1

В Выражении (1) N_ALFBLOCK пред