Устройство и способ обработки изображений

Устройство и способ обработки изображений

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству и способу обработки изображений, в частности к устройству и способу обработки изображений, которые позволяют подавлять ухудшение качества изображения из-за кодирования и декодирования изображения, благодаря чему дополнительно улучшается качество декодированных изображений.

Уровень техники

В последние годы широкое распространение получили устройства, совместимые с таким форматам, как MPEG (Экспертная группа по вопросам движущегося изображения) и т.п., которые обрабатывают информацию изображения, как цифровые сигналы, и в которых используются преимущества избыточности, в частности информации изображения, для выполнения чрезвычайно эффективной передачи информации с последующим сохранением для сжатия изображения, используя ортогональное преобразование, такое как дискретное косинусное преобразование и т.п., и компенсацию движения, как при распространении информации, такой как широковещательная передача, так и при приеме информации в обычных жилых домах.

В частности, MPEG2 (ISO (Международная организация по стандартизации) / IEC (Международная электротехническая комиссия) 13818-2) определен, как формат кодирования изображения общего назначения, и представляет собой стандарт, охватывающий как изображения с чересстрочной разверткой, так и изображения с последовательной разверткой, и изображения со стандартным разрешением, и изображения с высокой четкостью. Например, MPEG2 в настоящее время широко используется в широком диапазоне приложений для профессионального использования и для использования потребителями. В результате применения формата сжатия MPEG2, количество кодов (частота битов) от 4 до 8 Мбит/с выделяют, например, в случае изображения с чересстрочной разверткой стандартным разрешением, имеющим 720×480 пикселей. Кроме того, в результате использования формата сжатия MPEG2 количество кодов (частота битов) от 18 до 22 Мбит/с выделяют в случае изображения с чересстрочной разверткой с высоким разрешением, например, имеющим 1920×1088 пикселей, в результате чего могут быть достигнуты высокая степень сжатия и превосходное качество изображения.

При использовании MPEG2 кодирование с высокой четкостью изображения, предназначенное для использования при широковещательной передаче, преимущественно используется как цель, но при меньшем количестве кодов (частота битов), чем количество кодов при MPEG1, то есть формат кодирования, имеющий более высокую степень сжатия, не обрабатывается. В соответствии с распространением использования карманных персональных компьютеров ожидается, что в будущем увеличится потребность в таком формате кодирования, и в ответ на это, была выполнена стандартизация формата кодирования MPEG4. Что касается формата кодирования изображения, его спецификация была подтверждена как международный стандарт, такой как ISO/IEC 14496-2 в декабре 1998 г.

Кроме того, в последние годы была продолжена стандартизация стандарта H.26L (ITU-T (Сектор стандартизации для телекоммуникаций ITU) Q6/16 VCEG (Группа экспертов кодирования видеоизображений)), первоначально будучи направленной на кодирование изображения для использования в видеоконференциях. Что касается H.26L, стало известно, что по сравнению с обычным форматом кодирования, таким как MPEG2 или MPEG4, хотя требуется больший объем вычислений для его кодирования и декодирования, реализуется более высокая эффективность кодирования. Кроме того, в настоящее время как часть действий, связанных со стандартизацией MPEG4, была выполнена стандартизация для того, чтобы также использовать преимущество функций, не поддерживаемых H.26L, используя этот H.26L как основу для реализации более высокой эффективности кодирования, как Обобщенная модель видеокодирования с улучшенным сжатием. В качестве плана стандартизации Н.264 и MPEG 4 Part 10 (AVC (Улучшенное кодирование видеоданных)) были приняты как международный стандарт в марте 2003 г.

Кроме того, в качестве его расширения, FRExt (расширение диапазона точности), включающий в себя инструмент кодирования, необходимый для использования в бизнесе, такой как RGB, 4:2:2 или 4:4:4, 8×8DCT (дискретное косинусное преобразование) и матрица квантования, предписанная в соответствии с MPEG 2, был стандартизован таким образом, что AVC можно использовать в качестве формата кодирования, который позволяет соответствующим образом выражать даже шумы пленки, включенные в кинофильмы, и который стали использовать для широкого диапазона применений, таких как Диск Blu-ray (зарегистрированный товарный знак) и т.д.

Однако в настоящее время повысилась потребность в дополнительном кодировании с высокой степенью сжатия, такой как требуется для сжатия изображения, имеющего приблизительно 4000×2000 пикселей, что составляет в четыре раза больше, чем у изображения высокой четкости, или в качестве альтернативы повысились потребности в дополнительном кодировании с более высокой степенью сжатия, таком, которое предназначено для распределения изображения высокой четкости в среде с ограниченной пропускной способностью, такой как Интернет. Поэтому постоянно проводятся исследования по улучшению эффективности кодирования, используя упомянутые выше VCEG под управлением ITU-T.

Кроме того, существует фильтр с адаптивным контуром (ALF (Фильтр с адаптивным контуром)) как технология кодирования видеоизображения следующего поколения, которую рассматривают в последнее время (см., например, NPL 1 и NPL 2). Что касается такого фильтра с адаптивным контуром, оптимальную обработку фильтра выполняют для каждого кадра, и шумы блока, которые не были полностью удалены в фильтре удаления блоков, и шумы из-за квантования могут быть уменьшены.

В настоящее время размер макроблока 16×16 пикселей не является оптимальным для больших кадров изображения, таких как UHD (ультравысокая четкость; 4000×2000 пикселей), которые будут обрабатываться с помощью способов кодирования следующего поколения. Было предложено увеличить размер макроблока, например, до таких размеров, как 32×32 пикселя или 64×64 пикселя (например, NPL 3).

Список литературы

Непатентная литература

NPL 1: Yi-Jen Chiu and L. Xu, "Adaptive (Wiener) Filter for Video Compression," ITU-T SG16 Contribution, C437, Geneva, April 2008.

NPL 2: Takeshi. Chujoh, et al., "Block-based Adaptive Loop Filter" ITU-T SG16 Q6 VCEG Contribution, All 8, Germany, July, 2008.

NPL 3: Qualcomm Inc, "Video Coding Using Extended Block Sizes" ITU-T SG16 Contribution, C123, English, January 2009.

Сущность изобретения

Техническая задача

Обычно изображения, в общем, имеют различные локальные особенности, поэтому оптимальные коэффициенты фильтрации локально отличаются друг от друга. Например, при использовании формата кодирования AVC наблюдается различная степень ухудшения качества изображения между случаем, когда размер ортогонального преобразования составляет 4×4 и случаем 8×8. Например, при использовании блоков ортогонального преобразования 8×8, наблюдается "москитный" шум, который не наблюдается при блоках ортогонального преобразования 4×4. Кроме того, существует тенденция, состоящая в том, что блоки ортогонального преобразования 8×8 непосредственно выбирают для однородных областей, но блоки ортогонального преобразования 4×4 выбирают непосредственно для областей с более тонкой текстурой.

Однако в обычно предлагаемом способе один и тот же коэффициент фильтрации практически однородно применяется для всего изображения, поэтому удаление шумов, соответствующее локальным свойствам, которые имеет изображение, не обязательно выполняется, и существует проблема, состоящая в том, что качество декодированного изображения может иметь локальное ухудшение.

Настоящее изобретение было разработано с учетом такой ситуации, и его цель состоит в подавлении ухудшения качества изображения, вызываемого кодированием и декодированием изображения для дополнительного улучшения качества изображения декодированных изображений.

Решение задачи

Один аспект настоящего изобретения обеспечивает устройство обработки изображений, включающее в себя: средство классифицирования, выполненное с возможностью классификации изображения по размерам ортогонального преобразования, применяемым при обработке ортогонального преобразования, выполняемой для изображения, для каждого заданного размера изображения; и средство фильтрации, выполненное с возможностью фильтрации для удаления шумов, для каждого частичного изображения, каждого размера изображения, классифицированного средством классифицирования, с использованием коэффициентов фильтрации, установленных в соответствии с локальными свойствами изображения, соответствующими размеру ортогонального преобразования частичного изображения.

Средство фильтрации может представлять собой фильтр Винера.

Размер изображения может составлять макроблок, при этом средство классифицирования выполнено с возможностью классификации макроблоков по их размерам ортогонального преобразования, и средство фильтрации выполняет фильтрацию каждого макроблока, классифицированного средством классифицирования, с использованием коэффициентов фильтрации, установленных в соответствии с локальными свойствами изображения, соответствующего его размеру ортогонального преобразования.

Устройство обработки изображений может дополнительно включать в себя средство кодирования, выполненное с возможностью кодирования изображения, и генерирования кодированных данных.

Средство кодирования может выполнять кодирование изображения, используя формат AVC (усовершенствованное кодирование видеоданных), со средством классифицирования, которое классифицирует по размеру изображения, декодированное изображение, подвергнутое ортогональному преобразованию, квантованию, обратному квантованию и обратному ортогональному преобразованию с помощью средства кодирования, и при этом средство фильтрации выполняет обработку фильтра в отношении частичного изображения декодируемого изображения и сохраняет результаты обработки фильтра в запоминающем устройстве кадра, как опорное изображение.

Устройство обработки изображений может дополнительно включать в себя средство выполнения коэффициента фильтрации, выполненное с возможностью вычисления коэффициентов фильтрации, с использованием входного изображения для средства кодирования, и декодированное изображение, при этом средство фильтрации выполняет фильтрацию с использованием коэффициента фильтрации, вычисленного средством вычисления коэффициента фильтрации.

Средство вычисления коэффициента фильтрации выполнено с возможностью классификации каждого входного изображения и декодированного изображения по размерам ортогонального преобразования, применяемым при обработке ортогонального преобразования, выполняемой средством кодирования, для каждого из размеров изображения; и вычисляет коэффициент фильтрации таким образом, что разность между входным изображением и декодируемым изображением будет наименьшей для каждого размера ортогонального преобразования.

Средство вычисления коэффициента фильтрации может устанавливать значения коэффициентов фильтрации в соответствии с локальными особенностями изображения, соответствующими размеру ортогонального преобразования, применяемому при обработке ортогонального преобразования, выполняемой средством кодирования.

Средство вычисления коэффициента фильтрации дополнительно выполнено с возможностью установки количества отводов коэффициентов фильтрации в соответствии с локальными особенностями изображения, соответствующими размеру ортогонального преобразования, применяемому при обработке ортогонального преобразования, выполняемой средством кодирования.

Средство вычисления коэффициента фильтрации выполнено с возможностью установки ряда отводов так, что для большего размера ортогонального преобразования устанавливаются более длинные отводы коэффициентов фильтрации и установки ряда отводов так, что для меньшего размера ортогонального преобразования устанавливаются более короткие отводы коэффициентов фильтрации.

Устройство обработки изображений дополнительно включает в себя средство суммирования, выполненное с возможностью суммирования коэффициента фильтрации с кодированными данными, генерируемыми средством кодирования.

Средство суммирования дополнительно выполнено с возможностью добавления информации флага суммирования для управления, следует или нет выполнять фильтрацию в отношении кодированных данных.

Устройство обработки изображений дополнительно включает в себя: средство выделения, выполненное с возможностью выделения коэффициента фильтрации из кодированных данных изображения, которое было кодировано; и средство декодирования, выполненное с возможностью декодирования кодированных данных и генерирования декодированного изображения; при этом средство классификации выполнено с возможностью классификации декодированного изображения, сгенерированного средством декодирования, по размеру ортогонального преобразования для каждого из размеров изображения; и средство фильтрации выполнено с возможностью фильтрации для удаления шумов в каждом частичном изображении, каждого размера изображения, классифицированного средством классификации с использованием коэффициентов фильтрации, выделенных средством выделения.

Средство декодирования выполнено с возможностью кодирования кодированных данных с использованием формата AVC (усовершенствованное кодирование видеоданных), при этом средство классификации классифицирует по размеру декодированное изображение, подвергнутое декодированию, обратному квантованию и обратному ортогональному преобразованию, с помощью средства декодирования, и средство фильтрации выполняет фильтрацию в отношении частичного изображения декодируемого изображения.

Один аспект настоящего изобретения также обеспечивает способ обработки изображений, в котором средство классификации устройства обработки изображений классифицирует изображение по размерам ортогонального преобразования, применяемым при обработке ортогонального преобразования, выполняемой для изображения, для каждого заданного размера изображения, и средство фильтрации устройства обработки изображений выполняет фильтрацию для удаления шумов каждого частичного изображения каждого размера изображения, которое было классифицировано, с использованием коэффициентов фильтрации, установленных в соответствии с локальными особенностями изображения, соответствующего размеру ортогонального преобразования частичного изображения.

В одном аспекте настоящего изобретения изображение классифицируют по размерам ортогонального преобразования, применяемым при обработке ортогонального преобразования, выполняемой для изображения, для каждого заданного размера изображения, и фильтрацию выполняют для удаления шумов в каждом частичном изображении каждого размера изображения, классифицированного с использованием коэффициентов фильтрации, установленных в соответствии с локальными особенностями изображения, соответствующего размеру ортогонального преобразования частичного изображения.

Полезные эффекты изобретения

В соответствии с настоящим изобретением изображения могут быть кодированы или декодированы. В частности, ухудшение качества изображения из-за кодирования и декодирования изображения может быть подавлено, и качество изображения декодируемых изображений может быть улучшено.

Краткое описание чертежей

На фиг.1 показана блок-схема, иллюстрирующая конфигурацию варианта осуществления устройства кодирования изображения, в котором было применено настоящее изобретение.

На фиг.2 показана схема для описания примера последовательных приращений ортогонального преобразования.

На фиг.3 показана схема для описания обработки в макроблоке, в котором 4×4 ортогональных преобразования выполняют.

На фиг.4 показана схема, иллюстрирующая способ для реализации целочисленного преобразования и обратного целочисленного преобразования путем вычислений "бабочки".

На фиг.5 показана схема для описания принципа работы фильтра удаления блоков.

На фиг.6 показана схема для описания способ определения Bs.

На фиг.7 показана схема для описания принципа работы фильтра удаления блоков.

На фиг.8 показана схема, иллюстрирующая пример корреляции между indexA и indexB и значениями α и β.

На фиг.9 показана схема, иллюстрирующая пример корреляции между Bs, indexA и t_co.

На фиг.10 показана схема, иллюстрирующая пример макроблоков.

На фиг.11 показана блок-схема, иллюстрирующая основной пример конфигурации программы для работы с контурным фильтром и модулем вычисления коэффициента фильтрации.

На фиг.12 показана блок-схема последовательности операций, описывающая пример потока обработки кодирования.

На фиг.13 показана блок-схема последовательности операций, описывающая пример потока обработки прогнозирования.

На фиг.14 показана блок-схема последовательности операций, описывающая пример потока обработки контурного фильтра.

На фиг.15 показана блок-схема, описывающая пример первичной конфигурации устройства декодирования изображения, в котором было применено настоящее изобретение.

На фиг.16 показана схема, иллюстрирующая основной пример конфигурации контурного фильтра.

На фиг.17 показана блок-схема последовательности операций, описывающая пример потока обработки декодирования.

На фиг.18 показана блок-схема последовательности операций, описывающая пример потока обработки генерирования изображения прогнозирования.

На фиг.19 показана блок-схема последовательности операций, описывающая пример потока обработки контурного фильтра.

На фиг.20 показана схема, описывающая блоки ALF и флаги блока фильтра.

На фиг.21 показана схема, описывающая другой пример блоков ALF и флагов блока фильтра.

На фиг.22 показана блок-схема, описывающая пример основной конфигурации персонального компьютера, в котором применено настоящее изобретение.

На фиг.23 показана блок-схема, описывающая пример основной конфигурации телевизионного приемника, в котором применено настоящее изобретение.

На фиг.24 показана блок-схема, описывающая пример основной конфигурации сотового телефона, в котором применено настоящее изобретение.

На фиг.25 показана блок-схема, описывающая пример основной конфигурации устройства записи жесткого диска, в котором применено настоящее изобретение.

На фиг.26 показана блок-схема, описывающая пример основной конфигурации камеры, в которой применено настоящее изобретение.

Осуществление изобретения

Далее будут описаны варианты осуществления настоящего изобретения. Следует отметить, что описание будет представлено в следующем порядке.

1. Первый вариант осуществления (устройство кодирования изображения)

2. Второй вариант осуществления (устройство декодирования изображения)

3. Третий вариант осуществления (управление блоком ALF)

4. Четвертый вариант осуществления (QALF)

5. Пятый вариант осуществления (персональный компьютер)

6. Шестой вариант осуществления (телевизионный приемник)

7. Седьмой вариант осуществления (сотовый телефон)

8. Восьмой вариант осуществления (устройство записи на жесткий диск)

9. Девятый вариант осуществления (камера)

1. Первый вариант осуществления

Конфигурация устройства

На фиг.1 представлена конфигурация варианта осуществления устройства кодирования изображения, используемого в качестве устройства обработки изображений, в котором применяется настоящее изобретение.

Устройство 100 кодирования изображения, показанное на фиг.1, представляет собой устройство кодирования изображения, подвергающее изображение кодированию сжатия, используя, например, формат Н.264 и MPEG (Экспертная группа по вопросам движущегося изображения) 4 Part 10 (AVC (Улучшенное кодирование видеоданных) (ниже обозначен, как формат H.264/AVC), и дополнительно используется фильтр с адаптивным контуром.

В примере, показанном на фиг.1, устройство 100 кодирования изображения имеет модуль 101 A/D (аналогово/цифрового) преобразования, буфер 102 изменения компоновки экрана, вычислительный модуль 103, модуль 104 ортогонального преобразования, модуль 105 квантования, модуль 106 кодирования без потерь и буфер 107 сохранения. Устройство 100 кодирования изображения также имеет модуль 108 обратного квантования, модуль 109 обратного ортогонального преобразования, вычислительный модуль 110 и фильтр 111 удаления блоков. Кроме того, устройство 100 кодирования изображения содержит модуль 112 вычисления коэффициента фильтрации, контурный фильтр 113 и запоминающее устройство 114 кадра. Кроме того, устройство 100 кодирования изображения имеет модуль 115 выбора, модуль 116 прогнозирования внутри кадра, модуль 117 прогнозирования/компенсации движения и модуль 118 выбора. Кроме того, устройство 100 кодирования изображения имеет модуль 119 управления скоростью.

Модуль 101 A/D преобразования выполняет A/D преобразование данных входного изображения, выводит в буфер 102 изменения компоновки экрана и сохраняет. Буфер 102 изменения компоновки экрана изменяет компоновку изображения кадров в сохраненном порядке для отображения в порядке кадров для кодирования в соответствии с GOP (группа изображений). Буфер 102 изменения компоновки экрана подает изображения, порядок кадров которых был изменен в вычислительном модуле 103, через модуль 116 прогнозирования внутри кадра, модуль 117 прогнозирования/компенсации движения и модуль 112 вычисления коэффициента фильтрации.

Вычислительный модуль 103 вычитает из изображения, считываемого из буфера 102 изменения компоновки экрана, изображение прогнозирования, подаваемое от модуля 118 выбора, и выводит информацию разности на модуль 104 ортогонального преобразования. Например, в случае изображения, в отношении которого было выполнено кодирование внутри кадра, вычислительный модуль 103 добавляет изображение прогнозирования, подаваемое от модуля 116 прогнозирования внутри кадра, к изображению, считываемому из буфера 102 изменения компоновки экрана. Кроме того, например, в случае, когда было выполнено кодирование между кадрами, вычислительный модуль 103 добавляет изображение прогнозирования, передаваемое от модуля 117 прогнозирования/компенсации движения, к изображению, считываемому из буфера 102 изменения компоновки экрана.

Модуль 104 ортогонального преобразования подвергает информацию разности от вычислительного модуля 103 ортогональному преобразованию, такому как дискретное косинусное преобразование, преобразование Карунена-Лоэва и т.п., и подает его коэффициент преобразования на модуль 105 квантования. Модуль 104 ортогонального преобразования также подает информацию, относящуюся к тому, какое из ортогонального преобразования 4×4 и ортогонального преобразования 8×8 было применено к каждому макроблоку (размер ортогонального преобразования), на модуль 112 вычисления коэффициента фильтрации и контурный фильтр 113.

Модуль 105 квантования выполняет квантование коэффициента преобразования, который выводит модуль 104 ортогонального преобразования. Модуль 105 квантования подает квантованный коэффициент преобразования на модуль 106 кодирования без потерь.

Модуль 106 кодирования без потерь подвергает квантованный коэффициент преобразования кодированию без потерь, такому как кодирование с переменной длиной, арифметическое кодирование и т.п.

Модуль 106 кодирования без потерь получает информацию, обозначающую прогнозирование внутри кадра и т.д., от модуля 116 прогнозирования внутри кадра и получает информацию, обозначающую режим прогнозирования между кадрами и т.д., от модуля 117 прогнозирования/компенсации движения. Следует отметить, что информация, обозначающая прогнозирование внутри кадра, в дальнейшем также может называться информацией режима прогнозирования внутри кадра. Кроме того, информация, обозначающая режим информации, обозначающий прогнозирование между кадрами, в дальнейшем также будет называться информацией режима прогнозирования между кадрами.

Модуль 106 кодирования без потерь дополнительно получает коэффициенты фильтрации, используемые в контурном фильтре 113, от модуля 112 вычисления коэффициента фильтрации.

Модуль 106 кодирования без потерь кодирует квантованный коэффициент преобразования и применяет коэффициенты фильтрации, информацию режима прогнозирования внутри кадров, информацию режима прогнозирования между кадрами, параметры квантования и т.д., как часть информации заголовка в кодированных данных (мультиплексирование). Модуль 106 кодирования без потерь подает кодированные данные, полученные в результате кодирования, на буфер 107 хранения для хранения.

Например, с помощью модуля 106 кодирования без потерь выполняют обработку кодирования без потерь, такую как кодирование переменной длины, арифметическое кодирование и т.п. Примеры кодирования переменной длины включают в себя CAVLC (Адаптивное к контексту кодирование переменной длины), определенное форматом H.264/AVC. Примеры арифметического кодирования включают в себя САВАС (Адаптивное к контексту двоичное арифметическое кодирование).

Буфер 107 хранения временно содержит кодированные данные, подаваемые от модуля 106 кодирования без потерь, и в заданные моменты времени выводит их, например, на устройство записи или в канал передачи и т.п., расположенный после него и не показанный на чертеже, в виде сжатого изображения, кодированного в формате H.264/AVC.

Кроме того, квантованный коэффициент преобразования, выводимый модулем 105 квантования, также подают в модуль 108 обратного квантования. Модуль 108 обратного квантования выполняет обратное квантование квантованного коэффициента преобразования с помощью способа, соответствующего квантованию в модуле 105 квантования, и подает полученный коэффициент преобразования в модуль 109 обратного ортогонального преобразования.

Модуль 109 обратного ортогонального преобразования выполняет обратное ортогональное преобразование поданных коэффициентов преобразования, используя способ, соответствующий обработке ортогонального преобразования, выполняемый с помощью модуля 104 ортогонального преобразования. Выходные данные, подвергнутые обратному ортогональному преобразованию, подают на вычислительный модуль 110.

Вычислительный модуль 110 добавляет результат обратного ортогонального преобразования, переданный от модуля 109 обратного ортогонального преобразования, то есть восстановленную информацию разности, в изображение прогнозирования, подаваемое от модуля 118 выбора, и получает локально декодированное изображение (декодированное изображение). В случае, когда информация разности соответствует изображению, в отношении которого требуется выполнить кодирование внутри кадра, например, вычислительный модуль 110 добавляет изображение прогнозирования, переданное от модуля 116 прогнозирования внутри кадра, к информации разности. Кроме того, в случае, когда информация разности соответствует изображению, относящемуся, например, к тому, которое из кодирования внутри кадра следует выполнить, вычислительный модуль 110 суммирует изображение прогнозирования, поданное от модуля 117 прогнозирования/компенсации движения, с этой информацией разности.

Результаты суммирования подают на фильтр 111 удаления блоков.

Фильтр 111 удаления блоков удаляет блоки шумов из декодируемого изображения. Фильтр 111 удаления блоков затем подает результаты удаления шумов на контурный фильтр 113 и на запоминающее устройство 114 кадра.

На модуль 112 вычисления коэффициента фильтрации подают декодированные изображения, подаваемые от фильтра 111 удаления блоков через запоминающее устройство 114 кадров. На модуль 112 вычисления коэффициента фильтрации дополнительно подают входное изображение, считываемое из буфера 102 изменения компоновки экрана. Кроме того, в модуль 112 вычисления коэффициента фильтрации подают, из модуля 104 ортогонального преобразования, размер ортогонального преобразования (которое из ортогонального преобразования 4×4 и ортогонального преобразования 8×8 было применено для каждого макроблока).

Основываясь на размере ортогонального преобразования, переданном модулем 104 ортогонального преобразования, модуль 112 вычисления коэффициента фильтрации группирует макроблоки декодируемого изображения и входного изображения по размеру ортогонального преобразования (выполняет классификацию класса) и генерирует соответствующий коэффициент фильтрации для фильтрации, выполняемой в контурном фильтре 113, для каждой группы (класса). Модуль 112 вычисления коэффициента фильтрации рассчитывает коэффициенты фильтрации таким образом, что остаток (разность между декодированным изображением и входным изображением) будет минимальным в каждой группе (размер ортогонального преобразования).

Модуль 112 вычисления коэффициента фильтрации подает коэффициенты фильтрации для каждой генерируемой группы на контурный фильтр 113. Кроме того, модуль 112 вычисления коэффициента фильтрации подает коэффициенты фильтрации каждой генерируемой группы на модуль 106 кодирования без потерь. Как описано выше, коэффициенты фильтра включены в кодированные данные (мультиплексированы) модулем 106 кодирования без потерь. То есть можно сказать, что коэффициенты фильтрации каждой группы передают на устройство декодирования изображения вместе с кодированными данными.

Декодируемые изображения, переданные от фильтра 111 удаления блоков через запоминающее устройство 114 кадра, передают на контурный фильтр 113. Кроме того, на модуль 112 вычисления коэффициента фильтрации подают от модуля 104 ортогонального преобразования размер ортогонального преобразования (информацию, относящуюся к тому, которое из ортогонального преобразования 4×4 и ортогонального преобразований 8×8 применялось к каждому макроблоку).

Контурный фильтр 113 группирует (выполняет классификацию класса) макроблоки декодируемого изображения по размеру ортогонального преобразования, на основе размера ортогонального преобразования, подаваемого от модуля 104 ортогонального преобразования, и выполняет фильтрацию декодируемого изображения, используя коэффициенты фильтрации, передаваемые от модуля 112 вычисления коэффициента фильтрации, для каждой группы (класса). Фильтр Винера (винеровский фильтр), например, используется в качестве такого фильтра. Конечно, можно использовать другой фильтр, кроме фильтра Винера. Контурный фильтр 113 подает результат фильтрации на запоминающее устройство 114 кадра и сохраняет как опорное изображение.

Запоминающее устройство 114 кадра выводит сохраненное опорное изображение на модуль 11 6 кодирования внутри кадра или модуль 117 прогнозирования/компенсации движения через модуль 115 выбора в соответствующие моменты времени. Например, в случае изображения, в отношении которого следует выполнить, например, кодирование внутри кадра, запоминающее устройство 114 кадра передает опорное изображение в модуль 116 прогнозирования внутри кадра через модуль 115 выбора. Кроме того, в случае изображения, в отношении которого требуется выполнить, например, кодирование между кадрами, запоминающее устройство 114 кадра подает опорное изображение в модуль 117 прогнозирования/компенсации движения через модуль 115 выбора.

В таком устройстве 100 кодирования изображения, например, изображение I, изображение В и изображение Р из буфера 102 изменения компоновки экрана передают на модуль 116 прогнозирования внутри кадра как изображение, подвергаемое обработке прогнозирования внутри кадра (также называется обработкой внутри кадра). Кроме того, изображение В и изображение Р, считываемые из буфера 102 изменения компоновки экрана, подают в модуль 117 прогнозирования/компенсации движения как изображение, подвергаемое обработке прогнозирования между кадрами (также называется обработкой между кадрами).

Модуль 115 выбора подает опорное изображение, переданное от запоминающего устройства 114 кадра, на модуль 116 прогнозирования внутри кадра в случае изображения, в отношении которого требуется выполнить кодирование внутри кадра, и передает на модуль 117 прогнозирования/компенсации движения, в случае изображения, в отношении которого требуется кодирование между кадрами.

Модуль 116 прогнозирования внутри кадра выполняет обработку прогнозирования внутри кадра всех кандидатов режима прогнозирования внутри кадра на основе изображения, подвергаемого прогнозированию внутри кадра, считываемому из буфера 102 изменения компоновки экрана, и опорного изображения, поданного из запоминающего устройства 114 кадра для генерирования изображения прогнозирования.

С помощью модуля 116 прогнозирования внутри кадра, информацию, относящуюся к режиму прогнозирования внутри кадра, подаваемую в текущий блок/макроблок, преобразуют в модуле 106 кодирования без потерь, и используют, как часть информации заголовка. В формате кодирования информация изображения Н.264, режим прогнозирования внутри кадра 4×4, режим прогнозирования внутри кадра 8×8 и режим прогнозирования внутри кадра 16×16 определены для сигналов яркости, и также в отношении цветоразностных сигналов режим прогнозирования может быть определен для каждого макроблока, независимого от сигналов яркости. Для режима прогнозирования внутри кадра 4×4 определяют один режим прогнозирования внутри кадра для каждого блока яркости размером 4×4. Для режима прогнозирования внутри кадра размером 8×8 определяют один режим прогнозирования внутри кадра для каждого блока яркости 8×8. Для режима прогнозирования внутри кадра 16×16 и для цветоразностных сигналов один режим прогнозирования внутри кадра определяют для каждого макроблока.

Модуль 116 прогнозирования внутри кадра рассчитывает значение функции стоимости для режима прогнозирования внутри кадра, где изображение прогнозирования было сгенерировано, и выбирает режим прогнозирования внутри кадра, где вычисленное значение функции стоимости имеет минимальное значение, означающее оптимальный режим прогнозирования внутри кадра. Модуль 116 прогнозирования внутри кадра подает изображение прогнозирования, генерируемое в оптимальном режиме прогнозирования внутри кадра, на вычислительный модуль 103 через модуль 118 выбора изображения прогнозирования.

Что касается изображения, которое должно быть подвергнуто кодированию между кадрами, модуль 117 прогнозирования/компенсации движения использует входное изображение, подаваемое из буфера 102 изменения компоновки экрана, и декодированное изображение, используемое, как опорный кадр, подаваемый из запоминающего устройства 114 кадра, и рассчитывает вектор движения. Модуль 117 прогнозирования/компенсации движения выполняет обработку компенсации движения, в соответствии с рассчитанным вектором движения, и генерирует изображение прогнозирования (информацию изображения прогнозирования между кадрами).

Модуль 117 прогнозирования/компенсации движения выполняет обработку прогнозирования между кадрами для всех кандидатов режимов прогнозирования между кадрами и генерирует изображения прогнозирования. Режимы прогнозирования между кадрами являются теми же, что и в случае режимов прогнозирования внутри кадра.

Модуль 117 прогнозирования/компенсации движения рассчитывает значения функции стоимости для режимов прогнозирования между кадрами, в отношении которых были сгенерированы изображения прогнозирования, и выбирает режим прогнозирования между кадрами, вычисленное значение функции стоимости имеет минимальное значение, означающее оптимальный режим прогнозирования между кадрами. Модуль 117 прогнозирования/компенсации движения подает изображение прогнозирования, генерируемое в режиме оптимального прогнозирования между кадрами, в вычислительный модуль 103 через модуль 118 выбора.

Модуль 117 прогнозирования/компенсации движения подает информацию вектора движения, обозначающую рассчитанный вектор движения, в модуль 106 кодирования без потерь. Эту информацию вектора движения включают (мультиплексируют) в кодированные данные с помощью модуля 106 кодирования без потерь. То есть информацию вектора движения подают на устройство декодирования изображения вместе с кодированными данными.

В случае выполнения