Устройство и способ обработки изображений

Устройство и способ обработки изображений

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее раскрытие относится к устройству и способу обработки изображений и, в частности, относится к устройству и способу обработки изображений, которые обеспечивают возможность повышения эффективности кодирования при подавлении снижения эффективности обработки кодирования.

Уровень техники

В последние годы устройства, соответствующие формату сжатия, такому как MPEG (Группа экспертов движущегося изображения), в котором информацию изображения обрабатывают в цифровой форме и сжимают, используя ортогональное преобразование, такое как дискретное косинусное преобразование, и применяя компенсацию движения путем использования избыточности, присущей информации изображения, с целью достижения высокоэффективного преобразования и накопления информации, стали преобладающими для использования, как при распределении информации станциями широковещательной передачи, так и при приеме информации в обычных домашних хозяйствах.

В частности, MPEG 2 (ISO (Международная организация по стандартизации)/IEC (Международная электротехническая комиссия) 13818-2), определенный как формат кодирования изображения общего назначения, представляет собой стандарт, который охватывает, как изображение с разверткой с перемежением, так и изображения последовательной разверткой, а также изображения стандартной четкости, так и изображения высокой четкости, и в настоящее время широко используется в широком диапазоне применений для профессионального использования и обычного потребления. В формате сжатия MPEG 2 могут быть реализованы высокая степень сжатия и предпочтительное качество изображения путем выделения, например, определенного количества кода (скорости передачи битов) 4-8 Мбит/с для изображения со стандартной четкостью и разверткой с перемежением, имеющего 720×480 пикселей или для количества кодов (скоростью битов) 18-22 Мбит/с для изображения высокой четкости с разверткой с перемежением, имеющего 1920×1088 пикселей.

MPEG 2, в основном, используют для кодирования изображений высокого качества, пригодного для широковещательной передачи, но не совместимого с форматами кодирования, с количеством кодов (скоростью битов) ниже, чем у MPEG 1, то есть, с высокой степенью сжатия. При широком использовании мобильных оконечных устройств необходимость в таких форматах кодов будет увеличиваться в будущем, и в ответ был стандартизован формат кодирования MPEG 4. Что касается формата кодирования изображения, MPEG 4 был назначен международным стандартом, как ISO/IEC 14496-2 в декабре 1998 г.

Кроме того, стандартизация в формате H.26L (ITU-T (Международный союз телекоммуникаций. Сектор стандартизации телекоммуникаций) Q6/16 VCEG (Группа экспертов кодирования видеоданных)), которая первоначально предназначалась для кодирования изображения для видеоконференций, все больше используется в последние годы. Известно, что в H.26L реализуется более высокая эффективность кодирования, чем в предыдущих форматах кодирования, таких как MPEG 2 и MPEG 4, хотя кодирование и декодирование в соответствии с H.26L подразумевает больший объем вычислений. Кроме того, как часть действия MPEG 4, стандартизация для реализации высокой эффективности кодирования, путем ввода функции, которая не поддерживается H.26L на основе H.26L, в настоящее время все чаще используется, как Объединенная модель кодирования видеоданных с улучшенным сжатием.

По плану стандартизации, стандарт под названием Н.264 и MPEG 4 Часть 10 (Усовершенствованное кодирование видеоданных, ниже называемое AVC) был обозначен, как международный стандарт, в марте 2003 г.

Кроме того, в качестве расширения представленного выше, в феврале 2005 была закончена стандартизация FRExt (Расширение диапазона точности воспроизведения), включающего в себя инструменты кодирования, необходимые для использования в бизнесе, такие как RGB, 4:2:2 и 4:4:4, а также 8×8 DCT (дискретное косинусное преобразование) и матрицы квантования, определенные в MPEG 2. В соответствии с этим, был установлен формат кодирования, позволяющий предпочтительно выражать даже шумы пленки, включенные в кинофильмы при использовании AVC, который используется в широком диапазоне применений, таких как диски Blu-ray.

Однако в последнее время все в большей степени возрастает потребность в кодировании с высокой степенью сжатия, например, сжатия изображения, имеющего приблизительно 4000×2000 пикселей, что в четыре раза превышает количество пикселей, включенных в изображение высокой четкости, или в распределении изображений высокой четкости в среде с ограниченной способностью передачи, такой как Интернет. Поэтому, в VCEG (Группа экспертов кодирования видеоданных) в соответствии с ITU-T, были проведены текущие исследования по улучшению эффективности кодирования.

В то же время, с целью реализации более высокой эффективности кодирования, чем в AVC, в настоящее время выполняют стандартизацию формата кодирования, называемую стандартом HEVC (Кодирование видеоданных высокой эффективности) в JCTVC (Объединенная группа по сотрудничеству в области кодирования видеоданных), которая представляет собой группу стандартов ITU-T и ISO/IEC (см., например, NPL 1).

В формате кодирования HEVC модули кодирования (CU) определены, как модули обработки, которые аналогичны макроблокам, используемым в AVC. В отличие от макроблока, используемого в AVC, размер CU не фиксирован 16×16 пикселями, и определен в информации сжатия изображения в каждой последовательности.

CU сконфигурированы иерархически от наибольшего модуля кодирования (LCU) до наименьшего модуля кодирования (SCU). Таким образом, в общем, рассматривается, что LCU соответствует макроблоку, используемому в AVC, и CU на более низком уровне, чем LCU, соответствует подмакроблоку, используемому в AVC.

В то же время, существует формат кодирования, в котором предусмотрены режим кодирования для кодирования и вывода данных изображения, и режим без кодирования для вывода данных изображения без кодирования данных изображения, при этом следует ли использовать режим кодирования или режим без кодирования, выбирают в модулях макроблоков, и режим кодирования, и режим без кодирования могут использоваться в комбинации с одним изображением (см., например, PTL 1). Также, в формате кодирования AVC, режим I_PCM, для вывода данных изображения без кодирования данных изображения поддерживается, как mb_type (см., например, PTL 2). Это используют для обеспечения операции в режиме реального времени кодирования обработки арифметического кодирования, в случае, когда параметры квантования установлены, как малое значение, такое как QP=0, и в случае, когда количество информации кодированных данных больше, чем у входного изображения. Кроме того, возможно реализовать кодирование без потерь, используя I-PCM.

Кроме того, был рассмотрен способ для увеличения внутренней арифметической обработки (см., например, NPL 2). В соответствии с этим, внутренняя арифметическая ошибка, связанная с обработкой, такой как ортогональное преобразование и компенсация движения, может быть уменьшена, и эффективность кодирования может быть улучшена.

Кроме того, была предложена технология, в которой фильтр FIR предусмотрен в контуре компенсации движения (см., например, NPL 3). В устройстве кодирования, при получении коэффициента фильтра FIR, используя фильтр Винера, для сведения к минимуму ошибки в отношении входного изображения, деградация опорного изображения может быть сведена к минимуму, и эффективность кодирования информации сжатия изображения, предназначенной для вывода, может быть улучшена.

Список литературы

Патентная литература

PTL 1: Японский патент №3992303

PTL 2: Японский патент №4240283

Непатентная литература

NPL 1: "Test Model under Consideration", JCTVC-B205, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG112nd Meeting: Geneva, CH, 21-28 July, 2010

NPL 2: Takeshi Chujoh, Reiko Noda, "Internal bit depth increase except frame memory", VCEG-AF07, ITU - Telecommunications Standardization Sector STUDY GROUP 16 Question 6 Video Coding Experts Group (VCEG) 32nd Meeting: San Jose, USA, 20-21 April, 2007

NPL 3: Takeshi Chujoh, Goki Yasuda, Naofumi Wada, Takashi Watanabe, Tomoo Yamakage, "Block-based Adaptive Loop Filter", VCEG-AI18, ITU - Telecommunications Standardization Sector STUDY GROUP 16 Question 6 Video Coding Experts Group (VCEG) 35th Meeting: Berlin, Germany, 16-18 July, 2008

Раскрытие изобретения

Техническая задача

Однако в случае формата кодирования, в котором CU определены, как в HEVC, и различные операции обработки выполняют в модулях CU, считается, что макроблок, используемый в AVC, соответствует LCU, но если I_PCM может быть установлен только в модулях LCU, ненужная обработка кодирования увеличивается, поскольку модуль обработки составляет максимум 128×128 пикселей, то эффективность обработки кодирования может снизиться. Например, может стать трудным обеспечить работу в режиме реального времени САВАС.

Кроме того, форматы кодирования, предложенные в NPL 2 и NPL 3, не включены в формат кодирования AVC, и совместимость с режимом I_PCM здесь не раскрыта.

Настоящее раскрытие было выполнено с учетом этих обстоятельств, и направлено на повышение эффективности кодирования при подавлении снижения эффективности обработки кодирования.

Решение задачи

В соответствии с аспектом настоящего раскрытия, предусмотрено устройство обработки изображения. Устройство обработки изображения включает в себя установщик режима кодирования для установки в модулях модулей кодирования, имеющих иерархическую структуру, следует ли выбрать режим без сжатия, в качестве режима кодирования, для кодирования данных изображения, при этом режим без сжатия представляет собой режим кодирования, в котором данные изображения выводят, в качестве кодированных данных; и кодер для кодирования данных изображения в модулях модулей кодирования, в соответствии с режимом, установленным установщиком режима кодирования.

Устройство обработки изображения может дополнительно включать в себя контроллер обработки сдвига для выполнения управления модулем кодирования, для которого режим без сжатия был установлен установщиком режима кодирования для пропуска обработки сдвига, при которой повышается точность битов для кодирования или декодирования; и процессор сдвига для выполнения обработки сдвига для модуля кодирования данных изображения, причем модулем кодирования управляют с помощью контроллера обработки сдвига, для выполнения обработки сдвига.

Устройство обработки изображения может дополнительно включать в себя контроллер обработки фильтром для управления модулем кодирования для которого режим без сжатия был установлен установщиком режима кодирования, для пропуска обработки фильтром, при которой выполняют фильтрацию локально декодированного изображения; вычислитель коэффициента фильтра для вычисления коэффициента фильтра для обработки фильтром, с использованием данных изображения, соответствующих модулю кодирования, управляемому контроллером обработки фильтром, для выполнения обработки фильтром; и процессор фильтра для выполнения обработки фильтром в модулях блоков, представляющих собой модули обработки фильтром, с использованием коэффициента фильтра, вычисленного вычислителем коэффициента фильтра.

Процессор фильтра может выполнять обработку фильтром только для пикселей, которыми управляет контроллер обработки фильтром, для выполнения обработки фильтром, при этом пиксели включены в текущий блок, который представляет собой цель для обработки.

Устройство обработки изображения может дополнительно включать в себя генератор информации идентификации фильтра для генерирования информации идентификации фильтра в единицах блоков, причем информация идентификации фильтра представляет собой информацию идентификации, указывающую, следует ли выполнить обработку фильтром.

Процессор фильтра может выполнять адаптивную фильтрацию контура для локально декодированного изображения, при этом адаптивная фильтрация контура представляет собой адаптивную обработку фильтром, использованием обработки классификации.

В случае, когда количество кода для кодированных данных, которое получают путем кодирования данных изображения, соответствующих текущему модулю кодирования, как цели обработки кодирования, меньше чем или равно количеству входных данных, которое представляет собой количество данных для данных изображения, соответствующих текущему модулю кодирования, установщик режима кодирования может установить режим кодирования текущего модуля кодирования, как режим без сжатия.

Устройство обработки изображения дополнительно включает себя вычислитель количества входных данных для вычисления количества входных данных. Установщик режима кодирования может выполнять сравнение для текущего модуля кодирования количества входных данных, вычисленного вычислителем количества входных данных, с количеством кода.

Устройство обработки изображения может дополнительно включать в себя генератор идентификационной информации, который генерирует идентификационную информацию в модулях модулей кодирования, причем идентификационная информация указывает, был ли установлен режим без сжатия с помощью установщика режима кодирования.

В соответствии с аспектом настоящего раскрытия, предусмотрен способ обработки изображений для устройства обработки изображений. Способ обработки изображений включает в себя установку с использованием установщика режима кодирования, в модулях модулей кодирования, имеющих иерархическую структуру, следует ли выбрать режим без сжатия, в качестве режима кодирования для кодирования данных изображения, при этом режим без сжатия представляет собой режим кодирования, в котором данные изображения выводят, в качестве кодированных данных; и кодирование, с использованием кодера, данных изображения в модулях модулей кодирования, в соответствии с установленным режимом.

В соответствии с другим аспектом настоящего раскрытия, предусмотрено устройство обработки изображения. Устройство обработки изображения включает в себя определитель режима кодирования для определения в модулях модулей кодирования, имеющих иерархическую структуру, был ли выбран режим без сжатия, в качестве режима кодирования, для кодирования данных изображения, причем режим без сжатия представляет собой режим кодирования, в котором данные изображения выводят, в качестве кодированных данных; и декодер для декодирования результата кодирования в модулях модулей кодирования, в соответствии с режимом, определенным определителем режима кодирования.

Устройство обработки изображения может дополнительно включать в себя контроллер обработки сдвига для управления модулем кодирования, для которого определитель режима кодирования определил, что был выбран режим без сжатия, для пропуска обработки сдвига, при которой повышается точность битов для кодирования или декодирования; и процессор сдвига для выполнения обработки сдвига для модуля кодирования данных изображения, при этом модулем кодирования управляют с помощью контроллера обработки сдвига для выполнения обработки сдвига.

Устройство обработки изображения может дополнительно включать в себя контроллер обработки фильтром для управления модулем кодирования, для которого определитель режима кодирования определил, что был выбран режим без сжатия, для пропуска обработки фильтром, при которой выполняют фильтрацию для локально декодируемого изображения; и процессор фильтра для выполнения обработки фильтром для данных изображения в модулях блоков, которые представляют собой модули обработки фильтром. Процессор фильтра может выполнять обработку фильтром только для пикселей, которыми управляют с помощью контроллера обработки фильтром для выполнения обработки фильтром, причем пиксели включены в текущий блок, который представляет собой цель обработки.

Процессор фильтра может выполнять адаптивную фильтрацию контура для локально декодируемого изображения, причем адаптивная фильтрация контура представляет собой обработку адаптивным фильтром с использованием обработки классификации.

Процессор фильтра может выполнять обработку фильтром, в случае, когда информация идентификации фильтра, указывающая, что обработка фильтром была выполнена, указывает, что обработка фильтром была выполнена для данных изображения, соответствующих текущему блоку, который представляет собой цель обработки, только когда управление выполняют с помощью контроллера обработки фильтром, для выполнения обработки фильтром для всех пикселей, включенных в текущий блок.

Определитель режима кодирования может определять, выбран ли режим без сжатия, на основе идентификационной информации, указывающей, выбран ли режим без сжатия, в модулях модулей кодирования.

В соответствии с другим аспектом настоящего раскрытия, предусмотрен способ обработки изображений для устройства обработки изображений. Способ обработки изображений включает в себя этапы, на которых: определяют, используя определитель режима кодирования, в модулях модулей кодирования, имеющих иерархическую структуру, выбран ли режим без сжатия, в качестве режима кодирования для кодирования данных изображения, при этом режим без сжатия представляет собой режим кодирования, при котором данные изображения выводят, в качестве кодированных данных; и декодируют, с помощью декодера, кодированные данные в модулях модулей кодирования, в соответствии с определенным режимом.

В соответствии с аспектом настоящего раскрытия, следует или нет выбрать режим без сжатия, в качестве режима кодирования, для кодирования данных изображения, устанавливают в модулях модулей кодирования, имеющих иерархическую структуру, при этом режим без сжатия представляет собой режим кодирования, в котором данные изображения выводят, в качестве кодированных данных, и данные изображения кодируют в модулях модулей кодирования, в соответствии с установленным режимом.

В соответствии с другим аспектом настоящего раскрытия определяют, был или нет выбран режим без сжатия, в качестве режима кодирования, для кодирования данных изображения в модулях модулей кодирования, имеющих иерархическую структуру, при этом режим без сжатия представляет собой режим кодирования, в котором данные изображения выводят, в качестве кодированных данных, а кодированные данные декодируют в модулях модулей кодирования, в соответствии с определенным режимом.

Полезные эффекты изобретения

В соответствии с настоящим раскрытием может быть обработано изображение. В частности, эффективность кодирования может быть повышена при подавлении снижения эффективности обработки кодирования.

Краткое описание чертежей

На фиг.1 показана блок-схема, иллюстрирующая устройство кодирования изображения, которое выводит информацию сжатого изображения на основе формата кода AVC.

На фиг.2 показана блок-схема, иллюстрирующая устройство декодирования изображения, которое принимает информацию сжатого изображения на основе формата кода AVC.

На фиг.3 показана схема, иллюстрирующая пример типа макроблока.

На фиг.4 показана схема, описывающая пример конфигурации модулей кодирования.

На фиг.5 показана схема, описывающая способ увеличения количества битов при внутренней арифметической обработке.

На фиг.6 показана схема, описывающая адаптивный фильтр цепи обратной связи.

На фиг.7 показана блок-схема, иллюстрирующая пример основной конфигурации устройства кодирования изображения.

На фиг.8 показана блок-схема, иллюстрирующая пример основной конфигурации кодера без потерь, фильтра контура и кодера РСМ по фиг.7.

На фиг.9 показана блок-схема, иллюстрирующая пример основной конфигурации модуля определения РСМ по фиг.8.

На фиг.10 показана блок-схема последовательности операций, описывающая пример потока кодирования обработки.

На фиг.11 показана блок-схема последовательности операций, описывающая пример потока обработки управления кодированием РСМ.

На фиг.12 показана блок-схема последовательности операций, описывающая пример потока обработки управления кодированием РСМ.

На фиг.13 показана блок-схема последовательности операций, описывающая пример потока обработки генерирования опорного изображения.

На фиг.14 показана блок-схема последовательности операций, описывающая пример потока обработки фильтром контура.

На фиг.15 показана блок-схема, иллюстрирующая пример основной конфигурации устройства декодирования изображения.

На фиг.16 показана блок-схема, иллюстрирующая пример основной конфигурации декодера без потерь, фильтра контура и декодера РСМ по фиг.15.

На фиг.17 показана блок-схема последовательности операций, описывающая пример потока обработки декодирования.

На фиг.18 показана блок-схема последовательности операций - продолжение фиг.17, описывающая пример потока обработки декодирования.

На фиг.19 показана блок-схема последовательности операций, описывающая пример потока обработки фильтром контура.

На фиг.20 показана схема, описывающая пример информации I_PCM.

На фиг.21 показана блок-схема, иллюстрирующая пример основной конфигурации персонального компьютера.

На фиг.22 показана блок-схема, иллюстрирующая пример основной конфигурации телевизионного приемника.

На фиг.23 показана блок-схема, иллюстрирующая пример основной конфигурации мобильного телефона.

На фиг.24 показана блок-схема, иллюстрирующая пример основной конфигурации устройства записи на жестком диске.

На фиг.25 показана блок-схема, иллюстрирующая пример основной конфигурации камеры.

Осуществление изобретения

Ниже будут описаны варианты осуществления для выполнения настоящей технологии (ниже называются вариантам осуществления). Следует отметить, что описание будет представлено в следующем порядке.

1. Первый вариант осуществления (устройство кодирования изображения),

2. Второй вариант осуществления (устройство декодирования изображения),

3. Третий вариант осуществления (персональный компьютер)

4. Четвертый вариант осуществления (телевизионный приемник)

5. Пятый вариант осуществления (мобильный телефон)

6. Шестой вариант осуществления (блок записи жесткого диска)

7. Седьмой вариант осуществления (камера)

1. Первый вариант осуществления

Устройство кодирования изображения, совместимое с форматом кодирования AVC

На фиг.1 иллюстрируется конфигурация устройства кодирования изображения, в соответствии с вариантом осуществления, которое кодирует изображение с использованием формата кодирования Н.264 и MPEG (Группа экспертов движущегося изображения) 4 часть 10 (AVC (Усовершенствованное кодирование видеоданных)).

Устройство 100 кодирования изображения, показанное на фиг.1, представляет собой устройство, которое кодирует изображение, используя формат кодирования на основе стандарта AVC, и выводит кодированное изображение. Как представлено на фиг.1, устройство 100 кодирования изображения включает в себя аналого-цифровой преобразователь 101, буфер 102 изменения компоновки экрана, модуль 103 вычисления, модуль 104 ортогонального преобразования, квантователь 105, кодер 106 без потерь и накопительный буфер 107. Кроме того, устройство 100 кодирования изображения включает в себя деквантователь 108, модуль 109 обратного ортогонального преобразования, модуль 110 вычисления, фильтр 111 устранения блочности, устройство 112 хранения кадра, селектор 113, модуль 114 прогнозирования внутри кадра, модуль 115 прогнозирования/компенсации движения, селектор 116 и контроллер 117 скорости.

Аналого-цифровой преобразователь 101 выполняет A/D преобразование данных изображения, подаваемых на него, и выводит данные изображения на буфер 102 изменения компоновки экрана для сохранения в нем данных изображения. Буфер 102 изменения компоновки экрана выполняет изменения компоновки, в соответствии со структурой GOP (группа изображений), изображений кадров, сохраненных в нем, компоновку которых выполняют в порядке отображения таким образом, что компоновка изображений кадров изменяется на порядок кодирования. Буфер 102 изменения компоновки экрана подает изображения кадра с измененной компоновкой на модуль 103 вычисления. Кроме того, буфер 102 изменения компоновки экрана подает изображения кадра с измененной компоновкой на модуль 114 прогнозирования внутри кадра и на модуль 115 прогнозирования/компенсации движения.

Модуль 103 вычисления вычитает из изображения, считанного из буфера 102 изменения компоновки экрана, изображение прогнозирования, подаваемое от модуля 114 прогнозирования внутри кадра или модуля 115 прогнозирования/компенсации движения через селектор 116 и выводит информацию об их разности на модуль 104 ортогонального преобразования.

Например, в случае изображения, в котором выполняется кодирование внутри кадра, модуль 103 вычисления вычитает изображение прогнозирования, подаваемое от модуля 114 прогнозирования внутри кадра, из изображения, считанного из буфера 102 изменения компоновки экрана. Кроме того, например, в случае изображения, в котором должно быть выполнено кодирование между кадрами, модуль 103 вычисления вычитает изображение прогнозирования, подаваемое от модуля 115 прогнозирования/компенсации движения из изображения, считанного из буфера 102 изменения компоновки экрана.

Модуль 104 ортогонального преобразования выполняет ортогональное преобразование, такое как дискретное косинусное преобразование или преобразование Карунена-Лоэва, для информации разности, подаваемой от модуля 103 вычисления, и подает его коэффициенты преобразования на квантователь 105.

Квантователь 105 выполняет квантование коэффициентов преобразования, выводимых модулем 104 ортогонального преобразования. Квантователь 105 выполняет квантование путем установки параметров квантования на основе информации о целевом значении количества кода, подаваемого от контроллера 117 скорости. Квантователь 105 подает квантованные коэффициенты преобразования на кодер 106 без потерь.

Кодер 106 без потерь выполняет кодирование без потерь, такое как кодирование переменной длины или арифметическое кодирование, для квантованного коэффициента преобразования. Данные коэффициента были квантованы под управлением, выполняемым контроллером 117 скорости, и, таким образом, количество их кода равно (или приближается к) целевому значению, установленному контроллером 117 скорости.

Кодер 106 без потерь получает информацию, указывающую прогнозирование внутри кадра и т.д., из блока 114 прогнозирования внутри кадра, и получает информацию, указывающую режим прогнозирования между кадрами, информацию о векторе движения и т.д. из модуля 115 прогнозирования/компенсации движения. Следует отметить, что информация, указывающая прогнозирование внутри кадра (прогнозирование внутри экрана) также будет называться ниже информацией режима прогнозирования внутри кадра. Кроме того, информация, указывающая режим информации, указывающий прогнозирование между кадрами (прогнозирование между экранами), также ниже будет называться информацией режима прогнозирования между кадрами.

Кодер 106 без потерь кодирует квантованный коэффициент преобразования, и также обеспечивает то, что различные части информации, такие как коэффициент фильтра, информация режима прогнозирования внутри кадра, информация режима прогнозирования между кадрами и параметр квантования составляют часть информации заголовка кодированных данных (мультиплексирует различные части информации). Кодер 106 без потерь подает кодированные данные, которые были получены путем кодирования накопительного буфера 107, для сохранения в нем кодированных данных.

Например, в кодере 106 без потерь выполняется обработка кодирования без потерь, такая как кодирование переменной длины или арифметическое кодирование. Пример кодирования переменной длины включает в себя CAVLC (Адаптированное к контексту кодирование переменной длины), определенное в формате H.264/AVC. Пример арифметического кодирования включает в себя САВАС (Адаптированное к контексту двоичное арифметическое кодирование).

Накопительный буфер 107 временно содержит кодированные данные, подаваемые от кодера 106 без потерь, и выводит кодированные данные, например, на устройство записи или в канал передачи на последующем этапе (не представлен) в определенные моменты времени, как кодированное изображение, которое было кодировано с использованием формата H.264/AVC.

Кроме того, коэффициент преобразования, квантованный квантователем 105, также подают в деквантователь 108. Деквантователь 108 выполняет деквантование квантованного коэффициента преобразования, используя способ, соответствующий квантованию, выполняемому квантователем 105. Деквантователь 108 подает коэффициенты преобразования, полученные с его помощью, на модуль 109 обратного ортогонального преобразования.

Модуль 109 обратного ортогонального преобразования выполняет обратное ортогональное преобразование коэффициента преобразования, подаваемого на него, используя способ, соответствующий обработке ортогонального преобразования, выполняемой модулем 104 ортогонального преобразования. Выходные данные, полученные в результате обратного ортогонального преобразования (восстановленная информация разности), поступают на модуль 110 вычисления.

Модуль 110 вычисления добавляет изображение прогнозирования, подаваемое от модуля 114 прогнозирования внутри кадра или модуля 115 прогнозирования/компенсации движения, через селектор 116 для получения обратного ортогонального преобразования, подаваемого модулем 109 обратного ортогонального преобразования, то есть восстановленную информацию разности, и получает локально декодированное изображение (декодированное изображение).

Например, в случае, когда информация разности соответствует изображению, для которого должно быть выполнено кодирование внутри кадра, модуль 110 вычисления добавляет изображение прогнозирования, подаваемое от модуля 114 прогнозирования внутри кадра, к информации разности. Кроме того, например, в случае, когда информация разности соответствует изображению, для которого требуется выполнить кодирование между кадрами, модуль 110 вычисления суммирует изображение прогнозирования, подаваемое от модуля 115 прогнозирования/компенсации движения, с информацией разности.

Результат суммирования поступает на фильтр 111 устранения блочности или в устройство 112 хранения кадра.

Фильтр 111 устранения блочности выполняет обработку фильтром устранения блочности соответствующим образом, удаляя, таким образом, искажения блоков декодированного изображения. Фильтр 111 устранения блочности подает результат обработки фильтром в устройство 112 хранения кадра. Следует отметить, что декодированное изображение, выведенное модулем 110 вычисления, может быть подано в устройство 112 хранения кадра не через фильтр 111 устранения блочности. Таким образом, обработка фильтром устранения блочности, выполняемая фильтром 111 устранения блочности может быть пропущена.

В устройстве 112 хранения кадра содержится декодированное изображение, поданное на него, и оно выводит сохраненное декодированное изображение, как опорное изображение, на модуль 114 прогнозирования внутри кадра, или на модуль 115 прогнозирования/компенсации движения через селектор 113 в определенные моменты времени.

Например, в случае изображения, для которого следует выполнить кодирование внутри кадра, устройство 112 хранения кадра подает опорное изображение на модуль 114 прогнозирования внутри кадра через селектор 113. Кроме того, например, в случае, когда следует выполнить кодирование между кадрами, устройство 112 хранения кадра подает опорное изображение на модуль 115 прогнозирования/компенсации движения через селектор 113.

В случае, когда опорное изображение, подаваемое из устройства 112 хранения кадра, представляет собой изображение, в котором следует выполнить кодирование внутри кадра, селектор 113 подает опорное изображение на модуль 114 прогнозирования внутри кадра. С другой стороны, в случае, когда опорное изображение, подаваемое из устройства 112 хранения кадра, представляет собой изображение, для которого требуется выполнить кодирование между кадрами, селектор 113 подает опорное изображение на модуль 115 прогнозирования/компенсации движения.

Модуль 114 прогнозирования внутри кадра выполняет прогнозирование внутри кадра (прогнозирование внутри экрана), при котором генерируется прогнозируемое изображение, используя значения пикселей целевого изображения, предназначенного для обработки, подаваемого из устройства 112 хранения кадра через селектор 113. Модуль 114 прогнозирования внутри кадра выполняет прогнозирование внутри кадра, используя множество подготовленных режимов (режимов прогнозирования внутри кадра).

В формате кодирования информации изображения, в соответствии с Н.264 определены режим прогнозирования 4×4 внутри кадра, режим прогнозирования 8×8 кадра и режим прогнозирования 16×16 внутри кадра для сигналов яркости. Кроме того, что касается цветоразностных сигналов может быть определен режим прогнозирования, независимый от режима прогнозирования сигналов яркости, для индивидуальных макроблоков. Что касается режима прогнозирования 4×4 внутри кадра, один режим прогнозирования внутри кадра определен для каждого блока яркости 4×4. Что касается режимов прогнозирования 8×8 внутри кадра, один режим прогнозирования внутри кадра определен для каждого из блоков яркости 8×8. Что касается режима прогнозирования 16×16 внутри кадра и цветоразностных сигналов, один режим прогнозирования определен для одного макроблока.

Модуль 114 прогнозирования внутри кадров генерирует изображения прогнозирования, используя все кандидаты режимов прогнозирования внутри кадра, выполняет оценку значения функции стоимости отдельных изображений прогнозирования, используя входное изображение, подаваемое в буфер 102 изменения компоновки экрана, и выбирает оптимальный режим. После выбора оптимального режима прогнозирования внутри кадра, блок 114 прогнозирования внутри кадра подает прогнозируемое изображение, которое было сгенерировано, используя оптимальный режим, на модуль 103 вычисления и модуль 110 вычисления через селектор 116.

Кроме того, как описано выше, модуль 114 прогнозирования внутри кадра предоставляет информацию, такую как информация о режиме прогнозирования внутри кадра, указывающую принятый режим прогнозирования внутри кадра, в кодер 106 без потерь, соответствующим образом.

Модуль 115 прогнозирования/компенсации движения выполняет прогнозирование движения (прогнозирование между кадрами) для изображения, для которого должно быть выполнено кодирование между кадрами, используя входное изображение, подаваемое от буфера 102 изменения компоновки экрана, и опорное изображение, подаваемое из устройства 112 хранения кадра через селектор 113, выполняет обработку компенсации движения в соответствии с обнаруженным вектором движения и генерирует прогнозируемое изображение (информацию прогнозируемого изображения между кадрами). Модуль 115 прогнозирования/компенсации движения выполняет такое прогнозирование между кадрами, используя множество подготовленных режимов (режимов прогнозирования между кадрами).

Модуль 115 прогнозирования/компенсации движения генерирует изображения прогнозирования, используя все кандидаты режимов прогнозирования между кадрами, выполняет оценку значения функции стоимости индивидуальных изображений прогнозирования и выбирает оптимальный режим. Модуль 115 прогнозирования/компенсации движения подает сгенерированное изображение прогнозирования на модуль 103 вычисления и модуль 110 вычисления через селектор 116.

Кроме того, модуль 115 прогнозирования/компенсации движения подает информацию о режиме прогнозирования между кадрами, указывающую принятый режим прогнозирования между кадрами, и информацию о векторе движения, указывающую вычисленный вектор движения, на кодер 106 без потерь.

В случае изображения, для которого должно быть выполнено кодирование внутри кадра, селектор 116 подает выходные данные модуля 114 прогнозирования внутри кадра на модуль 103 вычисления и на модуль 110 вычисления. В случае изображения, для которого следует выполнить кодирование между кадрами, селектор 116 подает выходные данные модуля 115 прогнозирования/компенсации движения на модуль 103 вычисления и на модуль 110 вычисления.

Контроллер 117 скорости управляет ск