Устройство и способ обработки изображения

Устройство и способ обработки изображения

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее раскрытие относится к устройству и способу обработки изображения и, более конкретно, к устройству обработки изображения и способу обработки изображения, позволяющим улучшить эффективность кодирования при многопроекционном кодировании.

Уровень техники

В последние годы, информацию изображения обрабатывают, как цифровые данные, и, с целью передачи и накопления информации с высокой эффективностью, в наше время, широко используются устройства, которые сжимают и кодируют изображения, используя систему кодирования, сжимающую информацию изображения, используя ортогональное преобразование, такое как дискретное косинусное преобразование, и сжатие движения, используя избыточность, которая является уникальной для этой информации изображения. В качестве примеров такой системы кодирования, используется MPEG (Группа экспертов движущегося изображения), Н.264, MPEG 4 Часть 10 (Усовершенствованное кодирование видеоданных, ниже называется AVC) и т.п.

В настоящее время, с целью дополнительного улучшения эффективности кодирования, так, чтобы она была выше, чем у H.264/AVC, выполняется стандартизация системы кодирования, называемой кодированием видеоданных высокой эффективности (HEVC), Объединенной группы сотрудничества - Кодирование видеоданных (JCTVC), которая представляет собой объединенную организацию по стандартизации ITU-T и ISO/IEC. Кроме того, в качестве ее расширения, параллельно был выработан непатентный документ 1, представляющий стандартизацию кодирования многопроекционного изображения, как проект для кодирования многопроекционного изображения.

В то же время, последовательно генерируют опорный список, который представляет собой список, в котором кандидаты для опорного изображения, используемого для декодирования изображения В, выстроены в заданном порядке, от начала опорных изображений, расставленных в предпочтительном порядке во временном списке, который представляет собой временный список.

В непатентном документе 1 временной список генерируют таким образом, что, после размещения опорных изображений в направлении времени, размещают опорные изображения, расположенные в направлении обзора. Таким образом, для получения предпочтительного порядка опорных изображений, расположенных в направлении обзора во временном списке, если не используется команда опорного списка, трудно разместить опорные изображения, расположенные в направлении обзора в опорном списке, и, соответственно, трудно обращаться к опорным изображениям, расположенным в направлении обзора.

Таким образом, в непатентном документе 2, предложено передавать информацию, обозначающую положение, в котором было вставлено опорное изображение, расположенное в направлении обзора, среди множества опорных изображений, расположенных в направлении времени, используя заголовок среза, когда генерируют временной список. В соответствии с этим, учитывая корреляцию направления обзора, опорное изображение, расположенное в направлении обзора, может быть вставлено в предпочтительном положении во временной список.

Список литературы

Непатентный документ

Непатентный документ 1: Gerhard Tech, Krzysztof Wegner, Ying Chen, Miska Hannuksela, "MV-HEVC Draft Text2", JCT3V-B1004, 2012, 11, 07

Непатентный документ 2: Li Zhang, Ying Chen, Jewon Kang, "AHG5: MV-Hevc software for HTM", JCT3V-B0046, 2012, 10, 07

Раскрытие изобретения

Задачи, решаемые изобретением

Однако в технологии, раскрытой в непатентном документе 2, также когда нет необходимости изменять положение вставки опорного изображения, расположенного в направлении обзора во временном списке, должен быть передан заголовок среза, и при этом возникает опасение, что может снизиться эффективность кодирования.

Настоящее раскрытие выполнено с учетом такой ситуации и позволяет улучшить эффективность кодирования при иерархическом кодировании или кодирования множества проекций.

Решения задач

В соответствии с аспектом настоящего раскрытия, предложено устройство обработки изображения, включающее в себя: модуль декодирования для генерирования изображение посредством декодирования потока битов; модуль установки опорного списка, для установки опорного списка, к которому обращаются, когда изображение, генерируемое модулем декодирования, прогнозируется посредством вставки опорного изображения, на которое можно ссылаться в направлении уровня между множеством опорных изображений, к которым можно обращаться в направлении времени; и модуль прогнозирования для прогнозирования изображения, генерируемого модулем декодирования, обращаясь к опорному списку, установленному модулем установки опорного списка.

Описанный выше модуль установки опорного списка может устанавливать опорный список посредством вставки опорного изображения, к которому можно обращаться в направлении уровня между опорным изображением, расположенным по времени перед изображением, и опорным изображением, расположенным по времени после изображения среди множества опорных изображений, к которым можно обращаться в направлении времени.

Описанный выше модуль установки опорного списка может устанавливать опорный список посредством размещения изображения в направлении L0 в порядке опорных изображений, расположенных по времени перед изображением опорного изображения, к которому можно обращаться в направлении уровня, и опорных изображений, расположенных по времени после изображения.

Описанный выше модуль установки опорного списка может устанавливать опорный список посредством размещения изображений в направлении L1 в порядке опорных изображений, расположенных по времени после изображения, опорного изображения, к которому можно обращаться в направлении уровня, и опорных изображений, расположенных по времени перед изображением.

Описанный выше модуль установки опорного списка может устанавливать опорный список посредством поочередного размещения опорного изображения, к которому можно обращаться в направлении времени, и опорного изображения, к которому можно обращаться в направлении уровня.

Описанный выше модуль установки опорного списка может устанавливать опорный список посредством поочередного размещения элемента списка опорных изображений, к которому можно обращаться в направлении времени, установленного в порядке опорных изображений, расположенных по времени перед изображением, и опорных изображений, расположенных после изображения по времени, и элемента списка опорных изображений, к которым можно обращаться в направлении уровня, который составлен из опорных изображений, к которым можно обращаться в направлении уровня, в направлении L0.

Описанный выше модуль установки опорного списка может устанавливать опорный список посредством поочередного размещения элемента списка опорных изображений, к которому можно обращаться в направлении времени, установленного в порядке опорных изображений, расположенных по времени после изображения, и опорных изображений, расположенных по времени перед изображением, и элемента списка опорных изображений, к которым можно обращаться в направлении уровня, который составлен из опорных изображений, к которым можно обращаться в направлении уровня, в направлении L1.

Описанный выше модуль установки опорного списка может устанавливать опорный список посредством вставки опорных изображений, к которым можно обращаться в направлении уровня, в направлении L1, для того, чтобы можно было обращаться к опорному изображению в направлении уровня, которое противоположно случаю использования направления L0.

Описанный выше модуль установки опорного списка может включать в себя: модуль установки временного списка, который устанавливает временной список, который представляет собой временной список, используемый для установки опорного списка, посредством вставки опорного изображения, к которому можно обращаться в направлении уровня, между множеством опорных изображений, к которым можно обращаться в направлении времени; и модуль установки списка опорного изображения, который устанавливает опорный список на основе временного списка, установленного модулем установки временного списка.

В соответствии с аспектом настоящего раскрытия предусмотрен способ обработки изображения, воплощенный в устройстве обработки изображения. Способ обработки изображения включает в себя этапы, на которых: генерируют изображения посредством декодирования потока битов; устанавливают опорный список, к которому обращаются когда прогнозируют генерируемое изображение, посредством вставки опорного изображения, к которому можно обращаться в направлении уровня между множеством опорных изображений, к которым можно обращаться в направлении времени; и прогнозируют сгенерированное изображение посредством обращения к установленному опорному списку.

В соответствии с другим аспектом настоящего раскрытия, предусмотрено устройство обработки изображения, включающее в себя: модуль установки опорного списка для установки опорного списка, к которому обращаются, когда изображение прогнозируют посредством вставки опорного изображения, к которому можно обращаться в направлении уровня между множеством опорных изображений, к которым можно обращаться в направлении времени; модуль прогнозирования для прогнозирования изображения посредством обращения к опорному списку, установленному модулем установки опорного списка; и модуль кодирования для генерирования потока битов посредством выполнения кодирования, используя изображение, прогнозированное модулем прогнозирования.

Описанный выше модуль установки опорного списка может устанавливать опорный список, посредством вставки опорного изображения, к которому можно обращаться в направлении уровня между опорным изображением, расположенным по времени перед изображением, и опорным изображением, расположенным по времени после изображения, среди множества опорных изображений, к которым можно обращаться в направлении времени.

Описанный выше модуль установки опорного списка может устанавливать опорный список посредством размещения изображения в направлении L0, в порядке опорных изображений, расположенных по времени перед изображением, опорного изображения, к которому можно обращаться в направлении уровня, и опорных изображениях, расположенных по времени после изображения.

Описанный выше модуль установки опорного списка может устанавливать опорный список посредством размещения изображения в направлении L1 в порядке опорных изображений, расположенных по времени после изображения, опорного изображения, к которому можно обращаться в направлении уровня, и опорных изображениях, расположенных по времени перед изображением.

Описанный выше модуль установки опорного списка может устанавливать опорный список посредством поочередного размещения опорного изображения, к которому можно обращаться в направлении времени, и опорного изображения, к которому можно обращаться в направлении уровня.

Описанный выше модуль установки опорного списка может устанавливать опорный список посредством поочередного размещения элемента списка опорных изображений, к которому можно обращаться в направлении времени, установленном в порядке опорных изображений, расположенных по времени перед изображением и опорными изображениями, расположенными по времени после изображения, и элемента списка опорных изображений, к которым можно обращаться в направлении уровня, который составлен из опорных изображений, к которым можно обращаться в направлении уровня, в направлении L0.

Описанный выше модуль установки опорного списка может устанавливать опорный список посредством поочередного размещения элемента списка опорных изображений, к которым можно обращаться в направлении времени, установленном в порядке опорных изображений, расположенных по времени после изображения, и опорных изображений, расположенных по времени перед изображением, и элемента списка опорных изображений, к которым можно обращаться в направлении уровня, который составлен из опорных изображений, к которым можно обращаться в направлении уровня, в направлении L1.

Описанный выше модуль установки опорного списка может устанавливать опорный список посредством вставки опорных изображений, к которым можно обращаться в направлении уровня, в направлении L1, в порядке опорного изображения, к которому можно обращаться в направлении уровня, противоположном направлению в случае, когда используется L0.

Описанный выше модуль установки опорного списка может включать в себя: модуль установки временного списка, который устанавливает временной список, который представляет собой временной список, используемый для установки опорного списка, посредством вставки опорного изображения, к которому можно обращаться в направлении уровня между множеством опорных изображений, к которым можно обращаться в направлении времени; и модуль установки списка опорного изображения, который устанавливает опорный список на основе временного списка, установленного модулем установки временного списка.

В соответствии с другим аспектом настоящего раскрытия, предусмотрен способ обработки изображения, воплощенный в устройстве обработки изображения. Способ обработки изображения включает в себя этапы, на которых: устанавливают опорный список, к которому обращаются, когда прогнозируют изображение, посредством вставки опорного изображения, к которому можно обращаться в направлении уровня между множеством опорных изображений, к которым можно обращаться в направлении времени; прогнозируют изображения посредством обращения к установленному опорному списку; и генерируют поток битов посредством выполнения кодирования, используя прогнозируемое изображение.

В соответствии с аспектом настоящего раскрытия, изображение генерируют посредством декодирования потока битов, и опорный список, к которому обращаются, когда прогнозируют генерируемое изображение, устанавливают посредством вставки опорного изображения, к которому можно обращаться в направлении уровня, между множеством опорных изображений, к которым можно обращаться в направлении времени. Затем сгенерированное изображение прогнозируют посредством обращения к установленному опорному списку.

В соответствии с другим аспектом настоящего раскрытия, опорный список, к которому обращаются, когда прогнозируют изображение, устанавливают посредством вставки опорного изображения, к которому можно обращаться в направлении уровня между множеством опорных изображений, к которым можно обращаться в направлении - времени. Затем изображение прогнозируют посредством обращения к установленному опорному списку, и поток битов генерируют посредством выполнения кодирования, используя прогнозируемое изображение.

Здесь описанное выше устройство обработки изображения может представлять собой независимое устройство или внутренний блок, который конфигурирует одно устройство кодирования изображения или устройство декодирования изображения.

Эффекты изобретения

В соответствии с аспектом настоящего раскрытия, изображение может быть декодировано. В частности, может быть улучшена эффективность кодирования.

В соответствии с другим аспектом настоящего раскрытия, изображение может быть кодировано. В частности, может быть улучшена эффективность кодирования.

Краткое описание чертежей

На фиг. 1 показана блок-схема, которая иллюстрирует пример основной конфигурации устройства кодирования изображения.

На фиг. 2 показана пояснительная схема, которая иллюстрирует пример структуры опорных изображений.

На фиг. 3 показана схема, которая иллюстрирует пример обычного способа генерирования опорного списка.

На фиг. 4 показана схема, которая иллюстрирует другой пример условного способа генерирования опорного списка.

На фиг. 5 показана схема, которая иллюстрирует пример способа генерирования опорного списка в соответствии с настоящей технологией.

На фиг. 6 показана схема, которая иллюстрирует другой пример способа генерирования опорного списка в соответствии с настоящей технологией.

На фиг. 7 показана схема, которая иллюстрирует сравнение между настоящей технологией и обычной технологией.

На фиг. 8 показана схема, которая иллюстрирует порядок компоновки между видами отображает в соответствии с настоящей технологией.

На фиг. 9 показана схема, которая иллюстрирует способ изменения порядка компоновки изображений между обзорами в соответствии с настоящей технологией.

На фиг. 10 показана блок-схема, которая иллюстрирует пример конфигурации модуля генерирования опорного списка, представленного на фиг. 1.

На фиг. 11 показана блок-схема последовательности операций, которая представляет пример потока обработки кодирования.

На фиг. 12 показана блок-схема последовательности операций, которая представляет пример потока обработки генерирования опорного списка.

На фиг. 13 показана блок-схема последовательности операций, которая представляет другой пример потока обработки генерирования опорного списка.

На фиг. 14 показана блок-схема, которая иллюстрирует пример основной конфигурации устройства декодирования изображения.

На фиг. 15 показана блок-схема, которая иллюстрирует пример конфигурации модуля генерирования опорного списка, представленного на фиг. 14.

На фиг. 16 показана блок-схема последовательности операций, которая представляет пример обработки декодирования.

На фиг. 17 показана блок-схема последовательности операций, которая представляет пример потока обработки генерирования опорного списка.

На фиг. 18 показана блок-схема последовательности операций, которая представляет другой пример обработки потока генерирования опорного списка.

На фиг. 19 показана блок-схема, которая иллюстрирует другой пример основной конфигурации устройства кодирования изображения.

На фиг. 20 показана блок-схема, которая иллюстрирует другой пример основной конфигурации устройства декодирования изображения.

На фиг. 21 показана блок-схема, которая иллюстрирует пример основной конфигурации компьютера.

На фиг. 22 показана блок-схема, которая иллюстрирует пример схематичной конфигурации телевизионного устройства.

На фиг. 23 показана блок-схема, которая иллюстрирует пример схематичной конфигурации мобильного телефона.

На фиг. 24 показана блок-схема, которая иллюстрирует пример схематичной конфигурации устройства записи/воспроизведений.

На фиг. 25 показана блок-схема, которая иллюстрирует пример схематичной конфигурации устройства формирования изображения.

На фиг. 26 показана блок-схема, которая иллюстрирует пример схематичной конфигурации видеосистемы.

На фиг. 27 показана блок-схема, которая иллюстрирует пример схематичной конфигурации видеопроцессора.

На фиг. 28 показана блок-схема, которая иллюстрирует другой пример схематичной конфигурации видеопроцессора.

Осуществление изобретения

Ниже будут описаны варианты осуществления, для выполнения настоящего раскрытия (ниже называются вариантами осуществления). Описание будет представлено в следующем порядке.

1. Первый вариант осуществления (устройство кодирования изображения)

2. Второй вариант осуществления (устройство декодирования изображения)

3. Третий вариант осуществления (устройство кодирования изображения и устройство декодирования изображения системы AVC)

4. Четвертый вариант осуществления (компьютер)

5. Пример применения

6. Пятый вариант осуществления (набор/модуль/блок/процессор)

Первый вариант осуществления

Описание иерархического кодирования

Системы кодирования изображения, такие как MPEG2 и AVC, описанные выше, теперь имеют функцию масштабируемости. Масштабируемое кодирование (иерархическое кодирование) представляет собой систему, в которой изображение конфигурируют, используя множество уровней (иерархическое упорядочивание), и кодирование выполняют для каждого уровня.

При иерархическом упорядочивании изображения одно изображение разделяют на множество изображений (уровней), обращаясь к заданному параметру. В принципе, каждый уровень конфигурируют, используя разные данные для уменьшения избыточности. Например, в случае, когда одно изображение иерархически упорядочивают на двух уровнях, включающих в себя основной уровень и уровень расширения, получают изображение, имеющее более низкое качество, чем у исходного изображения, используя только данные основного уровня, и оригинальное изображение (другими словами, изображение высокого качества) получают посредством объединения данных основного уровня и данных уровня расширения.

Благодаря иерархическому упорядочиванию изображения таким образом, изображения различного качества могут быть легко получены в соответствии с ситуацией. Например, как в случае, когда терминал имеет низкие возможности обработки, такой как мобильный телефон, передают информацию о сжатии изображений только для основного уровня, и воспроизводят движущееся изображение, имеющее низкое пространственное/временное разрешение или низкое качество изображения, и в терминал, имеющий высокие возможности обработки, такой как телевизионный приемник или персональный компьютер, передают информацию о сжатии изображений уровня расширения в дополнение к основному уровню, и воспроизводят движущееся изображение, имеющее высокое пространственное/временное разрешение или высокое качество изображения, информация сжатия изображений, в соответствии с возможностями терминала или сети, может быть передана из сервера без выполнения обработки транскодирования.

В качестве параметра, обеспечивающего такую масштабируемость, например, используется пространственное разрешение (пространственная масштабируемость). В случае такой пространственной масштабируемости, разрешение будет разным для каждого уровня. Другими словами, каждое изображение иерархически упорядочивают на двух уровнях иерархии - основного уровня, имеющего более низкое пространственное разрешение, чем у исходного изображения, и уровня расширения, который может использоваться для получения оригинального изображения (оригинальное пространственное разрешение) после составления с изображением основного уровня. Очевидно, что количество иерархий представляет собой пример, и изображение может быть иерархически упорядочено с произвольным количеством иерархий.

В качестве другого параметра, имеющего такую масштабируемость, например, можно использовать временное разрешение (временную масштабируемость). В случае такой временной масштабируемости частота кадров будет разной для каждого уровня. Другими словами, в этом случае, поскольку изображение иерархически упорядочивают, разделяя на уровни, имеющие взаимно разные частоты кадров, посредством добавления уровня с высокой частотой кадров к уровню с низкой частотой кадров, может быть получено движущееся изображение, имеющее более высокую частоту кадров, и посредством суммирования всех уровней, может быть получено исходное движущееся изображение (оригинальная частота кадров). Здесь количество иерархий представляет собой пример, и изображение может быть иерархически упорядочено с использованием произвольного количества иерархий.

Кроме того, в качестве другого параметра, обеспечивающего возможность такой масштабируемости, например, можно применять отношение сигнал-шум (SNR) (масштабируемость SNR). В случае такой масштабируемости SNR, отношение SN является разным для каждого уровня. Другими словами, каждое изображение иерархически упорядочивают, разделяя на две уровня иерархии, включающие в себя основной уровень, имеющий более низкое значение SNR, чем у исходного изображения, и уровень расширения, позволяющий получать оригинальное изображение (оригинальное SNR) при составлении с изображением основного уровня. Другими словами, в информации сжатия изображений основного уровня передают информацию, относящуюся к изображению, имеющему низкое значение PSNR, и в результате суммирования с ней информации сжатия изображений уровня расширения, можно восстановить изображение, имеющее высокое значение PSNR. Очевидно, что количество иерархий представляет собой пример, и что изображение может быть иерархически упорядочено, используя произвольное количество уровней иерархии.

Очевидно, что параметр, имеющий масштабируемость, может быть другим, чем представленный в примерах, описанных выше. Например, существует масштабируемость по битовой глубине, в которой основной уровень конфигурируют, используя 8-битное изображение, и посредством суммирования с ним уровня расширения, получают 10-битное изображение.

Кроме того, существует масштабируемость по цветности, в которой основной уровень конфигурируют, используя компонентное изображение формата 4:2:0, и компонентное изображение формата 4:2:2 получают посредством суммирования с ним уровня расширения.

Кроме того, в качестве параметра, обеспечивающего возможность масштабируемости, используется множество видов. В этом случае, каждое изображение иерархически упорядочивают с разделением на уровни с множеством проекций (точек обзора).

Уровень, описанный в данном варианте осуществления, включает в себя пространственное, временное SNR, битовую глубину, цвет, точку обзора и т.п. при кодировании масштабируемости, описанном выше.

Термин "уровень", используемый в данном описании, включает в себя каждый уровень масштабируемого (иерархического) кодирования, описанного выше, и каждый вид во время рассмотрения множества проекций множества точек обзора.

Далее, в то время как вид будет описан в качестве примера, посредством замены вида другим уровнем, настоящая технология аналогично может применяться к другим уровням, описанным выше.

Пример конфигурации устройства кодирования изображения

На фиг. 1 иллюстрируется конфигурации устройства кодирования изображения, в соответствии с вариантом осуществления, как устройство обработки изображения, в котором применяется настоящее раскрытие.

Устройство 100 кодирования изображения, показанное на фиг. 1, кодирует данные изображения, используя обработку прогнозирования. Здесь, в качестве системы кодирования, например, используется система HEVC и т.п. Другими словами, устройство 100 кодирования изображения выполняет обработку в единицах CU (модули кодирования).

В примере, показанном на фиг. 1, устройство 100 кодирования изображения включает в себя: A/D (аналогово/цифровой) преобразователь 101; буфер 102 изменения компоновки экрана; модуль 103 расчета; модуль 104 ортогонального преобразования; модуль 105 квантования; модуль 106 кодирования без потерь; и буфер 107 накопления. Кроме того, устройство 100 кодирования изображения включает в себя: модуль 108 обратного квантования; модуль 109 обратного ортогонального преобразования; модуль 110 расчета; фильтр 111 удаления блочности; буфер 112 декодированного изображения; модуль 113 выбора; модуль 114 прогнозирования внутри кадра; модуль 115 прогнозирования/компенсации параллакса движения; модуль 116 выбора; и модуль 117 управления скоростью.

Кроме того, устройство 100 кодирования изображения включает в себя: модуль 121 обработки синтаксиса; модуль 122 генерирования опорного списка; фильтр 123 адаптивного смещения; и адаптивный фильтр 124 контура.

A/D преобразователь 101 выполняет A/D преобразование входных данных изображения и выводит полученные в результате данные изображения в буфер 102 изменения компоновки экрана для сохранения в нем.

Буфер 102 изменения компоновки экрана изменяет компоновку сохраненных изображений, которые расположены в порядке отображения кадров, в порядке кадров для кодирования в соответствии с группой изображений (GOP). Буфер 102 изменения компоновки экрана подает изображение, в котором порядок кадров был изменен, в модуль 121 обработки синтаксиса.

Модуль 121 обработки синтаксиса последовательно проверяет данные изображения, считанного из буфера 102 изменения компоновки экрана, и вставляет информацию заголовка, которая поступает из предыдущего этапа, который не представлен на чертеже, в данные изображения. Информация заголовка, например, включает в себя набор параметров видеоданных (VPS), набор параметра последовательности (SPS), набор параметра изображения (PPS) и т.п. Кроме того, модуль 121 обработки синтаксиса добавляет заголовок среза (SH) в начало среза.

Модуль 121 обработки синтаксиса подает изображение, в которое была вставлена информация заголовка и т.п., в модуль 103 расчета, модуль 114 прогнозирования внутри кадра, и в модуль 115 прогнозирования/компенсации параллакса движения. Кроме того, модуль 121 обработки синтаксиса подает каждую информацию заголовка и информацию, такую как заголовок среза, в модуль 122 генерирования опорного списка.

Модуль 103 расчета вычитает прогнозируемое изображение, подаваемое из модуля 114 прогнозирования внутри кадра или модуля 115 прогнозирования/компенсации параллакса движения, из изображения, подаваемого из модуля 121 обработки синтаксиса, через модуль 116 выбора, и выводит его дифференциальную информацию в модуль 104 ортогонального преобразования.

Например, в случае изображения, для которого выполняется прогнозирование внутри кадра, модуль 103 расчета вычитает прогнозируемое изображение, подаваемое из модуля 114 прогнозирования внутри кадра, из изображения, подаваемого из модуля 121 обработки синтаксиса. С другой стороны, например, в случае изображения, для которого выполняется кодирование между кадрами, модуль 103 расчета вычитает прогнозируемое изображение, подаваемое из модуля 115 прогнозирования/компенсации параллакса движения, из изображения, подаваемого из модуля 121 обработки синтаксиса.

Модуль 104 ортогонального преобразования выполняет ортогональное преобразование, такое как дискретное косинусное преобразование или преобразование Карунена-Лоэва для дифференциальной информации, подаваемой из модуля 103 расчета, и подает его преобразованный коэффициент в модуль 105 квантования.

Модуль 105 квантования выполняет квантование преобразованного коэффициента, который выводит модуль 104 ортогонального преобразования. Модуль 105 квантования подает квантованный коэффициент преобразования в модуль 106 кодирования без потерь.

Модуль 106 кодирования без потерь выполняет кодирование без потерь, такое как кодирование переменной длины или арифметическое кодирование для квантованного коэффициента преобразования.

Модуль 106 кодирования без потерь получает информацию, представляющую режим прогнозирования внутри кадра и т.п., из модуля 114 прогнозирования внутри кадра, и получает информацию, представляющую режим прогнозирования между кадрами, информацию вектора движения и т.п. из модуля 115 прогнозирования/компенсации параллакса движения.

Модуль 106 кодирования без потерь кодирует квантованный коэффициент преобразования и устанавливает информацию режима прогнозирования внутри кадра, информацию режима прогнозирования между кадрами, информацию вектора движения, и параметр квантования, как часть информации заголовка кодированных данных (мультиплексирование). Модуль 106 кодирования без потерь подает кодированные данные, полученные при обработке кодирования, в буфер 107 накопления, для накопления в нем.

Например, модуль 106 кодирования без потерь выполняет обработку кодирования без потерь, такую как обработка кодирования переменной длины или обработка арифметического кодирования. В качестве кодирования переменной длины, например, используется контекстно-адаптивное кодирование переменной длины (CAVLC) и т.п. В качестве арифметического кодирования, например, используется контекстно-адаптивное двоичное арифметическое кодирование (САВАС) и т.п.

В буфере 107 накопления временно содержатся кодированные данные, подаваемые из модуля 106 кодирования без потерь, и выводят из него сохраненные кодированные данные в заданные моменты времени, например, в устройство декодирования изображения, расположенное в следующем каскаде, в устройство записи, в линию передачи и т.п., которая не представлена на фигуре, как кодированное изображение, которое было кодировано.

Кроме того, коэффициент преобразования, квантованный модулем 105 квантования, поступает также в модуль 108 обратного квантования. Модуль 108 обратного квантования выполняет обратное квантование квантованного коэффициента преобразования, используя способ, соответствующий обработке квантования, выполняемой модулем 105 квантования. Модуль 108 обратного квантования подает полученный коэффициент преобразования в модуль 109 обратного ортогонального преобразования.

Модуль 109 обратного ортогонального преобразования выполняет обратное ортогональное преобразование для переданного коэффициента преобразования, используя способ, соответствующий обработке ортогонального преобразования, выполняемой модулем 104 ортогонального преобразования. Выход (дифференциальная информация, которая восстанавливается), для которого было выполнено обратное ортогональное преобразование, подают в модуль 110 расчета.

Модуль 110 расчета добавляет прогнозируемое изображение, подаваемое из модуля 114 прогнозирования внутри кадра или модуля 115 прогнозирования/компенсации параллакса движения, через модуль 116 выбора, с результатом обратного ортогонального преобразование, который поступает из модуля 109 обратного ортогонального преобразования, другими словами, с восстановленной дифференциальной информацией, получая, таким образом, локально декодированное изображение (декодированное изображение).

Например, в случае, когда дифференциальная информация соответствует изображению, для которого выполняется обработка кодирования внутри кадров, модуль 110 расчета суммирует прогнозируемое изображение, подаваемое из модуля 114 прогнозирования внутри кадра, с дифференциальной информацией. Кроме того, например, в случае, когда дифференциальная информация соответствует изображению, для которого была выполнена обработка кодирования, модуль 110 расчета суммирует прогнозируемое изображение, подаваемое из модуля 115 прогнозирования/компенсации параллакса движения, с дифференциальной информацией.

Результат суммирования подают в фильтр 111 удаления блочности и в буфер 112 декодированного изображения.

Фильтр 111 удаления блочности соответствующим образом выполняет обработку фильтра удаления блочности, устраняя, таким образом, искажение блочности декодированного изображения. Фильтр 111 удаления блочности подает результат обработки фильтра в фильтр 123 адаптивного смещения.

Фильтр 123 адаптивного смещения выполняет обработку фильтра адаптивного смещения (CAO: адаптивное смещение выборки), которая, в основном, устраняет затухающее колебание, для изображения после обработки фильтра удаления блочности, выполненной фильтром 111 удаления блочности.

Более подробно, фильтр 123 адаптивного смещения определяет тип обработки фильтра адаптивного смещения для каждого наибольшего модуля кодирования (LCU), который представляет собой максимальный модуль кодирования и получает значение смещения, используемое при обработке фильтра адаптивного смещения. Фильтр 123 адаптивного смещения выполняет обработку фильтра адаптивного смещения определенного типа для изображения после адаптивной обработки фильтра удаления блочности, используя полученное смещение. Затем фильтр 123 адаптивного смещения подает изображение после обработки фильтра адаптивного смещения в фильтр 124 адаптивного контура.

Кроме того, фильтр 123 адаптивного смещения включает в себя буфер, в котором сохраняют смещение. Фильтр 123 адаптивного смещения определяет, было или нет значение смещения, используемое при обработке адаптивного фильтра удаления блочности, уже сохранено в буфере для каждого LCU.

В случае, когда определяют, что смещение, используемое при обработке фильтра адаптивного удаления блочности, уже было сохранено в буфере, фильтр 123 адаптивного смещения устанавливает флаг сохранения, который представляет, сохранено ли смещение в буфере, как значение (в данном случае, "1"), представляющее, что смещение сохранено в буфере.

Затем фильтр 123 адаптивного смещения подает флаг сохранения, установленный в "1", инде