Устройство и способ обработки изображений

Устройство и способ обработки изображений

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее раскрываемое изобретение относится к устройству и способу обработки изображений, а более конкретно к устройству и способу обработки изображений, сконфигурированным таким образом, чтобы сделать возможным повышение эффективности кодирования при кодировании или декодировании вектора движения (MV вектора) на изображении с множественными видами.

В последнее время, в целях высокоэффективной передачи и накопления информации при цифровой обработке информации изображения, широкое распространение получили устройства для "сжатия" и кодирования изображения, в которых принята схема кодирования с цифровой обработкой информации изображения и выполнением "сжатия" посредством ортогонального преобразования, такого как дискретное косинусное преобразование, и компенсации движения с использованием избыточности, специфической для информации изображения. Примерами таких схем кодирования является стандарт Н.264, MPEG-4 (Экспертной группы по вопросам движущегося изображения (MPEG)) Часть 10 (Advanced Video Coding (Усовершенствованное кодирование видеоданных)) (в дальнейшем именуемый как H.264/AVC) и ему подобные.

В результате этого, в целях повышения эффективности кодирования по сравнению со стандартом H.264/AVC, в настоящее время группой Joint Collaborative Team on Video Coding (JCTVC) (Совместной объединенной группой по кодированию видеоданных), которая является совместной организацией Сектора стандартизации в области телекоммуникаций Международного союза по телекоммуникациям (International Telecommunication Union Telecommunication Standardization Sector (ITU-T)) и Международной организации по стандартизации (International Organization for Standardization (ISO))/Международной электротехнической комиссии (International Electrotechnical Commission (IEC)) ведутся работы по стандартизации схемы кодирования, именуемой как высокоэффективное кодирование видеоданных (HEVC-кодирование).

В имеющемся на текущий момент времени проекте HEVC-кодирования исследуются схемы для повышения производительности кодирования неосновного вида посредством изменения уровня элемента кодирования (CU-элемента) как трехмерного (3D) расширения (непатентный документ 1).

В качестве одного инструмента для такого рода схемы имеется Предсказание движения, осуществляемое между видами (IVMP-предсказание), при котором в качестве кандидатов для предсказанного вектора неосновного вида служат закодированные векторы других видов.

Список упоминаемых документов

Непатентный документ

Непатентный документ 1: Gerhard Tech, Krzysztof Wegner, Ying Chen, Sehoon Yea, "3D-HEVC Test Model Description draft 1" (Герхард Тек, Кржижтоф Вегнер, Йинг Чен, Сехун Йеа "Проект 1 описания тестовой модели 3D-HEVC (Высокоэффективного кодирования для трехмерных видеоданных)"), JCT3V-A1005_d0, Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 1th Meeting (1-ое заседание Совместной объединенной группы по разработке расширения для кодирования трехмерных видеоданных, созданной Сектором стандартизации в области телекоммуникаций Международного союза по телекоммуникациям (исследовательской группой 16, WP 3) и Международной организацией по стандартизации/Международной электротехнической комиссией (Объединенным техническим комитетом 1/Подкомитетом 29/Рабочей группой 11)): Стокгольм, Швеция, 16-20 Июля 2012 г.

Раскрытие изобретения

Техническая задача

Однако в IVMP-предсказании имеется возможность задавать вектор движения некоторого опорного элемента предсказания (PU-элемента) в качестве кандидата для предсказанного вектора текущего элемента предсказания только тогда, когда порядковый номер отсчета видеокадров (РОС-номер) опорного изображения для вектора движения текущего элемента предсказания является одинаковым с РОС-номером опорного изображения для вектора движения опорного элемента предсказания на виде, отличном от текущего вида.

Настоящее раскрываемое изобретение было сделано ввиду вышеизложенных обстоятельств и позволяет повысить эффективность кодирования при кодировании или декодировании вектора движения на неосновном виде.

Решение задачи

Устройство обработки изображений, соответствующее первому аспекту настоящего раскрываемого изобретения, включает в себя секцию генерирования предсказанного вектора, сконфигурированную таким образом, чтобы генерировать предсказанный вектор для использования при кодировании вектора движения (MV) текущего блока, масштабируя вектор движения опорного блока, который представляет собой блок в положении, сдвинутом от положения текущего блока на изображении, относящемся к другому виду, на некоторую "разницу", полученную от периферии текущего блока на изображении неосновного вида, в соответствии с пунктом назначения ссылки для текущего блока и пунктом назначения ссылки для опорного блока, секцию кодирования вектора движения, сконфигурированную таким образом, чтобы кодировать вектор движения текущего блока, используя предсказанный вектор, сгенерированный секцией генерирования предсказанного вектора, и секцию кодирования, сконфигурированную таким образом, чтобы генерировать закодированный поток данных, кодируя изображение в элементах, имеющих иерархическую структуру.

Секция генерирования предсказанного вектора может генерировать предсказанный вектор, масштабируя вектор движения опорного блока в соответствии с порядковым номером отсчета видеокадров (РОС-номером) опорного изображения для текущего блока и РОС-номером опорного изображения для опорного блока и используя отмасштабированный вектор движения в качестве кандидата для предсказанного вектора.

В состав устройства может быть дополнительно включена передающая секция, сконфигурированная таким образом, чтобы передавать вектор движения текущего блока, закодированный секцией кодирования вектора движения, и закодированный поток данных, сгенерированный секцией кодирования.

Первый способ обработки изображений, соответствующий настоящему раскрываемому изобретению, включает в себя этапы, на которых: генерируют, посредством устройства обработки изображений, предсказанный вектор для использования при кодировании вектора движения текущего блока, масштабируя вектор движения опорного блока, который представляет собой блок в положении, сдвинутом от положения текущего блока на изображении, относящемся к другому виду, на некоторую "разницу", полученную от периферии текущего блока на изображении неосновного вида, в соответствии с пунктом назначения ссылки для текущего блока и пунктом назначения ссылки для опорного блока, кодируют, посредством устройства обработки изображений, вектор движения текущего блока, используя сгенерированный предсказанный вектор, и генерируют, посредством устройства обработки изображений, закодированный поток данных, кодируя изображение в элементах, имеющих иерархическую структуру.

Второе устройство обработки изображений, соответствующее настоящему раскрываемому изобретению, включает в себя: секцию генерирования предсказанного вектора, сконфигурированную таким образом, чтобы генерировать предсказанный вектор для использования при кодировании вектора движения текущего блока, масштабируя вектор движения опорного блока, который представляет собой блок в положении, сдвинутом от положения текущего блока на изображении, относящемся к другому виду, на некоторую "разницу", полученную от периферии текущего блока на изображении неосновного вида, в соответствии с пунктом назначения ссылки для текущего блока и пунктом назначения ссылки для опорного блока, секцию декодирования вектора движения, сконфигурированную таким образом, чтобы декодировать вектор движения текущего блока, используя предсказанный вектор, сгенерированный секцией генерирования предсказанного вектора, и секцию декодирования, сконфигурированную таким образом, чтобы генерировать изображение, декодируя закодированный поток данных, закодированный в элементах, имеющих иерархическую структуру.

Секция генерирования предсказанного вектора может генерировать предсказанный вектор, масштабируя вектор движения опорного блока в соответствии с РОС-номером опорного изображения для текущего блока и РОС-номером опорного изображения для опорного блока и используя отмасштабированный вектор движения в качестве кандидата для предсказанного вектора.

В состав устройства может быть дополнительно включена принимающая секция, сконфигурированная таким образом, чтобы принимать закодированный поток данных и закодированный вектор движения текущего блока.

Способ обработки изображений, соответствующий второму аспекту настоящего раскрываемого изобретения, включает в себя этапы, на которых: генерируют, посредством устройства обработки изображений, предсказанный вектор для использования при кодировании вектора движения текущего блока, масштабируя вектор движения опорного блока, который представляет собой блок в положении, сдвинутом от положения текущего блока на изображении, относящемся к другому виду, на некоторую "разницу", полученную от периферии текущего блока на изображении неосновного вида, в соответствии с пунктом назначения ссылки для текущего блока и пунктом назначения ссылки для опорного блока, декодируют, посредством устройства обработки изображений, вектор движения текущего блока, используя сгенерированный предсказанный вектор, и генерируют, посредством устройства обработки изображений, изображение, декодируя закодированный поток данных, закодированный в элементах, имеющих иерархическую структуру.

В первом аспекте настоящего раскрываемого изобретения предсказанный вектор для использования при кодировании вектора движения текущего блока генерируют, масштабируя вектор движения опорного блока, который представляет собой блок в положении, сдвинутом от положения текущего блока на изображении, относящемся к другому виду, на некоторую "разницу", полученную от периферии текущего блока на изображении неосновного вида, в соответствии с пунктом назначения ссылки для текущего блока и пунктом назначения ссылки для опорного блока. В результате этого, кодируют вектор движения текущего блока, используя сгенерированный предсказанный вектор, и генерируют закодированный поток данных, кодируя изображение в элементах, имеющих иерархическую структуру.

Во втором аспекте настоящего раскрываемого изобретения предсказанный вектор генерируют для использования при кодировании вектора движения текущего блока, масштабируя вектор движения опорного блока, который представляет собой блок в положении, сдвинутом от положения текущего блока на изображении, относящемся к другому виду, на некоторую "разницу", полученную от периферии текущего блока на изображении неосновного вида, в соответствии с пунктом назначения ссылки для текущего блока и пунктом назначения ссылки для опорного блока.

Кроме того, вышеописанное устройство обработки изображений может представлять собой независимое устройство или внутренний блок, составляющий одно устройство кодирования изображений или устройство декодирования изображений.

Полезные результаты изобретения

В соответствии с первым аспектом настоящего раскрываемого изобретения имеется возможность кодировать изображение. В частности, имеется возможность повысить эффективность кодирования при кодировании или декодировании вектора движения на изображении с множественными видами.

В соответствии со вторым аспектом настоящего раскрываемого изобретения имеется возможность декодировать изображение. В частности, имеется возможность повысить эффективность кодирования при кодировании или декодировании вектора движения на изображении с множественными видами.

Краткое описание чертежей

Фиг. 1 представляет собой схему, на которой в качестве традиционной технологии проиллюстрировано IVMP-предсказание (Предсказание движения, осуществляемое между видами).

Фиг. 2 представляет собой схему, на которой в качестве традиционной технологии проиллюстрировано IVMP-предсказание.

Фиг. 3 представляет собой схему, на которой проиллюстрирован набросок настоящей технологии.

Фиг. 4 представляет собой структурную схему, на которой проиллюстрирован пример основной конфигурации кодера, составляющего устройство кодирования изображений с множественными видами, в котором применена настоящая технология.

Фиг. 5 представляет собой структурную схему, на которой проиллюстрирован пример конфигурации секции предсказания/компенсации движения.

Фиг. 6 представляет собой структурную схему, на которой проиллюстрирован пример конфигурации секции предсказания вектора в режиме усовершенствованного предсказания вектора движения (AMVP-предсказания).

Фиг. 7 представляет собой структурную схему, на которой проиллюстрирован пример конфигурации секции генерирования предсказанного вектора.

Фиг. 8 представляет собой блок-схему алгоритма, на которой проиллюстрирован пример последовательности операций процесса кодирования.

Фиг. 9 представляет собой блок-схему алгоритма, на которой проиллюстрирован процесс предсказания/компенсации движения.

Фиг. 10 представляет собой блок-схему алгоритма, на которой проиллюстрирован процесс предсказания вектора в режиме AMVP-предсказания.

Фиг. 11 представляет собой блок-схему алгоритма, на которой проиллюстрирован процесс генерирования непространственно предсказанного вектора.

Фиг. 12 представляет собой блок-схему алгоритма, на которой проиллюстрирован процесс генерирования предсказанного вектора L0.

Фиг. 13 представляет собой блок-схему алгоритма, на которой проиллюстрирован процесс генерирования предсказанного вектора L1.

Фиг. 14 представляет собой структурную схему, на которой проиллюстрирован пример основной конфигурации декодера, составляющего устройство декодирования изображений с множественными видами, в котором применена настоящая технология.

Фиг. 15 представляет собой структурную схему, на которой проиллюстрирован пример конфигурации секции компенсации движения.

Фиг. 16 представляет собой структурную схему, на которой проиллюстрирован пример конфигурации секции предсказания вектора в режиме AMVP-предсказания.

Фиг. 17 представляет собой структурную схему, на которой проиллюстрирован пример конфигурации секции генерирования предсказанного вектора.

Фиг. 18 представляет собой блок-схему алгоритма, на которой проиллюстрирован пример последовательности операций процесса декодирования.

Фиг. 19 представляет собой блок-схему алгоритма, на которой проиллюстрирован процесс компенсации движения.

Фиг. 20 представляет собой блок-схему алгоритма, на которой проиллюстрирован процесс предсказания вектора в режиме AMVP-предсказания.

Фиг. 21 представляет собой блок-схему алгоритма, на которой проиллюстрирован процесс генерирования непространственно предсказанного вектора.

Фиг. 22 представляет собой структурную схему, на которой проиллюстрирован пример основной конфигурации компьютера.

Фиг. 23 представляет собой структурную схему, на которой проиллюстрирован пример схематической конфигурации телевизионного устройства.

Фиг. 24 представляет собой структурную схему, на которой проиллюстрирован пример схематической конфигурации мобильного телефона.

Фиг. 25 представляет собой структурную схему, на которой проиллюстрирован пример схематической конфигурации устройства записи/воспроизведения.

Фиг. 26 представляет собой структурную схему, на которой проиллюстрирован пример схематической конфигурации устройства ввода изображения.

Фиг. 27 представляет собой структурную схему, на которой проиллюстрирован пример использования масштабируемого кодирования видеоинформации.

Фиг. 28 представляет собой структурную схему, на которой проиллюстрирован другой пример использования масштабируемого кодирования видеоинформации.

Фиг. 29 представляет собой структурную схему, на которой проиллюстрирован еще один другой пример использования масштабируемого кодирования видеоинформации.

Фиг. 30 представляет собой структурную схему, на которой проиллюстрирован пример схематической конфигурации видеокомплекта.

Фиг. 31 представляет собой структурную схему, на которой проиллюстрирован пример схематической конфигурации видеопроцессора.

Фиг. 32 представляет собой структурную схему, на которой проиллюстрирован другой пример схематической конфигурации видеопроцессора.

Фиг. 33 представляет собой пояснительную схему, на которой проиллюстрирована конфигурация системы воспроизведения контента.

Фиг. 34 представляет собой пояснительную схему, на которой проиллюстрирован поток данных в системе воспроизведения контента.

Фиг. 35 представляет собой пояснительную схему, на которой проиллюстрирован конкретный пример описания представления мультимедиа (MPD-описания).

Фиг. 36 представляет собой функциональную структурную схему, на которой проиллюстрирована конфигурация сервера контента, который (сервер) относится к системе воспроизведения контента.

Фиг. 37 представляет собой функциональную структурную схему, на которой проиллюстрирована конфигурация устройства воспроизведения контента, которое (устройство) относится к системе воспроизведения контента.

Фиг. 38 представляет собой функциональную структурную схему, на которой проиллюстрирована конфигурация сервера контента, который (сервер) относится к системе воспроизведения контента.

Фиг. 39 представляет собой блок-схему последовательности операций, на которой проиллюстрирован пример процесса обмена информацией, осуществляемого каждым устройством системы беспроводной связи.

Фиг. 40 представляет собой блок-схему последовательности операций, на которой проиллюстрирован пример процесса обмена информацией, осуществляемого каждым устройством системы беспроводной связи.

Фиг. 41 представляет собой схему, на которой схематично проиллюстрирован пример конфигурации формата кадра данных, подлежащего передаче и приему в ходе процесса обмена информацией каждым устройством системы беспроводной связи.

Фиг. 42 представляет собой блок-схему последовательности операций, на которой проиллюстрирован пример процесса обмена информацией, осуществляемого каждым устройством системы беспроводной связи.

Осуществление изобретения

Далее будут описаны способы (именуемые в дальнейшем как варианты реализации изобретения) для осуществления настоящего раскрываемого изобретения. Кроме того, описание будет даваться в нижеследующем порядке.

1. Краткие обзоры традиционной технологии и данной технологии

2. Первый вариант реализации изобретения (устройство кодирования изображений с множественными видами),

3. Второй вариант реализации изобретения (устройство декодирования изображений с множественными видами),

4. Третий вариант реализации изобретения (компьютер)

5. Пример применения

6. Пример применения масштабируемого кодирования

7. Шестой вариант реализации изобретения (комплект/звено/модуль/процессор)

8. Пример применения системы воспроизведения контента по стандарту MPEG (Экспертной группы по вопросам движущегося изображения) «Динамическая адаптивная потоковая передача данных по Протоколу передачи гипертекста (HTTP-протоколу)» (DASH)

9. Пример применения системы беспроводной связи стандарта Wi-Fi (беспроводного доступа с высоким качеством передачи данных)

1. Краткие обзоры традиционной технологии и данной технологии

Описание традиционной технологии

В качестве одной схемы повышения производительности кодирования неосновного вида существует IVMP-предсказание (Предсказание движения, осуществляемое между видами), в котором кандидатом для предсказанного вектора этого неосновного вида служит закодированный вектор другого вида.

IVMP-предсказание будет описано со ссылкой на Фиг. 1. В примере, показанном на Фиг. 1, вертикальная ось представляет вид, вид (V0) представляет некоторый основной вид, а вид (VI) представляет некоторый неосновной вид. Горизонтальная ось представляет моменты времени: с Т1 по Т4.

Основной вид (V0) уже закодирован. Тогда, выполняются предсказание и компенсация движения текущего элемента предсказания (Curr PU) изображения в момент (Т3) времени на неосновном виде (V1), и получаются векторы движения в направлениях L0 и L1. При этом, РОС-номер изображения на момент (Т1) времени для того же самого вида (V1) представляет собой Ref 1 (Ref РОС=1), РОС-номер изображения на момент (Т2) времени представляет собой Ref 0 (Ref РОС=0), и РОС-номер изображения на момент (Т4) времени представляет собой Ref 0 (Ref РОС=0).

Вектор движения для направления L0 полученного текущего элемента предсказания указывает изображение с Ref 0 (Ref РОС=0), относящееся к моменту (Т2) времени, а вектор движения для направления L1 указывает изображение с Ref 0 (Ref РОС=0), относящееся к моменту (Т4) времени.

В IVMP-предсказании имеется возможность, в качестве кандидата для предсказанного вектора, получаемого во время кодирования, добавить вектор движения текущего элемента предсказания к вектору движения, закодированному на основном виде, в дополнение к вектору движения, служащему в качестве кандидата в традиционном AMVP-предсказании.

Таким образом, поскольку имеется корреляция в движении на основном виде (V0) и неосновном виде (V1), каждый из векторов (MV_L0 и MV_L1) движения опорного элемента предсказания (Cor PU (Корреспондирующего элемента предсказания)) на основном виде (V0), относящемся к тому же самому моменту времени, может служить для текущего элемента предсказания на неосновном виде (V1) в качестве одного кандидата для предсказанного вектора. При этом, опорный элемент предсказания на основном виде (V0) относится к элементу предсказания в положении, сдвинутом на некоторый вектор разницы от положения, одинакового с положением элемента предсказания на изображении неосновного вида, после того, как этот вектор разницы найден из векторов движения элементов предсказания, расположенных вокруг текущего элемента предсказания (то есть соседних элементов предсказания, которые соседствуют с текущим элементом предсказания).

Однако, как проиллюстрировано на Фиг. 1, это имеет место только в случае, при котором моменты (Т2 и Т4) времени изображения, в которые осуществляется ссылка на векторы (MV_L0 и MV_L1) движения опорного элемента предсказания на основном виде (V0), являются теми же самыми, что и моменты (Т2 и Т4) времени изображения, в которые осуществляется ссылка на вектор движения текущего элемента предсказания на неосновном виде (V1).

Таким образом, имеется возможность назначить вектор движения опорного элемента предсказания в качестве кандидата для предсказанного вектора движения текущего элемента предсказания только в том случае, когда Ref РОС (Ref 0) для текущего элемента предсказания является одинаковым с Ref РОС (Ref 0) для опорного элемента предсказания.

Соответственно, как проиллюстрировано на Фиг. 2, принимается во внимание случай, при котором каждый из ReFIdx L0 (Индекса опорного видеокадра в направлении L0) и ReFIdx L1 (Индекса опорного видеокадра в направлении L1) векторов (MV_L0 и MV_L1) движения опорного элемента предсказания для момента (Т3) времени на основном виде (V0) представляет собой 0.

В этом случае, когда ReFIdx L0 для вектора движения текущего элемента предсказания для момента (Т3) времени на неосновном виде (V1) представляет собой 1, а ReFIdx L1 представляет собой 0, Ref РОС предсказанного вектора PMV L1 (предсказанного вектора движения для направления L1) текущего элемента предсказания является тем же самым, что и Ref РОС вектора (MV_L1) движения опорного элемента предсказания. Следовательно, вектор (MV_L1) движения опорного элемента предсказания для момента (Т3) времени на основном виде (V0) может быть использован в качестве кандидата для предсказанного вектора текущего элемента предсказания.

Однако, поскольку Ref РОС для предсказанного вектора PMV L0 текущего элемента предсказания отличается от Ref РОС для вектора (MV_L0) движения опорного элемента предсказания, то вектор (MV_L0) движения опорного элемента предсказания является непригодным ("ложь") и вектор (MV_L0) движения опорного элемента предсказания не назначается в качестве предсказанного вектора. Таким образом, имеется корреляция между видом и неосновным видом, как это описано выше, но эффективность кодирования снижена, потому что трудно сгенерировать предсказанный вектор, имеющий высокую корреляцию.

Поэтому, в данной технологии, в том случае, когда Ref РОС (Ref 0) для текущего элемента предсказания отличается от Ref РОС (Ref 0) для опорного элемента предсказания на другом виде, осуществляется масштабирование вектора движения опорного элемента предсказания, и в качестве кандидата для предсказанного вектора текущего элемента предсказания служит этот масштабированный вектор движения.

Например, в примере, показанном на Фиг. 3, как и в примере, показанном на Фиг. 2, Ref РОС для предсказанного вектора PMV L0 текущего элемента предсказания отличается от Ref РОС для вектора (MV_L0) движения опорного элемента предсказания. Следовательно, в данной технологии, вектор (MV_L0) движения опорного элемента предсказания масштабируется в соответствии с пунктами назначения ссылки для текущего элемента предсказания и опорного элемента предсказания. Таким образом, вектор (MV_L0) движения опорного элемента предсказания масштабируется в соответствии с расстоянием между номерами Ref РОС текущего элемента предсказания и опорного элемента предсказания, и этот вычисленный вектор (MV_L0) движения, используется в качестве кандидата для предсказанного вектора текущего элемента предсказания.

Благодаря этому, имеется возможность повысить эффективность кодирования вектора движения, поскольку может быть сгенерирован предсказанный вектор, имеющий высокую корреляцию.

Таким образом, поскольку характеристики камеры немного отличаются на различных видах, то видеокадры, на которые должна осуществляться ссылка, могут быть различными даже для векторов движения одного и того же объекта. В этом случае, имеется значительный эффект в части повышения эффективности кодирования, потому что векторы движения, имеющие высокую корреляцию, можно отмасштабировать и использовать, не превращая эти векторы движения в непригодные.

2. Первый вариант реализации изобретения

Пример конфигурации устройства кодирования изображений с множественными видами

На Фиг. 4 проиллюстрирована конфигурация одного варианта реализации кодера, составляющего устройство кодирования изображений с множественными видами, в котором применено настоящее раскрываемое изобретение.

Устройство кодирования изображений с множественными видами включает в себя, например, кодеры: с 11-1 по 11-М, для кодирования изображений с множественными видами.

Кодер (11-1) кодирует изображение, такое как вводимое изображение с множественными видами, по схеме HEVC-кодирования (Высокоэффективного кодирования видеоданных). Например, в кодер (11-1) вводится, в качестве входного изображения, некоторое цветное изображение неосновного вида кадрового элемента, и кодер (11-1) кодирует это цветное изображение неосновного вида.

Например, кодеры (11-М) и (11-N) для кодирования цветных изображений других видов (включающих в себя основной вид) кадровых элементов также сконфигурированы подобно кодеру (11-1). В дополнение к этому, в случае, когда имеется также кодер для кодирования изображения с информацией о насыщенности цвета так же как и цветного изображения, этот кодер сконфигурирован подобно кодеру (11-1).

Кодер (11-1) сконфигурирован таким образом, чтобы включать в себя секцию (21) аналого-цифрового преобразования, буфер (22) переупорядочивания видеокадров, вычислительную секцию (23), секцию (24) ортогонального преобразования, секцию (25) квантования, секцию (26) кодирования без потерь, накопительный буфер (27), секцию (28) процесса, обратного квантованию, секцию (29) обратного ортогонального преобразования и вычислительную секцию. Кроме того, кодер (11-1) сконфигурирован таким образом, чтобы включать в себя внутрицикловой фильтр (31), буфер (32-1) декодированных видеокадров (DPB-буфер), секцию (33) предсказания, осуществляемого внутри видеокадра, секцию (34) предсказания/компенсации движения, секцию (35) выбора предсказанного изображения, и память (36-1) векторов движения.

Видеокадр цветного изображения неосновного вида, которое представляет собой изображение (движущееся изображение), подлежащее кодированию, последовательно предоставляется секции (21) аналого-цифрового преобразования в порядке отображения.

В случае, когда изображение, предоставляемое секции (21) аналого-цифрового преобразования, представляет собой аналоговый сигнал, секция (22) аналого-цифрового преобразования преобразует аналоговый сигнал в соответствии с аналого-цифровым преобразованием и предоставляет преобразованный аналоговый сигнал буферу (112) переупорядочивания видеокадров.

Например, данные о порядке кодирования предоставляются буферу (22) переупорядочивания видеокадров, в качестве информации о кодировании, из секции синтаксического кодирования, относящейся к предшествующей стадии, (не проиллюстрированной на чертеже) или аналогичной ей. Буфер (22) переупорядочивания видеокадров временно хранит видеокадр, полученный из секции (21) аналого-цифрового преобразования и считывает видеокадр в соответствии со структурой группы видеокадров (GOP-группы), указанной в поступившем порядке кодирования, так что выполняется процесс переупорядочения последовательности видеокадров от порядка отображения в порядок кодирования (порядок декодирования).

Видеокадр, считанный из буфера (22) переупорядочивания видеокадров, предоставляется вычислительной секции (23), секции (33) предсказания, осуществляемого внутри видеокадра, и секции (34) предсказания/компенсации движения.

В дополнение к предоставлению изображения из буфера (22) переупорядочивания видеокадров, вычислительной секции (23) предоставляется, из секции (35) выбора предсказанного изображения, предсказанное изображение, сгенерированное секцией (33) предсказания, осуществляемого внутри видеокадра, или секцией (34) предсказания/компенсации движения.

Вычислительная секция (23) назначает видеокадр, считанный из буфера (22) переупорядочивания видеокадров, в качестве видеокадра-объекта обработки, который представляет собой видеокадр, подлежащий кодированию, и вслед за этим назначает макроблок (наибольший элемент кодирования (LCU-элемент)), образующий этот видеокадр-объект обработки, в качестве блока-объекта обработки, подлежащего кодированию.

После этого, вычислительная секция (23) выполняет кодирование с предсказанием после вычисления значения разности посредством вычитания пиксельного значения предсказанного изображения, предоставляемого из секции (35) выбора предсказанного изображения, из пиксельного значения блока-объекта обработки, если это необходимо, и предоставляет результат кодирования с предсказанием в секцию (24) ортогонального преобразования.

Секция (24) ортогонального преобразования выполняет ортогональное преобразование, такое как дискретное косинусное преобразование или преобразования Карунена-Лоэва (Karhunen-Loeve), используя в качестве элемента элемент преобразования (TU-элемент), над блоком-объектом обработки, поступившим из вычислительной секции (23), (разностью, полученной посредством вычитания предсказанного изображения или пиксельного значения этого блока), и предоставляет полученный в результате этого коэффициент преобразования в секцию (115) квантования.

Секция (25) квантования осуществляет квантование коэффициента преобразования, предоставленного из секции (24) ортогонального преобразования, и предоставляет полученное в результате этого значение квантования в секцию (26) кодирования без потерь.

Секция (26) кодирования без потерь выполняет над значением квантования, поступившим из секции (25) квантования, кодирование без потерь, такое как кодирование с переменной длиной кодового слова (например, Контекстно зависимое адаптивное кодирование с переменной длиной кодового слова (CAVLC-кодирование) или тому подобное) или арифметическое кодирование (например, Контекстно зависимое адаптивное бинарное арифметическое кодирование (САВАС-кодирование) или тому подобное), и предоставляет полученные в результате этого закодированные данные в накопительный буфер (27).

Кроме того, в дополнение к предоставлению значения квантования из секции (25) квантования, в секцию (26) кодирования без потерь предоставляется информация заголовка, входящая в состав заголовка закодированных данных из секции (33) предсказания, осуществляемого внутри видеокадра, или секции (34) предсказания/компенсации движения.

Секция (26) кодирования без потерь кодирует информацию заголовка, поступившую из секции (33) предсказания, осуществляемого внутри видеокадра, или секции (34) предсказания/компенсации движения, и включает закодированную информацию заголовка в заголовок закодированных данных.

Накопительный буфер (27) временно хранит закодированные данные, поступившие из секции (26) кодирования без потерь, и выводит эти хранящиеся закодированные данные с некоторой предварительно заданной скоростью передачи данных. Кроме того, накопительный буфер (27) функционирует в качестве передающей секции.

Закодированные данные, выводимые из накопительного буфера (27), мультиплексируются с закодированными данными другого вида, закодированного другим кодером (11-М) или ему подобным, и мультиплексированные закодированные данные передаются на устройство декодирования изображений с множественными видами, как это будет описано позже.

Значение квантования, полученное секцией (25) квантования, предоставляется секции (28) процесса, обратного квантованию, так же как и секции (26) кодирования без потерь, и в секции (28) процесса, обратного квантованию, секции (29) обратного ортогонального преобразования и вычислительной секции (30) выполняется локальное декодирование.

Таким образом, секция (28) процесса, обратного квантованию, осуществляет процесс, обратный квантованию, над значением квантования, поступившим из секции (25) квантования, получая коэффициент преобразования, и предоставляет коэффициент преобразования в секцию (29) обратного ортогонального преобразования.

Секция (29) обратного ортогонального преобразования выполняет обратное ортогональное преобразование над коэффициентом преобразования, поступившим из секции (28) процесса, обратного квантованию, и предоставляет преобразованный коэффициент преобразования в вычислительную секцию (30).

Вычислительная секция (30) получает декодированное изображение, в котором блок-объект обработки декодирован (локально декодирован) посредством суммирования пиксельного значения предсказанного изображения, предоставляемого из секции (35) выбора предсказанного изображения, с данными, предоставляемыми из секции (29) обратного ортогонального преобразования, если это необходимо, и предоставляет полученное декодированное изображение внутрицикловому фильтру (31).

Внутрицикловой фильтр (31) составлен, например, из фильтра устранения блочности. Кроме того, например, в случае, когда принята схема HEVC (Высокоэффективного кодирования видеоданных), внутрицикловой фильтр (31) составлен из фильтра устранения блочности и фильтра адаптивного смещения (адаптивного смещения выборки (SAO-смещения)). Внутрицикловой фильтр (31) удаляет (уменьшает) искажение блочности (видимую блочность структуры видеоизображения), имеющее место на декодированном изображении, фильтруя декодированное изображение, поступающее из вычислительной секции (30), и предоставляет декодированное изображение после удаления (уменьшения) этого искажения в DPB-буфер (32-1) (буфер декодированных видеокадров). Кроме того, внутрицикловой фильтр (31) предоставляет декодированное изображение, которое еще не было отфильтровано, секции (33) предсказания, осуществляемого внутри видеокадра.

Здесь, DPB-буфер (32-1) хранит декодированное изображение, поступающее из внутрициклового фильтра (31), то есть видеокадр цветного изображения неосновного вида, закодированного в кодере (11-1) и локально декодированного, в качестве (кандидата для) опорного видеокадра, на который должна осуществляться ссылка при генерировании предсказанного