Устройство обработки изображения и способ обработки изображения

Устройство обработки изображения и способ обработки изображения

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству обработки изображения и способу обработки изображения.

Уровень техники

Технология сжатия данных, такая как стандарт Н.26х (ITU-T Q6/16VCEG) и стандарт MPEG (Алгоритм сжатия подвижного изображения, разработанного этой группой), обеспечивает сжатие данных изображения, используя избыточность, являющуюся специфичной для изображения, которая широко использовалась для осуществления эффективной передачи или накопления цифровых изображений. В Объединенной Модели Усовершенствованного Сжатия Видеокодирования, как части функции MPEG4, были изложены международные стандарты, называемые Н.264 и MPEG-4 Part 10 (Усовершенствованное Видеокодирование; AVC), способные реализовать более высокую степень сжатия за счет включения новых функций на основании стандарта Н. 26х.

Одной важной технологией в данных способах кодирования изображения является межкадровое предсказание. В межкадровом предсказании контент изображения, подлежащий кодированию, предсказывается посредством использования опорного изображения, и только разница между предсказанным изображением и фактическим изображением кодируется. Реализуется сжатие размера кода. Когда объект осуществляет существенное перемещение в последовательности изображений, однако, различие между предсказанным изображением и фактическим изображением увеличивается, и высокая степень сжатия не может быть достигнута путем простого межкадрового предсказания. Таким образом, сделана попытка уменьшить ошибку предсказания в межкадровом предсказании посредством распознавания перемещения объекта как вектор движения, и компенсируя значение пикселя в области, где перемещение появляется в соответствии с вектором движения. Такая технология называется компенсацией движения.

HEVC (высокоэффективное видеокодирование), находящийся сейчас в процессе стандартизации, рассматривается в качестве способа кодирования изображения следующего поколения, идущим на смену H.264/AVC, каждая ячейка (CU) кодирования изображении дополнительно делится на один или несколько блоков (PU) предсказания, и вектор движения может быть установлен на каждый блок предсказания. Размер и форма блока предсказания в HEVC более варьированы, чем блок в H.264/AVC, и движение объекта может быть отражено при компенсации движения более правильно (см. непатентный документ 1 ниже). Непатентный документ 2, указанный ниже, предлагает технологию, которая предсказывает вектор движения с использованием пространственной корреляции или временной корреляции движения и кодирует только различие между предсказанным вектором движения и фактическим вектором движения для уменьшения объема кода вектора движения. Непатентный документ 3, указанный ниже, предлагает сократить объем кода данных о перемещении путем объединения блоков, имеющих общие данные о перемещении соседних блоков в изображении.

Другой важной технологией в вышеупомянутом способе кодирования изображения является масштабируемое кодирование видео (SVC). Масштабируемое кодирование видео представляет собой технологию, которая кодирует в иерархическом порядке уровень иерархической структуры, передающий сигнал нечеткого изображения и уровень, передающий сигнал изображения высокого разрешения. Типичные атрибуты, расположенные в иерархическом порядке, при реализации технологии масштабируемого кодирования видео, в основном, включают в себя следующие три:

- пространственную масштабируемость: пространственное разрешение или размеры изображений, расположенные в иерархическом порядке;

- временную масштабируемость: частота кадров расположена иерархически;

- SNR (отношение сигнал/шум) масштабируемость: отношения сигнал/шум расположены в иерархическом порядке.

Дополнительно, хотя еще и не принято в стандарте, масштабируемость битовой глубины и масштабируемость цветового формата также обсуждаются.

Перечень ссылок

Непатентная литература

Непатентная литература 1: JCTVC - В205, “Test Model under Consideration”, Joint Collaborative Team on Video Coding Meeting: Geneva, CH, 21-28 июля 2010 года.

Непатентная литература 2: VCEG - AI22 “Motion Vector Coding with Optimal PMV Selection”, Jungyoup Yang et al, июль 2008 года.

Непатентная Литература 3: JCTVC - А116, «Video Coding Technology Proposal by Fraunhofer HHI», M. Winken et al, апрель, 2010.

Раскрытие изобретения

Техническая задача

Способ, предложенный в непатентной литературе 2, и способ, предложенный в непатентной литературе 3, описанные выше, не предполагают масштабируемого кодирования видео. При применении таких существующих способов к каждому уровню изображения, подлежащего масштабируемому кодированию с видео, объем кода может быть уменьшен до некоторой степени. Однако в зависимости от типа масштабируемого кодирования видео корреляция движения между уровнями заметна. Таким образом, было бы полезно повысить эффективность кодирования, оптимизируя такую корреляцию движения между уровнями.

Задачей технологии в соответствии с настоящим изобретением, является повышение эффективности кодирования путем использования корреляции движения между уровнями изображения, подлежащего масштабируемому кодированию видео.

Решение задачи

Согласно настоящему изобретению, предусмотрено устройство обработки изображения, включающее в себя модуль получения информации, который получает установочную информацию для установки вектора движения во второй блок предсказания на втором уровне, соответствующих первому блоку предсказания первого уровня масштабируемого декодирования видеоизображения, содержащего первый уровень и второй уровень, являющийся более высоким, чем первый уровень, при этом установочная информация связана с вектором движения, установленным в первый блок предсказания, и модуль установки вектора движения, который устанавливает вектор движения во второй блок предсказания с использованием установочной информации, полученной модулем получения информации.

Устройство обработки изображения, упомянутое выше, может быть обычно реализовано как устройство декодирования изображения, которое декодирует изображение.

В соответствии с настоящим изобретением предложен способ обработки изображения, включающий в себя получение установочной информации для установки вектора движения во второй блок предсказания на втором уровне, соответствующем первому блоку предсказания на первом уровне масштабируемого декодирования видеоизображения, содержащего первый уровень и второй уровень, являющийся более высоким, чем первый уровень, причем установочная информация связана с вектором движения, установленного в первый блок предсказания, и установку вектора движения второго блока предсказания с использованием полученной установочной информации.

Согласно настоящему изобретению, предусмотрено устройство обработки изображения, включающее в себя модуль генерирования информации, который генерирует установочную информацию для установки вектора движения во второй блок предсказания на втором уровне, соответствующем первому блоку предсказания на первом уровне масштабируемого декодирования видеоизображения, содержащего первый уровень и второй уровень, являющийся более высоким, чем первый уровень, причем установочная информация связана с вектором движения, установленным в первый блок предсказания, и модуль кодирования, который кодирует установочную информацию, генерируемую секцией генерации информации.

Устройство обработки изображения, упомянутое выше, может быть обычно реализовано как устройство кодирования изображения, которое кодирует изображение.

В соответствии с настоящим изобретением, предложен способ обработки изображения, включающий в себя генерирование установочной информации для установки вектора движения во второй блок предсказания на втором уровне, соответствующем первому блоку предсказания на первом уровне масштабируемого декодирования видеоизображения, содержащего первый уровень и второй уровень, являющийся более высоким, чем первый уровень, причем установочная информация, связанная с вектором движения, установленного в первый блок предсказания, и кодирование сгенерированной установочной информации.

Полезные эффекты изобретения

В соответствии с настоящим изобретением эффективность кодирования дополнительно увеличивается посредством оптимизации корреляции движения между уровнями изображения, которое масштабируемым образом кодируется.

Краткое описание чертежей

Фиг.1 является блок-схемой, показывающей конфигурацию устройства кодирования изображения в соответствии с вариантом осуществления.

Фиг.2 представляет собой пояснительный вид, иллюстрирующий пространственную масштабируемость.

Фиг.3 представляет собой пояснительный вид, иллюстрирующий SNR масштабируемость.

Фиг.4 является блок-схемой, показывающей пример подробной конфигурации секции оценки параметров движения в соответствии с первым примером.

Фиг.5 является первым пояснительный видом, иллюстрирующим пример кандидата предиктора для предсказания вектора движения.

Фиг.6 представляет собой второй пояснительный вид, иллюстрирующий пример кандидата предиктора для предсказания вектора движения.

Фиг.7 является блок-схемой алгоритма, показывающей пример последовательности реализации процесса оценки движения секцией оценки параметров движения в соответствии с первым примером.

Фиг.8 является блок-схемой, показывающей пример подробной конфигурации секции оценки параметров движения, в соответствии со вторым примером.

Фиг.9 является пояснительным видом, иллюстрирующий пример межуровневого предиктора.

Фиг.10 является блок-схемой алгоритма, показывающей пример последовательности реализации процесса оценки движения секцией оценки параметров движения согласно второму примеру.

Фиг.11 является блок-схемой, показывающей пример подробной конфигурации секции оценки параметров движения, в соответствии с третьим примером.

Фиг.12A является пояснительным видом, показывающим первый пример объединения информации.

Фиг.12B является пояснительный видом, показывающим второй пример объединения информации.

Фиг.12C является пояснительный видом, иллюстрирующим третий пример объединения информации.

Фиг.13 является блок-схемой алгоритма, показывающей пример последовательности реализации процесса оценки движения секцией оценки параметров движения, в соответствии с третьим примером.

Фиг.14 является блок-схемой, показывающей пример подробной конфигурации секции оценки параметров движения, в соответствии с четвертым примером.

Фиг.15A является пояснительным видом, показывающим первый пример объединения информации.

Фиг.15B является пояснительным видом, показывающим второй пример объединения информации.

Фиг.15C является пояснительным видом, иллюстрирующим третий пример объединения информации.

Фиг.16 является блок-схемой алгоритма, показывающей пример последовательности осуществления процесса оценки движения секцией оценки параметров движения, в соответствии с четвертым примером.

Фиг.17 является блок-схемой, показывающей пример конфигурации устройства декодирования изображения согласно варианту осуществления.

Фиг.18 является блок-схемой, показывающей пример подробной конфигурации секции компенсации движения в соответствии с первым примером.

Фиг.19 является блок-схемой алгоритма, показывающей пример последовательности реализации процесса компенсации движения секцией компенсации движения в соответствии с первым примером.

Фиг.20 является блок-схемой, показывающей пример подробной конфигурации секции компенсации движения в соответствии со вторым примером.

Фиг.21 является блок-схемой алгоритма, показывающей пример последовательности реализации процесса компенсации движения секцией компенсации движения в соответствии со вторым примером.

Фиг.22 является блок-схемой, показывающей пример подробной конфигурации секции компенсации движения в соответствии с третьим примером.

Фиг.23 является блок-схемой алгоритма, показывающей пример последовательности реализации процесса компенсации движения секцией компенсации движения в соответствии с третьим примером.

Фиг.24 является блок-схемой, показывающей пример подробной конфигурации секции компенсации движения в соответствии с четвертым примером.

Фиг.25 является блок-схемой алгоритма, показывающей пример последовательности реализации процесса компенсации движения секцией компенсации движения в соответствии с четвертым примером.

Фиг.26 является блок-схемой, показывающей пример схематической конфигурации телевизионного приемника.

Фиг.27 является блок-схемой, показывающей пример схематической конфигурации мобильного телефона.

Фиг.28 является блок-схемой, показывающей пример схематической конфигурации устройства записи/воспроизведения.

Фиг.29 является блок-схемой, показывающей пример схематической конфигурации устройства захвата изображения.

Осуществление изобретения

Далее, предпочтительные варианты осуществления настоящего изобретения будут описаны подробно со ссылкой на прилагаемые чертежи. Следует отметить, что в данном описании и чертежах элементы, которые имеют по существу одинаковые функции и структуры, обозначены теми же ссылочными позициями и повторение объяснения опущено.

Описание будет представлено в следующем порядке:

1. Пример конфигурации устройства кодирования изображения

2. Пример подробной конфигурации секции оценки параметров движения

2-1. Первый пример

2-2. Второй пример

2-3. Третий пример

2-4. Четвертый пример

3. Пример конфигурации устройства декодирования изображения

4. Пример подробной конфигурации секции компенсации движения

4-1. Первый пример

4-2. Второй пример

4-3. Третий пример

4-4. Четвертый пример

5. Пример применения

6. Заключение

1. Пример конфигурации устройства кодирования изображения в соответствии с вариантом осуществления

Фиг.1 является блок-схемой, показывающей пример конфигурации устройства 10 кодирования изображения в соответствии с вариантом осуществления. Как показано на фиг.1, устройство 10 для кодирования изображения включает в себя A/D (аналого-цифровую) секцию 11 преобразования, сортировочный буфер 12, секцию 13 вычитания, секцию 14 ортогонального преобразования, секцию 15 квантования, секцию 16 кодирования без потерь, буфер 17 накопления, секцию 18 управления скоростью передачи, секцию 21 инверсного квантования, секцию 22 обратного ортогонального преобразования, секцию 23 сложения, деблочный фильтр 24, память 25 кадров, переключатели 26 и 27, секцию 30 внутреннего предсказания и секцию 40 оценки параметров движения.

A/D секция 11 преобразования, преобразует входной сигнал изображения в аналоговом формате в данные изображения в цифровом формате и вырабатывает последовательность цифровых данных изображения в сортировочный буфер 12.

Сортировочный буфер 12 сортирует изображения, включенные в состав последовательности входных данных изображения, переданные из A/D секции 11 преобразования. После сортировки изображений согласно с GOP (группа изображений) структурой в соответствии с процессом кодирования, сортировочный буфер 12 вырабатывает данные изображения, которые были отсортированы, в секцию 13 вычитания, в секцию 30 внутреннего предсказания и секцию 40 оценки параметров движения.

Входные данные изображения из сортировочного буфера 12 и входные предсказанные данные изображения из секции 30 внутреннего предсказания или секции 40 оценки параметров движения, которые будут описаны ниже, поставляются в секцию 13 вычитания. Секция 13 вычитания рассчитывает данные ошибки предсказания, которая представляет собой разность между входными данными изображения из сортировочного буфера 12 и предсказанными данными изображения, и вырабатывает вычисленную ошибку предсказания данных в секцию 14 ортогонального преобразования.

Секция 14 ортогонального преобразования выполняет ортогональное преобразование данных ошибки предсказания, полученных из секции 13 вычитания. Ортогональное преобразование, осуществляемое секцией 14 ортогонального преобразования, может быть дискретным косинусоидальным преобразованием (DCT) или преобразованием Карунена-Лоэва, например. Секция 14 ортогонального преобразования вырабатывает коэффициент преобразования данных, полученных в процессе ортогонального преобразования, в секцию 15 квантования.

Коэффициент преобразования входных данных из секции 14 ортогонального преобразования и сигнал управления скоростью передачи из секции 18 управления скоростью передачи, которые будут описаны ниже, поставляются в секцию 15 квантования. Секция 15 квантования квантует коэффициент преобразования данных и вырабатывает квантованный коэффициент преобразования данных (здесь и далее называемый квантованные данные), в секцию 16 кодирования без потерь и секцию 21 инверсного квантования. Кроме того, секция 15 квантования переключает параметр квантования (шкала квантования) на основе сигнала управления скоростью из секции 18 управления скоростью передачи для изменения скорости передачи битов квантованных данных для ввода в секцию 16 кодирования без потерь.

Секция 16 кодирования без потерь генерирует кодированный поток, выполняя процесс кодирования без потерь квантованных входных данных, полученных из секции 15 квантования. Кодирование без потерь, осуществляемое секцией 16 кодирования без потерь, может быть кодированием переменной длины или арифметическим кодированием, например. Более того, секция 16 кодирования без потерь мультиплексирует информацию о внутреннем предсказании или информацию о внешнем предсказании из переключателя 27 в область заголовка кодированного потока. Затем блок 16 кодирования без потерь вырабатывает сгенерированный кодированный поток в буфер 17 накопления.

Буфер 17 накопления временно аккумулирует кодированный входной поток, поступающий из блока 16 кодирования без потерь. Затем, буфер 17 накопления поставляет аккумулированный кодированный поток в секцию передачи (не показано) (например, интерфейс связи или интерфейс периферийных устройств) со скоростью в соответствии с полосой передачи канала.

Секция 18 управления скоростью осуществляет мониторинг наличия свободного пространства буфера 17 накопления. Затем, блок 18 управления скоростью генерирует сигнал управления скоростью в зависимости от наличия свободного места в буфере 17 накопления и вырабатывает сгенерированный сигнал управления скоростью в секцию 15 квантования. Например, когда нет больше свободного пространства в буфере 17 накопления, секция 18 управления скоростью передачи формирует сигнал управления скоростью передачи для снижения битовой скорости передачи квантованных данных. Кроме того, например, если свободное пространство в буфере 17 накопления достаточно велико, секция 18 управления скоростью передачи формирует сигнал управления скоростью передачи для увеличения битовой скорости передачи квантованных данных.

Секция 21 инверсного квантования выполняет процесс обратного квантования квантованных входных данных, поступивших из секции 15 квантования. Затем, секция 21 обратного квантования вырабатывает коэффициент преобразования данных, полученных в процессе обратного квантования, в секцию 22 обратного ортогонального преобразования.

Секция 22 обратного ортогонального преобразования осуществляет процесс обратного ортогонального преобразования коэффициента преобразования входных данных, поставленных из секции 21 инверсного квантования, чтобы тем самым восстановить предсказанные данные об ошибках. Затем, секция 22 обратного ортогонального преобразования вырабатывает восстановленные предсказанные данные об ошибках в секцию 23 сложения.

Кроме того, секция 23 сложения добавляет восстановленные предсказанные данные об ошибках, поступающее на вход из секции 22 обратного ортогонального преобразования, и предсказанные данные изображения, поступающее на ввод из секции 30 внутреннего предсказания или секции 40 оценки параметров движения, чтобы тем самым генерировать декодированные данные изображения. Затем, секция 23 сложения вырабатывает сгенерированные декодированные данные изображения в деблочный фильтр 24 и память 25 кадров.

Деблочный фильтр 24 выполняет процесс фильтрации для уменьшения видимой блочности структуры изображения, появляющиеся во время кодирования изображения. Деблочный фильтр 24 фильтрует декодированные данные изображения, поступающие на вход из секции 23 сложения, для удаления видимой блочности структуры изображения и вырабатывает декодированные данные изображения после фильтрации в память 25 кадров.

Память 25 кадров хранит, используя носитель данных, декодированные данные изображения, поступающие на вход из секции 23 сложения, и декодированные данные изображения после фильтрации, поступившие на вход из деблочного фильтра 24.

Переключатель 26 считывает данные декодированного изображения после фильтрации, которые должны использоваться для внешнего предсказания из памяти 25 кадров, и поставляет декодированные данные изображения, которые были считаны, в секцию 40 оценки параметров движения в качестве данных опорного изображения. Кроме того, переключатель 26 считывает данные декодированного изображения до фильтрации, которые должны быть использованы для внутреннего предсказания из памяти 25 кадров, и поставляет декодированные данные изображения, которые были считаны, в секцию 30 внутреннего предсказания в качестве данных опорного изображения.

В режиме внешнего предсказания, переключатель 27 вырабатывает данные предсказанного изображения как результат внешнего предсказания из секции 40 оценки параметров движения в секцию 13 вычитания и также вырабатывает данные внешнего предсказания в секцию 16 кодирования без потерь. В режиме внутреннего предсказания, переключатель 27 вырабатывает данные предсказанного изображения как результат внутреннего предсказания, поставленные из секции 30 внутреннего предсказания в секцию 13 вычитания, и также вырабатывает данные внутреннего предсказания в секцию 16 кодирования без потерь. Переключатель 27 переключает режим внешнего предсказания и режим внутреннего предсказания в соответствии с величиной стоимостной функции, поставленной из секции 30 внутреннего предсказание или секции 40 оценки параметров движения.

Секция 30 внутреннего предсказания осуществляет процесс внутреннего предсказания для каждого блока внутри изображения на основе данных изображения, подлежащих кодированию (исходные данные изображения), направленных на вход из сортировочного буфера 12 и декодированные данные изображения, как данные опорного изображения, поставленные из памяти 25 кадров. Затем, секция 30 внутреннего предсказания вырабатывает данные внутреннего предсказания, включающие в себя данные режима предсказания, указывающие оптимальный режим предсказания, значение стоимостной функции и предсказанные данные изображения в переключатель 27.

Секция 40 оценки параметров движения выполняет процесс оценки параметров движения для внешнего предсказания (межкадровое предсказание) на основе данных исходного изображения, поставленных из сортировочного буфера 12, и декодированных данных изображения, поставленных через переключатель 26. Процесс оценки параметров движения секцией 40 оценки параметров движения в соответствии с настоящим вариантом осуществления, реализуется расширением способа, описанного в непатентной литературе 2 или способом, описанным в непатентной литературе 3. В расширенном способе, описанном выше в непатентной литературе 2, секция 40 оценки параметров движения может генерировать информацию предиктора, показывающую оптимальный предиктор для каждого блока предсказания. В расширенном способе, описанном выше в непатентной литературе 3, секция 40 оценки параметров движения может генерировать информацию объединения, показывающую оптимальный режим объединения для каждого блока предсказания. Затем, секция 40 оценки параметров движения вырабатывает информацию предиктора или информацию объединения, информацию внешнего предсказания, включающую в себя информацию о векторе движения и информацию опорного изображения, значение стоимостной функции и предсказанные данные изображения на переключатель 27. В следующем разделе, будут описаны четыре примера подробной конфигурации секции 40 оценки параметров движения.

Устройство 10 кодирования изображения повторяет ряд процессов кодирования, описанные здесь, для каждого из множества уровней изображения, которое масштабируемым образом кодирует видео. Первый закодированный уровень является уровнем, называемый базовым уровнем и представляющий нечеткое изображение. Закодированный поток базового уровня может быть независимо декодирован без декодирования кодированных потоков других уровней. Уровни отличные от базового уровня называются улучшенными уровнями, представляющие изображения высокого разрешения. Информация, содержащаяся в кодированном потоке базового уровня, используется для кодированного потока улучшенного уровня для повышения эффективности кодирования. Поэтому, чтобы воспроизвести изображение улучшенного уровня, закодированные потоки обеих базового уровня и улучшенного уровня декодируются. Количество уровней, обработанных в масштабируемом кодировании видео, может быть три или более. В таком случае, нижний уровень является базовым уровнем, и остальные уровни являются улучшенными уровнями. Для кодированного потока более высокого улучшенного уровня, информация, содержащаяся в кодированных потоках более низких улучшенных уровнях и базовом уровне, может использоваться для кодирования и декодирования. В этом описании, по меньшей мере, два уровня, зависят друг от друга, зависящий уровень называется нижним уровнем, и уровень на стороне определяющего зависимость называется верхним уровнем.

В масштабируемом кодировании видео с помощью устройства 10 кодирования изображения, корреляция движения между уровнями используется для эффективного кодирования информации внешнего предсказания. То есть в блоке внешнего предсказания вектор движения устанавливается на верхний уровень на основании установочной информации о векторе движения, установленного на нижнем уровне. Более конкретно, секция 40 оценки параметров движения, как показано на фиг.1, включает в себя буфер для временного хранения информации, полученной во время внешнего предсказания в нижнем уровне, и использует информацию, хранящуюся в буфере для установки вектора движения для верхнего уровня. Корреляция движения между уровнями четко видна, в частности, в масштабируемом кодировании видео на основании пространственной масштабируемости или SNR масштабируемости.

Фиг.2 представляет собой пояснительный вид, иллюстрирующий пример пространственной масштабируемости. На фиг.2, показана технология масштабируемого кодирования видео на примере трех уровней L1, L2, L3. Уровень L1 является базовым уровнем и уровни L2, L3 являются улучшенными уровнями. Отношение пространственного разрешения уровня L2 к уровню L1=2:1. Отношение пространственного разрешения уровня L3 к уровню L1 составляет 4:1. Даже в случае если величины разрешения отличаются друг от друга, как описано выше, движение в блоке B1 предсказания на уровне L1, вероятно, появится в соответствующем блоке B2 предсказания на уровне L2 и в соответствующем блоке B2 предсказания на уровне L3 таким же образом. Это и является корреляцией движения между уровнями при пространственной масштабируемости.

Фиг.3 представляет собой пояснительный вид, иллюстрирующий пример SNR масштабируемости. На фиг.3 показаны три уровня L1, L2, L3 для масштабируемого кодирования видео. Уровень L1 является базовым уровнем и уровни L2, L3 являются улучшенными уровнями. Уровни L1, L2, L3 равны относительно пространственной масштабируемости друг с другом. Тем не менее, в качестве примера, минимальный масштаб квантования уровня L1 равен 25 и битовая скорость передачи кодированного потока может быть установлена около 2 Mbps квантованием коэффициента ортогонального преобразования. С другой стороны, например, минимальный масштаб квантования уровня L2 составляет 12 и битовая скорость передачи закодированного потока становится около 5 Mbps. Кроме того, например, минимальный масштаб квантования уровня L3 равен 0 и битовая скорость передачи закодированного потока становится около 10 Mbps. Таким образом, даже если величины битовых скоростей передачи отличаются друг от друга, движение, появляющееся в блоке B1 предсказания уровня L1, вероятно, появляется в соответствующем блоке B2 предсказания уровня L2 и в соответствующем блоке B3 предсказания уровня L3 таким же образом. Это представляет собой корреляцию движения между уровнями при SNR масштабируемости.

Устройство 10 кодирования изображения в соответствии с настоящим вариантом осуществления эффективно кодирует информацию внешнего предсказания активным использованием такой корреляции движения между уровнями.

Вместо этого, блок предсказания нижнего уровня, соответствующий блоку предсказания верхнего уровня, может быть, например, блоком предсказания среди блоков предсказания в нижнем уровне, перекрывающим (совместное использование пикселей в том же положении) блоком предсказания верхнего уровня, имеющий наибольшее перекрытие (имеющий наибольшее число совместно используемых пикселей). Согласно такому определению, блок предсказания, где корреляция движения, скорее всего, появляется, может рассматриваться как «соответствующий блок предсказания».

2. Пример подробной конфигурации секции оценки параметров движения

В этом разделе будут описаны четыре примера подробной конфигурации секции 40 оценки параметров движения, как показано на фиг.1. Из этих четырех примеров, первый и второй примеры являются примерами по расширению способа, описанного в непатентной литературе 2, как описано выше. С другой стороны, в третий и четвертый примеры являются примерами расширения способа, описанного в непатентной литературе 3, как описано ранее.

2-1. Первый пример

Фиг.4 представляет собой блок-схему, показывающую пример подробной конфигурации секции 40 оценки параметров движения в соответствии с первым примером. Обращаясь к фиг.4, секция 40 оценки параметров движения включает в себя секцию 141 управления оценкой, секция 142 вычисления вектора движения, секция 143 предсказания вектора движения, буфер 144 вектора движения, секция 145 выбора режима, секция 146 генерации информации и буфер 147 информации предиктора.

(1) Базовый уровень

В процессе оценки параметров движения базового уровня, секция 141 управления оценкой располагает, по меньшей мере, один блок предсказания в кодирующую ячейку и инициирует работу секции 142 вычисления вектора движения для вычисления вектора движения для каждого блока предсказания. Значение вектора движения, рассчитанное секцией 142 вычисления вектора движения, подается в секцию 143 предсказания вектора движения и также сохраняется в буфере 144 вектора движения. Секция 143 предсказания вектора движения генерирует предсказанный вектор движения использованием векторов движения (называемые опорные векторы движения) других блоков, хранящихся в буфере 144 вектора движения в соответствии с каждым из множества кандидатов предиктора. Затем секция 143 предсказания вектора движения вычисляет дельта-вектор движения как разность между вектором движения, рассчитанным секцией 142 вычисления вектора движения и предсказанным вектором движения. Секция 145 выбора режима генерирует данные предсказанного изображения, используя вектор движения, вычисленный секцией 142 вычисления вектора движения, и оценивает значение функции стоимости, рассчитанной на основе сравнения сгенерированных данных предсказанного изображения и данных исходного изображения. Затем, блок 145 выбора режима выбирает оптимальное расположение блоков предсказания, что минимизирует значение функции стоимости и оптимального предиктора для каждого блока предсказания. Секция 146 генерации информации генерирует информацию, показывающую оптимальный предиктор для каждого блока предсказания и информацию внешнего предсказания, включающую в себя информацию дельта-вектора движения, показывающую дельта-вектор движения. Например, информация предиктора может содержать индекс для идентификации опорного вектора движения. Информация предиктора может также содержать параметр для идентификации формулы предсказания. Затем, секция 146 генерации информации вырабатывает информацию внешнего предсказания, значение функции стоимости и данные предсказанного изображения, которые были сгенерированы, в переключатель 27. Кроме того, информация предиктора, сгенерированная секцией 146 генерации информации, временно сохранится в буфере 147 информации предиктора для использования в процессе верхнего уровня.

Фигуры 5 и 6 представляют собой первые пояснительные виды, иллюстрирующие примеры кандидатов предиктора для предсказания вектора движения. На фиг.5 показаны один блок PTe предсказания для предсказания и предсказанный вектор PMVe движения блока PTe предсказания. Предсказанный вектор PMVe движения блока PTe предсказания могут быть предсказаны с использованием, например, векторов MBa, MVb, MVc движения блоков предсказания, прилегающих к блоку PTe предсказания в качестве опорных векторов движения. Опорный вектор MVa движения является вектором движения, установленный для соседнего блока предсказания слева от блока PTe предсказания. Опорный вектор MVb движения является вектором движения, установленный для соседнего блока предсказания сверху от блока PTe предсказания. Опорный вектор MVc движения является вектором движения, установленный для соседнего блока предсказания справа верху от блока PTe предсказания. Предсказанный вектор PMVe движения получен в соответствии со следующей формулой предсказания с использованием этих опорных векторов MBA, MVb, MVC движения.

Формула (1) является формулой предсказания на основании пространственной корреляции движения. Med в формуле (1) представляет собой операцию осреднения. То есть, в соответствии с формулой (1), предсказанный вектор PMVe движения является вектором, имеющих среднюю величину горизонтальных компонентов и среднюю величину вертикальный компонентов опорных векторов MBa, MVb, MVc движения в качестве компонентов. Предсказанный вектор PMVe движения, образованный по формуле (1), является примером кандидата предиктора. Предсказанный вектор движения, рассчитанный по данной формуле предсказания на основании пространственной корреляции движения, называется пространственным предиктором.

Кстати, формула (1) представляет собой только пример формулы предсказания. Когда, например, отсутствует один из векторов MBa, MVb, MVc движения, например, когда блок предсказания, предназначенный для предсказания, расположен на краю изображения, то отсутствующий вектор может быть опущен при осуществлении операции осреднения. Кроме того, согласно Формулам с (2) по (4), как показано ниже, более простой пространственной предиктор может быть использован как кандидат предиктора.

С другой стороны, временной предиктор как предсказанный вектор движения, рассчитанный по формуле предсказания на основании временной корреляции движения, также может быть использован как кандидат предиктора. На фиг.6 показаны изображение IM01, содержащее блок PTe предсказания для предсказания и опорное изображение IM02. Блок Bcol в опорном изображении IM02 является совмещенным блоком блока PTe предсказания. Формула предсказания, используя временную корреляцию движения, например, применяет вектор движения для совмещения блока Bcol или блока, примыкающего к совмещенному блоку Bcol, в качестве опорного вектора движения.

Например, вектор движения совмещенного блока Bcol устанавливается как MVcol. Кроме того, векторы движения верхнего, левого, нижнего, правого, левого верхнего, левого нижнего, правого нижнего и ве