Устройство для обработки изображений и способ обработки изображений

Устройство для обработки изображений и способ обработки изображений

Иллюстрации

Показать все

Реферат

Перекрестные ссылки на родственные заявки

Данная заявки является повторной международной заявкой № PCT/JP2013/067114, подданной в патентное ведомство Японии как принимающее патентное ведомство 21 июня 2013 г., которое имеет приоритет над заявкой на патент Японии №2012-147885, поданной в патентное ведомство Японии 29 июня 2012 г и заявкой на патент Японии 2012-183164, поданной в патентное ведомство Японии 22 августа 2012 г, которые во всей полноте включены в данное описание посредством ссылки.

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству для обработки изображений и способу обработки изображений. В частности, настоящее изобретение относится к устройству для обработки изображений и способу обработки изображения, способное с высокой степенью точности воспроизводить динамический диапазон изображения.

Уровень техники

В последние годы, устройства, обрабатывающие информацию изображения цифрового формата, которые, в данном случае, имеют отношение к технологии сжатия и кодирования изображений посредством способов кодирования с использованием избыточности уникальной информации изображения и выполнения сжатия с помощью ортогонального преобразования, такого как дискретного косинусного преобразования или компенсации движения, для передачи и накопления информации с высокой эффективностью. Этот способ кодирования представляет собой, например, MPEG (Экспертная группа по вопросам движущегося изображения), Н. 264 или MPEG - 4 Часть 10 (Усовершенствованное кодирование видеосигнала, именуемое в дальнейшем AVC).

В настоящее время, для достижения более высокой эффективности кодирования, чем H.264/AVC, разрабатывается технология кодирования под названием HEVC (Высокоэффективное видеокодирование) как стандарт JCTVC (Объединенная команда по видеокодированию), которая является совместной организацией стандартизации ITU-T и ISO/IEC (см., непатентный документ 1).

В проекте HEVC, на текущий момент времени, информация тонального отображения передается в SEI (дополнительная расширенная информация), как показано на фиг. 1.

Контент информации тонального отображения является таким же, как стандартизированный в AVC, как показано на фиг. 2 (см. непатентный документ 2).

Список ссылок

Непатентный документ

Непатентный документ 1: Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Thomas Wiegand "Рабочий проект 7 высокоэффективного видеокодирования (HEVC)", JCTVC-I1003, вер. 5, 2012. 6.12.

Непатентный документ 2: D.1.24 ITU-T H.264 ISO/IEC 14496-10

Сущность изобретения

Задачи, решаемые с помощью изобретения

В последнее время, камеры и дисплеи могут захватывать или отображать изображения высокого динамического диапазона.

В такой ситуации, несмотря на то, что требуется расширение динамического диапазона декодированного изображения для отображения изображений различных динамических диапазонов, динамический диапазон декодированного изображения не определен в непатентном документе 1.

В свете этой ситуации настоящее изобретение может с высокой точностью воспроизводить динамический диапазон изображения.

Решение задач

Устройство обработки изображений согласно первому аспекту настоящего изобретения имеет: блок кодирования, который выполняет операцию кодирования изображения и генерирует битовый поток; блок установки, который устанавливает информацию о характеристиках динамического диапазона, которая указывает на характеристики динамического диапазона, которые будут присвоены проявленному изображению, на захваченное изображение; и блок передачи, который передает битовый поток, генерируемый блоком кодирования, и информацию о характеристиках динамического диапазона, установленного блоком установки.

Блок установки может установить информацию кода, которая указывает на код динамического диапазона, назначенного для проявленного изображения, на захваченное изображение, как информация о характеристиках динамического диапазона.

Блок установки может установить информацию о коде, которая указывает на код для назначения на проявленное изображение, на уровень белого захваченного изображения как информация о характеристиках динамического диапазона.

Блок установки может установить информацию о коде уровня белого, который указывает на код, который будет назначен проявленное изображение, на уровень белого захваченного изображения как информация о характеристиках динамического диапазона.

Блок установки может установить информацию о максимальном коде уровня белого, которая указывает на максимальное значение кода, который будет назначен на уровень белого проявленного изображения, как информация о характеристиках динамического диапазона.

Блок установки может установить информацию о коде уровня черного, которая указывает код уровня черного проявленного изображения, как информация о характеристиках динамического диапазона.

Блок установки может установить информацию о коде уровня серого, которая указывает на код уровня серого проявленного изображения, как информация о характеристиках динамического диапазона.

Блок установки может установить информацию максимального уровня белого, которая указывает на максимальное значение уровня белого захваченного изображения, как информация о характеристиках динамического диапазона.

Блок установки может установить информацию, которая указывает на диапазон яркости в области, представляющей интерес изображения, полученного путем выполнения операции декодирования в битовом потоке, как информация о характеристиках динамического диапазона.

Блок установки может установить информацию, которая указывает на положение и смещение области, представляющей интерес изображения, полученного путем выполнения операции декодирования в битовом потоке, как информация о характеристиках динамического диапазона.

Блок передачи может передавать информацию о характеристиках динамического диапазона как дополнительную информацию, используемую для отображения изображения, полученного путем выполнения операции декодирования в битовом потоке.

Блок передачи может передавать информацию о характеристиках динамического диапазона как дополнительную расширенную информацию, полученную посредством расширения существующей дополнительной информации.

Блок передачи может передавать информацию о характеристиках динамического диапазона, как tone_mapping_information SEI (Дополнительная расширенная информация).

Блок передачи может расширить model_id, используемый для передачи информации о характеристиках динамического диапазона посредством таргетирования на tone_mapping_information SEI, и передачи информации о характеристиках динамического диапазона, как SEI.

Блок передачи может передавать информацию о характеристиках динамического диапазона как VUI (информация о доступности видео), которая указывает на доступность изображения с помощью последовательности.

Блок кодирования может выполнять операцию кодирования изображения в соответствии со способом кодирования, совместимым с AVC/H.264.

Способ обработки изображения в соответствии с первым аспектом настоящего изобретения включает в себя: выполнение операции кодирования изображения для генерирования битового потока; установку информации о характеристиках динамического диапазона, которая указывает на характеристики динамического диапазона, которые назначаются на проявленное изображение, захваченное изображение; и передачу сгенерированного битового потока и установку информации о характеристиках динамического диапазона.

Устройство обработки изображения в соответствии со вторым аспектом настоящего изобретения имеет: блок декодирования, который выполняет операцию декодирования в битовом потоке и генерирует изображение; и блок корректировки изображения, который использует информацию о характеристиках динамического диапазона, которая указывает на характеристики динамического диапазона, назначенные на проявленное изображение, на захваченное изображение, и корректирует динамический диапазон изображения, сгенерированный блоком декодирования.

Устройство обработки изображения дополнительно имеет блок приема, который принимает битовый поток и информацию характеристик, и блок декодирования может выполнять операцию декодирования в битовом потоке, принятый блоком приема, и блок корректировки изображения может использовать информацию о характеристиках динамического диапазона, принятую блоком приема, и корректировать динамический диапазон изображения, генерируемого блоком декодирования.

Способ обработки изображения в соответствии со вторым аспектом настоящего изобретения включает в себя: выполнение операции декодирования в битовом потоке и генерирование изображения; и, используя информацию о характеристиках динамического диапазона, которая указывает на характеристики динамического диапазона, назначенные на проявленное изображение, на захваченное изображение, и корректировку динамического диапазона сгенерированного изображения.

В соответствии с первым аспектом настоящего изобретения, выполняется операция кодирования изображения и генерируется битовый поток, и информация о характеристиках динамического диапазона, которая указывает характеристики динамического диапазона для назначения на проявленное изображение, устанавливается на захваченном изображении. Дополнительно передаются сгенерированный битовый поток и установленная информация о характеристиках динамического диапазона.

В соответствии со вторым аспектом настоящего изобретения, выполняется операция декодирования в битовом потоке и генерируется изображение. Дополнительно информация о характеристиках динамического диапазона, которая указывает характеристики динамического диапазона, назначенные на проявленное изображение, используется для захваченного изображения, и динамический диапазон сгенерированного изображения корректируется.

Кроме того, указанное выше устройство обработки изображений может быть независимым устройством или может быть внутренним блоком, который образует одно устройство кодирования изображения или устройство декодирования изображения.

Полезные эффекты изобретения

В соответствии с первым аспектом настоящего изобретения, можно кодировать изображения. В частности, можно с высокой точностью воспроизводить динамический диапазон изображения.

В соответствии со вторым аспектом настоящего изобретения, можно декодировать изображения. В частности, можно с высокой точностью воспроизводить динамический диапазон изображения.

Краткое описание чертежей

Фиг. 1 представляет собой вид, показывающий пример синтаксиса SEI.

Фиг. 2 представляет собой вид, показывающий пример синтаксиса SEI тонального отображения.

Фиг. 3 является блок-схемой, иллюстрирующей пример структуры первого варианта осуществления устройства кодирования, к которой применяется настоящий способ.

Фиг. 4 представляет собой блок-схему, иллюстрирующую примерную структуру блока кодирования, показанного на фиг. 1.

Фиг. 5 представляет собой вид для объяснения информации о характеристиках динамического диапазона.

Фиг. 6 представляет собой вид для объяснения информации о характеристиках динамического диапазона.

Фиг. 7 представляет собой вид для объяснения информации о характеристиках динамического диапазона.

Фиг. 8 представляет собой вид, иллюстрирующий пример SEI синтаксиса тонального отображения.

Фиг. 9 представляет собой вид, иллюстрирующий другой пример SEI синтаксиса тонального отображения.

Фиг. 10 представляет собой вид, иллюстрирующий таблицу значений показателей, указанных чувствительностью камеры и индекс экспозиции.

Фиг. 11 представляет собой вид, иллюстрирующий пример SEI синтаксиса динамического диапазона яркости.

Фиг. 12 представляет собой вид, иллюстрирующий пример синтаксиса VUI.

Фиг. 13 представляет собой вид, иллюстрирующий другой пример синтаксиса VUI.

Фиг. 14 представляет собой вид, иллюстрирующий другой пример синтаксиса VUI.

Фиг. 15 представляет собой вид для пояснения синтаксиса информации о характеристиках динамического диапазона.

Фиг. 16 является блок-схемой алгоритма для пояснения операции генерирования в устройстве кодирования, как показано на фиг. 3.

Фиг. 17 является блок-схемой алгоритма для подробного пояснения операции кодирования, показанной на фиг. 16.

Фиг. 18 является блок-схемой алгоритма для подробного пояснения операции кодирования, показанной на фиг. 16.

Фиг. 19 показывает блок-схему, иллюстрирующую примерную структуру первого варианта осуществления устройства декодирования, к которому применяется настоящий способ.

Фиг. 20 показывает блок-схему, иллюстрирующую пример структуры устройства декодирования, показанного на фиг. 19.

Фиг. 21 является блок-схемой алгоритма для пояснения операции отображения в устройстве декодирования, показанного на фиг. 19.

Фиг. 22 является блок-схемой алгоритма для подробного пояснения операции декодирования, показанной на фиг. 21.

Фиг. 23 показывает блок-схему, иллюстрирующую примерную структуру второго варианта осуществления устройства кодирования, к которому применяется настоящий способ.

Фиг. 24 показывает блок-схему, иллюстрирующую примерную структуру блока кодирования, показанного на фиг. 23.

Фиг. 25 показывает блок-схему, иллюстрирующую примерную структуру второго варианта выполнения устройства декодирования, к которому применяется настоящий способ.

Фиг. 26 показывает блок-схему, иллюстрирующую пример структуры устройства декодирования, показанную на фиг. 25.

Фиг. 27 представляет собой вид, иллюстрирующий пример способа кодирования многоракурсного изображения.

Фиг. 28 представляет собой вид, иллюстрирующий примерную основную структуру устройства кодирования многоракурсного изображения, к которому настоящее изобретение применяется.

Фиг. 29 представляет собой вид, иллюстрирующий примерную основную структуру устройства кодирования многоракурсного изображения, к которому настоящее изобретение применяется.

Фиг. 30 представляет собой вид, иллюстрирующий пример иерархического способа кодирования изображения.

Фиг. 31 представляет собой вид, иллюстрирующий основной пример структуры устройства иерархического кодирования изображения, к которому настоящее изобретение применяется.

Фиг. 32 представляет собой вид, иллюстрирующий основной пример структуры устройства иерархического декодирования изображения, к которому настоящее изобретение применяется.

Фиг. 33 представляет собой блок-схему, иллюстрирующую основной пример структуры компьютера.

Фиг. 34 показывает блок-схему, иллюстрирующую пример схематической структуры телевизионного устройства.

Фиг. 35 показывает блок-схему, иллюстрирующую пример схематической структуры портативного телефонного устройства.

Фиг. 36 показывает блок-схему, иллюстрирующую пример схематической структуры устройства записи/воспроизведения.

Фиг. 37 показывает блок-схему, иллюстрирующую пример схематической структуры устройства формирования изображения.

Описание вариантов осуществления

Ниже приводится описание способов осуществления настоящего изобретения (далее упоминается как варианты осуществления). Объяснение будет сделано в следующем порядке.

1. Первый вариант осуществления (устройство кодирования/декодирования согласно HEVC технологии)

2. Второй вариант осуществления (устройство кодирования/декодирования согласно AVC технологии)

3. Третий вариант осуществления (устройство кодирования/декодирования многоракурсного изображения)

4. Четвертый вариант осуществления (устройство иерархического кодирования/декодирования изображения)

5. Пятый вариант осуществления (компьютер)

6. Пример применения

Первый вариант осуществления

Пример структуры первого варианта осуществления устройства для кодирования

Фиг. 3 представляет собой блок-схему, иллюстрирующую примерную структуру в соответствии с первым вариантом осуществления устройства кодирования в качестве устройства обработки изображения, к которому применяется настоящее изобретение.

Устройство 1 кодирования, показанное на фиг. 3, имеет блок 2 кодирования, блок 3 установки и блок 4 передачи, и кодирует изображения, такие как захваченные изображения, в соответствии с HEVC технологией.

Более конкретно, блок 2 кодирования в устройстве 1 кодирования принимает в качестве входного сигнала входные данные изображения, такого как покадровое захваченное изображение. Блок 2 кодирования кодирует входной сигнал в соответствии с HEVC технологией и поставляет результирующие кодированные данные в блок 3 установки.

Блок 3 установки устанавливает SPS (набор параметров последовательности), PPS (набор параметров изображения), VUI (информация о доступности видео), которые указывают характеристики (доступность) изображения, соответствующие кодированным данным в последовательности и SEI (дополнительная расширенная информация). Блок 3 установки генерирует кодированный поток из набора SPS, PPS, VUI и SEI и кодированные данные, поставленные из блока 2 кодирования. Блок 3 установки поставляет закодированный поток в блок 4 передачи.

Блок 4 передачи передает закодированный поток, поставленный из блока 3 установки в устройство декодирования, описанное ниже.

Пример структуры блока кодирования

Фиг. 4 представляет собой блок-схему, иллюстрирующую пример структуры блока 2 кодирования, показанного на фиг. 3.

Блок 2 кодирования 2, как показано на фиг. 4, включает в себя A/D конвертер 11, буфер 12 реконфигурации экрана, арифметическое устройство 13, блок 14 ортогонального преобразования, блок 15 квантования, блок 16 кодирования без потерь, буфер 17 накопления, блок 18 обратного квантования, блок 19 обратного ортогонального преобразования, блок 20 сложения, фильтр 21 устранения блочности, память 22 кадра, переключатель 23, блок 24 внутрикадрового предсказания, блок 25 предсказания движения/компенсации, блок 26 выбора предсказанного изображения и блок 27 управления скоростью передачи.

Более того, между фильтром 21 устранения блочности и памятью 22 кадра предусмотрены адаптивный фильтр 41 смещения и адаптивный контурный фильтр 42.

В частности, A/D конвертер 11 блока 2 кодирования выполняет A/D преобразование покадрового входного изображения в качестве входного сигнала и выводит и сохраняет изображение в буфере 12 реконфигурации экрана. Буфер 12 реконфигурации экрана переставляет кадры изображения, хранящиеся в порядке отображения, так что кадры изображения расположены в порядке кодирования в соответствии со структурой GOP (Группа изображений), и выводит реконфигурированное покадровое изображение на арифметическое устройство 13, блок 24 внутрикадрового предсказания и блок 25 предсказания движения/компенсации.

Арифметическое устройство 13 вычисляет разность между предсказанным изображением, поставленным из блока 26 выбора предсказанного изображения, и поставляет целевое кодируемое изображение из буфера 12 реконфигурации экрана для выполнения кодирования. В частности, арифметическое устройство 13 выполняет кодирование путем вычитания предсказанного изображения, поставленного из блока 26 выбора предсказанного изображения, из выходного целевого кодируемого изображения из буфера 12 реконфигурации экрана. Арифметическое устройство 13 выводит результирующее изображение, как информацию об остаточной ошибке, в блок 14 ортогонального преобразования. Если какое-либо предсказанное изображение не подается из блока 26 выбора предсказанного изображения, то арифметическое устройство 13 выводит изображение, считанное из буфера 12 реконфигурации экрана в качестве информации об остаточной ошибке в блок 14 ортогонального преобразования.

Блок 14 ортогонального преобразования выполняет ортогональное преобразование информации об остаточной ошибке, подаваемой из арифметического устройства 13, и поставляет коэффициент, полученный в результате ортогонального преобразования в блок 15 квантования.

Блок 15 квантования квантует коэффициент, поставленный из блока 14 ортогонального преобразования. Квантованный коэффициент вводится в блок 16 кодирования без потерь.

Блок 16 кодирования без потерь получает информацию, указывающую на оптимальный режим внутреннего предсказания (в дальнейшем называемый как "информация режима внутрикадрового предсказания") из блока 24 внутрикадрового предсказания. Дополнительно, блок 16 кодирования без потерь получает информацию, указывающую на оптимальный режим внешнего предсказания (далее, упоминается как "информации о режиме внешнего предсказания"), вектора движения и информацию для определения опорного изображения из блока 25 предсказания движения/компенсации. Кроме того, блок 16 кодирования без потерь получает флаг хранения, индекс или смещение и тип информации в качестве информации фильтра смещения из адаптивного фильтра 41 смещения и получает коэффициент фильтрации из адаптивного контурного фильтра 42.

Блок 16 кодирования без потерь выполняет кодирование без потерь, такое как кодирование с переменной длиной (CAVLC (контекстно-зависимое адаптивное кодирование с переменной длиной кодового слова), например), или арифметическое кодирование (САВАС (контекстно-зависимое адаптивное бинарное арифметическое кодирование), например) квантованного коэффициента, поставленного из блока 15 квантования.

Кроме того, блок 16 кодирования без потерь выполняет кодирование без потерь информации режима внутрикадрового предсказания или информации режима внешнего предсказания, вектора движения, информации для указания опорного изображения, информации фильтра смещения и коэффициент фильтра как информации кодирования, относящейся к кодированию. Блок 16 кодирования без потерь поставляет и сохраняет информацию кодирования и коэффициент, обработанных согласно процессу кодирования без потерь, как кодированные данные, в буфер 17 накопления. Кроме того, информация кодирования, обработанная согласно процессу кодирования без потерь, может быть информацией заголовка коэффициента, обработанного согласно процедуре кодирования без потерь.

Буфер 17 накопления временно хранит кодируемые данные, поступающие от блока 16 кодирования без потерь. Кроме того, буфер 17 накопления поставляет хранимые кодированные данные в блок 3 установки, как показано на фиг. 3.

Более того, квантованный коэффициент, который выводится из блока 15 квантования 15, также поставляется в блок 18 обратного квантования и затем подвергается обратному квантованию, поставляется в блок 19 обратного ортогонального преобразования.

Блок 19 обратного ортогонального преобразования выполняет обратное ортогональное преобразование коэффициента, поставленного из блока 18 обратного квантования, и поставляет информацию о результирующей остаточной ошибке в блок 20 сложения.

Блок 20 сложения добавляет информацию остаточной ошибки, поставленной в качестве декодированного целевого изображения из блока 19 обратного ортогонального преобразования, к предсказанному изображению, поставленное из блока 26 выбора предсказанного изображения, и получает локально декодированное изображение. Кроме того, если нет предсказанных изображений, поставляемые из блока 26 выбора предсказанного изображения, блок 20 сложения устанавливает информацию остаточной ошибки, поставленной из блока 19 обратного ортогонального преобразования, как локально декодированное изображение. Блок 20 сложения поставляет локально декодированное изображение в фильтр 21 устранения блочности и поставляет локально декодированное изображение в память 22 кадров.

Фильтр 21 устранения блочности выполняет фильтрацию локально декодированного изображения, поставленного из блока 20 сложения, для устранения артефактов блочности. Фильтр 21 устранения блочности поставляет результирующее изображение в адаптивный фильтр 41 смещения.

Адаптивный фильтр 41 смещения выполняет процесс адаптивной фильтрации смещения (SAO: адаптивная выборка смещения), главным образом, удаляя кольцеобразование из изображения после адаптивной фильтрации деблокинга фильтром 21 устранения блочности.

Более конкретно, адаптивный фильтр 41 смещения определяет тип операции адаптивной фильтрации смещения на LCU (наибольшая кодирующая ячейка), которая является самой большой кодирующей ячейкой, и вычисляет смещение, используемое для этой операции адаптивной фильтрации смещения. Адаптивный фильтр 41 смещения использует вычисленную величину смещения, и выполняет операцию адаптивной фильтрации смещения определенного типа изображения, которое обработано посредством адаптивной фильтрации устранения артефактов блочности. Дополнительно, адаптивный фильтр 41 смещения поставляет изображение, обработанное в процессе адаптивной фильтрации смещения, в адаптивный контурный фильтр 42.

Более того, адаптивный фильтр 41 смещения имеет буфер, который хранит величину смещения. Адаптивный фильтр 41 смещения принимает решение относительно того, будет ли использовано смещение для LCU, при выполнении операции адаптивной фильтрации устранения блочности, который уже был сохранен в буфере.

При определении, что величина смещения, используемая для выполнения операции адаптивной фильтрации устранения блочности, уже была сохранена в буфере, адаптивный фильтр 41 смещения устанавливает флаг сохранения, который указывает, сохранять или нет величину смещения в буфере, на значение (1 в этом случае), которое указывает, что величина смещения сохраняется в буфере.

Дополнительно, адаптивный фильтр 41 смещения поставляет на LCU в блок 16 кодирования без потерь флага хранения, который установлен на 1, индекс, который указывает место хранения величины смещения в буфере, и тип информации, которая указывает тип выполняемой адаптивным фильтром смещения операции.

Между тем, когда величина смещения, используемая для операции адаптивной фильтрации устранения блочности, еще не сохранена в буфере, адаптивный фильтр 41 смещения последовательно сохраняет данную величину смещения в буфере. Дополнительно, адаптивный фильтр 41 смещения устанавливает флаг хранения на величину (0 в этом случае), который указывает, что величина смещения не сохраняется в буфере. Кроме того, адаптивный фильтр 41 смещения поставляет на LCU в блок 16 кодирования без потерь флаг хранения, который установлен на 0, величину смещения и тип информации.

Адаптивный контурный фильтр 42 выполняет операцию посредством адаптивного контурного фильтра (ALF: Адаптивный контурный фильтр) изображения, которое подвергнуто адаптивной фильтрации смещения, поставленного из адаптивного фильтра 41 смещения, например, LCU. Для адаптивной операции контурным фильтром, например, используется, например, двумерный фильтр Винера. Само собой разумеется, что могут использоваться другие фильтры, отличные от фильтра Винера.

Более конкретно, адаптивный контурный фильтр 42 вычисляет на LCU коэффициент фильтра, используемый для адаптивной операции контурным фильтром таким образом, чтобы остаточная ошибка между исходным изображением, как выходное изображение с буфера 12 реконфигурации экрана, и изображением после адаптивной операции посредством контурного фильтра, является минимальной. Более того, адаптивный контурный фильтр 42 выполняет на LCU операцию адаптивной фильтрации посредством контурного фильтра изображения, подвергнутого адаптивной фильтрации смещения с использованием вычисленного коэффициента фильтра.

Адаптивный контурный фильтр 42 поставляет изображение, обработанное адаптивным контурным фильтром, в память 22 кадров. Дополнительно, адаптивный контурный фильтр 42 поставляет коэффициент фильтра в блок 16 кодирования без потерь.

Кроме того, несмотря на то, что адаптивный контурный фильтр выполняет операцию на LCU, блоки обработки адаптивного контурного фильтра не ограничиваются LCU. В то же время, за счет интеграции блоков обработки адаптивного фильтра 41 смещения и адаптивного контурного фильтра 42, можно эффективно осуществить операцию обработки.

Изображение, хранимое в памяти 22 кадров, затем выводится в качестве опорного изображения в блок 24 внутрикадрового предсказания или в блок 25 предсказания движения/компенсации через переключатель 23.

Блок 24 внутрикадрового предсказания выполняет операцию внутрикадрового предсказания всех кандидатов режимов внутрикадрового предсказания в ячейке и срезе блоков с использованием опорного изображения, которое считывается из памяти 22 кадров через переключатель 23, и не отфильтрованных посредством фильтра 21 устранения блочности.

Дополнительно, блок 24 внутрикадрового предсказания вычисляет значения стоимостной функции (подробности которого будут описаны ниже) всех кандидатов режимов внутрикадрового предсказания на основании изображения, считанного из буфера 12 реконфигурации экрана, и предсказанного изображения, генерируемого в результате операции внутрикадрового предсказания. Более того, блок 24 внутрикадрового предсказания затем определяет режим внутрикадрового предсказания с наименьшим значением стоимостной функции, чтобы быть оптимальным режимом внутрикадрового предсказания.

Блок 24 внутрикадрового предсказания поставляет предсказанное изображение, генерируемого в оптимальном режиме внутрикадрового предсказания, и соответствующее значение стоимостной функции в блок 26 выбора предсказанного изображения. При уведомлении о выборе предсказанного изображения, сгенерированного в оптимальном режиме внутрикадрового предсказания блоком 26 выбора предсказанного изображения, блок 24 внутрикадрового предсказания поставляет информацию о режиме внутрикадрового предсказания в блок 16 кодирования без потерь.

Следует отметить, что значение стоимостной функции также называется RD (функция, определяющая искажение в зависимости от скорости передачи) стоимость и рассчитывается посредством использования режима высокой сложности или режима низкой сложности, как указано в JM (Объединенная модель), которая является программным обеспечением в H.264/AVC, например.

В частности, когда используется режим повышенной сложности как способ вычисления значений стоимостной функции, конечные операции с кодированием без потерь будут осуществляться на временной основе на всех кандидатов режимов предсказания, и значение стоимостной функции выражается следующим уравнением (1), которое рассчитывается для каждого из режимов предсказания.

D представляет собой разницу (искажение) между исходным изображением и декодированным изображением, R представляет собой битовую скорость генерации, включающую в себя коэффициент ортогонального преобразования, и λ представляет собой множитель Лагранжа, заданный как функция параметра квантования QP.

Если режим низкого сложности используется как способ вычисления значений стоимостной функции, с другой стороны, декодированные изображения генерируются и биты заголовка, такие как информация, указывающая режим предсказания, вычисляется во всех кандидатах режимов предсказания. Значение стоимостной функции выражается следующим уравнением (2) и затем вычисляется для каждого из режимов предсказания.

D представляет собой разницу (искажение) между исходным изображением и декодированным изображением, Header_Bit представляет бит заголовка, соответствующий режиму предсказания и QPtoQuant является функцией, заданной как функция параметра квантования QP.

В режиме низкой сложности декодированные изображения просто генерируется во всех режимах предсказания, и нет необходимости выполнять кодирование без потерь. Соответственно, величина вычислений имеет низкое значение.

Блок 25 предсказания движения/компенсации выполняет операцию предсказания движения/компенсации во всех кандидатах режимах внешнего предсказания в ячейке и блоках среза. Более конкретно, блок 25 предсказания движения/компенсации обнаруживает векторы движения всех кандидатов режимов внешнего предсказания в ячейке и блоках среза на основании изображения, поставленного из буфера 12 реконфигурации экрана, и отфильтрованного опорного изображения, считанного из памяти 22 кадров, через коммутатор 23. Кроме того, блок 25 предсказания движения/компенсации выполняет операцию компенсации на опорном изображении на основании данного вектора движения в ячейке и блоках среза, и генерирует предсказанное изображение.

В этом случае блок 25 предсказания движения/компенсации вычисляет значения стоимостной функции для всех кандидатов режимов внешнего предсказания на основании изображения и предсказанного изображения, поставленного из буфера 12 реконфигурации экрана, и определяет режим внешнего предсказания наименьшего значения стоимостной функции как оптимальный режим внешнего предсказания. Дополнительно, блок 25 предсказания движения/компенсации поставляет значение стоимостной функции оптимального режима внешнего предсказания и соответствующее предсказанное изображение в блок 26 выбора предсказанного изображения. При уведомлении о выборе предсказанного изображения, сгенерированного в оптимальном режиме внешнего предсказания блоком 26 выбора предсказанного изображения, блок 25 предсказания движения/компенсации вырабатывает информацию о режиме внешнего предсказания, соответствующий вектор движения и информацию, для указания опорного изображения, в блок 16 кодирования без потерь.

Блок 26 выбора предсказанного изображения определяет режим предсказания наименьшего значения стоимостной функции оптимального режима внутрикадрового предсказания и оптимального режима внешнего предсказания как оптимальный режим предсказания на основании значений стоимостной функции, поставленных из блока 24 внутрикадрового предсказания и блока 25 предсказания движения/компенсации. Кроме того, блок 26 выбора предсказанного изображения затем поставляет предсказанное изображение в оптимальном режиме предсказания в арифметическое устройство 13 и блок 20 сложения. Блок 26 выбора предсказанного изображения также уведомляет блок 24 внутрикадрового предсказания или блок 25 предсказания движения/компенсации выбранного предсказанного изображения в оптимальном режиме предсказания.

На основании кодированных данных, сохраненных в буфере 17 накопления, блок 27 управления скоростью передачи управляет скоростью выполнения операции квантования блоком 15 квантования так, чтобы не вызвать переполнение или опустошение буфера.

Пример информации характеристик динамического диапазона

Далее будет приведено описание информации характеристик динамического диапазона, установленных блоком 3 установки, как показано на фиг. 3, со ссылкой на фиг. 5. Кроме того, значения на вертикальной оси и горизонтальной оси, показанные на фиг. 5, являются примерными и они не ограничиваются этими значениями.

В примере на фиг. 5, горизонтальная ось представляет уровень белого захваченного изображения. Вертикальная ось представляет цифровой код, присвоенный проявленному изображению. Проявленное изображение представляет собой изображение, градация которого представлена числом битов.

800% на горизонтальной оси является значением чувствительности камеры и оптимальной экспозиции (в момент захвата изображения и во время проявления) и максимальной яркости в момент захвата изображения. Это значение устанавливается и передается как camera_iso_sensitivity и max_image_white_level которые являются информацией характеристик динамического диапазона.

Кроме того, хотя значения чувствительности камеры и оптимальной экспозиции и максимальной яркости в момент захвата изображения имеют одинаковое значение в этом примере, эти значения различаются в некоторых случаях.

Значение (940) на вертикальной оси, соответствующее максимальному уровню белого, является цифровым значением максимального уровня белого, который назначен проявленному изображению, и это значение устанавливается и передается на сторону декодирования как max_white_level_code_value которое является информацией характеристик динамического диапазона.

100% на горизонтальной оси