Интер-уровневое предсказание между уровнями с разным динамическим диапазоном значения отсчетов

Интер-уровневое предсказание между уровнями с разным динамическим диапазоном значения отсчетов

Иллюстрации

Показать все

Реферат

Настоящее изобретение относится к интер-уровневому (межуровневому) предсказанию между уровнями с разным динамическим диапазоном значений отсчетов при кодировании изображений и/или видео.

Система зрения человека может воспринимать светимость в диапазоне около 8 порядков величины и около 5 порядков одновременно при адаптации к конкретным условиям освещения [1]. В противоположность этому, за исключением последних нескольких лет динамический диапазон большинства устройств, предназначенных для фиксации и отображения видео, ограничен приблизительно двумя порядками величины. На сегодняшний день, с повсеместным распространением HDR устройств отображения (устройств отображения с расширенным динамическим диапазоном) можно ожидать впечатляющего роста реалистичности изображений и видео при передаче полного диапазона видимого света через систему HDR видео [1]. Для обеспечения возможности плавного перехода от LDR видео (видео с суженным динамическим диапазоном) к HDR видео чрезвычайно полезно обеспечить обратную совместимость будущего стандарта HDR кодирования, дающую возможность воспроизведения видео на устройствах старого образца. До сих пор в технической литературе описаны только несколько подходов к созданию кодирования HDR видео с обратной совместимостью [2-6]. Тогда как подход, описанный в [2], основан на реализации усовершенствованного простого профиля кодека MPEG-4 с глубиной 8 бит, в источниках [3-6] описаны расширения профиля масштабируемого видеокодирования в стандарте H.264/AVC (также называемом SVC). Стандарт SVC допускает использование глубины, составляющей более 8 бит.

Во всех случаях перед кодированием должна быть создана LDR видеопоследовательность исходя из исходных HDR видеоданных посредством тонального отображения. Операторы тонального отображения (TMO), могут работать на всем изображении глобально (глобальные методы), локально (локальные методы) или и так и так. Наиболее важные операторы TMO всесторонне представлены в литературе [1]. Процесс, который восстанавливает HDR видеопоследовательность из LDR видео, можно обозначить как обратное тональное отображение (ITMO) или (предпочтительно) интер-уровневое предсказание (ILP), когда оно используется для масштабируемого видеокодирования [3]. В этом контексте задачей ILP является уменьшение избыточности между уровнями LDR и HDR для уменьшения необходимой скорости передачи бит для передачи остаточной информации. В одном сценарии кодирования предсказание IPL должно осуществляться независимо по отношению к выбранным операторам TMO, чтобы обеспечить общую эффективность. Например, в работах [1] и [4] авторы предлагают использовать простую функцию отображения для глобального изменения масштаба каждого LDR кадра или даже всей LDR последовательности до динамического диапазона HDR последовательности. Однако эффективность такого предсказателя низка во всех случаях, когда LDR видео было создано локальным адаптивным TMO (который обычно создает более привлекательные LDR видео).

Подходы, описанные в [3-6], отличаются некоторой локальной адаптивностью благодаря использованию ILP на основе блоков, однако эти подходы используются в цветовом пространстве, которое не подходит для передачи HDR данных. Кроме того, эти подходы имеют весьма ограниченные возможности для оценки параметров ILP, причем кодирование необходимой побочной информации весьма не эффективно.

Соответственно, целью настоящего изобретения является обеспечение концепции для выполнения интер-уровневого предсказания между уровнями с разными динамическими диапазонами значений отсчетов при кодировании изображений (например, видео), так чтобы эффективность кодирования с точки зрения отношения между качеством кодирования, с одной стороны, то есть, восстанавливаемым качеством, которое страдает от потерь при кодировании, и скоростью кодирования, то есть, необходимым объемом данных, увеличилась.

Эта цель достигается объектом изобретения, представленным в независимых пунктах формулы изобретения, входящих в прилагаемый набор пунктов формулы изобретения.

Базовый вывод, вытекающий из настоящего изобретения, состоит в том, что можно увеличить отношение между качеством кодирования, с одной стороны, и скоростью кодирования, с другой стороны, если обеспечить комбинированное использование глобального предсказателя и локального предсказателя. Глобальный предсказатель выводит функцию глобального тонального отображения на основе статистического анализа пар значений совмещенных отсчетов в первой тонально отображенной версии и второй версии изображения и применяет эту функцию глобального тонального отображения к первой тонально отображенной версии изображения для получения глобально предсказанного опорного изображения для второй версии данного изображения. Локальный предсказатель выводит локально изменяющуюся функцию тонального отображения локально на основе статистического анализа значений совмещенных отсчетов во второй версии изображения и глобально предсказанном опорном изображении в единицах суб-частей, на которые разбиты глобально предсказанное опорное изображение и вторая версия указанного изображения, и применяет локально изменяющуюся функцию тонального отображения к глобально предсказанному опорному изображению для получения глобально и локально предсказанного опорного изображения для второй версии указанного изображения. На стороне декодирования также имеются глобальный предсказатель и локальный предсказатель, каждый из которых выводит функцию глобального тонального отображения и локально изменяющуюся функцию тонального отображения из побочной информации потока данных расширения.

Согласно варианту настоящего изобретения возможно блокирование глобального предсказания. То есть, согласно этим вариантам глобальный предсказатель сконфигурирован для блокирования применения функции глобального тонального отображения в случае разброса пар значений совмещенных отсчетов в первой тонально отображенной версии изображения и второй версии изображения относительно функции глобального тонального отображения, превышающего заранее определенный порог, где в случае упомянутого блокирования локальный предсказатель сконфигурирован для выполнения локального вывода и упомянутого применения к первой тонально отображенной версии изображения, а не глобально предсказанному опорному изображению. Соответственно, передача функции глобального тонального отображения от кодера к декодеру согласно этим вариантам ограничена изображениями, где передача функции глобального тонального отображения и ее применение оправдано, поскольку помогает избежать издержек на передачу для тех изображений, для которых глобальное предсказание в основном приводит к потерям с точки зрения скорости кодирования, затрачиваемых на передачу функции глобального тонального отображения. Возможно оповещение декодера о принятом решении по поводу упомянутого блокирования.

Согласно дополнительным вариантам настоящей заявки локальный предсказатель при выводе локально изменяющейся функции тонального отображения локально сконфигурирован для определения для каждой суб-части наклона и отсекаемого отрезка линии регрессии, через распределение пар значений совмещенных отсчетов в соответствующей суб-части второй версии изображения и глобально предсказанного опорного изображения. Для эффективного кодирования упомянутого наклона и отсекаемого отрезка наклон, определенный для текущей суб-части, можно закодировать в виде остатка предсказания для пространственного предсказания, из наклона соседней суб-части, наклон которой был закодирован ранее. Прямая линия, имеющая наклон текущей суб-части, согласно одному варианту встраивается в распределение пар значений совмещенных отсчетов в соседней суб-части второй версии восстановленного к этому моменту изображения, с одной стороны, и глобально предсказанного опорного изображения, с другой стороны, и определяется отсекаемый отрезок этой прямой линией, где указанный отсекаемый отрезок соответствующей суб-части кодируют в виде остатка предсказания относительно пространственного предсказания отсекаемого отрезка, которое зависит от отсекаемого отрезка прямой линии. Эти варианты с точки зрения авторов изобретения имеют преимущество, согласно которому локально изменяющийся наклон, определенный локальным предсказателем, подходит для, и дает значительные улучшения кодирования из, кодирования с пространственным предсказанием, принимая во внимание тот факт, что корреляция отсекаемого отрезка между соседними суб-частями зависит от локально изменяющегося наклона, и, соответственно, использование локальной корреляции между соседними значениями отсекаемого отрезка в первую очередь становится возможным благодаря встраиванию другой прямой линии с использованием предсказанного наклона текущей суб-части в качестве наклона для соседней суб-части, и использованием результирующего отсекаемого отрезка для пространственного предсказания наклона текущей суб-части.

Вышеупомянутые и другие имеющие выгодные реализации варианты настоящего изобретения являются объектом зависимых пунктов формулы изобретения.

В частности, предпочтительные варианты настоящего изобретения более подробно изложены ниже со ссылками на чертежи, где

на фиг. 1 показана блок-схема устройства для выполнения интер-уровневого предсказания на стороне кодирования согласно одному варианту изобретения;

на фиг. 2 показана блок-схема возможной реализации варианта по фиг. 1;

на фиг. 3а и 3b показаны результирующие функции глобального тонального отображения по фиг. 1 для разных тональных отображений, применяемых для выведения изображения с суженным динамическим диапазоном;

на фиг. 4а и 4b показаны различные результаты кодирования; и

на фиг. 5 показана блок-схема устройства для выполнения интер-уровневого предсказания на стороне декодирования, соответствующая варианту по фиг. 1, согласно одному варианту изобретения.

На фиг. 1 показан вариант устройства 10 для выполнения интер-уровневого предсказания между первой ступенью 12 кодирования изображения для кодирования первой тонально отображенной версии изображения и второй ступенью 14 кодирования изображения для кодирования второй версии изображения. Первая тонально отображенная версия изображения, кодированная первой ступенью 12 кодирования изображения, имеет первый динамический диапазон значений отсчетов. Например, первая ступень 12 кодирования изображения оперирует с целочисленными значениями отсчетов длиной m в битах. Вторая версия изображения, кодированная второй ступенью 14 кодирования изображения, имеет второй динамический диапазон значений отсчетов, который больше первого динамического диапазона значений отсчетов. Например, вторая ступень 14 кодирования изображения может быть сконфигурирована для оперирования с целочисленными значениями отсчетов длиной n в битах, где n>m. В более подробно описанном варианте по фиг. 2 величина n составляет 12, а m составляет 8.

На фиг. 1 показано устройство 10 для выполнения интер-уровневого предсказания, где первая ступень 12 кодирования изображения и вторая ступень 14 кодирования изображения соединены друг с другом, образуя кодер 16 масштабируемого изображения. Первая ступень 12 кодирования изображения имеет вход, соединенный с входом 18 суженного динамического диапазона кодера 16 масштабируемого изображения, и аналогичным образом, вторая ступень 14 кодирования изображения имеет вход, соединенный с входом 20 расширенного динамического диапазона кодера 16 масштабируемого изображения. Выход первой ступени 12 кодированного изображения соединен с выходом 22 потока данных базового уровня кодера 16 масштабируемого изображения, а выход второй ступени 14 кодирования изображения выводит поток данных расширения на выход 24 потока данных расширения кодера 16 масштабируемого изображения. Как будет ясно из фиг. 2, эти выходы не должны физически отличаться друг от друга. Оба потока данных на выходах 22 и 24 могут мультиплексироваться, образуя масштабируемый поток данных, для которого кодер 16 просто должен обеспечить один общий выход.

Устройство 10 подсоединено между первой ступенью 12 кодирования изображения и второй ступенью 14 кодирования изображения. В частности, как показано пунктирными линиями на фиг. 1, глобальный предсказатель 10 может иметь свой вход, соединенный с входом 18, для приема исходной версии первой тонально отображенной версии изображения, поступающей на первую ступень 12 кодирования изображения, с тем чтобы оперировать с первой тонально отображенной версией изображения без потерь при кодировании, которые возможно инициируются первой ступенью 12 кодирования изображения. Этот альтернативный вариант также эквивалентен соединению входа устройства 10 с выходом первой ступени 12 кодирования изображения в случае, когда эта ступень сконфигурирована для кодирования без потерь первой тонально отображенной версии изображения. Однако в случае кодирования с потерями предпочтительно, чтобы устройство 10 имело вход, соединенный с выходом первой ступени 12 кодирования изображения, который, в свою очередь, соединен с выходом 22 или каким-либо другим выходом, на котором можно вывести восстанавливаемую версию первой тонально отображенной версии изображения, при условии, что она является восстанавливаемой на основе потока данных базового уровня на выходе 22, например, во внутреннем буфере во внутреннем контуре предсказания ступени 12 кодирования. Эта восстанавливаемая версия первой тонально отображенной версии изображения также имеется на стороне декодирования на основе потока 22 данных базового уровня, так что интер-уровневое предсказание, дополнительно описанное ниже, может быть точно восстановлено на стороне декодирования.

Устройство для выполнения интер-уровневого предсказания включает в себя глобальный предсказатель 26 и локальный предсказатель 28. Глобальный предсказатель 26 и локальный предсказатель 28 соединены последовательно между входом устройства 10 и выходом устройства 10, используя который устройство 10 выводит опорное изображение на вход интер-уровневого предсказания второй ступени 14 кодирования изображения. Глобальный и локальный предсказатели 26 и 28 соединены с входом 20, где создается вторая версия изображения. Кроме того, глобальный и локальный предсказатели 26 и 28 могут создать побочную информацию и вывести эту побочную информацию на выход 24, чтобы сформировать побочную информацию потока данных расширения, выводимого второй ступенью 14 кодирования изображения. Как показано на фиг. 1 пунктирной линией, идущей от второй ступени кодирования изображения к локальному предсказателю 28, локальный предсказатель 28 и вторая ступень 14 кодирования изображения могут взаимодействовать, как более подробно описывается ниже применительно к более конкретным вариантам устройства 10, показанного на фиг. 1.

На фиг. 1 в качестве иллюстрации также показано, каким образом на кодер 16 масштабируемого изображения могут подаваться первая и вторая версии изображения на входы 18 и 20. Следует подчеркнуть, что возможно и другое техническое решение. В любом случае, согласно техническому решению, показанному на фиг. 1, изображение с расширенным динамическим диапазоном появляется на узле 30. Блок 32 тонального отображения подсоединен между упомянутым узлом 30 и входом 18 для получения тонально отображенной версии изображения на основе изображения с расширенным динамическим диапазоном на узле 30. Как показано на фиг. 1 пунктирными линиями, между узлом 30 и входом 20 может (но не обязательно) быть подсоединен дополнительный блок 34 тонального отображения. То есть, вторая версия изображения, кодированная второй ступенью 14 кодирования изображения, может представлять собой изображение с расширенным динамическим диапазоном на самом узле 30 или может представлять собой его тонально отображенную версию, которая, однако, имеет более широкий динамический диапазон значений отсчетов по сравнению с версией на входе 18.

После описания структуры устройства 10 и его интеграции в кодер 16 масштабируемого изображения и системы для кодирования изображения на узле 30 в поток данных базового уровня и поток данных расширения соответственно разъясняется режим работы устройства 10 и других элементов, показанных на фиг. 1.

Как стало ясно из вышеприведенного обсуждения фиг. 1, назначением всей системы, показанной на фиг. 1, является кодирование изображения на узле 30 масштабируемым образом с получением потока данных базового уровня на выходе 22 в сочетании с потоком данных расширения на выходе 24, так что версию изображения, имеющую суженный динамический диапазон значений отсчетов, можно вывести из потока данных базового уровня, а версию изображения, имеющую более широкий динамический диапазон значений отсчетов, можно вывести из потока данных расширения, когда обеспечено восстановление версии с суженным динамическим диапазоном значений отсчетов. Если более точно, то чтобы уменьшить скорость передачи битов необходимую для передачи, устройство 10 использует избыточности между тонально отображенной версией с более узким динамическим диапазоном и второй версией с более широким динамическим диапазоном путем предоставления второй ступени 14 кодирования изображения предсказанного опорного изображения для входящего второго изображения с более широким динамическим диапазоном. Соответственно, вторая ступень 14 кодирования изображения может быть сконфигурирована только для кодирования остатка предсказанного опорного изображения, то есть, разности между исходно поступившей версией с более широким динамическим диапазоном и версией, полученной посредством интер-уровневого предсказания. Для кодирования указанного остатка вторая ступень 14 кодирования изображения может использовать кодирование с потерями, включая квантование, в том числе, например, кодирование с преобразованием, таким как преобразование DCT на блочной основе или т.п., результаты квантования которого, то есть, уровни коэффициентов преобразования, кодируют в поток данных расширения. Кодированный остаток, представляющий остаток предсказания, выводится второй ступенью 14 кодирования изображения. Глобальный и локальный предсказатели 26 и 28 могут снабдить этот кодированный остаток вышеупомянутой побочной информацией, позволяющей глобальному и локальному предсказателям на стороне декодирования выполнить интер-уровневое предсказание таким же образом, как это делают предсказатели 26 и 28 в устройстве 10.

Как стало ясно из обсуждения, приведенного во вводной части описания настоящего изобретения, блок 32 тонального отображения свободно выбирает функцию тонального отображения, применяемую к изображению 30. В частности, это означает, что блок 32 тонального отображения может применить локально изменяющуюся функцию тонального отображения к отсчетам изображения 30 с расширенным динамическим диапазоном. Важно отметить, что все элементы кодера 16 масштабируемого изображения не зависят от режима работы и действительно выбранной функцией тонального отображения для блока 32 тонального отображения. В реальном сценарии управление блоком 32 тонального отображения может осуществляться кинорежиссером, например, тем, кто управляет функцией тонального отображения блока 32 тонального отображения, с тем чтобы обеспечить красивое представление изображения 30 с расширенным динамическим диапазоном в границах динамического диапазона первой ступени 12 кодирования изображения.

То есть, функция тонального отображения, применяемая блоком 32 тонального отображения, может локально изменяться в рамках изображения на узле 30. В случае, когда изображение относится к видео, и первой ступенью 12 кодирования изображения соответственно является видеокодер, функция тонального отображения, применяемая блоком 32 тонального отображения, также может изменяться во времени. В отдельных видеоизображениях во времени также может изменяться локальное/пространственное отклонение функции тонального отображения. Например, управление блоком 32 тонального отображения может осуществляться так, чтобы функция тонального отображения изменялась при переходе с одной видеосцены на другую, или в рамках одного изображения, например, чтобы функция тонального отображения изменялась при переходе от заднего плана к переднему плану или т.п. Опять же, ступень 12 кодирования, также как устройство 10, не зависит от этих изменений.

Аналогичным образом не обязательный блок 34 тонального отображения может свободно применять пространственное или пространственно/временное изменение функции тонального отображения, применяемой к изображению с расширенным динамическим диапазоном с тем, чтобы получить вторую версию данного изображения, причем опять же устройство 10 и кодер 14 не зависят от указанных изменений. Оператор может управлять блоком 34 тонального отображения таким образом, чтобы обеспечить красивое представление этого изображения в границах динамического диапазона отсчетов, наложенных ступенью 14 кодирования.

Обратимся к фиг. 2, где более подробно показана реализация варианта по фиг. 1 и из которой станет более понятным, что подача сигналов на входы 18 и 20 может выполняться так, чтобы кодеры 12 и 14 функционировали в разных цветовых пространствах, то есть, чтобы версии, обеспечиваемые на входах 18 и 20, содержали отсчеты, представляющие цвет в разных цветовых пространствах соответственно. В этом случае интер-уровневое предсказание, выполняемое устройством 10, может быть реализовано с использованием любого из указанных цветовых пространств или третьего цветового пространства. Кроме того, интер-уровневое предсказание, выполняемое глобальным и локальным предсказателями 26 и 28, более подробно описанное ниже, может относиться просто к компоненте светимости соответствующего цветового пространства. Затем можно использовать преобразование цветового пространства для переходов с одного цветового пространства на другое. Однако следует понимать, что все описанные далее варианты можно легко приспособить к вариантам, где изображения просто определены в шкале серого.

После описания фиг. 1, носящего скорее общий вводный характер, описывается режим работы глобального предсказателя 26 и локального предсказателя 28. Предсказатели 26 и 28 работают двухступенчатым образом. Глобальный предсказатель 26 осуществляет поиск с целью идентификации глобальной взаимосвязи между значениями отсчетов версии изображения с более узким динамическим диапазоном и значениями отсчетов версии изображения с более широким динамическим диапазоном и использования этой глобальной взаимосвязи для выполнения первого шага, состоящего в определении опорного изображения, используемого ступенью 14 кодирования для эффективного кодирования с предсказанием версии изображения с более широким динамическим диапазоном. В частности, глобальный предсказатель 26 сконфигурирован для вывода функции глобального тонального отображения на основе статистического анализа пары значений совместных отсчетов в первой тональной отображенной версии и второй версии изображения и применения этой функции глобального тонального отображения к первой тонально отображенной версии изображения для получения глобально предсказанного опорного изображения для второй версии изображения. Для иллюстрации этого на фиг. 1 показана первая тонально отображенная версия изображения под ссылочной позицией 36 и вторая версия изображения под ссылочной позицией 38. Поскольку обе версии 36 и 38 являются версиями одного и того же изображения, между отсчетами обеих версий 36 и 38 можно определить совмещение. Как было описано выше, отсчеты версии 36 определены в более узком динамическом диапазоне значений отсчетов по сравнению с отсчетами версии 38. Например, отсчеты версии 36 кодируют, используя 8 бит, в то время как отсчеты версии 38 кодируют, используя 12 бит. Маленькими крестиками на фиг. 1 в качестве образца показана совмещенная пара отсчетов. Статистический анализ пар совмещенных отсчетов в версиях 36 и 38 может содержать, например, формирование функции глобального тонального отображения, определенной на возможных значениях версии 36 изображения с суженным динамическим диапазоном, и имеющей для каждого возможного значения центральную тенденцию или среднее значение соответствующих значений отсчетов версии 38 изображения с расширенным динамическим диапазоном. Если более точно, то глобальный предсказатель 26 может быть сконфигурирован для вывода функции 40 глобального тонального отображения для каждого из возможных значений x_low первого динамического диапазона 42 значений отсчетов первой версии 36 (или по меньшей мере поднабора репрезентативных значений поддержки из числа возможных значений) путем определения центральной тенденции распределения значений x_High отсчетов во второй версии 38 изображения, которые совмещены с отсчетами в первой тонально отображенной версии 36 изображения, где значение x_low равно соответствующему возможному значению. На фиг. 1 в качестве примера одно возможное значение показано пунктирной линией под ссылочной позицией 44, а гистограмма или распределение значений x_High совмещенных отсчетов в версии 38 изображения, а именно, совмещенных с отсчетами в версии 36 изображения, имеющей это репрезентативное возможное значение 44 из суженного динамического диапазона, показано под ссылочной позицией 46. Как было описано выше, глобальный предсказатель 26 определяет центральную тенденцию этого распределения 46, например, как среднее арифметическое 48 и принимает это значение 48 в качестве значения функции 40 глобального тонального отображения для репрезентативного возможного значения 44. Соответственно, функция 40 глобального тонального отображения выполняет отображение между динамическим диапазоном 42 значений отсчетов версии 36 и вторым динамическим диапазоном 50 значений отсчетов версии 38. В частности, блок 26 глобального тонального отображения получает функцию 40 глобального тонального отображения путем выполнения вышеупомянутой процедуры для разных возможных значений x_low. Глобальный предсказатель 26 может выполнить упомянутую процедуру для каждого возможного значения. Однако, чтобы удерживать непроизводительные вычислительные затраты в приемлемом диапазоне, глобальный предсказатель 26 может выполнить вышеуказанную процедуру просто для опорных точек или подходящего поднабора возможных значений, но не для всех возможных значений, используя интерполяцию между указанными опорными точками с тем, чтобы получить функцию глобального тонального отображения между ними.

Как показано на фиг. 1, глобальный предсказатель 26 может быть сконфигурирован для кодирования функции 40 глобального тонального отображения в качестве побочной информации в поток данных расширения, создаваемый второй ступенью 14 кодирования изображения, и формирующий расширение потока данных базового уровня на выходе первой ступени 12 кодирования изображения.

Применение функции 40 глобального тонального отображения к первой тонально отображенной версии 36 изображения может содержать установку каждого значения отсчета в версии 36 изображения, равным соответствующему значению функции глобального тонального отображения, то есть, среднему значению, на которое отображается значение отсчета суженного динамического диапазона в соответствии с функцией 40 глобального тонального отображения. Соответственно, глобально предсказанное опорное изображение, полученное на выходе глобального предсказателя 26, имеет значения отсчетов, которые уже определены в более широком динамическом диапазоне значений версии 38 изображения, которая должна быть предсказана.

Следует заметить, что глобальный предсказатель 26 не использует какую-либо имеющуюся информацию о тональном отображении, выполняемом в блоке 32 тонального отображения, или какую-либо информацию о необязательном тональном отображении, выполняемом блоком 34 тонального отображения.

Глобальный предсказатель 26 может выполнить кодирование функции 40 глобального тонального отображения дифференциальным образом в направлении увеличения или уменьшения возможных значений x_low, например, кодировать разности . Однако также возможны другие подходы, например, аппроксимация функции f с использованием подбора аппроксимирующей кривой, например, с использованием аппроксимации Тейлора для степени полинома p>=1 или т.п. с последующим кодированием остатков, причем кодирование остатков может быть выполнено опять же с использованием дифференциального кодирования.

Локальный предсказатель 28 сконфигурирован для вывода локально изменяющейся функции тонального отображения локально на основе статистического анализа значений совмещенных отсчетов во второй версии 38 изображения и глобально предсказанного опорного изображения 52 в единицах суб-частей, на которые разбиты глобально предсказанное опорное изображение 52 и вторая версия 38 изображения, и для применения локально изменяющейся функции тонального отображения к глобально предсказанному опорному изображению 52 для получения глобально и локально предсказанного опорного изображения 54 для второй версии 38 изображения. Указанное разбиение, например, может представлять собой регулярное разбиение на блоки одинакового размера, которые компонуют по столбцам и строкам, как показано пунктирными линиями на фиг. 1, либо может представлять собой какое-либо другое разбиение версии 38 изображения и глобально предсказанного опорного изображения 52 на суб-части с совмещенным границами, на которых суб-части стыкуются друг с другом. Локальный предсказатель 28 при выводе локально изменяющейся функции тонального отображения локально определяет для каждой суб-части 56 наклон 58 и отсекаемый отрезок 60 линии 62 регрессии, через распределение 64 пар значений совмещенных отсчетов в соответствующей суб-части 56 версии 38 изображения и глобально предсказанном опорном изображении 52, то есть, распределения точек , где i обозначает позиции отсчетов в текущей суб-части 56. На фиг. 1 значения отсчетов в опорном изображении 52 обозначены как x_glRef, в то время как значения отсчетов версии 38 изображения обозначены как x_high. В более конкретном варианте, подробно описанном ниже, наклон обозначен как ω, а упомянутый отсекаемый отрезок как o. Оба эти значения определяют для каждой суб-части 56 локально изменяющуюся функцию тонального отображения на той же самой суб-части 56. Другими словами, локальный предсказатель 28 определяет для каждой суб-части 56 пару, состоящую из наклона 58 и отсекаемого отрезка 60, значения которых кодируют в качестве побочной информации в поток данных расширения на выходе 24, как показано пунктирной стрелкой 66.

Как более подробно описано ниже, локальный предсказатель 28 может быть сконфигурирован для квантования наклона 58 и отсекаемого отрезка 60 путем минимизации функции стоимости, которая зависит от соответствующей суб-части 56 версии 38 изображения с расширенным динамическим диапазоном и соответствующей суб-части 56 глобально предсказанного опорного изображения 52, отсчеты которого взвешены с использованием наклона и смещены на отсекаемый отрезок 60. То есть, квантованный наклон 58 и квантованный отсекаемый отрезок 60 выделены для получения окончательного предсказанного опорного изображения следующим образом: значения x_glRef в суб-части 56 опорного изображения 52 взвешиваются (умножаются) на ω, и к полученному произведению добавляется o, то есть, для всех позиций i отсчетов в суб-части 56. Это выполняется для каждой суб-части 56 с использованием соответствующей пары, состоящей из квантованных ω и o.

Как более подробно описано ниже со ссылками на фиг. 2, локальный предсказатель 28 может быть сконфигурирован для квантования наклона 58 и отсекаемого отрезка 60 путем минимизации функции стоимости, которая монотонно возрастает с необходимой скоростью передачи бит и монотонно возрастает с искажением, вносимым второй ступенью 14 кодирования изображений для кодирования отклонения между соответствующей суб-частью 56 второй версии 38 изображения, с одной стороны, и соответствующей суб-частью 56 глобально предсказанного опорного изображения 52, отсчеты которого взвешены с помощью наклона 58 и смещены на отсекаемый отрезок 60, как было описано выше, с другой стороны. Таким путем выбранная пара, состоящая из (квантованных) наклона 58 и отсекаемого отрезка 60, оптимизирует требуемую функцию стоимости, но не минимизирует отклонение точек пары значений распределения 64 от линии 62 регрессии, причем отклонение не имеет тесной корреляции с указанной функцией стоимости. Указанные квантованные значения можно обозначить как ω ^ и o ^ , чтобы отличать их от первого приближения, получаемого из регрессии 62, но это отличие не будет предварительно учтено.

Наконец, на выходе локального предсказателя 28 обеспечивается глобально и локально предсказанное опорное изображение 54, которое отличается в каждой суб-части 56 от глобально предсказанного опорного изображения 52 тем, что каждое значение отсчета опорного изображения 52 взвешено с использованием соответствующего значения 58 наклона соответствующей суб-части с добавлением параметра o к результирующему произведению. Вторая ступень 14 кодирования изображения может использовать это опорное изображение 54 для выполнения интер-уровневого предсказания. В частности, вторая ступень 14 кодирования изображения может кодировать остаток предсказания между глобально и локально предсказанным опорным изображением 54 и версией 38 изображения в поток данных расширения, то есть, для позиций i совмещенных отсчетов, и может использовать с этой целью, например, кодирование с преобразованием. Однако следует заметить, что вторая ступень 14 кодирования изображения также допускает использование других режимов предсказания, отличных от только что описанного режима интер-уровневого предсказания. То есть, для формирования остатка 68 предсказания на своем выходе для представления версии 38 изображения вторая ступень 14 кодирования изображения может назначить режим предсказания каждому из разделов версии 38 изображения, один из которых относится к предсказанию текущего раздела на основе совмещенного раздела опорного изображения 54. В других режимах предсказания остаток предсказания может определяться на основе других опорных изображений, например путем временного предсказания соответствующего раздела, исходя из ранее закодированных изображений видео, поступивших на вход 20. Такое разбиение на разделы может совпадать или отличаться от разбиения, определяющего суб-части 56.

Как стало очевидно из вышеприведенного описания, режим работы ступени 14 может содержать кодирование остатка 68 предсказания, причем кодирование может осуществляться без потерь, то есть, может включать квантование, например, квантование коэффициентов преобразования, полученных в результате преобразования остатка предсказания. Соответственно, на стороне декодирования исходная версия версии 38 изображения может быть недоступна. Если более точно, то восстанавливаемая версия версии 38 изображения может отличаться от исходной версии, поступающей на вход 20 в результате вышеупомянутого квантования, входящего в процесс формирования остатка 68 предсказания. Ступень 14 кодирования может предоставить локальному предсказателю 28 восстанавливаемую версию версии 38 изображения для эффективного кодирования побочной информации 66, как более подробно обсуждается ниже. Значения отсчетов восстанавливаемой версии 38 изображения можно обозначить как x ^ H