Усовершенствованные способы и устройства для кодирования и декодирования hdr изображений

Усовершенствованные способы и устройства для кодирования и декодирования hdr изображений

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Изобретение относится к устройствам и способам, а также к результирующим продуктам, таким как продукты для хранения данных или кодированные сигналы, например, сохраненные в запоминающих устройствах, для усовершенствованного кодирования по меньшей мере одного изображения или видео с расширенным динамическим диапазоном яркости (luminance) по сравнению обычными изображениями, называемыми изображениями с узким динамическим диапазоном (LDR).

Предшествующий уровень техники

За последние годы съемка, отображение и особенно кодирование изображений улучшилось в результате перехода от так называемого формирования изображения с узким динамическим диапазоном (LDR) (например, классические система стандарта PAL или MPEG2) к формированию изображений с так называемым расширенным динамическим диапазоном (HDR). Современные датчики имеют либо более широкий диапазон напряжения собственного сигнала (между яркостью сцены, которая обеспечивает насыщенность или по меньшей мере дает максимально допустимое пиксельное напряжение, и минимальным, или в качестве альтернативы, типовым уровнем шума), либо в них используются способы расширения указанного диапазона датчика путем построения результирующих изображений из множества изображений, например, из пространственной системы с разной чувствительностью, или следующих друг за другом изображений с разной настройкой экспонирования. Отличие от съемки с использованием LDR камеры заключается в том, что указанная LDR камера, как правило, отсекает и/или мягко отсекает некоторые области, такие как яркие места вне помещения ставшие белыми (причем сигнал яркости Y (luma) этих сохраненных закодированных пикселей LDR изображения составляет 255), в то время, как система съемки с HDR в состоянии точно зафиксировать все значения яркости в данной сцене. Хотя все еще не до конца ясно, как их использовать, то есть, как их кодировать, например, для передачи по телевизионной сетевой системе, и насколько качественно (точно, с предпочтительной точностью, или по меньшей мере приемлемой точностью) их воспроизводить, например, на HDR дисплее, имеющем более высокую пиковую светлоту (brightness), чем типовая пиковая светлота LDR дисплеев (например, 3000 нит вместо 100 или 500 нит).

Поскольку видимый результат воспроизведения изображения зависит от многих переменных, таких как, например, содержание изображения, тип дисплея, на котором оно воспроизводится (например, его пиковая светлота), и среда просмотра, как правило, зафиксированное датчиком необработанное изображение (которое может быть тесно связано с исходной сценой, но не имеет абсолютно никакого отношения к среде окончательного воспроизведения, так как отсутствует информация о том, каким образом наблюдатель будет смотреть эти два сценария) претерпевает преобразование пиксельных цветов, называемое цветокоррекцией (грейдинг). Как правило, этим наблюдателем может быть корректировщик. Например, при производстве кинофильма могут возникнуть трудности при создании правильного освещения интерьера дома (также учитывая ограничение на время съемки и ее стоимость), не говоря уже о создании грозовых облаков с характерным распределением оттенков серого. Тогда группа осветителей может предпочесть вариант, связанный с приблизительной коррекцией освещения, который даст по меньшей мере «достаточно» или «столько сколько нужно» света во всех местах, и может практически это реализовать (например, установить освещение подобное создаваемому свечами на столе (или что-то похожее), свет от неонового рекламного щита и т.д.). Затем корректировщик улучшает это, используя программное обеспечение для обработки изображений. Например, он может пририсовать солнечные лучи, как бы падающие через окно, в реальной сцене.

LDR кодирование обладает еще одним характерным для него свойством. Наивно полагать, что LDR кодирование - это просто кодирование, при котором сигнал яркости выражается 8-битовым кодовым словом на каждый пиксель (или, конечно, другие подобные варианты), и наоборот, что 8 бит и есть LDR. Но чисто теоретически в матрицах изображений, состоящих из 8-битовых кодов, можно закодировать что угодно, так что, по меньшей мере теоретически, можно закодировать очень сложные конфигурации, хоть и HDR изображение.

Проблема заключается в том, что по старой традиции напряжения датчика (то есть, линейные представления яркостей сцены) кодируют в виде 8-битовых кодовых слов в соответствии с конкретной функцией отображения кода. Этой функцией могла быть простая, но не слишком нелинейная, монотонная и непрерывная функция, а именно, гамма-функция 2.2. Идея здесь состоит в том, что тесная связь съемки, кодирования и воспроизведения изображения через указанную систему прямого соединения практически почти автоматически обеспечивает правильную цветокоррекцию. Сигнал в этой системе подается непосредственно на катоды электроннолучевой трубки дисплея, а гамма-функцию 2.2 выбрали исходя из физических особенностей электроннолучевой трубки (что попутно также обеспечивает удобную равномерную психовизуальную рабочую шкалу светлоты). При наличии только одного типа дисплеев, сигналы возбуждения воспроизводят выходную яркость, если возбуждение обеспечивается сигналами возбуждения, являющимися LDR сигналами. Также обеспечивается предварительная автоматическая цветокоррекция с использованием компенсирующей гамма-функции, а именно, в соотношении примерно 1/2.2 прямо из камеры. Также, если любой специалист по цветокоррекции на стороне создания захочет более тонко настроить или улучшить пиксельные цвета, он это проделает, просматривая сигнал на точно такой же трубке CRT, что использовалась при его создании, так что домашний телевизор пользователя обеспечит примерно такое же воспроизведение (помимо внешних воздействий на зрителя), поскольку CRT возбуждается с использованием аналогичным образом скорректированного изображения).

В любом случае эта цепочка операций LDR кодирования выполняется согласно детально разработанным техническим условиям, по которым воспроизведение и кодирование (или цветокоррекция) суть одно и то же. На сегодняшний день при наличии очень разных дисплеев, например, на основе домашнего LCD, айпада для просмотра контента изображения в поезде, домашнего проектора и последних HDR дисплеев с очень высокой светлотой, необходимо чтобы воспроизведение или отображение цветовой палитры происходило совершенно отдельно от кодирования изображения, поскольку при одних и тех же входных изображениях эти дисплеи будут выдавать на своих экранах достаточно разные выходные изображения, что может оказаться серьезней, чем хотелось бы.

Но в любом случае на стороне контента, например, между камерой и местом кодирования, указанная тесная связь в LDR системах все еще прослеживается. Хотя в современных бытовых камерах (особенно потому, что функциональные возможности HDR включены не так давно) может использоваться более сложная функция отображения кода, чем гамма-функция 2.2, они все еще имеют относительно близкие функции, являющиеся несильно нелинейными, то есть, они не так отличаются друг от друга, чтобы нельзя было аппроксимировать многие аспекты их математических особенностей с помощью линейного анализа.

В частности, это видно, когда должна сниматься сцена с более широким диапазоном яркости, например, человек, сидящий в автомобиле. Комбинация таких факторов, как экспозиция для съемки лица человека и функция кодового отображения (например, S-кривая), как правило, приводит к тому, что экспозиция, вполне подходящая для интерьера автомобиля, вне автомобиля может быть представлена только пастельными цветами, близкими к верхней границе кодированной палитры цветов, то есть, с сигналом яркости около 255. Причина этого состоит в том, что камера или фотограф выбирает код цвета лица, отображаемый в среднем близко к серому, со значением для простоты, равным 128. Если функцию отображения в окрестности этого значения аппроксимировать квадратической функцией, то тогда значение 255 может представлять только в 4 раза более высокий сигнал наружной яркости. Конечно, действительные значения будут зависеть от того, как интеллектуальные средства системы камеры (включая выбранные оператором) будут обрабатывать указанные яркие области, а соответствующая область передержек в отображении кода может по меньшей мере распределять другие кодовые значения для более высоких яркостей сцены, чем 4-кратная яркость лица (хотя необходимо также сказать, что в действительности некоторая часть контента, быстро созданная при съемке на месте без подготовки, усекает значительную часть изображения до 255, и возникает вопрос, стоит ли это делать).

В любом случае в качестве грубой оценки можно сказать, что с вышеуказанными отношениями яркостей 500:1 (или по меньшей мере 1000:1), использование LDR кодирования становится проблематичным, и надо перейти в область технологии HDR кодирования, если необходимо по меньшей мере правильно закодировать данную сцену. Так происходит с коэффициентами геометрической формы, которые создают неравномерность освещения порядка от 5-10 до 1, от света к тени, поскольку отражения объектов, как правило, находятся в диапазоне от 1% до 100%. Указанное уменьшение освещенности может случиться в комнате уже на пару метров дальше от окна.

Примером сцены с высоким динамическим диапазоном, которая также ясно демонстрирует отдельную цветовую схему для наблюдателя, является сумеречный городской пейзаж. То, что было белым, стало для человеческого глаза серым, и пропало в этой сцене, так как белое уже перешло на уровень светлоты, превышающий уровень («яркий»).То есть, хотелось бы иметь возможность показывать все это на HDR дисплее в виде ярких объектов, а также кодировать их так, чтобы можно было их четко распознавать как светлые (особенно, устройствами воспроизведения, которые непосредственно не подают входной сигнал в качестве сигнала возбуждения, но выполняют некоторую оптимизацию отображения цветовой палитры). Заметим, что из-за потери взаимосвязи между съемкой, кодированием и отображением, необходимо четко различать, какие динамические диапазоны задаются (причем не обязательно требуется яркостный контраст), поскольку конкретная сцена (например, с динамическим диапазоном 100000:1), не обязательно должна иметь при воспроизведении такой же контраст (например, солнце на дисплее в действительности не обязательно должно травмировать ваши глаза), причем действительным релевантным фактором является аналогичный приемлемый психовизуальный вид. По мимо обычного кодирования с высокой степенью нелинейности следует кое-что сказать о динамическом диапазоне кодека, поскольку указанные факторы, подобные точности конкретного отображения или кодирования/воспроизведения, могут сильно на него влиять. Что касается дисплейного воспроизведения, то известно, что имеется система HDR отображения, где можно воспроизвести особые световые эффекты, которые нельзя точно воспроизвести на LDR дисплее, такие как мерцающие лампы или реально выглядящий солнечный свет в сценах вне помещений. И, в частности, с этим согласуется освещенность других сценических объектов (например, домашней мебели), то есть, если заданы указанные сигналы яркости, то получается подходящий вид как для освещенных, так и для обычных/более темных объектов (учитывая, что человеческое зрение носит относительный характер).

Предложенное первым (естественное) техническое решение проблемы кодирования HDR изображений среди прочего оказалось удобным специалистам, работающим в области компьютерной графики, поскольку в компьютере можно создать сигнал любого вида (без ограничений, связанных с используемым при съемке объективом, например, в компьютере пространство рядом со сверхновой звездой может реально иметь нулевую яркость без зафиксированного фотонного шума). При этом базовом подходе, позволяющим отказаться от любых ранее имевших место ограничений в телевизионной технологии, логичным решением является просто линейное кодирование яркостей сцены. Это означает, что для кодирования пиксельного сигнала яркости, например, 16 или 32, понадобится больший объем кодированных бит. Помимо увеличения объема данных, что иногда может оказаться проблемным, как было указано выше, указанное естественное кодирование абсолютно не связано (или с соответствующими технологическими сведениями, такими как дополнительные значения, результаты измерений или сведения, включенные в уравнения, которые могут быть совместно закодированы в качестве метаданных вместе с закодированным пиксельным изображением, или отдельно от него, но в привязке к нему) с оставшейся частью процесса формирования изображения, то есть, с системой воспроизведения.

Второй, альтернативный вариант кодирования вытекает из (или по меньшей мере концептуально связан) наличия двухдисплейных систем, наподобие двухпанельных LCD дисплеев или однопанельных LCD дисплеев, имеющими двумерно модулируемую заднюю подсветку. В этих системах конечный выход представляет собой мультипликацию картины освещения, созданной отображением на заднем слое, и пропускания фронт-проекционного LCD. Тогда возникает вопрос, как обеспечить возбуждение обоих сигналов при условии, что, как было указано в приведенном выше примере, используется 16-битовое (по меньшей мере для сигнала яркости) HDR кодирование и стандартная электронная аппаратура возбуждения, а также возможности физической модуляции LCD, составляющие, допустим, 8 бит (это означает, что при линейном пропускании LCD может создать черное в отношении 1/255 от полного пропускания, и возможно ряд других значений для нелинейного режима; причем, например, задняя подсветка также может модулироваться 8 линейными битами). Тогда можно извлечь квадратный корень из пиксельных сигналов яркости и подать удвоенное полученное значение на оба возбудителя. В принципе, для этого подойдет (теоретически) любая мультипликативная декомпозиция. Например, если LCD может обеспечить только 4-ступенчатое изменение пропускания, есть возможность создать высокоточную HDR систему, если только возбуждать заднюю подсветку с помощью сигнала, дающего остаток от деления:

где Y_LCD в этом примере выполняет модуляцию (ярче или темнее), направляя свет сзади по 4 разным путям (например, максимальная блокировка, при которой возможно, например, пропускание 1:80 заднего света по сравнению с пропусканием 100% с 2 эквидистантными значениями пропускания между ними).

Y_HDR представляет собой 16-битовый сигнал, максимальное значение которого выражает яркость некоторой очень яркой сцены, приблизительно воспроизводимой путем переключения задней подсветки дисплея (локально) на ее максимальное значение (с учетом нагрева, старения и т.д.). Таким образом, при повторном использовании линейного кодирования, из-за физических особенностей воспроизведения, заднюю подсветку необходимо регулировать в диапазоне, составляющем 1/4 от 16 бит (65536 возможных линейных ступеней), что (опять же, если предположить, что необходимо линейное кодирование и эквидистантное возбуждение) означает, что задняя подсветка будет возбуждаться 14-битовым сигналом (если потребуется такая точность). Таким образом, задняя подсветка может изменить локальное значение в LCD модуляторе с любым коэффициентом, необходимым для воспроизведения HDR изображения. Фактически, поскольку указанные дисплеи содержат гораздо меньшее количество элементов задней подсветки на основе LED, чем пикселей, воспроизводится некоторая аппроксимация изображения посредством возбуждения задней подсветки в соответствии с некоторым усредненным освещением. Таким образом, как, например, в пункте 2 формулы изобретения в патенте US 7172297 Университета Британской Колумбии сначала вычисляется сигнал средней яркости пикселей локального изображения, и этот результат приводит к значению задней подсветки, аппроксимирующему требуемое воспроизведение, а затем выполняется настройка пикселей LCD на основе деления Y_HDR и указанной аппроксимации. Таким образом, рассматриваемое свойство указанного умножения заключается в том, что оно соответствует сокращению линейных бит, необходимых для кодирования одного из изображений, что можно математически показать в виде сжатия диапазона определенного вида или отображения цветовой палитры.

Таким образом, кроме того было предложено усовершенствование, состоящее в кодировании любого HDR изображения на основе указанной мультипликативной схемы (не обязательно для реального двухслойного дисплея). То есть, первое изображение можно сформировать, выполнив общее тональное отображение, и создать стандартное JPEG изображение (Y_JPEG) из полученного в результате преобразования 8-битового изображения. Затем сохраняется второе изображение, которое является изображением отношения Y_HDR/Y_JPEG. Далее на стороне декодера можно использовать нормальное LDR JPEG изображение или вновь создать HDR изображение путем перемножения указанных двух LDR изображений (в предположении, что оригинал является 16-битовым, порождающим два 8-битовых изображения, что обычно достаточно для большинства сцен, если это не HDR сцена или сценарий. Первым недостатком этого способа является то, что, возможность закодировать любое HDR изображение (путем коррекции где-либо в JPEG изображении в рамках изображения отношения, или по меньшей мере путем перехода к подходящей аппроксимации, если JPEG закодировано некорректно, так что результирующая коррекция приведет к выходу за пределы возможного диапазона, что может случиться, например, при условии, если два соседних пикселя в JPEG выбраны со значением 1, а в HDR должны быть соответственно равны 230 и 350; опять же в предположении линейности) дается дорогой ценой, а именно, придется кодировать 2 изображения. Учитывая невозможность сохранения за счет математической корреляции, не говоря уже о необходимости форматировать согласно окружающей семантике эти два изображения, на первый взгляд кажется, что потребуется то же количество бит, что и при сохранении одного 16-битного изображения (по меньшей мере если нет пространственной субдискретизации и т.д.). Во-вторых, такая декомпозиция «вслепую» никак не вяжется с физическими особенностями реального средства воспроизведения или физическими или психовизуальными семантическими закономерностями, присущими воспроизводимой сцене (например, такой объект, как яркая лампа); скорее это просто являются результатом мультипликативной коррекции выбранного, неважно как, базового JPEG изображения. Правда, при этом обеспечивается прекрасная обратная совместимость при кодировании изображений.

Третий вариант кодирования можно проследить из последовательности выполнения шагов при масштабируемом кодирования кодировок с коррекцией предсказания, где предсказание корректируется с помощью дополнительного коррекционного изображения. Изначально среди прочего встречается выполняется масштабирование SNR, и первое изображение представляет собой аппроксимацию, которая может содержать округленные или квантованные версии пиксельных сигналов яркости. К этому добавляется изображение, которое вносит дополнительную точность (заметим, что другие варианты могут содержать, например, пространственную аппроксимацию, которую также можно скорректировать, добавив коррекционный сигнал, который далее может также обеспечить восстановление высоких частот, например, на границах. Таким образом, если, например, исходный LDR сигнал, подлежащий кодированию, имеет смежные в пространстве пиксели 127, 144, то можно, например, закодировать аппроксимацию из 6 бит с 4 шагами точности, что даст пиксельные значения 128 и 144. Затем можно выполнить коррекцию, используя изображение, характеризующееся более высокой точностью, содержащее значения - 1 и 0. В связи с тем, что аппроксимация достаточно хороша, диапазон коррекционного сигнала следует сузить, что возможно приведет к экономии бит.

В связи с тем, что диапазон и точность в диапазоне в принципе могут быть взаимозаменяемыми, можно также предусмотреть использование указанной методики для кодирования HDR изображений. Действительно, можно установить, чтобы максимум любого диапазона кодирования (также для 8-битового кодирования) соответствовал той или иной яркости сцены. Но, видимо, это пригодно только для кодирования с размерностью более 8 бит, при заданном количестве шагов светлоты в HDR сценах. Также масштабируемость сама по себе не предполагает каких-либо изменений в тональном отображении, то есть, по определению она просто оперирует точностью представления обсуждаемых сигналов яркости, но никак не связана с тем, каким образом конкретное LDR кодирование будет связано с HDR кодированием, или какие требования предъявляются к оптимальному воспроизведению на том или ином дисплее (например, без слишком темного воспроизведения на дисплее с пониженной пиковой светлотой).

На основе этой концепции в патенте WO 2007/082562 (смотри фиг. 1) был разработан способ двухуровневого HDR кодирования. В указанном кодере определяется наличие взаимосвязи между HDR и LDR, независимо от того, идет ли речь о съемке, кодировании (например, с использованием отображения цветовой палитры) или, как правило, цветокоррекции (что обычно выполняется художественным корректировщиком, работающим на создателя контента). Например, поскольку LDR цветовая палитра (определяемая тем, какой типовой LDR дисплей, допустим 400 нит, обеспечивает воспроизведение) возможно не будет содержать светлые области, точно такие как освещенные солнцем места вне помещения, она может отобразить на LDR пространство такую область, уменьшив сигналы яркости (и возможно также уменьшив цветовую насыщенность). Получение HDR изображения посредством указанного LDR кодирования исходной сцены включает преобразование пиксельных сигналов яркости /цветов этих ярких областей вне помещения в изображении в более высокие значения светлоты (или, другими словами, предсказание того, как может выглядеть HDR изображение после цветокоррекции), например, путем смещения этих LDR сигналов яркости посредством добавления фиксированной светлоты или светлоты, зависящей от LDR сигнала яркости, или в общем случае применения функции отображения по меньшей мере к сигналам яркости: (Y_HDR=f(Y_LDR). Можно получить вид, по меньшей мере более близкий к HDR виду, но то, насколько близко это предсказание будет к исходной HDR ступени, сильно зависит, среди прочего, от корректности (и сложности) функции отображения/предсказания. Из-за большой сложности изображения (создатели фильма обычно выбирают более простое предсказание, например, глобальное тональное отображение, которое отображает каждый пиксельный сигнал яркости только на значение сигнала яркости, но не на другие факторы, например, пространственное расположение пикселя в изображении, а не более сложное предсказание, которое недостаточно точно предсказывает исходное HDR изображение) имеет место различие, представляемое разностным изображением. Таким образом, указанные двухуровневые способы также обеспечивают кодирование указанного изображения. Поскольку разность между LDR ступенью (которая в принципе должна быть близка или подобна НDR ступени, но может быть любой) и каждая ступень в целом отличается от разности между представлением сигнала с точностью в X бит и точностью X+Y бит, указанные разностные изображения не обязательно должны иметь ограниченный диапазон значений. В принципе, они могут быть любыми, вплоть до 16-битового изображения типа исходного HDR вместо 8-битового разностного изображения, например, если предсказание оказалось настолько плохим, что предсказывает последовательные нули для пиксельных сигналов яркости, с учетом того, что HDR пиксельные сигналы яркости составляют, например, 65000, 65004 и т.д. (хотя указанный наихудший сценарий маловероятен, можно в этом случае разрешить кодеку изредка делать ошибки). В любом случае результаты тестирования некоторых кодеков, реализующих кодирование с предсказанием и созданием коррекционного изображения, показывают, что для них может потребоваться большой объем кодированных данных, и что, в частности, в этих данных может быть закодирована информация об изображении, которая в действительности не релевантна использованию HDR, например, коррекция модельных ошибок предсказания, которые отобразили HDR сигналы яркости в неправильном направлении, или структуры шума, или структуры изображения, которые не релевантны в психовизуальном плане, или по меньшей мере структуры не самых важных изображений, которые вносят вклад в HDR эффект (в иерархии HDR релевантности, например, пламя может быть важным, и его вид может быть закодирован несколькими правильно выбранными словами данных).

Таким образом, назначением представленных ниже технологий является создание методик LDR кодирования (то есть, любые более качественные (по сравнению с LDR) методики кодирования областей изображения по всему диапазону сигналов яркости), которые обеспечивают более эффективное управление кодированием по меньшей мере, если не всех, HDR аспектов в сцене (например, источники света, освещение объектов, например, солнечным светом в некоторых областях изображения, улучшенное воспроизведение некоторых аспектов, таких как локальный контраст и т.д.), что дает указанные потенциальные преимущества, такие как, например, более низкий расход бит или по меньшей мере более значимую информацию в иерархии кодированных бит.

Сущность изобретения

Некоторые из проблем, связанных с достижением цели изобретения, решаются способом декодирования кодировки изображения (LDR_CONT), соответствующей первому динамическому диапазону яркости (R_oLDR), в выходное изображение (HDR_FIN) со вторым динамическим диапазоном яркости (R_oHDR), в котором кодировка (LDR_CONT) изображения представляет собой закодированные пиксели исходного изображения (HDR_ORIG) сцены с расширенным динамическим диапазоном, причем способ содержит:

тональное отображение с использованием заранее определенной стратегии (FL_2H) тонального отображения по меньшей мере яркости пикселей в кодировке (LDR_CONT) изображения в яркости пикселей в промежуточном изображении (HDR_PRED), соответствующем, второму динамическому диапазону (R_oHDR) яркости, и модификацию яркостей по меньшей мере некоторых пикселей промежуточного изображения (HDR_PRED) путем их умножения на заранее определенные мультипликативные множители, результатом чего является выходное изображение (HDR_FIN).

Под кодированием пикселей имеется в виду, конечно, информация об этих пикселях (поскольку пиксель представляет собой текстурный цветовой отсчет для конкретной позиции дискретизации, как это определено в выбранной колориметрической системе), то есть, текстурах, которые они представляют, то есть, цветовые представления (например, YCrCb или RGB) этих пикселей. Но LDR_CONT не содержит действительного представления в цвете кодировки исходного HDR изображения (даже в том случае, как если бы кодирование было выполнено в виде изображения 3×8 бит), а представляет скорее преобразование этих цветов в новые цвета, которые сохраняются в LDR_CONT, где новые цвета однако еще содержат пространственно-статистическую информацию о цветах, необходимую для воспроизведения исходного изображения. Таким образом, пиксели представляют еще и туже структуру геометрического объекта изображения, но с другим колориметрическим видом, при воспроизведении на конкретном дисплее, отличным от введенного исходного HDR изображение (но информация, независимо от колориметрического преобразования теоретически совпадает с информацией в исходном изображении; то есть, качественная фиксация информации в HDR сцене почти вся присутствует в кодировке LDR_CONT изображения, и ее можно повторно получить по меньшей мере с использованием дополнительных метаданных и в частности, метаданных согласно настоящим вариантам осуществления изобретения). Имеется ввиду, что динамический диапазон, соответствующий или связанный с изображением, предназначен для воспроизведения в первую очередь на дисплее с конкретным динамическим диапазоном, или отображает аналогичный диапазон (точное различие между динамическим диапазоном воспроизведения, определяющим содержание кодировки указанным путем, и тем, что люди обычно считают динамическим диапазоном, например, 8-битовой кодировки яркости, имеющим смысл только для линейных кодировок, поясняется ниже). Под стратегией тонального отображения имеется ввиду, например, простая глобальная функция тонального отображения или, например, любой алгоритм, который в конце концов изменяет пиксельные цвета в кодировке изображения в цвета выходного изображения.

Весьма интересным подходом к реализации указанной системы с обратно совместимым непосредственно используемым LDR сигналом, является способ декодирования кодировки сигнала (входного или эталонного) изображения или видео с расширенным динамическим диапазоном в сигнал выходного изображения или видео с расширенным динамическим диапазоном, причем способ содержит:

тональное отображение с использованием заранее определенной функции тонального отображения по меньшей мере пиксельных сигналов яркости в упомянутой кодировке в пиксельные сигналы яркости HDR в промежуточном изображении с расширенным динамическим диапазоном; и

модификацию яркостей по меньшей мере некоторых из HDR пикселей указанного промежуточного изображения путем их умножения на заранее определенные мультипликативные коэффициенты.

Под кодированием имеется в виду любое представление изображения сцены, не обязательно сжатое, но, в частности, с интеллектуальным использованием характеристик HDR сцены в ее представлении (например, распределение поддиапазона сигналов яркости для объектов с усредненной серостью и другого поддиапазона для световых эффектов). Для простоты описания сосредоточимся на сигнале яркости, поскольку предварительное описание освещенности объектов является более важным фактором для визуального качества, чем цвета вокруг объекта оказывают несколько меньшее влияние (например, поскольку мы не знаем цвет рубашки диктора). Таким образом, если необходимо ввести деформации, например, из-за проблем с формой цветовой палитры, лучше сделать их в отношении цветности. Специалистам в данной области техники известно, что также можно задать хроматические аспекты цвета вокруг оси яркости, задав цветовую гамму, отображающую цвета (например, некоторую функцию оттенка и насыщения) вокруг предварительно описанной яркости, или путем представления по трехцветной оси R, G, B вместо представления сигнала яркости, цветов и т.д. Поскольку этот вопрос не относится к сути изобретения, мы не будем заниматься поиском его усовершенствованного решения. Специалистам в данной области техники понятно, что операции, которые можно выполнить по каналу яркости (преобразование и модификация), конечно, можно также выполнить по-другому цветовому каналу, например, по каналу красного (Red канал). По сигналу можно понять, как данные изображения сформатированы согласно некоторому стандарту, особенно, когда добавлены метаданные, поскольку изображение в данном описании можно понимать как необработанную матрицу пиксельных цветов (но изобретение можно легко понять в обеих формулировках)

Далее описывается способ, который может найти полезное приложение, где кодируются в основном HDR сцены (имеется по меньшей мере одна совместно закодированная функция преобразования, но некоторые HDR области с высокой яркостью можно кодировать, например, дополнительным образом, используя локально размещенное изображение, для обеспечения набора пространственно локальных пикселей на стороне декодера) в виде традиционного 8-битового изображения (то есть, например, закодированного с использованием MPEG-AVC кодирования), которые называются здесь «HDR_encoded_as_LDR» (или это можно также назвать «LDR_container» кодированием, так как HDR упакован в оболочку LDR). В этом примере кодирование выполняется для LDR, MPEG или JPEG и содержит информацию о входном видеосигнале с расширенным эталонным динамическим диапазоном, например, 16-битовый линейный сигнал. Можно понять, почему такое кодирование может найти применение во многих сценариях. Хотя, чтобы с максимальной результативностью избежать образования полосчатой структуры на тонких переходах или на очень тонкой текстуре объектов, при существующей яркости и размерах дисплеев возможно потребуется даже больше 8 бит. Однако для сложных текстур объектов, которые быстро перемещаются в изображении может оказаться приемлемой и 6-битовая аппроксимация. Таким образом, любое преобразование, которое сжимает значительный поддиапазон яркости не менее чем на 6 бит, может дать хороший результат. Для всего диапазона при сокращении с 8 до 6 бит в результате отображения LDR - HDR 8-битовая цветокоррекция позволит обеспечить линейные расширения или гамма-коррекцию, которые регулируются с коэффициентом 4, или в 2 стопа. Особенно для приложений, где критическим является пропускная способность/память или расход бит, очевидно, что для того, чтобы иметь кодирование, позволяющее обеспечить большинство функций HDR с весьма высоким, но не с максимально возможным качеством, потребуется гораздо больше бит (и вероятно даже для многих так называемых высококачественных приложений в любом случае будет больше артефактов путем, например, из-за неадекватной или рискованной настройки квантователей коэффициентов DCT-преобразования и т.д.

Следует тщательно подумать, чтобы понять важное отличие предложенного здесь подхода (который далеко не всем понятен) между сигналом, закодированным (например, для использования путем непосредственной подачи этого сигнала в качестве сигнала возбуждения) для конкретного диапазона яркости типа LDR диапазона, и информацией, которую он в действительности содержит. Поскольку здесь полностью исключена связь между кодированием и воспроизведением это можно сделать. Единственное, что необходимо - это сдвинуть информацию в поддиапазонах яркости на подходящие уровни вдоль диапазона [0.1] или [min_luma, max_luma] для правильного воспроизведения на конкретном дисплее. Например, кодировка может быть построена таким образом (например, с ручной цветокоррекцией), чтобы обеспечить прекрасное по визуальному качеству изображение на LDR дисплее (заметим также, что здесь описаны диапазоны, соответствующие кодировкам с яркостями, а не сигналами яркости, причем яркости являются линейными выходными результатами, которым соответствует кодировка изображения при конечном воспроизведении, в то время как сигнал яркости представляет собой действительную кодировку, которая теоретически может быть любой, например, яркость 0,1 нит может быть закодирована как сигнал яркости 32, а яркость 200 нит как сигнал яркости 0). Это означает, что, например, выполнена цветокоррекция более темных областей, так что обеспечивается достаточная видимость структуры при низкой пиковой светлоте (например, дисплей 100 нит), и то удалось избежать визуальную нечеткость в едва распознаваемом черном цвете. Но такая цветокоррекция изображения не очень применима к HDR воспроизведению, поскольку, например, более темные области изображения могут рассматриваться как слишком яркие для передачи правильного впечатления от сцены. Однако заметим, что это скорректированное LDR изображение (которое нужный режим темной области ??) может содержать информацию (например, пространственные вариации структуры пиксельной яркости) о более узком диапазоне или поддиапазоне исходной сцены, или более широком диапазоне (поддиапазоне) яркости. Например, можно создать LDR сигнал путем использования простой камеры, которая отсекает освещенные солнцем внешние области до максимума белого (255), сохраняя те же значения сигнала яркости темной средней части. Либо можно использовать интеллектуальный алгоритм отображения цветовой палитры, который включает некоторые из исходно зафиксированных текстур освещенных солнцем областей. Это позволяет сжать их в узком динамическом диапазоне LDR изображения (обычно считается, что сжатие уменьшает количество бит, но более важным вопросом является то, каким образом распределить подобласти цветовых палитр сигнала яркости (в форме шатра), оттенка и насыщенности,