Кодирование, декодирование и представление изображений с расширенным динамическим диапазоном

Кодирование, декодирование и представление изображений с расширенным динамическим диапазоном

Иллюстрации

Показать все

Реферат

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

[0001] Данная заявка заявляет приоритет на предварительную патентную заявку США №61/476174, поданную 15 апреля 2011 года, и на предварительную патентную заявку США №61/552868, поданную 28 октября 2011, которые полностью включены в данный документ путем ссылки.

ОБЛАСТЬ ТЕХНИКИ

[0002] Настоящее изобретение относится, в общем, к обработке изображения и, в частности, к кодированию, декодированию и представлению изображений с расширенным динамическим диапазоном.

ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯ

[0003] Технологии дисплеев и разработанные заявителем и другими способны воспроизводить изображения, имеющие расширенный динамический диапазон (HDR). Такие дисплеи способны воспроизводить изображения, которые более достоверно отображают сцены реального мира, чем традиционные дисплеи.

[0004] Для поддержки совместимости с предыдущими версиями, а также с новыми технологиями HDR дисплеев, HDR изображение может быть представлено тонально отображенным изображением с дополнительными метаданными, содержащими отношения яркости оттенков серого. С одной стороны, тонально отображенное изображение может использоваться для представления изображения с нормальным динамическим диапазоном (например, на устаревших дисплеях). С другой стороны дополнительные метаданные могут использоваться с тонально отображенными изображениями для создания, восстановления или представления HDR изображения (например, HDR дисплеем).

[0005] Однако тонально отображенное изображение может содержать одно или несколько цветовых изменений, возникающих по различным причинам в связи с пользователем, который производит манипуляции с изображением, или с конкретным оператором тонального отображения, который привык создавать тонально отображенные изображения. Например, пользователь может изменить информацию о цвете, связанную с некоторыми или всеми пикселями в изображении, с целью создания изображения, которое выглядит более художественно. Дополнительно оператор тонального отображения может осуществлять различные усечения черного и белого в различных цветовых каналах и может вносить цветовых изменения, например в относительно недодержанных или передержанных областях изображения. Согласно существующим технологиям, когда декодер, расположенный ниже по схеме процесса, пытается воссоздать HDR изображение из тонально отображенного изображения и сопутствующих отношений яркости оттенков серого, устранить эти цветовые изменения в тонально отображенном изображении сложно или невозможно.

[0006] Способы, описанные в данном разделе, представляют собой способы, которые можно было бы осуществить, но необязательно способы, которые были сформулированы или осуществлены. Таким образом, если не указано обратное, не следует понимать, что любой из способов, описанных в данном разделе, расценивается как известный уровень техники, только лишь посредством их вставки в данном разделе. Подобным образом, преимущества определенные относительно одного или нескольких способов не стоит воспринимать, как признанные в уровне техники на основе данного раздела, если не указано обратное.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

[0007] Настоящее изобретение изображено на фигурах сопутствующих графических материалов для примера, а не для ограничения, и подобные ссылочные позиции соответствуют подобным элементам, где:

[0008] на фиг. 1 изображен пример кодера HDR изображения согласно некоторым возможным вариантам осуществления настоящего изобретения;

[0009] на фиг. 2 изображен пример декодера HDR изображения согласно некоторым возможным вариантам осуществления изобретения;

[0010] на фиг. 3А и фиг. 3В изображен пример последовательности операций процесса согласно одному из возможных вариантов осуществления настоящего изобретения; и

[0011] на фиг. 4 изображен пример аппаратной платформы, на которой может быть выполнен компьютер или компьютерное устройство согласно одному из возможных вариантов осуществления настоящего изобретения.

[0012] на фиг. 5 изображены изменяющиеся характеристики насыщения различных сенсоров цвета в обычных камерах по градиенту от черного к белому.

[0013] на фиг. 6А и 6В изображены варианты осуществления настоящей системы, которая преобразует данные изображения из цветового пространства сенсора камеры в цветовое пространство монитора, который осуществляет апостериорный анализ баланса белого;

[0014] на фиг. 7 представлен один вариант осуществления техники коррекции баланса белого.

ОПИСАНИЕ ПРИМЕРОВ ВОЗМОЖНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0015] Далее описаны примеры возможных вариантов осуществления, которые относятся к техникам обработки изображения. В нижеследующем описании, с целью объяснения, приведено множество конкретных деталей, чтобы обеспечить полное понимание настоящего изобретения. Очевидно, однако, что настоящее изобретение может осуществляться без этих конкретных деталей. В других примерах, хорошо известные конструкции и устройства не описаны в исчерпывающих подробностях, во избежание ненужного перенасыщения, искажения смысла или запутывания содержания настоящего изобретения.

[0016] Примеры вариантов осуществления описаны в данном документе согласно следующему плану:

1. ОБЩИЙ ОБЗОР

2. КОДЕР HDR ИЗОБРАЖЕНИЯ

3. КОРРЕКЦИЯ БАЛАНСА БЕЛОГО

4. ДЕКОДЕР HDR ИЗОБРАЖЕНИЯ

5. ПРИМЕР ПОСЛЕДОВАТЕЛЬНОСТИ ОПЕРАЦИЙ ПРОЦЕССА

6. МЕХАНИЗМЫ РЕАЛИЗАЦИИ - ОБЗОР АППАРАТНОГО ОБЕСПЕЧЕНИЯ

7. ЭКВИВАЛЕНТЫ, КОМПОНЕНТЫ, АЛЬТЕРНАТИВНЫЕ ВАРИАНТЫ И ПРОЧЕЕ

1. ОБЩИЙ ОБЗОР

[0017] Данный обзор представляет базовое описание некоторых аспектов одного возможного варианта осуществления настоящего изобретения. Следует указать, что данный обзор не является расширенным или исчерпывающим описанием аспектов возможного варианта осуществления. Более того, следует указать, что данный обзор не следует понимать, как определяющий любые особенно важные аспекты или элементы возможного варианта осуществления, как очерчивающий какую-либо сущность возможного варианта осуществления в частности, как изобретение вообще. Данный обзор всего лишь представляет некоторые идеи, которые относятся к примеру возможного варианта осуществления в сокращенном и упрощенном формате, и должны пониматься, не более, чем концептуальное предисловие к более подробному описанию примеров возможных вариантов осуществления, которые следуют ниже.

[0018] Чтобы отобразить изображения на большом количестве разнообразных устройств отображения изображения, операторы тонального отображения (ТМО) обрабатывают входные HDR изображения в тонально отображенные (ТМ) базовые изображения. ТМ базовые изображения могут включать цветовые изменения (например, изменение тона, усечений цвета, художественных видов и т.д.) по отношению к входному изображению. Согласно некоторым техникам, ТМ базовые изображения подаются на декодеры изображения, расположенные ниже по схеме процесса, вместе с отношениями яркости для воссоздания HDR изображений, эквивалентных входным HDR изображениям. Однако декодер изображения, расположенный ниже по схеме процесса, не сможет устранить цветовые изменения в восстановленном HDR изображении, полагаясь на ТМ базовое изображение и отношения яркости оттенков серого. Как результат, цветовые изменения останутся заметными на восстановленном HDR изображении.

[0019] В противоположность, кодер HDR изображения согласно техникам, описанным в данном документе, создает не только отношения яркости, но также значения остаточного цвета на основе входного HDR изображения и ТМ базового изображения. Отношения яркости и значения остаточного цвета могут вместе указываться как данные HDR восстановления. Факультативно и/или дополнительно, отношения яркости преобразуются в логарифмическую область для поддержки относительно большого диапазона значений яркости. Факультативно и/или дополнительно, полученные логарифмические отношения яркости и значения остаточного цвета подвергают квантованию. Факультативно и/или дополнительно, квантованные логарифмические отношения и значения остаточного цвета хранятся в остаточном изображении. Квантованные логарифмические отношения и значения остаточного цвета или остаточное изображение в некоторых вариантах осуществления снабжены ТМ базовым изображением на декодере изображения, расположенном ниже по схеме процесса. Факультативно и/или дополнительно, параметры, относящиеся к квантованным логарифмическим отношениям и значениям остаточного цвета (например, пределы диапазона и т.д.), также снабжены ТМ базовым изображением.

[0020] ТМО здесь может свободно осуществлять усечение цвета в цветовых каналах для отдельных пикселей с низкими (черный) или высокими (белый) уровнями яркости. Кроме того, ТМО, как описано в данном документе, не требует поддержания тона для каждого пикселя. Согласно описанным в данном документе техникам, пользователь свободно может выбирать ТМО на основе содержания изображения (например, фигура человека, изображение интерьера, пейзажи на открытом воздухе, вид ночью, рассвет и т.д.) или аппликации (например, использованной в фильме, на постере, на свадебной фотографии, в журнале и т.д.). Усечения цвета или модификации могут использоваться преднамеренно и свободно для создания художественного вида изображений. Кодеры и декодеры HDR изображения здесь поддерживают ТМО, реализованный различными типами монтажного программного обеспечения и производителями камер, которые предоставляют широкий диапазон возможных цветовых изменений. Согласно техникам, описанным в данном документе, HDR кодеры предоставляют значения остаточного цвета HDR декодерам. HDR декодеры в свою очередь используют значения остаточного цвета для предупреждения (или уменьшения) цветовых изменений в восстановленных HDR изображениях.

[0021] Согласно техникам, описанным в данном документе, битовые потоки и/или файлы изображения могут использоваться для хранения и предоставления ТМ базовых изображений и их соответствующих данных HDR восстановления просмотрщикам изображений или декодерам, расположенным ниже по схеме процесса, для декодирования и/или отображения. Формат изображения согласно техникам, описанным в данном документе, поддерживает ТМО, реализованные различными типами монтажного программного обеспечения и производителей камер. Примеры форматов, описанных в данном документе, могут включать форматы изображения стандарта JPEG (включая, например, JPEG-HDR), но не ограничиваться ими. В одном из примеров вариантов осуществления формат изображения JPEG-HDR используется для поддержки ТМ базового изображения с отношениями яркости и значениями остаточного цвета. Дополнительно и/или факультативно, один или оба из ТМ базового изображения и остаточное изображение, хранящееся в файле изображения, сжаты. Сжатие, описанное в данном документе, может осуществляться при помощи стандарта JPEG или другим способом.

[0022] Декодер изображения или просмотрщик, не поддерживающий HDR изображение, работающий согласно техникам, описанным в данном документе, просто открывает ТМ базовое изображение в файле изображения. С другой стороны, декодеры HDR изображения согласно техникам, описанным в данном документе, сконфигурированы для чтения/анализа файла изображения в ТМ базовом изображении и его соответствующих отношений яркости и значений остаточного цвета и для воссоздания/восстановления HDR изображения. Восстановленное HDR изображение, описанное в данном документе, не имеет цветовых изменений, которые были удалены из оригинального входного HDR изображения, однако были предоставлены в ТМ базовом изображении при помощи ТМО.

[0023] В некоторых возможных вариантах осуществления механизмы, описанные в данном документе, образуют часть кодера изображения, включая, но, не ограничиваясь переносными устройствами, игровыми аппаратами, театральными системами, домашними развлекательными системами, телевизорами, ноутбуками, нет-буками, мобильными радиотелефонами, электронными книгами, терминалами пунктов продаж, стационарными компьютерами, автоматизированными рабочими местами, компьютерными киосками и различными другими видами терминалов и обрабатывающих машин.

[0024] Специалисту в данной области сразу же станут очевидны различные модификации к предпочтительным вариантам осуществления и характерным принципам и особенностям, описанным в данном документе. Таким образом, описание не ограничивается показанными вариантами осуществления, однако должно согласовываться с широким объемом, содержащим принципы и особенности, описанные в данном документе.

2. КОДЕР HDR ИЗОБРАЖЕНИЯ

[0025] На фиг. 1 изображен пример кодера HDR изображения в соответствии с некоторыми возможными вариантами осуществления настоящего изобретения. В некоторых возможных вариантах осуществления, кодер HDR изображения реализован посредством одного или нескольких компьютерных устройств, и сконфигурирован при помощи программного обеспечения и/или компонентов аппаратного обеспечения, которые осуществляют техники обработки изображения для кодирования входного HDR изображения в ТМ изображение с данными HDR восстановления в формате на основе стандарта или специализированного формата изображения.

[0026] Кодер HDR изображения содержит программное обеспечение и/или компоненты аппаратного обеспечения сконфигурированы для приема входного HDR изображения. Как использовано здесь, «входное HDR изображение» относится к любому HDR изображению, которое может содержать данные изображения с расширенным динамическим диапазоном с плавающей запятой или фиксированной запятой. Входное HDR изображение может быть в любом цветовом пространстве, которое поддерживает цветовую гамму с расширенным динамическим диапазоном. В одном примере варианта осуществления входное HDR изображение является RGB изображением (например, входное HDR RGB, как показано на фиг. 1) в цветовом пространстве RGB. В одном из примеров, каждый пиксель во входном HDR изображении содержит значения пикселей с плавающей запятой для всех каналов (например, красный, зеленый и синий цветовые каналы в цветовом пространстве RGB), определенных в цветовом пространстве. В другом примере каждый пиксель во входном HDR изображении содержит значения пикселя с фиксированной запятой для всех каналов (например, значения пикселей с фиксированной запятой с 16 бит или большее/меньшее количество битов для красного, зеленого и синего цветовых каналов в цветовом пространстве RGB) определенных в цветовом пространстве. Каждый пиксель может факультативно и/или альтернативно содержать субдискретизированные значения пикселя для одного или нескольких каналов в цветовом пространстве.

[0027] В одном примере осуществления кодер HDR изображения содержит программное обеспечение и/или компоненты аппаратного обеспечения, сконфигурированные для осуществления нескольких этапов предварительной обработки. Факультативно и/или альтернативно, этапы предварительной обработки включают, но не ограничиваются, ноль или несколько проверок корректности на входном HDR изображении и т.д. Например, входное HDR изображение может или не может содержать значения пикселя, обозначающие отрицательные значения яркости, например, представленные этапом, идущим выше по схеме процесса, или искажение локальных данных, представленное при кодировании или передаче. Чтобы базовое значение яркости не было отрицательным, тем самым вызывая проблемы в последующих операциях тонального отображения, базовые значения яркости во входном HDR изображении проверяются при помощи проверки корректности (Проверка 104 отрицательного значения яркости). Если базовое значение яркости пикселя не является положительным, значения пикселя для всех цветовых каналов пикселя могут устанавливаться на ноль.

[0028] В возможных вариантах осуществления, в которых значение яркости не является непосредственно данной пикселю в цветовом пространстве, причем значение яркости для пикселя может (опосредованно) исходить из значений пикселя в цветовой области. В одном из примеров варианта осуществления, значения пикселя: R, G и В в цветовом пространстве RGB для пикселя могут использоваться для вычисления значения яркости, Y, для пикселя, как указано ниже:

[0029] Прежде, чем входное HDR изображение, которое может или не может предварительно обрабатываться, предоставляется оператору тонального отображения (ТМО 106), входное HDR изображение проходит через оператора (105) баланса белого. Как подробнее будет описано ниже, корректировка и/или регулировка баланса белого в HDR изображениях может быть необходима как часть HDR кодирования, а также как операция перед операцией тонального отображения.

[0030] В одном примере варианта осуществления ТМО 106 содержит программное обеспечение и/или компоненты аппаратного обеспечения, сконфигурированные для создания, на основе входного HDR изображения (которое может быть предварительно обработано), тонально отображенного (ТМ) изображения, которое может отображаться на большом количестве различных устройств отображения. Согласно техникам, описанным в данном документе, ТМО 106 рассматривается как черный ящик в кодере HDR изображения. ТМО 106 или пользователь, который использует ТМО 106 для управления входным HDR изображением, может свободно вносить одно или несколько цветовых изменений, которые влияют на свойства тонов или цветности в некоторых или всех частях выходного ТМ изображения из ТМО 106. Согласно техникам, описанным в данном документе, ТМ изображение с цветовыми изменениями, свободно выполненными ТМО 106 или пользователем, могут предоставляться как базовое изображение для устройств, расположенных ниже по схеме процесса, вместе с данными HDR восстановления, созданными согласно техникам, описанным в данном документе, которые могут использоваться для воспроизведения/отображения HDR изображения. Данные HDR восстановления предоставляют достаточную информацию принимающему устройству, расположенному ниже по схеме процесса, для воспроизведения HDR изображения без цветовых изменений, выполненных ТМО 106.

[0031] Факультативно и/или альтернативно кодер HDR изображения содержит программное обеспечение и/или компоненты аппаратного обеспечения (Изменение 110 черного), сконфигурированные для осуществления изменений черного на выходе из ТМО 106, ТМ изображение (R'G'В' 108). Кодер HDR изображения, или изменение 110 черного в нем, определяет местонахождение нулевых значений пикселя в ТМ изображении (R'G'B' 108). В одном примере, если значение пикселя для цветового канала равно нулю, то значению пикселя дают маленькое значение, например 1, 2, 10 или другое большее или меньшее значение. В другом примере, если значение яркости для пикселя равно нулю, то значениям пикселя для одного или нескольких цветовых каналов дают маленькие значения, например 1, 2, 10 или другие большие или меньшие значения. Маленькое значение пикселя (например, ниже 10) при восприятии может не иметь визуальных различий.

[0032] ТМ изображение (R'G'B' 108) может или не может быть 8-битным изображением с гамма-коррекцией. Исключительно с целью иллюстрации, тонально отображенное изображение (R'G'B' 108), выведенное ТМО 106, подвергся гамма-коррекции в ТМО 106. Факультативно и/или альтернативно кодер HDR изображения содержит компоненты программного обеспечения и/или аппаратного обеспечения (Инверсия гаммы 112), сконфигурированные для преобразования тонально отображенного изображения (R'G'B' 108) в промежуточное тонально отображенное изображение (RGB_t) в линейной области, если выходной параметр или возвращаемое значение ТМО 106 указывает, что в ТМО 106 была осуществлена гамма-коррекция. Кривая гамма-распределения, используемая для гамма-коррекции и/или для гамма-конверсии может быть связана со стандартным цветовым пространством, например sRGB или Adobe RGB, которые могут быть указаны ТМО 106, используя один или несколько выходных параметров или возвращаемых значений. В одном примере осуществления RGB_t может использоваться для дальнейшего получения отношений яркости и остаточных значений, как описано в данном документе.

[0033] В одном примере варианта осуществления значения (Y_h) яркости во входном HDR изображении (RGB_h) и значений (Y_t) в RGB_t могут вычисляться. В некоторых возможных вариантах осуществления, Y_h, Y_t и отношения (r) яркости между Y_h и Y_t могут вычисляться на основе отдельных пикселей, как указано ниже:

[0034] где Y_h содержит несколько значений яркости, каждое из которых соответствует различным пикселям во входном HDR изображении, Y_t содержит несколько значений яркости, каждое из которых соответствует различным пикселям в тонально отображенном изображении и r содержит несколько отношений яркости, каждое из которых определяется как отношение между значением яркости в Y_h и соответствующим значением яркости в Y_t. В некоторых возможных вариантах осуществления Y_h, Y_t и r могут выражаться матрицами той же размерности. Положение в матрице, описанное в данном документе, как указано индексом строки и индексом столбца, может указывать на пиксель в изображении (например, входное HDR изображение, тонально отображенное изображение или изображение отношения яркости образованное r). Значения яркости Y_h и Y_t и отношения яркости из r соответствуют один другому, если их положения имеют в матрицах тот же индекс строки и тот же индекс столбца. В альтернативном варианте осуществления операции деления (Деление 116), как показано на фиг. 1 для вычисления r на основе Y_h и Y_t, осуществляются как вычитания в логарифмической области.

[0035] Согласно техникам, описанным в данном документе, отношения r яркости вычисляются при помощи тонально отображенного изображения (RGB_t), который содержит результат операций цветового изменения, осуществленных ТМО 106 или пользователем. Отношения яркости, вычисляемые как в выражениях (2), при умножении тонально отображенного изображения, создают изображение, значения яркости которого совпадают со значениями яркости входного HDR изображения.

[0036] Если цветовой баланс поддерживается ТМО 106 и если нет усечения цвета, осуществленного ТМО 106 или пользователем при помощи тонально отображенного изображения, комбинированное изображение, созданное посредством умножения тонально отображенного изображения с отношениями r яркости совпадает с входным HDR изображением цвет в цвет.

[0037] С другой стороны, если тонально отображенное изображение содержит цветовые изменения/искажения, например, когда цветовой баланс во входном HDR изображении изменяется ТМО 106 в тонально отображенном изображении, или, если происходит усечение цвета в операторе баланса 105 белого или ТМО 106, комбинированное изображение, созданное посредством умножения тонально отображенного изображения с отношениями r яркости, не соответствует входному HDR изображению цвет в цвет. Согласно техникам, описанным в данном документе, различия в цветовых каналах отличных от канала яркости вычисляются между комбинированным изображением и входным HDR изображением для создания остаточных значений, заключающихся в данных HDR восстановления. Данные HDR восстановления, полученные согласно техникам, описанным в данном документе, предоставляют дополнительную информацию о цвете, которая была потеряна в балансе 105 белого или ТМО 106 или при операциях, осуществляемых пользователем. Когда устройство, расположенное ниже по схеме процесса, такое как декодер HDR изображения или устройство HDR отображения, получает ТМ изображение с цветовыми изменениями/искажениями и данными HDR восстановления, причем цветовые изменения/искажения в ТМ изображении компенсируются данными HDR восстановления.

[0038] Как указанно в данном документе, усечение относится к типу цветового изменения, которое изменяет/модифицирует значения пикселей, которые выходят за пределы, в цветовых каналах, так что результирующие значения пикселей находятся в представленных диапазонах. Усечение может произойти с любыми цветовыми каналами (например, в ТМ изображении значения R, G и В пикселей в цветовом пространстве RGB в определенной части HDR изображения могут усекаться). Количество усечений может или не может варьироваться с цветовыми каналами (например, больше усечения для зеленого, меньше усечения для синего и т.д.).

[0039] Используя отношения r яркости, входное HDR изображение может повторно отображаться для создания промежуточного повторно отображенного изображения (RGB_ht), цветовой баланс которого не изменяется. RGB_ht может вычисляться при помощи операции деления (Деление 118), как указано ниже:

[0040] Как объяснялось выше, если цветовой баланс поддерживается посредством ТМО 106 и, если нет усечения цвета, повторно отображенное изображение (RGB_ht) будет таким же, как тонально отображенное изображение (RGB_t). В противном случае между этими двумя изображениями будут различия. Различия между двумя изображениями являются остаточными значениями в тонально отображающем цветовом пространстве (например, пространство, содержащее все возможные тонально отображенные изображения). В одном примере осуществления остаточные значения (RGB_e) вычисляются при помощи вычитаний (Вычитание 132) в линейной области, как указано ниже:

[0041] Остаточные значения (RGB_e) могут конвертироваться (блоком 134 CSC, показанным на фиг. 1) в цветовое пространство YC_bC_r. Согласно техникам, описанным в данном документе, тонально отображенное изображение (RGB_t) и повторно отображенное изображение (RGB_ht) имеют одинаковые значения яркости. Остаточные значения яркости между этими двумя изображениями все равны нулю. Остаточные значения (RGB_e) в цветовом пространстве YC_bC_r содержат только информацию о цветности (Diff YC_bC_r 154), которую необходимо сохранить. Конверсия из RGB_e в Diff YC_bC_r 154 может быть представлена, как показано ниже:

[0042] где M_CSC и его инверсия M_CSC^-1 может быть матрицей 3×3, определенной, как указано ниже:

[0043] Согласно техникам, описанным в данном документе, коэффициенты конверсии, используемые для вычисления значений яркости во входном HDR изображении и тонально отображенном изображении, являются такими же, как у M_CSC в выражениях (5) и (6). Согласно этим техникам, остаточные значения (Y_e) яркости в RGB_e все равны нулю, как показано ниже:

[0044] Отношения r яркости в линейной области, как было вычислено в выражениях (2), имеют большой диапазон, поскольку отношения несут HDR информацию о входном изображении. В примере варианта осуществления, в целях достаточного квантования, как показано в выражении (8) ниже, отношения r яркости сначала конвертируют (например, при помощи логарифмического блока 130 по фиг. 1) в логарифмическую область. Максимальные и минимальные значения отношений яркости в логарифмической области могут использоваться для определения логарифмического диапазона (например, при помощи блока минимальных и максимальных значений по фиг. 1) с верхним предельным значением и нижним предельным значением как lr_max и lr_min соответственно. Логарифмические отношения яркости затем могут квантоваться (например, равномерно или по определенной кривой) (например, при помощи блока 136 8-битного квантования по фиг. 1) в 8-битные значения Log Y_t (или Н в выражении (8)) на основе логарифмического диапазона. В одном примере с логарифмической областью используется логарифм с другими основаниями помимо натурального логарифма.

[0045] В одном примере цветовое пространство YC_bC_r, причем остаточные значения C_b и C_r (указанные как U и V в выражениях (9) и (10)) в Diff C_bC_r могут квантоваться до 8-битных значений (C_bC_r 158), соответственно подобным образом как указано ниже:

[0046] В одном примере варианта осуществления после квантования данные HDR восстановления содержат три набора двумерных данных, Н, U и V (Log Y_t и C_bC_r 158 на фиг. 1). Наборы данных в данных HDR восстановления могут сохраняться/храниться в отдельном YC_bC_r контейнере 144 (например, YUV изображение), содержащем значения отношения яркости (в каналах яркости примерного цветового пространства YUV), как если бы они формировали (например, YUV) изображение. В конце можно получить два изображения. Одно - тонально отображенное изображение в цветовом пространстве RGB, а другое - HUV изображение в цветовом пространстве YUV. Тонально отображенное изображение может быть выводом (R'G'B' 108) из ТМО 106, после изменения черного (Изменение черного 110) и/или с факультативным уменьшением насыщения (например, 150). Как тонально отображенное, так и HUV изображения могут содержать 8-битные данные, и могут сжиматься, например, при помощи способа сжатия по стандарту JPEG. Данные HDR восстановления могут выводиться в сегмент приложения (Сегмент приложения 146) с тонально отображенным изображением в отдельном файле изображения. Отдельный файл изображения может быть в формате на основе стандарта или специализированного формата изображения (например, JPEG-HDR). Сегмент приложения может представлять собой поле маркера (например, маркер АРР11) в формате файла изображения (например, как определено по стандарту JPEG). В одном примере ТМ изображение образует базовое изображение (ТМ базовое изображение 148 в RGB) после JPEG сжатия, и HUV изображение присоединяется к ТМ базовому изображению в сегменте приложения (Сегмент приложения 146), например маркер АРР11 в окончательный файл HDR (например, 156) изображения.

[0047] Техники, описанные в данном документе, могут использоваться как для HDR изображений с плавающей запятой, так и для HDR изображений с фиксированной запятой (например, 16-битное линейное изображение, 14-битное изображение с гамма-коррекцией и т.д.).

[0048] В одном примере варианта осуществления ТМ базовое изображение и HUV изображение хранятся в стандартном формате JPEG согласно техникам JPEG-HDR, коммерчески доступные от Dolby Laboratories, Сан-Франциско, Калифорния. ТМ базовое изображение храниться в сегменте данных статистического кода. HUV изображение с параметрами и вспомогательными данными хранится в сегменте приложения, например сегменте приложения АРР11 по JPEG-HDR, с подходящей строкой ID (например, «DD»).

[0049] Минимальные и максимальные значения диапазонов значений квантизации в HUV могут храниться в сегменте I типа. Эти минимальные и максимальные значения включают максимальные и минимальные значения отношения яркости в логарифмической области, максимальные и минимальные значения для остаточных значений C_b, и максимальные и минимальные значения для остаточных значений C_r. Факультативно и/или альтернативно другая информация, определяющая цветовое пространство базового изображения (например, sRGB, AdobeRGB), и остаточный режим (например, только отношение яркости) включены в сегмент I типа. Если остаточный режим представляет собой только отношение яркости, C_b и C_r, при дальнейшем кодировании связанные параметры и данные могут игнорироваться.

[0050] В одном примере осуществления HUV изображение хранится в сегменте II типа, и может разделяться на несколько сегментов II типа с информацией об индексе в заголовке сегментов, если размер данных HUV изображения превышает определенный размер, например, 64к байт.

3. КОРРЕКЦИЯ БАЛАНСА БЕЛОГО

[0051] Часто пользователь делает снимок цифровой камерой и необходимо отобразить HDR изображение, выведенное из полученного снимка. Если известен формат Camera RAW камеры, запечатлевшей изображение, то возможно создание HDR изображения с высоким качеством цветности. Однако апостериорная коррекция баланса белого может быть затруднительной для корректного осуществления, используя стандарт JPEG, по меньшей мере, по двум причинам: (1) точное отображение из полученного цветового пространства обратно в цвета сенсора не известно, и (2) усечение применялось для различных цветовых каналов неравномерно. Без знания того, как достичь цветового пространства, которое линейно связано с оригинальными значениями сенсора, коррекцию баланса белого нельзя провести хорошо.

[0052] Тем не менее, если формат Camera RAW известен, возможно использование форматирования Camera RAW для регулировки выдержки и баланса белого после события (т.е. после запечатления изображений камерой). В то время как изображения стандарта JPEG могут иметь собственную освещенность, увеличенную до некоторой степени, невозможно восстановить утерянные световые блики, и корректировка баланса белого либо увеличивает освещенность всего изображения, либо приводит к окрашиванию световых бликов до некоторой степени. Один вариант осуществления настоящей системы, тем не менее, дает возможность регулировать выдержку и баланс белого JPEG-HDR изображений и может иметь преимущество перед стандартом JPEG и (во многих случаях) кодированиями изображения Camera RAW.

[0053] Стандартное кодирование изображения, такое как JPEG или 24-битный TIFF на практике имеют максимально возможное значение в каждом канале (255, 255, 255), которое отвечает «белому». Пока правильно устанавливаются выдержка и баланс белого камеры, воссозданное изображение будет приемлемым для нормального просмотра и печати. Однако, если изображение немного передержано или пользователем или встроенным программным обеспечением камеры неправильно выставлен баланс белого, сложно будет корректировать изображение во время последующей обработки. Если основное значение будет усечено до 255, то информация, использованная для восстановления оригинального цвета, будет потеряна.

[0054] Хотя не существует широко принятых стандартов для Camera RAW, большинство таких форматов содержит достаточно информации по каждому пикселю для выполнения умеренных настроек выдержки и баланса белого. Посредством записи оригинальных аналого-цифровых выходных значений сенсора, можно узнать почти все, что сделала камера, когда делали снимок. В частности можно сказать, когда каждый сенсор насыщается, что дает возможность регулирования выдержки и баланса белого в захваченной области.

[0055] На самом деле, если доступны файлы Camera RAW, то в данной ситуации можно помочь по двум причинам: (1) Camera RAW имеет немного дополнительного пространства в каждом канале выше «белого», и (2) Camera RAW говорит нам точно, когда усекается каждый канал так, что можно обратить внимание, чтобы этот максимум не был превышен при выходном отображении. Поэтому обычно апостериорная коррекция белой точки работает в Camera RAW, поскольку (1) известны линейное цветовое пространство сенсора и диапазон, и (2) не было потерь информации для фиксации. Любая отображенная белая точка, доступная в момент запечатления, доступна из данных Camera RAW.

[0056] На самом деле, если баланс белого осуществляется в Camera RAW, полученное изображение является оригинальным изображением, поскольку этапы, выбранные камерой во встроенном программном обеспечении, повторяются, однако могут осуществляться и на отдельном программном обеспечении. Тем не менее существуют ограничения на то, сколько информации может быть восстановлено. Например, в некоторых случаях, если один из каналов достиг своего максимального значения при этой корректировке, RAW преобразователь может усечь два остальных, чтобы обеспечить нейтральный результат.

[0057] Ограничение основных цветов до неправильных белых точек делает проблематичной апостериорную коррекцию, даже если мы действительно знаем, как прийти к линейным значениям, поскольку полный диапазон данных сенсора был нарушен. Такая апостериорная обработка может окончится либо обесцвечиванием новых световых бликов, либо увеличением освещенности таки