Устройства и способы кодирования и декодирования изображения hdr
Иллюстрации
Показать всеИзобретение относится к технологиям кодирования/декодирования изображений расширенного динамического диапазона (HDR). Техническим результатом является повышение эффективности кодирования/декодирования изображений с расширенным динамическим диапазоном, за счет представления LDR изображения внутри HDR изображения в одном кадре. Предложен блок кодирования изображений, выполненный с возможностью кодирования изображения расширенного динамического диапазона. Блок кодирования изображений содержит селектор LDR, селектор HDR, блок кодового отображения. Селектор LDR осуществляет идентификацию низкого динамического диапазона яркостей (R_Norml_LDR) или соответствующего диапазона значений кодов сигнала яркости (R_LDR) в пределах полного диапазона яркостей (Range_HDR), охватываемого изображением расширенного динамического диапазона. HDR селектор осуществляет выбор по меньшей мере одного дополняющего диапазона (R_above) в пределах полного диапазона яркостей (Range_HDR), включающего в себя, главным образом, яркости, не охватываемые яркостями низкого динамического диапазона (R_Norml_LDR). 6 н. и 9 з.п. ф-лы, 7 ил.
Реферат
ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Настоящее изобретение относится к устройствам и способам, а также к результирующим изделиям, таким как изделия в виде носителей данных или кодированных сигналов для улучшенного кодирования изображений, в частности сцен HDR (расширенного динамического диапазона).
УРОВЕНЬ ТЕХНИКИ
В последнее время появились новые разработки в области кодирования изображений/видео (будь то зафиксированные сцены или компьютерная графика), а именно, желательно лучше фиксировать весь диапазон яркостей и цветов объекта, встречающихся в природе, вплоть до больших значений яркости, таких как, например, 25000 нит, которые могут возникнуть при наружном солнечном освещении и вблизи сильных источников искусственного освещения, а также зачастую и вплоть до очень низких значений яркости, таких как 0,01 нит, что и называется кодированием с расширенным динамическим диапазоном (HDR, High Dynamic Range). Существует давление как на стороне создания контента, например, камер (и даже камерам мобильных устройств желательна лучшая фиксация фактических сцен, особенно когда они используются свободно и упрощенно во всех видах оборудования, таких как камера мобильного телефона, независимо и никак не связано с тем, на какой системе визуализации захваченное изображение будет в дальнейшем визуализировано) или искусственных компьютерных цветовых пространств в компьютерных играх или спецэффектах, так и на стороне визуализации. Теперь появляются устройства отображения со все более высокой пиковой яркостью, которые сами по себе не определяют, что требуется для цепочки визуализации с расширенным динамическим диапазоном, но облегчают введение таковой. В настоящее время типичным устройством отображения расширенного динамического диапазона является жидкокристаллическое устройство отображения со светодиодной подсветкой, но если, например, ослабить условие насыщенности цвета, то можно также, например, поместить монохромную подсветку позади органических светоизлучающих диодов (сквозной свет создает RGBW-изображение). По нескольким причинам, по меньшей мере в течение ряда будущих лет, можно желать некоторой формы обратной совместимости, что означает, что данные так называемого кодирования низкого динамического диапазона (low dynamic range, LDR) должны быть доступны или по меньшей мере легко определяемы так, чтобы, например, усовершенствованный блок видеообработки мог доставить сигнал низкого динамического диапазона на устройство отображения с более низким динамическим диапазоном. Более того, как будет показано в настоящем документе, наличие хорошего представления с низким динамическим диапазоном может оказаться полезным даже на долгосрочную перспективу. Изобретатель понял, что одним из логических обоснований наличия кодирования с низким динамическим диапазоном является то, что хотя появляются устройства отображения со все большим динамическим диапазоном (высокого класса), существует также значительный сегмент устройств отображения с низким динамическим диапазоном (например, мобильные внешние устройства, проекторы, и т.д.). На самом деле может быть необходимым автоматически переопределять для нескольких возможных сценариев отображения или визуализации значения серого, которые зафиксированы в сигнале изображения, хотя бы для того, чтобы можно было геометрически масштабировать кадр, чтобы показывать его на экранах с различным разрешением.
Цепочка захвата с расширенным динамическим диапазоном представляет собой нечто большее, чем просто наведение камеры на сцену с большим отношением контраста освещенности между самым темным и самым ярким объектом и линейная регистрация всего, что там имеется (интегральные схемы захвата, такие как, например, ПЗС обычно являются частично (почти) линейными). Технология изображения с расширенным динамическим диапазоном должна иметь дело с тем, какими именно являются промежуточные значения шкалы серого для всех объектов, так как это, например, передает настроение фильма (затемнение уже некоторых объектов в сцене может передать мрачное настроение). И это является сложным психологическим процессом. Можно, например, представить, что психологически не так важно, будет ли яркий свет изображен на устройстве отображения именно в такой пропорции к остальным изображенным значениям шкалы серого, как яркость сцены относится к яркостям остальных объектов сцены. Вместо этого можно иметь достоверное впечатление настоящей лампы, если пиксели будут визуализированы с «некоторой» высокой яркостью отображения при условии, что она будет существенно выше яркости остальной части изображения. Может иметься пара «ламповых» уровней белого, но поскольку они далеко отстоят от остальных уровней, их точные кодовые уровни или окончательные выходные яркости на устройстве, визуализирующем изображение, могут, чаще всего, быть менее критичными. Распределение значений шкалы серого между самосветящимися и отражающими объектами (в различных областях освещения сцены) также является критически важной задачей в зависимости от цветовой гаммы устройства отображения и типичных условий просмотра. Также можно представить, что кодирование более темных областей предпочтительно делается так, чтобы они легко могли быть использованы в различных сценариях визуализации, таких как различные средние уровни окружающего освещения (т.е. они могут локально освещаться). В общем, поскольку это является сложной психологической задачей, в создание оптимальных изображений будут вовлечены художники, что называется цветовой градуировкой (цветокоррекцией). В частности, очень удобно, когда художники делают отдельную градуировку низкого динамического диапазона, даже если это сделано в «стратегии кодирования с расширенным динамическим диапазоном». Другими словами, в таком сценарии при кодировании RAW (исходного, не обработанного) сигнала единственной камеры с расширенным динамическим диапазоном также будет генерироваться изображение с низким динамическим диапазоном, не обязательно потому, что оно должно быть использовано для большой доли рынка потребления видео с низким динамическим диапазоном, но потому, что оно передает важную информацию о сцене. А именно, всегда будут присутствовать более важные области и объекты в сцене, и размещение их в подструктуре с низким динамическим диапазоном (что может концептуально рассматриваться как художественный эквивалент алгоритма автоматической экспозиции), делает более легко выполнимыми все виды преобразований в представления с промежуточным динамическим диапазоном (MDR), подходящие для управления устройствами отображения с конкретными характеристиками визуализации и просмотра. В частности, можно настроить эту часть с низким динамическим диапазоном в соответствии с несколькими критериями, например, так, чтобы она визуализировалась с хорошим качеством на эталонном (стандартном) устройстве отображения с низким динамическим диапазоном или передавала определенный процент от общей захваченной информации, и т.д.
Существует не так много способов кодирования сигнала с расширенным динамическим диапазоном. Обычно в предшествующем уровне техники просто кодируют сигнал с расширенным динамическим диапазоном, то есть (линейно) отображают пиксели, например, в 16-битные слова, и тогда максимальное значение захваченной яркости является уровнем белого для расширенного динамического диапазона аналогично философии кодирования с низким динамическим диапазоном (хотя психофизически это обычно не является уровнем отражающегося белого в сцене, а скорее уровнем яркого света лампы). Можно также отобразить полный диапазон сигнала с расширенным динамическим диапазоном на 8-битный низкий динамический диапазон посредством некоторой «оптимальной» функции преобразования сигнала яркости, которая обычно является гамма-функцией или ей аналогичной. Это может включать в себя потерю точности цвета с соответствующими проблемами качества отображения, особенно если на приемной стороне ожидается обработка изображения, такая, как местное осветление, однако на объектах изображения примерно сохраняется доминирующее значение градации серого (т.е. их относительное/процентное соотношение сигнала яркости).
В предшествующем уровне техники описаны также некоторые методы кодирования с расширенным динамическим диапазоном с помощью наборов данных двух изображений для расширенного динамического диапазона, обычно основанные на концепции своего рода масштабируемого кодирования, в которой посредством некоторых предсказаний точность локальной текстуры, закодированной с низким динамическим диапазоном, улучшается или, говоря точнее, проецируется на версию с расширенным динамическим диапазоном этой текстуры, обычно путем масштабирования яркостей низкого динамического диапазона (низкий динамический диапазон в этих технологиях обычно является не динамическим диапазоном привлекательного качества, а простой обработкой на входе HDR). И затем разница исходного изображения с расширенным динамическим диапазоном и предсказания совместно кодируется как улучшенное в желаемой степени изображение. Например, можно представить значение серого 1168 расширенного динамического диапазона делением на 8 до значения 146. Это значение расширенного динамического диапазона опять может быть воссоздано путем умножения на 8, но так как значение 1169 будет квантоваться в то же значение базового слоя 146, может быть необходимость в улучшающем значении, равном 1, чтобы иметь возможность воссоздать высокое качество сигнала с расширенным динамическим диапазоном. Пример такой технологии описан в патенте EP2009921 [Liu Shan et al. Mitsubishi Electric: Method for inverse tone mapping (by scaling and offset)]. В теории для этих кодеков модель прогнозирования обратного отображения тона (которая является более интеллектуальным эквивалентом стандартного множителя) должна быть достаточно точной, чтобы дать уже достаточно точный вид с расширенным динамическим диапазоном, на который накладываются незначительные исправления (в самом деле, если один диапазон возможных значений проецируется на другой диапазон с помощью нелинейной функции, помимо проблем с точностью, исходные значения диапазона должны быть восстановимы).
Еще одно двухкадровое кодирование изображения описано в еще не опубликованной в настоящее время патентной заявке US61/557461, все описание которой включено в настоящий документ посредством ссылки.
Эта система также работает с изображениями с низким и расширенным динамическими диапазонами, и имеет несколько схожих признаний, которые полезны также для настоящего изобретения, а именно, например, признание того, что в сигнале с расширенным динамическим диапазоном всегда можно найти подобласть с низким динамическим диапазоном большой важности, а также того, что может быть интересным сделать этот низкий динамический диапазон на самом деле полезным сигналом для отображения с низким динамическим диапазоном (например, в специально выделенном классе с низким динамическим диапазоном). И информация расширенного динамического диапазона, как правило, не только нелинейно отдельна на оси освещенности (то есть, например, лампа, имеющая гораздо большую освещенность, чем уровень белого в сцене), но она также имеет другой смысл. Зачастую, например, можно говорить об эффектах расширенного динамического диапазона, то есть, они не обязательно должны точно кодировать текстуры объекта, как основное содержание сцены, то есть ее часть с низким динамическим диапазоном, но, вместо этого в зависимости от того, какой это регион/эффект расширенного динамического диапазона, можно закодировать его с помощью различных критериев, таких как уменьшенная точность, или отбросить их все вместе. Это имеет в качестве результата то, что зачастую можно сэкономить значительную долю бюджета для частей сцены с расширенным динамическим диапазоном. Кроме того, кодирование в таком двухкадровом формате с комбинацией низкого динамического диапазона и эффектов расширенного динамического диапазона части изображения имеет то преимущество, что оба они могут быть легко разделены. Традиционные системы или системы с малыми возможностями, нуждающиеся лишь в низком динамическом диапазоне, могут извлечь его напрямую, игнорируя остальное. Но наличие также расширенного динамического диапазона как отдельно кодированного изображения делает весьма легким его настраиваемое применение в зависимости от возможностей реальной цветовой гаммы фактического устройства отображения, например, путем добавления масштабированного эффекта расширенного динамического диапазона к части с низким динамическим диапазоном с преобразованной освещенностью.
Тем не менее, в то время как этот формат отлично работает с системами, которые уже сконфигурированы для двухкадрового кодирования изображения, например, путем повторного использования структуры, обычно доступной для трехмерного кодирования, желательно располагать аналогичными возможностями в случае, когда имеется только одно изображение для кодирования. С помощью, например, развивающейся области видео по запросу можно представить, что по меньшей мере некоторым из этих систем предпочтительно иметь всю информацию закодированной в сигнале одного кадра (картинки).
Кроме того, задачей по меньшей мере некоторых из представленных вариантов осуществления является обеспечить преимущества кодирования такой оптимальной структуры «LDR внутри HDR» в одном кадре, несмотря на тот факт, что кажется довольно странным кодировать два кадра в одном. Следует отметить, что другие классы способов, описанных выше, хотя и обеспечивают математически/технически некоторые данные в формате изображения с низким динамическим диапазоном (в качестве поля), не имеют закодированных реальных изображений с низким динамическим диапазоном, то есть изображений, которые будут хорошо выглядеть на системах просмотра с низким динамическим диапазоном, потому что они были тщательно подобраны (по меньшей мере, выбраны, часто далее подвергнуты цветовой градуировке) для их вида с низким динамическим диапазоном (точнее, можно иметь кадр с низким динамическим диапазоном с правильной геометрией объекта, но показывающую сильно модифицированные значения серого текстуры объекта при непосредственной визуализации, например, неправильный контраст или среднюю яркость).
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Простое и легко используемое кодирование изображений с расширенным динамическим диапазоном может быть реализовано концепциями вариантов осуществления, представленных в настоящем документе, которые следуют принципам, относящимся к блоку (301) кодирования изображения, выполненному с возможностью кодирования изображения с большим динамическим диапазоном (IM_HDR-in), включающему в себя:
- селектор (311) LDR для идентификации низкого динамического диапазона яркостей (R_Norml_LDR) или соответствующего диапазона значений кода сигнала яркости (R_LDR) в пределах полного диапазона яркостей (Range_HDR), охватываемого изображением с расширенным динамическим диапазоном;
- селектор расширенного динамического диапазона для выбора по меньшей мере одного дополняющего диапазона (R_above) в пределах полного диапазона яркостей (Range_HDR), включающего в себя главным образом яркости, не покрытые низким динамическим диапазоном яркостей (R_Norml_LDR);
- блок (315) кодового отображения, выполненный с возможностью кодирования в первом изображении (Im_1*), имеющем по меньшей мере компоненту сигнала яркости, содержащую N-битовые кодовые слова, яркостей пикселей изображения с расширенным динамическим диапазоном (IM_HDR-in), попадающих в пределы низкого динамического диапазона яркостей (R_Norml_LDR) для кодирования значений (Y_out) в соответствии с первым отображением (CMAP_L), и яркостей пикселей изображения с расширенным динамическим диапазоном (IM_HDR-in), попадающих в пределы по меньшей мере одного дополняющего диапазона (R_above) для кодирования значений (Y_out) в соответствии со вторым отображением (CMAP_H), в котором первое и второе отображения осуществляют отображение на разъединенные поддиапазоны диапазона значений кодов сигнала яркости первого изображения (RcTot_Im1).
Иногда создание оптимального сигнала низкого динамического диапазона (например, при показе на типичном устройстве отображения с низким динамическим диапазоном еще достаточно деталей на более темных частях изображения) может включать в себя некоторое повторное отображение яркостей пикселей, обычно совершаемое художником, называемым цветокорректировщиком (или интеллектуальным алгоритмом, анализирующим различные свойства изображения, такие как, например, свойства частичной гистограммы, из которых выводятся различные меры контраста). Тем не менее, зачастую хороший вариант с низким динамическим диапазоном может быть восстановлен из изображения с расширенным динамическим диапазоном яркости. После этого необходим лишь выбор наилучшего изображения с низким динамическим диапазоном, но обычно это может быть трудной задачей, так что может потребоваться вмешательство художника. Он может выбрать поддиапазон R_Norml_LDR яркости пикселей интересующих объектов, которые должны быть хорошо закодированы и, следовательно, хорошо визуализированы на стандартном устройстве отображения с низким динамическим диапазоном. Для простоты будем считать, что кодирование с низким динамическим диапазоном может более или менее непосредственно действовать как управляющий сигнал для устройства отображения с низким динамическим диапазоном, например, посредством применения каких-либо аппаратно калиброванных преобразований, требуемых для того, чтобы устройство отображения с низким динамическим диапазоном могло абсолютно или относительно визуализировать оригинальные яркости в низком динамическом диапазоне R_Norml_LDR. Но, конечно же, могут быть вовлечены более сложные соотношения, так как в теории низкий динамический диапазон не обязательно должен быть прямым кодированием яркостей визуализации устройства отображения, а, Вместо этого может быть любым отдельным представлением некоторых яркостей в захваченной сцене. Однако, по-прежнему предполагается, что сигнал низкого динамического диапазона настолько кондиционен, что сигнал низкого динамического диапазона обработан так, что сигнал низкого динамического диапазона хорошего качества может быть (легко) получен из него (например, не так, что некоторые части, которые должны быть видимыми, обрезаются и, следовательно, не могут быть преобразованы в красиво выглядящую область, даже если устройство отображения имеет расширенные возможности обработки изображения). Это может быть, например, простым линейным сжатием контраста, которое впоследствии может быть обращено, но это автоматическое переформатирование еще не так сложно, как фактическая градация значений серого всех или некоторых пикселей, которая может включать в себя местное перекрашивание области и т.д. Выбор будет обычно также включать в себя выбор областей, которые могут быть закодированы способом с (очень) низким качеством, например, можно обрезать все области, имеющие яркость ниже определенной яркости, и установить их яркость в ноль, потому что так или иначе они не будут очень хорошо смотреться на системах просмотра с низким динамическим диапазоном (на системах, содержащих устройство отображения с низкой контрастностью, например, из-за утечки света и/или плохих условий просмотра, таких как отражения с высокой яркостью в ситуации просмотра на открытом воздухе). Эти области могут быть просто исключены из (инкапсулированного) кодирования с низким динамическим диапазоном и, следовательно, они будут закодированы некоторым образом в части с расширенным динамическим диапазоном. Обычно, следовательно, будет по меньшей мере один дополняющий диапазон, который будет содержать, например, источники света (или, возможно, какую-то часть уличной солнечной среды), и цветокорректировщик будет затем обычно решать, как их представлять. То есть, он может считать, что для источника света необходимо не так много уровней серого, но все же больше одного, потому что по меньшей мере некоторые устройства отображения расширенного динамического диапазона могут пожелать визуализации внутренней структуры источника света. Как правило, он использует эти соображения при дизайне отображения CMAP_H этих цветов. Обычно программное обеспечение будет в значительной степени автоматическим, позволяя художнику взаимодействовать с ним с минимальными усилиями. Например, он может использовать эллипс, чтобы примерно очертить лампу, а затем, в зависимости от количества данных, необходимых для кодирования остальных объектов в кадре, программное обеспечение может автоматически распределить (путем разработки соответствующего CMAP_H), например, два самых больших значения кода для этой лампы. Тем не менее, они могут не передать достаточно деталей интерьера, которые цветокорректировщик увидит на своем стандартном мониторе с расширенным динамическим диапазоном. Он может также проверить дополнительные ситуации, например, снижая среднюю степень освещенности этой области, чтобы примерно смоделировать, как все будет смотреться на еще более ярком устройстве отображения расширенного динамического диапазона. Если цветокорректировщик считает это представление достаточным для объекта, который является только источником света (что-то, во что средний зритель может, как правило, не вглядываться в течение длительного времени, чтобы изучить его состав, а скорее всего при следовании сюжету он будет глядеть на лица актеров или дикторов новостей и т.д.), он примет по меньшей мере эту часть отображения CMAP_H. В противном случае он может при дальнейшем взаимодействии, например, указать, что в выходном изображении Im_1* будут необходимы 5 значений кода сигнала яркости Y_out, чтобы достаточно точно представить эту область. Часто такая точная местная настройка кодировки не нужна, и на самом деле для выбора (то есть более или менее точного представления) к имеющимся пикселям объекта изображения могут быть применены такие функции, как например гамма-функция (можно представить каждое преобразование как отображение по меньшей мере интервала из полного диапазона входного изображения на стандартный интервал [0,1], а затем положить туда ряд выбранных точек цифровой освещенности в соответствии с любой желаемой нелинейной функцией размещения).
Аналогичным образом многое можно сделать путем выбора соответствующего отображения для подвыбора низкого динамического диапазона CMAP_L, хотя можно представить эту часть в соответствии с уже существующими приемами, такими как гамма-функция 2.2, после чего не нужно передавать никакой дополнительной информации относительно того, какое конкретное отображение (определение кода) было использовано, и, следовательно, традиционные системы, которые не проверяют и не обновляют это, могут просто использовать кодировку, как есть. Однако, помимо отображений (CMAP_L, CMAP_H), определяющих кодировку в выходное изображение, производится дополнительная трансформация отображения цвета (TRF_LDR, TRF_HDR), такая, как отображение тона, для создания дополнительных значений серого (например, вместо входного изображения с расширенным динамическим диапазоном уже высокого качества может быть введен необработанный снимок (RAW) с камеры, и в этом случае цветокорректировщик будет градуировать одновременно с кодированием). Это обеспечивает более легкое разделение между такими модификациями значений серого, которые делаются исключительно по техническим причинам, таким как эффективность сжатия (например, присваивание кодов в соответствии с визуальными принципами, такими как JND (just noticeable difference, едва заметное различие) между различными кодируемыми значениями), и такими художественными изменениями, которые, например, делают вид грозовых облаков более угрожающим. Следует отметить, что хотя дополняющий диапазон (диапазоны) будет, как правило, содержать значения яркости большинства или всех пикселей, еще не покрытых R_Norml_LDR, может иметь место некоторое перекрытие. Например, цветокорректировщик может принять решение о включении некоторых светлых яркостей из расширенного динамического диапазона в представление с низким динамическим диапазоном, особенно если отображение CMAP_L не является (псевдо)линейным отображением, но если он разрабатывает конкретную стратегию градуировки с мягким усечением. Это может, например, привести к бледным солнечным экстерьерам (что является не только тем, к чему привыкли в низком динамическом диапазоне, но и часто является хорошей стратегией отображения для более расширенного динамического диапазона), что, однако, далеко от достаточно точного представления, чтобы быть полезным для изображения с расширенным динамическим диапазоном высокого качества. Кодирование части с расширенным динамическим диапазоном для дополняющих диапазонов может затем снова перекодировать по меньшей мере некоторые из этих значений, с более высокой точностью (например, выделяя больше значений для отражающих объектов на солнце, в то же время сокращая количества кодов, доступных для источников света). Это противоречит интуитивно понятной кодировке единственного изображения, в которой определяется простая кодировка, если и не непрерывная (и даже с простой передаточной функцией отображения тона, определяющей взаимосвязь между кодами и яркостями захваченной сцены), то определенно не являющаяся немонотонной. Но с представленными вариантами осуществления это не только легко выполнимо, но увеличенная свобода предлагает выгодное простое использование закодированных данных, такое как переградуировка для настройки на реальные физические особенности устройства отображения и условия просмотра (которая называется требованием настраиваемости, свойством, которое не присутствует в строго определенных одноцепочечных сквозных кодировках, связанных с устройством отображения, таких как, например, ITU-R. 601 или 709). Преимущественно, кодирование изображения может использовать уже отработанные технологии, такие, как 10-битовые кодовые слова для отсчетов сигнала яркости, но, конечно, настоящее изобретение может работать и с другими значениями. Следует отметить, что в целях упрощения настоящего описания и формулы изобретения не всегда осуществляется углубление в вопрос о том, работает ли конкретная реализация с яркостями или сигналами яркости, так как они могут быть легко преобразованы друг в друга, когда известно определение преобразования. Поэтому, когда описывается, что, например, диапазон выбран в представлении яркости (например, если YUV кодирование было повторно преобразовано в исходное представление сцены, такое, как линейное XYZ кодирование фактических яркостей сцены или любого ее приближения, подобного изображению, захваченному камерой), он также может быть выбран в соответствующем представлении сигнала яркости (Y), или в чем-то коррелирующем. Кроме того, преобразования, которые концептуально могут быть объяснены, как если бы они имели промежуточные шаги к универсальному связывающему цветовому пространству, в практических реализациях могут быть немедленно реализованы в виде одной операции, объединяющей все шаги (даже если она является приблизительной, как в нелинейном цветовом пространстве). Специалист в данной области техники не должен иметь никаких трудностей в понимании этого, равно как он должен понимать, что если упрощенно объяснено все, как если бы пиксели имели естественное представление цвета (цветопередачу), то в действительности могут иметь место дополнительно включаемые подшаги, подобные DCT преобразованию в стандартном MPEG-кодировании или похожем сжимающем кодировании изображения или видео.
Следует понимать, что простые изменения вариантов осуществления, также как и эквиваленты, подпадают в область охвата формулы изобретения настоящей заявки. Вместо кодировки цветового пространства на основе сигнала яркости, подобного YCrCb, можно, конечно же, сделать подобное разделение в поддиапазонах низкого динамического диапазона и расширенного динамического диапазона в эквивалентных цветовых пространствах. Например, можно зарезервировать три неравных или равных области, например, между кодом 40 и кодом 750 в цветовом пространстве R'G'B'' (обычно можно принять во внимание их процентный вклад в сигнал яркости и желаемую точность для каждого канала и т.д.), что легко сделать в этом случае из-за линейного матричного соотношения между двумя цветовыми пространствами. В этом случае вместо характеристических значений серого будут, как правило, характеристические значения цвета, как например Rt1, Gt3 и т.д.
Более сложные варианты осуществления могут дополнительно включать в себя блок (312) преобразования, выполненный с возможностью применения колориметрического преобразования к цветам пикселей изображения с расширенным динамическим диапазоном (IM_HDR_in), имеющих яркости, попадающие в низкий динамический диапазон яркостей (R_Norml_LDR) для того, чтобы получить модифицированные яркости пикселей (Y*_L) для этих цветов пикселей.
И это не просто для того, чтобы быть в состоянии сделать это, но это очень выгодно в соответствии со следующей технической философией. Можно выбрать некоторый диапазон, который хорошо отградуирован (т.е. выглядит хорошо) во входном сигнале с расширенным динамическим диапазоном. Однако, это не обязательно должно иметь наилучший вид в системе с низким динамическим диапазоном (особенно, конечно, если используются простые отображения, как, например, с коэффициентом сжатия 1, которые выбирают все пиксели, яркости которых находятся в пределах диапазона). Можно, например, представить, что темные цвета выбираются в части с низким динамическим диапазоном, и, следовательно, хорошо представлены в математических кодах кодированного изображения, но что обратить их в представление, которое хорошо визуализируется также на любой системе с низким динамическим диапазоном, не очень легко (визуализация и кодирование представляют собой два различных режима, которые не следует путать, и оба они очень важны, так что в идеале любая (кодирующая) система должна позволять элегантную работу с обоими режимами). В этом примере цветокорректировщик может принять решение применить любое сложное преобразование градуировки, так что темные цвета будут хорошо смотреться на устройстве отображения с низким динамическим диапазоном (как правило, с подсветкой, что может влечь за собой выделение избыточной части сигнала низкий динамический диапазон яркостей). Однако, тогда интересно уметь легко преобразовывать их обратно в хорошее представление для визуализации с расширенным динамическим диапазоном. Следовательно, обычно преобразования, используемые на этой подчасти изображения, будут совместно закодированы в метаданных MET так, чтобы можно было обратить их на принимающей стороне. Как было сказано ранее, некоторая информация также может быть (потенциально, частично избыточно) закодирована в части расширенного динамического диапазона Im_1*, например, обеспечивая для темных частей вид, который отличается от преобразованных обратно областей, кодированных в низком динамическом диапазоне.
Может быть выгодным, чтобы селектор (311) LDR включал в себя блок идентификации для идентификации низкого динамического диапазона яркостей (R_Norml_LDR) полного диапазона яркостей (Range_HDR) на основе входного градуированного изображения с низким динамическим диапазоном (GRD_LDR_in) и/или метаданных, характеризующих это градуированное изображение с низким динамическим диапазоном (TM_G1(gl,gh)).
Системы представленного варианта осуществления могут быть использованы как тогда, когда присутствует лишь изображение с расширенным динамическим диапазоном IM_HDR_in (преградуированное или исходное), так и тогда, когда также уже присутствует версия с низким динамическим диапазоном GRD_LDR_in для той же самой захваченной сцены (например, уже преградуированное изображение, визуализированное изображение компьютерной графики, изображение с другой камеры и т.д.). В этом случае необходима идентификация того, какие объекты сцены, которые обычно лучше всего представлены в этой версии с низким динамическим диапазоном, находятся в изображении с расширенным динамическим диапазоном (по-разному представлены). Хотя могут быть использованы сложные алгоритмы (как для идентификации соответствующих двояко закодированных частей, так и для смешивания обеих кодировок данных сцены для получения окончательного представления для Im_1*), особенно в случае сложных избыточных кодировок или градуировок (заметим, что это может быть выгодно для настраиваемости с тем, чтобы иметь возможность использовать информацию о подобных объектах сцены, а кроме того и в соответствии с различными философиями градуировки, например, у цветокорректировщиков низкого динамического диапазона и расширенного динамического диапазона), более простые варианты могут просто определять пределы градуировки низкого динамического диапазона gl и gh. В этом случае, независимо от значения цвета пикселей в IM_HDR-in с яркостями из низкого динамического диапазона (R_Norml_LDR), они теперь заменены значениями цвета во входе версии с низким динамическим диапазоном GRD_LDR_in (возможно, в соответствии с совместно закодированным или определенным местным цветокорректировщиком дополнительным нелинейным отображением в интервале кода R_LDR, соответствующем замененному интервалу низкого динамического диапазона R_Norml_LDR). То есть в целом может иметь место более сложная стратегия для определения окончательных значений цвета, закодированных в Im_1* для пикселей в этом низком динамическом диапазоне на основе версии с низким динамическим диапазоном GRD_LDR_in, например, с помощью блока кодирования изображения, в котором блок (315) кодового отображения выполнен с возможностью преобразования яркости пикселей расширенного динамического диапазона изображения (IM_HDR_in), попадающих в низкий динамический диапазон яркостей (R_Norml_LDR) в соответствии со значениями цвета пикселей, закодированных в градуированном изображении с низким динамическим диапазоном (GRD_LDR_in).
В любом варианте осуществления настоящего изобретения очень полезным является блок кодирования изображения, включающий в себя средство (320) форматирования сигнала изображения, выполненный с возможностью вывода в дополнение к первому изображению (Im_1*) по меньшей мере одного характеристического уровня яркости (gt4) или характеристического значения кода сигнала яркости (gC4).
Опять же, как было сказано, имеется математическое соответствие тому, желательно ли определять характеристическое значения серого в (исходной) области яркости или в кодовой области значений сигнала яркости или подобной кодовой области. Определение одного или более из этих характеристических значений серого имеет ряд преимуществ для нескольких приложений. Как было сказано ранее, при разграничении таких областей, как, например, область эффекта расширенного динамического диапазона с большими яркостями, они могут быть использованы для копирования и вставки из одного представления в другое, как, например, Im_1*. Это допускает определение смысла кодов. Можно либо отказаться от них и просто определить функцию отображения (которая может изменяться в пределах кодов, которые не существуют, потому что они не выбраны в части отображения расширенного динамического диапазона CMAP_H, так как они находятся ниже дополняющего диапазона R_above и в низком динамическом диапазоне (или граничный уровень серого может быть неявно закодирован в этой функции отображения). Но можно также использовать простое отображение (например, линейное) и начать его явно с этого особого значения серого (например, с яркости g1). Это позволяет превратить общую стратегию линейного отображения в специфическую, т.е. обеспечивает оптимальную подстройку к имеющемуся изображению (потому что можно пропустить те области яркости, которые не существуют в изображении, и прерывисто, но эффективно (пере)запустить кодирование доступных долей яркости объекта. Но определение нескольких таких характеристических значений серого позволяет также определить несколько долей расш