Устройства и способы для кодирования и декодирования изображений с hdr на основании областей яркости

Устройства и способы для кодирования и декодирования изображений с hdr на основании областей яркости

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ

Изобретение относится к устройствам и способам и конечным продуктам, например, продуктам хранения данных, или кодированным сигналам для улучшенного кодирования по меньшей мере одного изображения или видео, в частности, кодирования изображения(й) с увеличенным динамическим диапазоном по сравнению с традиционными изображениями (именуемыми изображениями с высоким динамическим диапазоном с HDR, и традиционные изображения называются с низким динамическим диапазоном LDR), и кодирования информации изображения с увеличенным объемом информации освещенности (также известного как высокий динамический диапазон) в различные представления изображения или из них.

УРОВЕНЬ ТЕХНИКИ

Недавно появились новые разработки, касающиеся кодирования изображений/видеосигнала (например, захваченных сцен или компьютерной графики), а именно, желательно лучше захватывать весь диапазон яркостей и цветов объектов, имеющихся в природе, до более высоких значений яркости, например 25000 нит (например, освещенных солнцем облаков) и часто также низких значений, например 0,01 нит, что называется кодированием HDR (c высоким динамическим диапазоном). До сих пор, классические системы захвата изображения (т.е. цепь, начинающаяся с камеры, и даже надлежащее освещение сцены, которое обычно было относительно однородным, сопровождаемое кодированием, например, для хранения или передачи изображений, и заканчивающаяся отображением изображения) обрабатывали сцены с высоким динамическим диапазоном (т.е. сцены, в которых одновременно присутствуют важные темные области с низкими яркостями и значимые объекты в них, и яркие области с высокими яркостями, в частности, если также существуют различные важные области промежуточных яркостей (различных серых), в частности, если несколько из этих яркостей сцены нелегко отображать в то, что используется компонентом в цепи, например, визуализацию на основе линейного отображения на устройстве отображения) с заметными искажениями. Например, если действие осуществляется внутри замкнутого объема с первым уровнем освещенности (освещенности), например, автомобиля или комнаты, области более яркого освещения, например, окружающая среда, наблюдаемая через окно, может захватываться или, по меньшей мере, представляться в сигнале с очень низким качеством (а именно, в пастельных, блеклых или урезанных цветах). Это, в частности, имеет место для более дешевых камер на КМОП, по сравнению с более простительным поведением, например, целлулоидной пленки. В частности, лишь несколько кодовых значений сомнительной репрезентативности может быть связано с объектами в этих ярких областях, что может приводить к плохому представлению текстур объекта, или даже грубому ограничению максимальным значением цветового пространства, используемого для кодирования. Наличие столь малого объема данных в этих областях на оси яркости захваченного изображения, также означает, что функции обработки, например, оптимизация контрастности отображаемого изображения может сталкиваться с проблемами генерации хороших окончательных пиксельных данных. Имея в своем распоряжении еще лучшие устройства отображения в настоящее время и в недалеком будущем (например, с пиковой яркостью в несколько тысяч нит), или, по меньшей мере, более интеллектуальные технологии обработки изображений, можно пожелать выправить ситуацию, чтобы иметь возможность создавать визуализируемые изображения более высокого качества.

По ряду причин, по меньшей мере, в течение нескольких лет в будущем, может потребоваться та или иная форма обратной совместимости, которая означает, что данные так называемого кодирования низкого динамического диапазона (LDR) должны быть доступны или, по меньшей мере, легко определяться из доступного кодирования, что позволило бы, например, новому усовершенствованному модулю обработки видео доставлять сигнал LDR на устройство отображения с более низким динамическим диапазоном (например, устройство отображения мобильного устройства). Кроме того, с точки зрения хранения, может быть очень полезно хранить сигнал изображения как можно более универсальным образом, т.е. не просто с максимальным объемом полезных данных о сцене, но и таким образом, чтобы эти данные были полезны во многих потенциальных будущих вариантах применения, особенно, если простым путем. Обычно съемка кинофильма, например, является таким трудоемким делом, что первичный сигнал является весьма ценным, и его предпочтительно кодировать наилучшим возможным образом, насколько позволяет технология. Не следует предполагать, что даже оригинальное кодирование программы предназначено для следующего поколения систем отображения более высокого качества ниже того, которое было бы достижимо, если бы данные кодировались иначе. Это позволяет избежать не только необходимости повсюду осуществлять дорогостоящие трюки, но читатель может вообразить, что некоторые события, подлежащие съемке, например, бракосочетание августейших особ или свадебная видеосъемка обычной пары, не будут потеряны. И попытка воссоздать оригинал такой видеозаписи для технологии устройств отображения нового поколения является, если не очень трудной, то, по крайней мере, трудоемкой. Предпочтительно, чтобы кодирование позволяло оптимально захватывать сцену в первом месте, и даже позволяло легко проводить дальнейшие усовершенствования, посредством самой его структуры кодирования. Независимо от того, как она визуализируется на конкретном устройстве отображения, а также сред наблюдения, информация, присутствующая в современных операциях кодирования LDR, например, JPEG (в зависимости, между прочим, от конкретной захваченной сцены и используемой системы камеры), в настоящее время рассматривается как (ограничивается) приблизительно 11 линейных битов или остановок. Конечно, если кодирование подлежит использованию непосредственно для визуализации (например, на устройстве отображения), некоторые биты информации могут быть невидимыми. С другой стороны, кодек может содержать информацию из исходной сцены или графической композиции (связанной со сценой), которая может становиться релевантной, например, когда устройство отображения изменяет свою видимую человеком палитру посредством обработки изображений. Поэтому важно, чтобы, по меньшей мере, более важные объекты изображения были хорошо представлены в кодированном изображении.

Цепь захвата HDR, помимо того, что указывает камере сцену с большим отношением яркости и контрастности между наиболее темным и наиболее ярким объектом, линейно записывает то, что присутствует в сцене. Она должна иметь дело в точности с тем, чем являются промежуточные значения серого для всех объектов, поскольку это передает, например, настроение кинофильма (затемнение уже некоторых из объектов в сцене может переносить темное настроение). И это сложный психологический процесс. Можно, например, представить себе, что психологически не столь важно, визуализируется ли яркий свет на устройстве отображения точно в такой же пропорции к остальным визуализируемым значениям серого, как у яркости сцены этого света к остальным яркостям объектов сцены. Напротив, будет создаваться верное впечатление реальной лампы, если пиксели визуализируются с “некоторой” высокой выходной яркостью устройства отображения, при условии, что она в достаточной степени выше, чем в остальном изображении. Однако это распределение между самосветящимися и отражающими объектами (в различных областях освещения сцены) также является задачей в зависимости от палитры устройства отображения и типичных условий наблюдения. Кроме того, можно представить, что кодирование более темных областей предпочтительно осуществлять так, чтобы их можно было легко использовать в разных сценариях визуализации, например, при разных средних уровнях окружающего освещения, имеющих разные уровни видимости для более темного контента изображения. В общем случае, поскольку это трудная психологическая задача, специалисты будут участвовать в создании оптимальных изображений, что называется цветовой сортировкой. В частности, очень удобно, когда специалисты делают отдельную сортировку LDR, даже если она производится в рамках “чистой стратегии кодирования HDR”. Другими словами, в таком сценарии при кодировании только первичного сигнала камеры HDR, мы по-прежнему также будем генерировать изображение с LDR, не обязательно потому, что оно подлежит использованию для большой доли LDR потребительского рынка видео в будущем, но поскольку оно переносит важную информацию о сцене. А именно, всегда будут более важные области и объекты в сцене, и поместив их в подструктуру LDR (которую принципиально можно рассматривать как художественная противоположная сторона автоматического алгоритма экспозиции, все-таки после полного захвата, и по отношению к захваченным яркостям вне этого диапазон), это облегчает осуществление всех разновидностей преобразований в представления промежуточного диапазона (MDR), пригодные для возбуждения устройств отображения с конкретными характеристиками визуализации и наблюдения. Используя такую техническую инфраструктуру, можно, даже с единым кодирующим изображением, одновременно регулировать, например, устройства отображения с LDR, например, устройство отображения мобильного устройства с пиковой яркостью 50 нит (внутреннее пространство, или более высокая яркость, но соревнующееся с высокой освещенностью внешнего пространства), устройство отображения с пиковой яркостью в среднем диапазоне MDR, например 1200 нит, и устройство отображения с HDR, где пиковая яркость составляет, например 8000 нит. В частности, можно регулировать эту часть LDR согласно нескольким критериям, например, чтобы визуализировать с хорошим качеством на стандартном эталонном устройстве отображения с LDR (цвета выглядят аналогично, насколько возможно, цветам на устройстве отображения с HDR), или переносить определенный процент всей захваченной информации (например, определенный объем изображения является видимым), и т.д. В предложенном нами ниже кодеке такое принимающее устройство отображения будет реализовано таким образом, чтобы из этого кодирования (или сортировки) единая всеохватывающая сцена можно было легко определить, что представляют собой, например, темные области, что позволяет оптимально регулировать их включенную видимость при условии их известных характеристик системы отображения.

Существует не так много возможностей кодирования сигнала HDR. Обычно в уровне техники первично кодируется сигнал HDR, т.е. (линейно) отображаются пиксели, например, в 16-битовые слова с плавающей запятой, и тогда максимальное захваченное значение яркости является белым HDR в аналогичной философии в кодирование LDR (хотя психовизуально это обычно не является чем-то, отражающим белый в сцене, но, напротив, яркий цвет лампы). Это природное связанное со сценой кодирование исходных яркостей объектов сцены, захватываемых камерой. Также можно отображать сигнал HDR полного диапазона в 8-битовый диапазон LDR посредством некоторой “оптимальной” функции яркости преобразования, которая обычно является гамма-функцией и т.п. Это может приводить к потере точности цветопередачи (ввиду компромисса между диапазоном и точностью для таких операций кодирования) с соответствующими вопросами качества визуализации, особенно, если предполагается обработка изображений на принимающей стороне, например, локальное осветление, однако преобладающая сортировка объектов изображения по значению серого (например, среднему по объекту) приблизительно сохраняется (т.е. их соотношения относительной/воспринимаемой яркости).

Уровень техники также предусматривает некоторые методы кодирования HDR с использованием двух массивов данных изображения для каждого изображения с HDR, обычно на основании разновидности принципа масштабируемого кодирования, в котором согласно некоторой функции прогнозирования, точность кодированной локальной текстуры “LDR” уточняется, или устанавливается более точно, т.е. проецируется на HDR-версию этой текстуры, обычно путем масштабирования яркостей LDR (LDR в этих технологиях обычно не является хорошо выглядящим сортом LDR, уже пригодным для оптимальной визуализации на типичном (эталонном) устройстве отображения с LDR, но обычно - простой обработкой входного сигнала HDR). Затем второе изображение является корректирующим изображением для приведения прогнозируемого изображения с HDR к исходному изображению с HDR, подлежащему кодированию. Существует некоторая аналогия с единичными операциями кодирования изображения с HDR, посредством функций прогнозирования, выступающих в роли некоторого критерия определения диапазона/точности, только в этих технологиях кодирование осуществляется с двумя изображениями.

Масштабирование значений яркости изображения основного диапазона предусматривает применение преобразования, и это преобразование с прогнозированием часто задается поблочно, для сокращения объема данных, подлежащих кодированию. Это уже может приводить к неэффективному использованию данных, поскольку многие блоки будут содержать один и тот же объект и, следовательно, нуждаться в одном и том же преобразовании.

Как сказано, отличие исходного изображения с HDR с прогнозированием можно совместно кодировать как улучшающее изображение до желаемой степени, и все же, насколько возможно, с учетом диапазона и определения улучшающего изображения. Например, можно представлять значение серого HDR, равное 1168, путем деления на 8 с получением значения 146. Это значение HDR можно восстановить путем умножения на 8 снова, но, поскольку значение 1169 будет квантоваться до того же значения основания 146, понадобится значение улучшения, равное 1, чтобы иметь возможность восстановить сигнал HDR высокого качества. Пример такой технологии описан в патенте EP2009921 [Liu Shan et al. Mitsubishi Electric: Method for inverse tone mapping (by scaling and offset)]. Интересный вопрос о таких способах всегда состоит в том, какой способ улучшения фактически предусматривает улучшение визуальной информации. Он обычно применяется вслепую, и может, например, для текстурированных областей иногда не пополняет релевантную дополнительную информацию, особенно для быстро изменяющегося видео.

Другое кодирование двух изображений описано в до сих пор не опубликованной заявке US 61/557461, все принципы которой, таким образом, включены посредством ссылки.

Возникают проблемы со всеми существующими операциями кодирования HDR. Просто применение глобальных преобразований может быть гораздо грубее, согласно тому, что автор контента желает, вложив так много, например, в кинофильм (спецэффекты). Другие варианты применения могут быть менее критичными, например, создание телевизионной программы, но все же желательно эффективно управлять окончательным внешним видом. Для этого, по меньшей мере, необходимо большое количество битов кодированных данных. С другой стороны, указание сложных преобразований для каждого пикселя также предусматривает большой объем данных, подлежащих кодированию. Это применяется, например, к необходимости в кодировании второго изображения, которое является картой усиления освещенности, для отражений текстуры объекта, кодируемой в первом изображении. Кроме того, таким образом, производится слепое кодирование всего, что может происходить на входе, практически без информации о том, что, фактически, присутствует в изображении (т.е. без возможности универсального использования), даже без учета того, что в усиленном изображении может быть большой объем избыточности. Не говоря уже о том, что эти слепые данные легко использовать для интеллектуальных алгоритмов, например, алгоритмов улучшения или оптимизации изображения на стороне устройства отображения.

Работа на блочной основе сокращает объем данных, но все же не оптимальна. В частности, эта блочная структура также является довольно слепой в отношении фактического контента изображения, и, что более неприятно, навязывает новую геометрическую структуру, представляющую собой сетку блоков, которая не имеет никакого отношения к нижележащему изображению, и которую, следовательно, можно более или менее удобно совмещать с характеристиками изображения (в частности, геометрией изображение), и это означает, что может возникать несколько артефактов, связанных с блочным кодированием. Фактически, блок незначительно превышает просто большой пиксель, и не действительно интеллектуальную структуру, связанную с контентом (ни в отношении цветогеометрической структуры этого объекта или области, ни его семантический смысл, например, он, например, является объектом, который должен быть, по большей части, скрытым в темноте).

Представленные ниже варианты осуществления ставят своей целью обеспечение легких технических мер для ослабления, по меньшей мере, некоторых из этих артефактов.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Простое и легко используемое кодирование изображений с HDR можно реализовать согласно варианту осуществления, в основе которого лежат следующие представленные здесь принципы, которые связаны с кодером изображений (549) для кодирования изображения сцены с высоким динамическим диапазоном, содержащим:

- блок (552) кодирования пиксельной текстуры, выполненный с возможностью кодирования цветов пикселей изображения представлением (Im_1) изображения, содержащим N-битовые кодовые слова;

- блок (550) анализа изображения, выполненный с возможностью определения и вывода значения серого (gTS) дифференциатора областей, которое представляет собой значение яркости, разграничивающее более низкие значения яркости всех пикселей первого объекта в по меньшей мере одном блоке изображения, и более высокие значения яркости всех пикселей второго объекта в по меньшей мере одном блоке изображения; и

- форматер (554), выполненный с возможностью совместного кодирования в выходном сигнале (S(Im_1, MET(gTS)) изображения представления (Im_1) изображения и значения серого (gTS) дифференциатора областей.

Всего лишь одно или несколько таких значений серого дифференциатора областей уже позволяет переносить существенную характеристику сцены с HDR, например, указывающую наличие “супербелой” или “суперъяркой” области в изображении. Термин "супербелый" означает яркости сцены, превышающие белый в нормально освещенной области, например, белый, который регистрируется от нормально (например, согласно установке дизайнера освещения) освещенной белой бумаги, в основной части сцены. Дифференциаторы пригодны для совместного кодирования семантического контента сцены. Например, в реальной сцене присутствует не только белый, как предполагает классическое кодирование изображения. При классическом кодировании изображения с LDR, сцена действительно освещается, так, что действие происходит приблизительно однородно, и затем самый белый отражающий объект (при наиболее ярком освещении основной области изображения) обычно определяет точку белого кодирования изображения. Вместо ограничения, например, объектов внешнего пространства, также можно включать некоторые супербелые объекты, например, когда оператор указывает конкретную точку перегиба кривой гамма-распределения воспроизведения, которая все еще связана с основным белым (например, с 6-кратным превышением этого белого).

В фактической сцене может присутствовать, например, очень яркое освещенное солнцем внешнее пространство. Даже при совместном забивании этих двух областей в меньший объем битового кодирования (например, его представлении в виде классического 8-битового изображения), было бы полезно, чтобы эти две области/диапазоны были отделены друг от друга на оси яркости. Это означает, что позже (или, например, в процессе перекодирования или автоматически и т.д.) можно более интеллектуально обрабатывать эти области. Выше шла речь об объектах типа лампы. Затем визуализирующее устройство отображения может захотеть визуализировать их согласно критерию, задающему один или более из “как можно более яркий” и “хотя и не слишком ослепительный для наблюдателя”. Однако для этого, может понадобиться обрабатывать эти две области изображения (лампу и остальную сцену) по-разному и даже прерывисто, и поэтому может понадобиться знать, что в изображении является этим объектом типа лампы. Классические операции кодирования на основе гамма-функции обычно перемещают лампу в ходе последующей обработки в некоторую визуализируемую позицию яркости, которая зависит от этой используемой гаммы, но не от семантики сцены совместно с особенностями колориметрии системы визуализации (например, возможностей устройства отображения, окружающего света и т.д.). К аналогичному техническому умозаключению можно придти для более темных областей, если знать их состав на протяжении области яркости, т.е. например, пару диапазонов темного, например “ярко-темный”, “среднетемный” и “супертемный”. Такие коды (т.е. дифференциаторы значения серого) могут означать что-то численно, но наш способ позволяет сортировщику по цвету, задающему, например, окончательный HDR оригинала для сохранения, скажем, на диске Blu-ray, совмещать их с семантически значимыми областями. Например, в сцене темного подвала кинофильма жанра ужасов, среднетемными могут быть цвета, в которых следует визуализировать стены (окончательно на визуализирующем устройстве отображения, согласно его окончательному оптимальному отображению тона для оптимальности устройства отображения), тогда как ярко-темными (т.е. подлежащими визуализации в диапазоне яркости между среднетемным и ярко-темным) могут быть инструменты на этих стенах, например, ножи и пыточные принадлежности, чтобы быть более видимыми (с учетом особенностей колориметрии визуализирующей стороны), и супертемным может быть, например, темный угол, где может прятаться преступник. Супертемная область угла будет первым объектом, и среднетемная основная область - вторым, наподобие того, как в сцене внутреннего пространства/внешнего пространства, освещенное солнцем внешнее пространство может быть вторым объектом, и внутреннее пространство - первым/основным объектом.

Кроме того, эти две подобласти (например, средне освещенное основное действие и лампа или освещенное солнцем внешнее пространство) могут располагаться очень близко друг к другу в кодированном представлении изображения, фактически касаясь друг друга, чтобы не расходовать коды яркости между собой, что чрезвычайно затрудняет их разделение вслепую на принимающей стороне. Тем не менее, существует конкретное значение яркости, которое размечает границу между ними, которое, таким образом, совместно кодируется как значение серого (gTS) дифференциатора областей для легкого (и вместе с тем простого) восприятия сцены на принимающей стороне. Это допускает различные варианты применения, например, кодирование HDR, и легкую реконструкцию из 8-битового изображения на принимающей стороне, обработку изображений, например, повторное отображение цветов, и т.д.

Преимущественно, кодер изображений (549) содержит блок (553) определения отображения яркости, выполненный с возможностью определения отображения яркости (TOM) для по меньшей мере одного из первого и второго объекта, задающего отображение между значениями яркости пикселей, закодированными в представлении (Im_1) изображения, и значениями яркости пикселей во втором представлении изображения (IM_RC_HDR), и выполненный с возможностью подачи отображения яркости (TOM) на форматер (554), который выполнен с возможностью его совместного кодирования в выходной сигнал изображения (S(Im_1, MET(gTS), TOM). Такие отображения яркости можно определять по-разному, с учетом таких принципов, как, с одной стороны, оптимального указания информации в изображении (например, объема кодов, необходимого для относительно достоверного кодирования текстуры той или иной сложности, например зернистости древесины), и с другой стороны, зрительного впечатления, например, путем задания позиции яркости, обычно на эталонном устройстве отображения.

Автор контента может предоставить принимающей стороне возможность осуществлять желаемую ею обработку, например, окончательную визуализацию на устройстве отображения. Наличия лишь одного gTS уже достаточно для многих ситуаций, поскольку в этом случае система принимающей стороны, с очевидностью, знает, какие объекты являются яркими, поскольку их значения яркости превышают gTS. Однако эта система совместного кодирования значения(й) серого дифференциатора областей допускает гораздо более универсальное кодирование сцены с HDR (знание их состава или даже семантического смысла в метаданных) и, следовательно, различное использование этих данных. Например, автор контента может предоставить один или более сценариев отображения цветов/значений яркости пикселей, закодированных в Im_1, в различные другие цветовые пространства, например, для визуализации на разных устройствах отображениях. Он может кодировать, например, несколько значений для (приблизительно) одного типа устройства отображения (например, имеющего пиковую яркость около 4000 нит, т.е. предназначенных для устройств отображения типа ЖКД или ОСИД с фактическими пиковыми яркостями от 3000 до 5000 нит), с тем, чтобы устройство отображения могло окончательно выбирать окончательную стратегию визуализации на основании полного кодированного знания о преобразовании (систематизирующего, как, по мнению автора контента, должны выглядеть его изображения). Например, на устройствах отображениях с меньшим отображаемым динамическим диапазоном, для более ярких областей может быть достаточно единственного дифференциатора, поскольку он не имеет такой высокой способности к визуализации ярких областей. Однако устройство отображения с яркостью 8500 нит может делать использование контента гораздо более преимущественным, если он содержит больше значений gTS, указывающих разные разновидности яркой области, поскольку ему может быть известна его физически визуализируемая подпалитра высоких яркостей, выделять другой поддиапазон яркости, например, освещенным солнцем объектам внешнего пространства, например, объектам типа лампы первого рода, и еще более яркую область вблизи пиковой яркости для более яркого класса объектов типа лампы.

Автор контента, которому не особо интересно тратить много времени на сортировку, может, например, указывать только две сортировки, например, может начать с Im_1 или какого-либо его автоматического преобразования, в качестве “достаточно хорошего” для визуализации с LDR, и затем отвести некоторое время на настройку отображений для получения улучшенного изображения с HDR (например, с очень яркими областями вне помещения, источниками света или окнами). Таким образом, он может указывать, например, 8-битовое изображение с LDR (которое мы будем называть контейнер LDR), и затем некоторые функции, в первую очередь, функции отображения для приближенного восстановления исходного оригинального изображение с HDR (например, во внутренне присущем режиме 16-битового кодирования с плавающей запятой) из контейнера LDR, а также, во вторую очередь, некоторые функции, допускающие одну или более настроек этого изображения с HDR. Например, он может указывать отображение ярких областей, например, более 90%, для отображения на втором эталонном устройстве отображения с яркостью 14000 нит (первым эталонным устройством отображения может быть устройство отображения, сорт исходного HDR оригинала которого был отсортирован до его кодирования с помощью контейнера LDR посредством понижающего отображения, например, устройство отображения с яркостью 5000 нит). Аналогично эти функции можно использовать для понижающей регулировки до устройств отображения с MDR с яркостью около 2000 нит, например путем инвертирования их поведения отображения. В простейших разновидностях, сортировщик, затрачивающий меньше времени, может просто указывать одно или более значений gTS для, по меньшей мере, некоторых сцен в кинофильме, и предоставлять устройству отображения или визуализатору (например, принтеру) возможность определять, каким будет хорошее преобразование для его характеристик визуализации.

Затем устройство обработки изображений принимающей стороны может, например, определить свой окончательная сорт из этих двух или более наборов информации (кодированного изображения контейнера LDR в Im_1, и по меньшей мере одного отличающегося значения серого gTS, и, при наличии информации функции отображения, сортировщик указывает ее по своему желанию). Например, согласно фиг. 2b, автор контента может предписывать в сигнале, что для визуализации с HDR очень темного объекта, нужно использовать частичное отображение PD_BLCK(i+2, j) (подробно объясненное ниже), и что для визуализации с LDR можно или следует использовать более яркое отображение PD_BLCK(i, j) (т.е. в этом случае очень темный объект рассматривается как лестница). Теперь принимающее устройство отображения с пиковой яркостью, скажем, 1500 нит, может принять решение использовать какую-либо из этих двух стратегий (например, ближайшую к его пиковой яркости, при этом сортировка/отображение LDR составляет, самое большее, 750 нит (поэтому, вероятно, более 400 нит), и HDR - по меньшей мере, например, 2000 нит), или может, тем или иным образом, выполнить между ними интерполяцию, которая будет для этих двух линейной функцией, например, в смысле применения линейной функции на полпути между ними. Система позволяет автор контента видеть HDR как “эффекты HDR”, например, усиливающие яркий свет, наподобие плазменного шара, испускаемого рукой волшебника.

Наш способ можно использовать, когда кодирование Im_1 является кодированием меньшего количества битов (это не то же самое, что меньший динамический диапазон), чем исходное изображение (HDR оригинала), например, с классическим 8 или 10-битовым кодированием яркости. В этом случае, это изображение Im_1 можно задать для эталонного устройства отображения с более низким динамическим диапазоном (и обычно пиковой яркостью, например 500 нит) и дифференциаторы gTS могут быть полезны для автоматического определения сортировок для устройств отображения с более высокими динамическими диапазонами (например, для устройства отображения с пиковой яркостью 2000 нит). Но, аналогично, конечно, единичное кодированное изображение Im_1 можно задать, например, для этого эталонного устройства отображения с яркостью 2000 нит (т.е. непосредственно используемое для возбуждения этого устройства отображения, или, по меньшей мере, требующее незначительных колориметрических модификаций до визуализации), и в таком сценарии значения gTS (и другие данные, например спецификации функций преобразования) могут быть полезны, в том числе, для понижающего отображения для получения возбуждающих изображений для устройств отображения с более низким динамическим диапазоном, например, портативного устройства отображения.

Таким образом, преимущественно, кодер изображений (549) действует согласно сценарию использования и технической конфигурации таким образом, что одно из первого и второго представлений изображения является представлением высокого динамического диапазона, причем представление HDR кодируется, например, для эталонного устройства отображения с пиковой яркостью, по меньшей мере, свыше 750 нит. Т.е. оно будет использоваться без большой дополнительной модификации для возбуждения устройства отображения с HDR для визуализации изображения приблизительно так, как задумал специалист. Такое представление HDR может быть, например, целым числом 3x32 бита или представлением с плавающей запятой 3x16 битов (RGB или YC1C2, и т.д.), и т.д. Хотя эту стратегию кодирования можно использовать в различных сценариях между различными представлениями цветового пространства (например, между первым 16-битовым представлением HDR с первый белым, гамма-функцией, выделяющей коды яркости и т.д., и вторым, например, 12-битовым представлением HDR), она особенно полезна, если по меньшей мере одно из изображений (входное или выходное) или, по меньшей мере, часть изображений имеет высокий динамический диапазон (т.е., либо будучи закодировано таким образом, либо будучи получено таким образом, используется для возбуждения с высоким колориметрическим качеством визуализирующего устройства отображения с HDR и т.д.), и, в частности, полезна, когда HDR кодируется словами яркости из меньшего количества битов (т.е., например, 8 или 10 вместо, например, 14 или 20), и в этом случае ее можно использовать в системах традиционных возможностей или близких к ним возможностей. Для полноты объяснения, в последнее время получивший широкое распространение технический термин "высокий динамический диапазон" обычно означает более высокие яркости в исходной сцене или визуализации, более высокие, чем в классических современных сценариях формирования изображения с LDR, или, точнее, как описано ниже: внешние виды с более широким диапазоном освещенности (например, согласно человеческой зрительной системе наблюдателя, но, конечно, реализованные в технических кодах наподобие значений яркости). Хотя такой сигнал, связанный с устройством отображения, можно строго задать со ссылкой на окончательное устройство отображения, возможности которого максимальны для технологий, ожидаемых в разумно отдаленном будущем, в идеале, изображение с HDR задается, по меньшей мере, частично в связи со сценой (поскольку заранее неизвестно, что будет делать перспективное устройство отображения для применения кодированного контента, и что скажут сырые приверженцы, изображение нужно сохранять, по меньшей мере, то, которое может захватывать или генерировать камера, возможно, очень высокого качества или графическая программа), но даже тогда вместо использования эталонной модели камеры, все же можно кодировать его как сцену, которая аппроксимируется за счет ее отображения очень высокого качества. Фактически, любое кодирование между 0 и Lmax, с какой бы то ни было функцией выделения кода, также можно рассматривать как визуализируемое на таком теоретическом устройстве отображения, имеющем пиковую яркость Lmax, и даже в отделенном будущем, с учетом фиксированных ограничений человеческого зрения фактически никогда не понадобится достоверно визуализировать яркость солнца, ни на больших настенных устройствах отображениях, ни, в особенности, на устройствах отображениях меньшего размера, на которых весь контент изображения наблюдается в малом телесном угле. Поэтому сортировщик может выбирать кодирование изображения с любым эталонным устройством отображения по желанию, будь то окончательный теоретический устройство отображения с пиковой яркостью 500,000 нит, или более прагматичный, например, 10,000 нит, при условии, что он совместно указывает эту колориметрию, задающую метаданные, в своем определении кодека.

Преимущественно, кодер (549) изображений выполнен так, что он кодирует несколько значений серого дифференциаторов областей (gTS_D_Loc_1, gTS_D_Loc_2) между секциями, содержащими несколько N-битовых кодовых слов, кодирующих цвета пикселей из представления изображения (Im_1). Это позволяет автору (или даже программному обеспечению автоматической обработки) выделять, например, разные значения, например, “части наиболее темной тени” для разных частей изображения, и, таким образом, иметь более высокий контроль над регулируемостью изображения. Например, в центральной геометрической области изображения можно скрывать/показывать более темные объекты, которые заданы ниже, например, значения кода 10, и в углу наиболее темные объекты ниже значения кода 5. Это позволяет манипулировать различными физическими ситуациями, например, геометрически изменяющимся освещением, где соотношение между пикселями темного и наиболее темного объекта может изменяться несколько раз для блоков после переопределения локального gTS. Фактическое кодирование значений серого дифференциаторов областей в физическом отношении (например, на переносимой памяти) в данные текстуры изображения (Im_1) может осуществляться по-разному, но преимущественно, если необходимые метаданные кодируются вперемешку с данными блока цвета пикселя, в точности в тех положениях, где они применимы, т.е. обычно до первого блока в изображении, который имеет двойное соотношение значений серого ниже и выше gTS (обычно подлежащих исполь