Устройства и способы усовершенствованного кодирования изображений

Устройства и способы усовершенствованного кодирования изображений

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к устройствам и способам и конечным продуктам, таким как продукты для хранения данных, для усовершенствованного кодирования изображений, в частности, позволяющим дисплеям лучше обрабатывать закодированные изображения.

УРОВЕНЬ ТЕХНИКИ

В последнее время появились новые разработки в области кодирования изображений/видео (зафиксированных сцен или компьютерной графики), а именно, желательна улучшенная фиксация всего диапазона яркости и цветов, имеющих место в природе, что называется кодированием HDR (с расширенным динамическим диапазоном). Поскольку и камеры, и дисплеи имеют все более расширяющиеся естественные диапазоны, требуется улучшенный стандарт для передачи информации изображений между ними. С другой стороны, все еще существует большое количество устройств с более узким диапазоном (например, обычные дисплеи, принтеры и т.д.), которые также присутствуют в некоторых цепях систем формирования изображений. Обычно устройство с узким динамическим диапазоном (LDR), такое как фотоаппарат низкого качества, кодирует в 8-битные слова данных (пиксели) средний диапазон представляющих интерес значений (например, цвета хорошо освещенных лиц) за счет цветов вне данного диапазона [следует отметить, что в случаях, в которых это не затрудняет понимание, мы можем использовать термин «цвет» даже если в кодирующем цвет триплете его яркость является наиболее важным фактором для настоящего описания].

В случае, когда человек смотрит на изображение, существует ряд факторов, влияющих на качество. Во-первых, это светлота самого светлого белого цвета, который может быть воспроизведен. Во-вторых, это самый темный черный цвет, который все еще может быть воспроизведен, и, возможно, воспроизведен в разумных пределах, например, с низким шумом или другими помехами. Белый и черный цвета определяют динамический диапазон устройства. Но для реального изображения это не единственные параметры, влияющие на его вид. Также существуют параметры, в рамках которых должны в идеальном случае находиться промежуточные оттенки серого. Первым параметром является контрастность, которая является мерой, относящейся к освещенности различных объектов на изображении. Если имеется по меньшей мере несколько объектов с различными возможными оттенками серого между хорошим белым и хорошим черным, то говорят, что изображение в целом обладает хорошей контрастностью. Но также важной может быть локальная контрастность, например, между одним из объектов и его окружением. Даже очень локальные изменения яркости, такие как резкость, влияют на воспринимаемую контрастность. При просмотре, например, реальной сцены наблюдатели видят, что она имеет действительно впечатляющую контрастность (например, в сравнении с 6-битным проецируемым изображением). Но, во-вторых, также будет иметь влияние, особенно на естественность (или художественное восприятие), положение объектов/областей на оси черное-белое. Например, предполагается, что (хорошо освещенные) лица имеют определенный процент отражения света по сравнению с белым. Лицо, являющееся слишком белым, может показаться необычно светящимся, или наблюдатель может неверно интерпретировать изображение в том смысле, что он посчитает лицо освещенным некоторым дополнительным светом. В-третьих, может быть важной точность выделенных цветов, не так сильно в сложных структурах, как, например, в градиентах лиц. Считается, что многие наблюдатели предпочитают связанные со светлотой улучшения качества (включая соответствующую насыщенность цвета) по сравнению с другими аспектами, и данная заявка будет в основном сфокусирована на связанных с яркостью аспектах.

Назначение дисплея состоит в отображении качественном воспроизведении для наблюдателя. В идеальном случае воспроизведение будет представлять собой точное (фотореалистичное) представление, но поскольку пока это вопрос отдаленного будущего, могут быть использованы другие критерии качества, такие как, например, распознаваемость изображения, приблизительная естественность (отсутствие артефактов) или визуальный эффект/визуальное воздействие и т.д.

Популярный HDR-дисплей, появившийся в настоящее время, представляет собой LCD с фоновой LED-подсветкой с двумерной структурой, допускающей двумерное регулирование освещения. На динамический диапазон таких дисплеев влияет несколько факторов.

Во-первых, LCD становятся все более яркими из-за улучшенной фоновой подсветки. Несколько лет назад обычной была яркость 200 нит, теперь обычной является 500 нит, в ближайшие годы обычной будет яркость в 1000 нит, и позже - даже 2000 нит или выше. Однако это накладывает на телевизор или монитор строгие технические ограничения, такие как стоимость и энергопотребление.

Во-вторых, в отношении черного цвета LCD имеют проблемы с рассеянием света (особенно при определенных условиях, таких как большой угол наблюдения), что означает, что LCD может иметь внутреннюю контрастность (ячейка LCD открыта/закрыта), составляющую 100:1, хотя исследования улучшают LCD. Решением этой проблемы является изменения объема света, проходящего сзади через лампу LCD. Дисплеи с 2D-регулированием освещения теоретически могут указанным образом достичь очень высокой контрастности, поскольку если свет позади ячейки LCD имеет нулевую яркость, то, помимо рассеяния, нулевая яркость будет исходить из этой области дисплея. Сообщалось о динамических диапазонах выше 10000:1 или даже 100000:1. Однако на практике основным фактором, ограничивающим воспроизведение черного на дисплее, является свет из окружающей среды, отраженный на переднее стекло дисплея. Он может сузить динамический диапазон до более реалистичного значения 100:1, или даже до менее чем 20:1 для светлой окружающей среды. Однако также и в темной среде наблюдения свет может рассеиваться по произвольным причинам, например, вследствие взаимных отражений на переднем стекле от более светлой области к более темной.

Наконец, естественно, важным является глаз человека, и, в основном, состояние его аккомодации, но также и сложный анализ изображения, происходящий в мозгу. Глаз аккомодируется по комбинации освещения помещения, с одной стороны, и по светлоте дисплея, с другой стороны (фактически, по показанным изображениям). Эти два фактора могут быть относительно согласованы, например, для телевизора с яркостью 500 нит при просмотре в обычной комнате, но могут сильно отличаться при других сценариях воспроизведения. Это повлияет не только на черные детали, но и на внешний вид светлых областей. Например, на комфортность просмотра повлияют конкретные настройки дисплея, то есть усталость глаз или даже психологические эффекты, такие как негативное отношение к показываемому изображению. Сетчатка является очень сложной, но может быть в простой форме представлена следующим образом. В ее колбочках проходит биохимический процесс, который всегда нацелен на то, чтобы сделать чувствительность глаза (посредством количества светочувствительных молекул) оптимальной для любой заданной сцены. Это работает потому, что каким бы ни было освещение (которое может изменяться от света полной луны - 0,1 люкс - до сплошной облачности или слабо освещенной комнаты - 100 люкс, и до прямого яркого солнечного света - 100000 люкс, то есть имеет множитель различия, составляющий более миллиона)), отражение от объекта обычно находится в диапазоне 1-100%, и человеческое зрение должно оптимально различать локальным образом темную пантеру в темных кустах. Глаз должен решать проблему большего динамического диапазона, принимая во внимания такие эффекты освещения, как тени или искусственное освещение, что обычно составляет 10000:1. Другие клетки сетчатки, такие как ганглионарные клетки, отвечают за рациональное использование комбинации всех этих первичных сигналов, и выполняют, например, изменение уровня локальной реакции в зависимости от яркости окружающей среды и т.д.

Наконец, очень важным фактором преобразования посредством анализа такого предварительно обработанного поля «сырого» изображения является зрительная зона коры. Она будет, например, переопределять цвет желтой области, если она определит, что данная область является не отдельным объектом, а частью другого желтого объекта, или будет изменять цветы травы, увиденной за стеклянным окном, как только она определит окрашенное отражение, перекрывающееся с данной локальной областью. Она формирует то, что мы можем назвать конечным «видом» цвета, и, теоретически, именно в этом факторе заинтересованы производители дисплеев и создатели информационного наполнения. Таким образом, существует потребность в любой технологии, которая лучше согласуется с тем, что нужно человеческому зрению (в частности, принимая во внимания другие технические ограничения).

Хотя в настоящее время не существует общепринятого стандарта для кодирования HDR-изображений (в особенности, видео), при первых попытках кодирования изображения (обычно захваченных путем расширения границ систем киноаппаратов, например, путем использования многократной экспозиции и в надежде, что объектив не будет сильно этому препятствовать) кодирование выполнялось путем выделения слов с большим количеством битов (например, 16 бит, позволяющий осуществить линейное кодирование 65000:1 и больше для нелинейного кодирования) для каждого пикселя (например, формат exr). Затем отображение переменного объема света (для которого глаз частично, но в основном аккомодируется), отражающегося от объектов сцены в систему воспроизведения изображений, содержащую модуль ламп LCD и фоновую подсветку, может быть выполнено, например, посредством методик оценки освещенности, таких как изложены в EP 1891621B [Hekstra, stacked display device]. Упрощенный алгоритм получения выходной яркости = яркость фоновой подсветки x передачу LCD состоит во взятии квадратного корня из 16-битного входа HDR, посредством чего выделяется мультипликативное 8-битное фоновое изображение, которое может быть субдискретизировано для LED (в соответствии с методиками пропорционального кодирования). Также существуют другие способы простого кодирования значения яркости появляющейся сцены классическим образом, например, EP2009921 [Liu Shan, Mitsubishi Electric], где используется двухслойный подход для кодирования значений пикселей.

Однако авторами изобретения было обнаружено, что при разработке нового кодирования, в дополнение к простому кодированию пикселей изображения сцены (и его использования в качестве основного, единственного кодирования для всей цепочки) желательным является применение некоторого дополнительного кодирования, поскольку это сильно улучшит понимание и, следовательно, пригодность изображенных действий.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

В идеальном случае цепочка кодирования видео является простой цепочкой, и имеются только незначительные ошибки по сравнению с идеальным представлением, которыми, следовательно, можно пренебречь. Именно таким образом в прошлом выполнялось кодирование телевизионного сигнала (например, NTSC, и стандарты, основанные на этих принципах, такие как MPEG2). Определяется стандартный/эталонный дисплей (с фосфорным EBU, гамма-коэффициентом 2,2, определенными условиями наблюдения), и это позволяет по меньшей мере устойчиво определить некоторое кодирование цветов сцены для фиксируемой сцены. Затем камера будет спроектирована на основании данного дисплея (зависимые от дисплея выходные закодированные сигналы, например, YCrCb). Квалификация оператора камеры, послесъемочный монтаж и т.д. настраивают данные с тем, чтобы они были ближе к конечному пространству цветов дисплея (обычно путем просмотра конечного результата на эталонном мониторе). Однако данная ситуация была нормальной на начальных этапах воспроизведения изображений, когда существовал только один тип дисплеев, и наличие любой работающей системы уже считалось успехом. Однако в настоящее время телевидение демонстрируется на дисплеях устройств с такими различными технологиями, как мобильные телефоны в условиях солнечного освещения или домашние кинопроекторы, и, кроме того, телевизионные продюсеры предоставляют даже большую функциональность обработки изображений на своих дисплеях. Следовательно, можно поставить интересный вопрос о том, кто будет контролировать большую часть конечного вида цветов: создатель информационного наполнения (Голливуд может захотеть принимать по меньшей мере некоторое участие в определении того, каким образом телевидение будет изменять цвета/светлоту в их фильмах), производитель дисплеев (обычно через автоматическое улучшение изображений или другую зависящую от дисплея обработку) или конечный пользователь (через элементы управления, предлагаемые дисплеем). При создании нового телевизионного стандарта такие факторы могут учитываться для определения того, что может быть (по меньшей мере при необходимости) предусмотрено в таком стандарте.

Например, поскольку в будущем не будет идеального соответствия между тем, что создатель информационного наполнения будет хотеть показать, и тем, что может показать какой-либо конкретный дисплей (и окружающая среда дисплея) (например, создатель информационного наполнения может хотеть получить темную сцену, но на воспроизводящей стороне она может быть более светлой), то можно предложить улучшенные варианты управления поведением дисплеев (например, можно позволить дисплею выполнять более интеллектуальное улучшение изображения, или изменить общие технические настройки его функционирования, такие как управляющие значения для различных компонентов дисплея).

Это может быть удобным для наблюдателя (например, для обеспечения определенного объема воспроизведения (цвета/яркости) изображения или эффекта, принимая во внимание аппаратное обеспечение дисплея, но также и предпочтения пользователя, например, на основании его возраста, характера, настроения и т.д.), но по меньшей мере дополнительная информация в кодировании видео (помимо обычных цветов пикселей) может также быть использована для манипуляций с физическими ограничениями дисплея, такими как потребление энергии, тепловые проблемы, потеря качества с течением времени и т.д. Достаточно интересно, что кодирование некоторых дополнительных данных дает такие преимущества, что оно может обеспечить повышенное значение во всей цепочке. Создатель информационного наполнения (или обработчик после создания, что может содержать дополнительный сервис, основанный на действиях человека, или даже автоматический анализ видео, например, для перекодирования) может, например, использовать дополнительно закодированные данные для создания улучшенного описания своего фильма, и своих реальных намерений, которые он вложил в этот фильм, что позволит обеспечить лучшее отображение со стороны дисплея. Производитель дисплеев может лучше контролировать поведение своих дисплеев в процессе эксплуатации (при условии сильно меняющегося входного изображения). Конечный пользователь/наблюдатель может, при желании, лучше настроить видео в соответствии со своими предпочтениями, и увидеть его так, как ему больше нравится (например, в случае, если он считает, что некоторая программа имеет раздражающее мерцание, он может отключить такое мерцание).

Некоторые такие проблемы и соображения, требующиеся для усовершенствования кодирования видео, использовались в качестве входных данных при продумывании различных вариантов осуществления настоящего изобретения.

В целях преодоления по меньшей мере некоторых из этих проблем мы предлагаем способ кодирования в дополнение к видеоданным (VID) дополнительных данных (DD), содержащих по меньшей мере один момент времени изменения (TMA_1), показывающий изменение с течением времени характеристической яркости (CHRLUM) видеоданных, при этом характеристическая яркость является суммой набора яркостей пикселей в изображении видеоданных, причем способ содержит этапы, на которых:

формируют на основании видеоданных (VID) описательные данные (DED) изменения характеристической яркости видео, при этом описательные данные содержат по меньшей мере один момент времени изменения (TMA_1), и

кодируют и выводят описательные данные (DED) в качестве дополнительных данных (DD).

В таком случае эти моменты времени изменения затем дают очень важную дополнительную информацию о видео, и могут быть использованы для более эффективной обработки и/или воспроизведения видео в принимающем устройстве, таком как телевизор, и в частности для улучшенной настройки для каждого конкретного телевизора, текущих предпочтений пользователя (потенциально зависящих от каждого подсегмента конкретного видео) и т.д. Обычная философия кодирования видео всегда заключалась в том, что этот набор изображений может быть удовлетворительно закодирован посредством кодирования отдельных изображений с использованием методик кодирования пиксельных изображений. Однако при просмотре в более грубом масштабе также имеется важная информация во временной структуре более грубого масштаба. В принципе можно ожидать, что данная информация может быть получена при наличии этих изображений. Однако в данной информации могут содержаться факторы, которые не так легко выделить, например, с помощью устройства автоматического анализа видео на принимающей стороне. Например, компонент анализа может не иметь достаточных ресурсов, а именно: он может не иметь достаточно сложных алгоритмов анализа или может не иметь доступа к достаточному количеству будущих изображений относительно конкретного момента времени, такого как момент времени отображения. Также создатель информационного наполнения может хотеть передать что-то определенное о некотором временном развитии сигнала изображения, в частности, яркости его пикселей. Например, создатель мог бы создать последовательность закодированных изображений, содержащих взрыв, которые могли бы иметь значения пикселей, зависящие от физических ограничений кодирующей системы (например, ему могло бы потребоваться компромиссное решение для выделения для взрыва наилучших имеющихся 8-битных значений LDR). Дополнительно к этому он может хотеть передать некоторую дополнительную информацию, например, о том, что предполагается «очень мощный взрыв», тогда как второй взрыв, происходящий позже, предполагается «менее мощным взрывом», хотя значения его пикселей могут не сильно отличаться вследствие ограничений кодирования (что представляет большую сложность для устройства анализа в определении этой разницы. На стороне создателей информационного наполнения обычно все еще присутствует человек-исполнитель, поэтому, в дополнение к определению оптимального кодирования пиксельных изображений, он может совместно кодировать дополнительные данные (например, изменить некоторым образом значения пикселей изображения, но описать это с помощью сопряженных данных в дополнительных данных).

Представляющие интерес дополнительные данные, лучше моделирующие временную природу видео в соответствии с представленными вариантами осуществления, могут быть получены на основании концепции характеристической яркости (CHRLUM). Она представляет собой сумму яркостей, присутствующих в целом по меньшей мере на одном изображении, и часто на последующих изображениях (таким образом, потенциально проводится усреднение по нескольким изображениям). Например, движение камеры из затененной области в, по существу, освещенную солнцем область, проявится таким образом, что средняя яркость (всех пикселей) затененного изображения будет отличаться от средней яркости изображения из освещенной солнцем области. В частности, характеристическая яркость сильно изменяется, если изменения настолько большие, что они приводят к изменению значительного объема видеодиапазона LDR, или если характеристическая яркость определена таким образом, что она характеризует уровни или изменения диапазона HDR, то есть, например, взрыв содержит несколько пикселей с очень высокой яркостью по сравнению со средним или ожидаемым или желаемым уровнем яркости (или наоборот для темной окружающей среды). Можно обобщить данную концепцию грубых уровней характеристической яркости путем рассмотрения только некоторых локальных изменений яркости на грубом уровне (хотя наблюдение, например, только области, содержащей яркий свет на изображении, делает характеристическую яркость более локальной, чем усреднение по всей картинке, если характеристика выполняется по основным областям/действиям яркости текущего снимка, то это по существу все еще является характеристикой грубого уровня). Например, если последовательный набор изображений содержит локализованное пламя взрыва, то можно получить характеристическую яркость путем усреднения только по пикселям пламени (и без использования, например, пикселей окружающего здания). Это может быть выполнено путем усреднения по первому изображению, содержащему пламя, или путем взятия характеристического интеграла пикселей пламени на нескольких выбранных изображениях, содержащих пламя, однако, можно выделить момент изменения в первый момент времени, когда появляется пламя. Описательные данные (DED), полученные из анализа изображения(-ий) могут быть, в соответствии с вариантами осуществления настоящего изобретения, использованы различным образом в соответствии с пониманием квалифицированного специалиста (например, может, в качестве начальной точки или в качестве конечной дополнительной информации, кодироваться эллипсоидная модель светлоты шара пламени взрыва), однако, они всегда будут содержать по меньшей мере один момент времени изменения (TMA_1), в который, как считается блоком анализа и/или оператором-человеком, происходит изменение грубой характеристической яркости в видео (это может быть точное первое изображение со взрывом, или приблизительное, например, где-то в начале взрыва). Описательные данные в итоге кодируются в дополнение к обычным видеоданным классического кодирования (которые могут иметь меньшее информационное наполнение, если некоторые HDR кодируются в дополнительных данных) в форме дополнительных данных DD, которые могут представлять собой просто копию описательных данных DED, или могут содержать поднабор и/или преобразование этих данных, но они требуются в качестве дополнительного этапа цепочки обработки изображений в соответствии с предварительно описанными требованиями.

Другие представляющие интерес модификации вариантов осуществления наших способов, устройств, сигналов, применений конфигураций или сигналов, и т.д., могут, не являясь ограничивающими, представлять собой, например:

Способ кодирования дополнительных данных (DD) в соответствии с более общим описанием, приведенным выше, при этом способ содержит этап кодирования в дополнительных данных (DD) по меньшей мере одного указателя (ALCORR, (TYPE)) разрешенных стратегий вторичной обработки по меньшей мере для яркости пикселей видеоданных, посредством устройства (112, 110), использующего видеоданные в качестве дополнительных данных, такого как дисплей телевизора.

Указанное теперь позволяет процессору воспроизведения или дисплею выполнять несколько конкретных обработок изображения в моменты времени, близкие к моментам времени изменений, а не «вслепую», как в обычном случае. Это может быть свободная («дисплей делает то, что вы хотите») или более или менее точная стратегия того, что дисплей должен сделать, но, предпочтительно, все можно настроить таким образом, чтобы принять во внимание специфику дисплея или окружающей среды, при этом допуская некоторый контроль для создающей стороны, то есть дисплей должен будет, по меньшей мере в определенной степени, следовать закодированному указателю (должна ли, может ли или не может и т.д. выполняться обработка и какая именно). Например, в случае LCD-дисплея с фоновой подсветкой может рассматриваться возможность (небольшого) изменения управления подсветкой по сравнению с тем, что считалось бы точным воспроизведением (то есть выходной яркостью пикселей, выдаваемой с оптимальной процентной LCD-передачей, и, посредством этого, яркостью фоновой подсветки, для получения точных желаемых значений пикселей, в соответствии с описанным, например, в 16-битном HDR-представлении изображений). Указанное может привести к некоторому изменению в воспроизведении изображения (другим выходным цветам/яркости), хотя это может быть желательным. Также дисплеи, имеющие один элемент дисплея на пиксель, такие как, например, OLED, могут использовать ту же алгоритмическую теорию путем использования «фоновой псевдоподсветки», то есть осуществления модуляции их суммарного управляющего сигнала путем определения некоторого основного компонента, и, обычно, следующим за этим его мультипликативным изменением.

Вторичная обработка обычно содержит функциональное преобразование, например, отображение предыдущих цветов/яркостей пикселей по меньшей мере для некоторых областей набора последовательных изображений на новое множество цветов/яркостей пикселей. Изменение в характеристической яркости также может в различных вариантах осуществления вторичной обработки (например, для снижения мерцания) быть переопределено как изменение в стратегиях или параметрах преобразования, в частности, содержащее момент желаемого изменения трансформации (следует отметить, что, в принципе, момент времени изменения TMA_1, в который, как считается, произошло изменение в характеристической яркости, может отличаться от момента времени TP_1, в который началась желаемая вторичная обработка [например, затемнение сегмента фоновой подсветки], но часто их можно считать совпадающими, например, если по определению функции или алгоритма вторичной обработки необходимо, чтобы она не влияла на первые несколько изображений, например, чтобы определяющая ее мультипликативная функция имела несколько 1 в начале). Указатели стратегий обработки могут быть различными, от указателей очень высокого уровня до очень строгих. Например, может быть указано, разрешается ли или нет какая-либо обработка для текущего снимка (если его воспроизведение является критичным, поскольку ему была присвоена критическая важность). Или может быть указано, разрешен ли конкретный тип обработки (например, только понижение яркости), или разрешен только тип обработки для попытки оптимального воспроизведения отображения (например, темной сцены) при заданных факторах на стороне дисплея, или, например, разрешена ли специфичная для дисплея обработка, такая как энергосбережение, которая может снизить качество воспроизведения изображений. Или может быть даже предписана специальная функция для применения в области момента времени изменения. Следует отметить, что вторичная обработка не обязательно должна быть фиксированной, но она может настраиваться, например, в зависимости от желаемых настроек наблюдателя, но при этом она все же может быть построена на основании по меньшей мере одного момента времени изменения (например, с параметрическими функциями вторичной обработки).

Также целесообразным является способ кодирования дополнительных данных (DD), содержащий этап, на котором кодируют конкретный код вторичной обработки (MULT) из набора заранее установленных согласованных кодов.

Также целесообразным является способ кодирования дополнительных данных (DD), содержащий этап, на котором кодируют в дополнительных данных (DD) стратегию отклонений, такую как, например, закодированный временной профиль (PROF) или математический алгоритм для расчета стратегии отклонений, для вторичной обработки в течение временного интервала DTI яркости пикселей видеоданных (VID), по сравнению с исходными яркостями (Lin*), при этом вторичная обработка может быть основана на психовизуальной модели или на физических характеристиках дисплея и/или среды наблюдения и т.д.

То есть в данном случае указатель стал больше похож на конкретное предписание. Можно, например, начинать с исходных яркостей Lin*, таких, как были закодированы в видеосигнале VID, и применять к ним мультипликативный профиль, который мягко/незначительно снижает яркости с течением времени для данного снимка. Профиль может быть аддитивным, мультипликативным, просто указанием, например, на средний грубый уровень того, как должен выглядеть конечный (выходной) профиль яркости с течением времени (и телевизор может выполнять некоторую обработку для приблизительного его получения) и т.д.

Также целесообразным является способ кодирования дополнительных данных (DD), в котором вторичная обработка имеет тип, содержащий определение изображения освещения для фоновой подсветки (ILIM), и этап кодирования содержит этап, на котором кодируют данные, влияющие на определение изображения освещения для фоновой подсветки (ILIM) в течение интервала около момента времени изменения (TMA_1), таких как временная функция, составленная из элементарных вкладов базовых функций по меньшей мере для пространственной области положений двумерной матрицы (MAP). Также можно предложить или контролировать конкретные воспроизведения путем более непосредственного управления фоновой подсветкой пространственно-временным образом. Например, можно легко охарактеризовать некоторый HDR-эффект (или его часть), такой как взрыв, путем его составления из набора функций, таких как некоторые локальные колебания, функции снижения энергопотребления, разложения Гаусса и т.д., которые определяются по меньшей мере частично на основании момента времени (например, для окна дискретизации для функции, положение моды распределения Гаусса определяется в сравнении TMA_1, или начальной точкой убывающей функции и т.д.).

Также целесообразным является способ кодирования дополнительных данных (DD), содержащий этап, на котором кодируют в дополнительных данных (DD) информацию о будущих характеристических яркостях относительно момента времени изменения (TMA_1) и/или информацию об ожидаемых яркостях изображения освещения для фоновой подсветки (ILIM) эталонного дисплея.

Наличие как можно более точной информации о будущем видео, особенно о сумме яркостей пикселей будущего изображения, может позволить дисплею или процессору воспроизведения, или любому устройству, использующему закодированные дополнительные данные, принимать разумные решения относительно текущей обработки, например, максимизации визуального воздействия, чувствительного к мощности управления фоновой подсветкой с учетом будущего энергопотребления, и т.д. Для некоторых приложений, таких как управление электропитанием, данная характеристика будущих характеристических яркостей может иметь очень грубый уровень, поскольку нужно только приблизительно знать, сколько потребуется света (то есть например, может быть закодирована средняя характеристическая яркость за следующие 10 секунд и дополнительно/в качестве альтернативы - за две минуты; временная иерархия таких характеристик действительно позволяет принимающей стороне выполнять более разумные предсказания, например, относительно мощности, которая будет использоваться в текущий момент), однако для точной реализации психовизуального воздействия может потребоваться более подробная информация о временных модуляциях. Для дисплея с фоновой подсветкой или дисплея без фоновой подсветки, можно эквивалентно закодировать изменения характеристик суммарно для кодируемой картинки (такой как VID), или для ее (виртуального) компонента, такого как вклад фоновой подсветки, и, следовательно, принимающая сторона может получить любой требуемый вариант, например, путем использования заранее установленного или совместно закодированного алгоритма разделения множества компонент.

Также целесообразным является способ кодирования дополнительных данных (DD), содержащий этап, на котором кодирубт в дополнительных данных (DD) указатель важности (IMPLEV) по меньшей мере для одного момента времени изменения (TMA_1). Это позволяет проводить очень гибкую вторичную обработку отклонений, такую как, например, иерархическая обработка (например, снижение) воспроизведения в нескольких взаимосвязанных временных интервалах (например, нескольких взаимосвязанных эффектах высокой светлоты). В случае, когда со стороны дисплея имеются сложности в воспроизведении всех эффектов, то воспроизведение может, на основании важности, выполняться только для наиболее важных эффектов, или может быть спроектирована вторичная обработка, принимая во внимание иерархию важностей и т.д.

Также целесообразным является устройство (524) кодирования видео, выполненное с возможностью кодирования в дополнение к видеоданным (VID) дополнительных данных (DD), содержащих по меньшей мере один момент времени изменения (TMA_1), указывающий изменение с течением времени характеристической яркости (CHRLUM) видеоданных, при этом характеристическая яркость является суммой набора яркостей пикселей на изображении видеоданных, на основании описательных данных (DED) относительно изменения характеристической яркости видео.

Также целесообразными являются устройства кодирования видео (524), выполненные с возможностью кодирования в дополнение к видеоданным (VID) дополнительных данных (DD) в соответствии с любыми описанными выше или ниже принципами, в частности, с наличием специально реализованных кодировщиков, средств форматирования и т.д. для различных спецификаций того, что принимающая сторона может выполнять в качестве вторичной обработки изображений в конкретные моменты времени.

Также целесообразным является способ декодирования дополнительных данных (DD) видеоданных (VID), при этом дополнительные данные (DD) содержат по меньшей мере один момент времени изменения (TMA_1), показывающий изменение с течением времени характеристической яркости (CHRLUM) видеоданных, при этом характеристическая яркость является суммой набора яркостей пикселей на изображении видеоданных, и при этом способ дополнительно содержит этап, на котором выводят по меньшей мере один момент времени изменения (TMA_1).

Обычно в способе декодирования анализируется входящий сигнал и обнаруживаются конкретные пакеты, поля данных и т.д., распознаваться закодированные данные, возможно выполняется извлечение, преобразование, приведение типа данных в целесообразный для устройства формат и т.д. Например, могут выводиться моменты времени, в которые может, или предполагается, что может, произойти некоторое конкретное действие. Устройство, соединенное с декодером, использующим такие дополнительные данные, может предписывать дальнейшие пути доставки (или даже извлечения только конкретных данных) в зависимости того, каким образом оно использует эти данные. Например, если устройству необходимо только знать моменты времени изменения характеристической яркости, то может быть достаточным наличие только этих моментов, но устройство обработки изображений может запросить у блока декодирования выполнение способа декодирования, который также конвертирует закодированные индексы для предварительно согласованных преобразований в более удобный в управлении формат, например, функции в течение конечного временного сегмента для мультипликативного затемнения. То есть все дополнительные данные будут посредством вариантов осуществления способа декодирования выведены в согласованных форматах, установленных и заданных или согласованных в процессе работы с устройством приема, при этом такие данные могут представлять собой моменты времени, указания вторичной обработки, дополнительные данные, задающие временную природу сигнала, такие как зависящие от изображения измерения, ориентированные на дисплей или отображение фильма указания и т.д.

Также целесообразным является способ декодирования дополнительных данных (DD) видеоданных (VID), который дополнительно содержит этап, на котором декодируют и выводят по меньшей мере один любой элемент закодированных данных в соответствии с описанным в настоящем документе.

Также целесообразным является сигнал данных (NDAT), ассоциированный с видеоданными (VID), содержащий по меньшей мере один момент времени изменения (TMA_1), указывающий на изменение с течением времени характеристической яркости (CHRLUM) видеоданных, при этом характеристическая яркость является суммой набора яркостей пик