Способы и устройства для кодирования hdr-изображений и способы и устройства для использования таких кодированных изображений

Способы и устройства для кодирования hdr-изображений и способы и устройства для использования таких кодированных изображений

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к кодированию одного (т.е. неподвижного), но предпочтительно более одного (т.е. видео) изображения с широким динамическим диапазоном, и к соответствующим техническим системам и способам передачи необходимой информации о кодированном изображении на приемную сторону, и к декодерам для декодирования кодированных изображений, и, в конечном счете, предоставления их для дисплея.

Изображение с широким динамическим диапазоном (HDR-изображение) представляет собой изображение, которое кодирует текстуры HDR-сцены (которая обычно может содержать как очень яркие, так и темные области) таким образом, с достаточной информацией для высококачественного кодирования цветовых текстур и различных захваченных объектов в сцене, что может выполняться воспроизведение с визуально хорошим качеством HDR-сцен на HDR-дисплее с высокой пиковой яркостью, такой как, например, 5000 нит. В предложенной нами структуре HDR-кодирования, разработанной в последние годы, мы также хотим одновременно кодировать различные видимые подэлементы охватываемого динамического диапазона на этой сцене, которые могут служить в качестве хороших изображений возбуждения для различных дисплеев с промежуточным уменьшенным динамическим диапазоном, по меньшей мере изображение с узким динамическим диапазоном (LDR-изображение) выглядит подходящим для возбуждения, например, дисплея с пиковой яркостью 100 нит.

Кроме того, HDR-кодирование предпочтительно технически разработано таким образом, что оно не только относительно хорошо согласуется с существующими технологиями видеокодирования, но даже может быть встроено в современные структуры кодирования изображения или видео существующей технологии, такой как, например, запоминающее устройство на диске Blu-ray (и его ограничения, такие как величина памяти запоминающего устройства, но также уже по существу все другие стандартизированные аспекты), или соединения кабеля мультимедийного интерфейса высокого разрешения (HDMI), или другие системы передачи или хранения изображений, и т.д. В частности, системы HDR-кодирования, которые используют два кодированных изображения в каждый момент времени (например, LDR-изображение и изображение, имеющее локальные яркости подсветки для форсирования каждого пикселя до пикселя HDR-изображения) рассматриваются, особенно производителями устройств, как бесполезно сложными.

Кодирование HDR-видео (или даже неподвижного изображения) только недавно исследовалось в порядке эксперимента и являлось до настоящего времени трудной задачей, и типичным мнением было то, что или необходимо переходить к существенно большему количеству битов для кодирования яркости выше LDR-диапазона объектов сцены (например, кодирования, которое кодирует непосредственно яркости сцены), или необходим некоторый подход с двумя уровнями, в котором, например, в дополнение к изображению отражения объекта имеется изображение форсирования освещенности, или подобные стратегии разложения. Альтернативные подходы, такие как, например, система HDR-кодирования компании Dolby, обычно всегда используют такую двухуровневую технологию HDR-кодирования (см. US8248486B1). WO2010/105036 представляет собой другой пример такой системы кодирования с 2 изображениями в каждый момент времени от компании Dolby. Некоторое простое фиксированное тональное отображение TM (например, эмулирующее поведение классической аналоговой пленочной фотографии) может использоваться для отображения LDR-изображения в колеровку HDR, соответствующую ему, или наоборот. Это может быть любая, не очень точно отображающая функция (так как колеровщик может использовать сложные решения по оптимизации, например, в своей колеровке LDR), так что может быть значительное различие между прогнозированием, например, первоначального HDR-изображения и самим первоначальным HDR-изображением, но это не является проблемой, так как система может передавать различие в виде второго корректирующего изображения (битовый поток 742 остатка).

Другим примером такой системы кодирования с двумя изображениями является система HDR-кодирования Technicolor (документ JCTVC-P0159r1 16 заседания Объединенной совместной команды по видеокодированию ITU-T SG 16 WP3, г. Сан-Хосе, 9-17 января 2014 г.), которая кодирует в качестве первого изображения сигнал низкого разрешения, являющийся локальной освещенностью, поскольку он обычно формируется в модулированной двумерной (2D) светодиодной (LED) подсветке, и вторым изображением обычно является изображение текстуры модуляций с более узким динамическим диапазоном на этом низкочастотном сигнале, который обычно формируется на дисплее соответствующими сигналами возбуждения ламп жидкокристаллического дисплея (LCD).

Компания Philips недавно изобрела более простой подход с единственным изображением (по большей части еще не опубликован, но некоторые аспекты можно найти в WO2012/147022 и WO2012/153224), который является новым направлением в кодировании изображений и видео и, не только трудный для того, чтобы представить его априори, но, также при его фактическом выполнении, он приводит к многочисленным новым техническим вопросам, подлежащим решению, который, однако, хорошо работает на практике.

Под «широким динамическим диапазоном» (HDR) мы подразумеваем, что или изображение(-ия), захваченное на стороне захвата, имеет высокое отношение контраста яркости по сравнению с существующим LDR-кодированием (т.е. отношения контраста яркости объекта 10 000:1 или более могут обрабатываться посредством кодирования, и все компоненты цепочки обработки изображения до воспроизведения; и яркости захваченного объекта могут составлять выше 1000 нит, или более конкретно, могут обычно воспроизводиться/передаваться свыше 1000 нит, чтобы, при заданном окружении воспроизведения, формировать некоторое требуемое внешнее представление, например, зажженную лампу или освещенную солнцем внешнюю сцену). И обычно воспроизведение такого изображения(-ий) представляет собой HDR (т.е. изображения должны быть подходящими в том, что они содержат информацию, достаточную для высококачественного HDR-воспроизведения, и, предпочтительно, технически легким для использования образом), означая, что изображение(-ия) воспроизводится или предназначено для воспроизведения на дисплеях с пиковой яркостью по меньшей мере 1000 нит (подразумевая, что они не могут и не должны альтернативно воспроизводиться на LDR-дисплеях, например, с пиковой яркостью 100 нит, обычно после соответствующего отображения цвета).

УРОВЕНЬ ТЕХНИКИ

Недавно было предложено несколько технологий HDR-кодирования, таких как, например, двухуровневый способ компании Dolby (WO2005/1040035). Однако промышленность в настоящее время все еще ищет прагматическую технологию HDR-кодирования видео (/изображения), которая отвечает всем требованиям (приводит в равновесие все требования), таким как очень важные факторы, такие как количество данных, но также вычислительная сложность (цена интегральных схем (IC)), легкость внедрения, разносторонность для творческого работника для создания того, что он захочет, и т.д. В частности, двухуровневый подход рассматривается как бесполезно сложный. Идеально хотелось бы разработать технологию кодирования, которая соответствует существующему кодированию, такому как кодирование HEVC (высокоэффективное видеокодирование) MPEG (Экспертная группа по кинематографии) на основании дискретного косинусного преобразования (DCT). Проблема заключается в том, что это в некоторой степени контринтуитивно: как можно кодировать HDR-изображение, которое должно по определению быть в некоторой степени отличным от LDR-изображения, обычно имеющим большее количество представляющих интерес диапазонов яркости, в технологии, оптимизированной для того, чтобы содержать в себе LDR-изображения? Эти существующие системы обработки/кодирования LDR-изображений были разработаны и оптимизированы для работы с обычными сценариями формирования LDR-изображений, которые обычно хорошо освещены, например, с отношением освещенности студии 4:1 (или, например, 10:1), предоставляя для большинства объектов (которые могут изменяться по отражающей способности между, например, 85% для белого цвета и 5% для черного цвета) на виде с общим уровнем контрастности около 68:1 (соответственно 170:1). Если взглянуть на относительное воспроизведение (т.е. отображение белого цвета изображения к доступному белому цвету дисплея) яркостей объекта, начиная с пикового белого цвета, обычные ранние LCD-мониторы без локального затемнения имели белый цвет около 100 нит и черный цвет 1 нит, что согласуется с уровнем контрастности изображения, и обычно считали, что, на средних системах с электронно-лучевой трубкой (CRT), на которые смотрели также в течение дня, имели возможность около 40:1. Наличие стандартной существующей гамма-функции выделения кодов яркости со значением 2,2 в этих системах казалось удовлетворительным для большинства сценариев даже для более высокого контраста сцены. Хотя некоторые в то время считали, что были сделаны допустимые ошибки, такие ошибки воспроизведения плохо кодированных областей сцены с высокой яркостью (например, сильное ограничение ярких внешних сцен за окном) также были приемлемыми, так как LDR-дисплеи не могли в любом случае воспроизводить яркости этих объектов физически точно.

Однако имеются сценарии, для которых теперь существует потребность в улучшении воспроизведения, такие как, например, сцены в помещении, в которых можно одновременно видеть освещенную солнцем сцену вне помещения, в этом случае, может быть отношение освещенности 100:1 или даже более. При линейном относительном воспроизведении (т.е. со сосредоточением в первую очередь на самых ярких кодированных областях, или, эквивалентно, на среднем сером цвете наиболее ярких областях сцены и отображением белого цвета изображения для отображения белого цвета), белый цвет сцены внутри помещения будет отображаться в психовизуальный черный цвет для зрителя! Поэтому, в LDR эти освещенные солнцем области обычно будут изображаться как (слегка) ограниченные (обычно уже в кодированном изображении, в котором трудно различить коды около максимум 255 для этих пикселей). Однако на HDR-дисплее мы хотели бы показать их как яркими, так и красочными. Это дало бы значительно более натуралистический и эффектное воспроизведение таких сцен (как если бы Вы действительно находились в отпуске в Италии), но даже сцены, в которых контент с большей яркостью состоит только из некоторых эффектных отражений, уже проявляют большое визуальное улучшение качества. Если уже артефакты, подобные ограничению или ошибкам квантования, не выглядят раздражающими, например, на дисплее с яркостью 5000 или 10000 нит, мы по меньшей мере хотим иметь возможность побуждать такие HDR-дисплеи отображать изображение нужного вида, таким образом, чтобы воспроизводимые изображения были настолько красивыми, насколько позволяет HDR-дисплей.

Классический подход, однако, состоял в том, что для кодирования дополнительных диапазонов избыточной яркости необходимо иметь (значительно) больше битов, которые являются более старшими битами, которые кодируют яркости объекта свыше LDR-диапазона. Это может происходить или при кодировании в исходном формате с единственными большими кодовыми словами (такими как OpenEXR с 16 битами, из которых бит знака, 5 битов экспоненты и 10 битов мантиссы, или кодирование в формате LogLuv Варда, которое математически строго пытается захватить все множество возможных яркостей объекта с высокой точностью), или посредством использования первого уровня с кодами стандартного LDR-диапазона (например, классическая аппроксимация JPEG (объединенная группа экспертов по фотографии) HDR-изображения) и второго уровня для повышения яркости таких пикселей до более высокой яркости (например, форсированное изображение для форсирования каждого пикселя, если необходимо, до более высокой яркости, т.е. умножение на два таких 8-битовых изображений, являющееся эквивалентным единственному линейному 16-битовому коду).

Главной практической проблемой, подлежащей решению при разработке практической технологии HDR-кодирования, в дополнение к тому факту, что, конечно, оно должно быть способным обрабатывать огромный диапазон разных HDR-изображений, является то, что производители аппаратных средств требуют меньшего количества битов на кодовое слово (канал, т.е. канал яркости и два канала цветности), однако, и, хотя предложенная нами ниже технология также может работать со словами с большим количеством битов, мы пришли к решению, которое хорошо работает при ограничении 10 битами для по меньшей мере канала яркости (или более точно канала сигнала яркости) (следует отметить, что, хотя мы поясняем варианты осуществления с каналом яркости, принципы нашего изобретения с соответствующими поправками, могут быть реализованы как работающие на (линейных или нелинейных) RGB-представлениях цвета и т.д.). Кроме того, мы разработали структуру, которая может выполнять в философии двойственности как кодирование пикселей цвета (HDR-вида посредством LDR-изображения), так и преобразование внешнего представления цвета для нескольких сценариев воспроизведения (т.е. необходимые оптимальные виды для воспроизведения сцены на нескольких дисплеях с разными пиковыми яркостями, например, PB=800 нит) функциональным образом, что означает, что необходимо совместно кодировать только функции при кодировании вида по меньшей мере одной дополнительной колеровки, и конкретно HDR-вида в дополнение к LDR-виду вместо по меньшей мере второго видеокадра для каждого видеокадра.

В настоящее время мы имеем две категории систем HDR-кодирования, так как для рынка желательна такая универсальность в системе кодирования с учетом различных проигрывателей и их разных потребностей. В системе mode-i (или HDR-виде, кодированном в виде единственного определяющего изображения, например, на диске BD, или поток изображений AVC или HEVC по сетевому соединению) мы используем изображения HDR-вида в качестве единственного пиксельного изображения, которое используется для кодирования текстур и формы цвета объекта (см. в WO2015007505 заявителя, как такое единственное HDR-изображение может передаваться на приемник для определения цветов пикселей по меньшей мере HDR-вида, и как с соответствующими функциями повторной колеровки приемник может вычислять посредством обработки цветов в этом изображении другие изображения вида). Под этим мы подразумеваем, что мы берем первоначальное HDR-изображение главной колеровки, т.е. изображение, оптимально колерованное по цвету, чтобы оно выглядело лучше всего на эталонном HDR-дисплее, таком как, например, дисплей с пиковой яркостью 5000 нит, и только с минимальным его преобразованием: применяя только, в основном, функцию выделения кода или оптико-электронную передаточную функцию OETF (следует отметить, что, хотя OETF определяет, как яркости сцены, захваченные, например, камерой, передаются в коды сигнала яркости, телевизионным инженерам вместо этого нравится задавать обратную функцию, являющуюся электро-оптической передаточной функцией EOTF для перехода от кодов сигнала яркости к воспроизводимым эталонным дисплеем яркостям) посредством использования того, что OETF оптимально выделяет доступные, например, 10 битов кодов для канала сигнала яркости ʹYʹ по всем значения яркости, которые необходимо воспроизводить на эталонном дисплее с яркостью [0-5000] нит. Другие требуемые колеровки для дисплеев с другой пиковой яркостью тогда могут выполняться посредством преобразования этого изображения HDR-вида. В нашей структуре мы обеспечиваем этому виду отображения возможность настройки обычно путем выполнения только одной второй колеровки, которая находится на другом крайнем конце диапазона возможных дисплеев, подлежащих обслуживанию, а именно, вид, который является оптимальным или приемлемым по мнению создателя контента/колеровщика цвета для дисплея с пиковой яркостью 100 нит (которым обычно является эталонный дисплей для категории LDR-дисплеев). Следует отметить, что это представляет собой совместное кодирование другого вида, кроме этапа простого перекрашивания на стороне создания. Это требовало, чтобы преобразование цвета определялось применением функций отображения, таких как гамма-функции, реализующие глобальную повторную регулировку яркости (например, осветление более темных цветов в изображении), кривые с произвольной S-образной формой или обратной S-образной формой для регулировки локального контраста, функции обработки насыщенности цвета для регулировки, например, насыщенности до соответствующей яркости некоторых объектов или областей в изображении и т.д. Мы можем в значительной степени совместно кодировать эти функции (любую функцию, которую нам необходимо, пока они принадлежат к ограниченному набору базовых функций, которые приемник может понимать стандартизированным образом) в качестве метаданных, ассоциированных с пикселизированным изображением HDR-вида, в этом случае мы параметрически ОПРЕДЕЛЯЕМ изображение второй колеровки LDR-вида из изображения HDR-вида (т.е. нам больше нет необходимости кодировать это изображение LDR-вида в качестве пиксельного изображения). Следует внимательно отметить отличие двухуровневых систем кодирования: в нашей системе функциями преобразования цвета являются все, которые кодируются касательно второго вида, способного повторно колеровать второй вид на приемнике, поэтому, вместо функций грубой аппроксимации технологий с 2 изображениями, наши функции содержат полные интеллектуальные знания того, как освещенность различных объектов должна вести себя на различных видах воспроизведения по мнению создателя контента! При наличии этих сведений о том, как творческие работники хотят преобразовать вид из первого вида для дисплеев с первым уровнем возможностей воспроизведения цвета во второй вид для дисплеев со вторым уровнем возможностей воспроизведения цвета (в частности пиковой яркости дисплея), дисплей с промежуточными возможностями (например, пиковой яркостью 1200 нит) может тогда автоматически переходить к более оптимальному изображению возбуждения для его ситуации воспроизведения посредством использования сведений в двух колеровках и интерполирования (например, дисплей может выполнять асимметричное смешивание двух пикселизированных изображений HDR-вида и выведенного изображения LDR-вида из изображения HDR-вида и функциональных преобразований, в котором процентные отношения мультипликативного смешивания определяются тем, насколько близко к HDR-дисплею или LDR-дисплею располагается фактический дисплей на психовизуальной нелинейной шкале), что будет лучше, чем возбуждение дисплея или первоначальным изображением HDR-вида или изображением LDR-вида.

Это представляет собой мощное и все же простое определение не исключительно единственного вида (HDR-) изображения на сцене (например, воспроизведение 5000 нит), но полной структуры для получения приемлемого воспроизведения сцены для различных возможных дисплеев в условиях эксплуатации, таких как дом потребителя (и даже потенциальной адаптации к окружению просмотра, например, посредством применения пост-гаммы, моделирующей изменяемую чувствительность к контрасту зрения человека при различных окружающих освещенностях). Это полезно, главным образом, например, для применений/сценариев, в которых создатель выполнил хорошую версию HDR своего контента и хочет иметь в первую очередь этот HDR-вид при фактическом кодировании, передаваемом на приемники (например, на BD-диске HDR, или во время заказа по Интернету онлайн фильма HDR, или при широковещательной телевизионной передаче HDR и т.д.). Не обязательно, чтобы потребитель, который покупает эту версию контента, фактически имел HDR-дисплей, так как он может купить его позже, когда он будет действительно иметь HDR-дисплей и сможет теперь использовать преобразование HDR-2-LDR, но это было бы предпочтительным выбором, когда покупатель хочет контент для его HDR-дисплея.

Тогда как вышеупомянутый способ HDR-вида кодирования HDR-сцен (как объяснено, mode i представляет собой то, что по меньшей мере изображения HDR-вида, кодированные в виде пиксельного изображения, но, фактически, также дополнительные виды на этой же сцене, кодируются, но тогда параметрически с функциями преобразования цвета, такими как, например, вариант осуществления ограничения, в котором LDR-вид изолирует поддиапазон HDR-изображения и ограничивает остальные) уже формулирует существенные технические проблемы для перехода к прагматической новой технической системе для будущего кодирования изображения, но, главным образом, также видео (учитывая такие факторы, как простота конструкции IC для производителей аппаратных средств, все же позволяющая создателям контента создавать любой прекрасный HDR-контент, такой как научно-фантастические фильмы, впечатляющие телевизионные программы или документальные фильмы о природе и т.д., которые они хотят выполнить с многочисленными творческими HDR-эффектами, такими как лампы, которые кажутся действительно горящими), рынок требовал еще другой уровень сложности, который мы предлагаем в данном описании изобретения к патенту.

А именно, для некоторых применений (которые мы называем mode-ii) может потребоваться, чтобы имелось изображение LDR-вида в виде единственного пикселизированного изображения, кодирующего объекты сцены, которое, например, записано в виде единственного изображения на диске Blue-ray. Хотя создатель контента также очень заботится о качестве HDR-вида, он в значительной степени сосредотачивается на LDR-виде, который является подобным, как он был бы с существующими технологиями. Тогда обычно будут функциональные параметры, кодированные совместно в ассоциированных метаданных для получения изображения HDR-вида посредством улучшения изображения LDR-вида, которое было передано в сигнале S_im изображения. Могут быть различные причины для выбора этого варианта mode-ii (или LDR-вида), который может быть, например, для существующих систем, которые неспособны выполнять никакую обработку (например, если кто-то предпочитает кодировать единственное изображение в конкретном варианте осуществления, которое кодирует цвета в виде цветов Yʹuv, а не в кодировании YCrCb, можно все же кодировать его в существующей структуре HEVC с предположением, что изображение Yʹuv представляет собой необычно окрашенное изображение YCrCb и дополнительно используя существующие схемы кодирования на основе DCT, подобные стандартизированным в одном из членов семейства кодеков MPEG), но также для применений, которые требуют LDR-вид (например, просмотр фильма на портативном дисплее с низкой яркостью) и которые не хотят выполнять слишком много обработки. Или, возможно, создатель не хочет вкладывать слишком много времени в создание совершенного HDR-вида (но, например, только быстро выполняет его выполнением незначительной тонкой настройки автоматического преобразования LDR-2-HDR, которое, например, изолирует яркие области и нелинейно их форсирует, например, для восстановления записей фильмов Лорела и Харди), и считает свой LDR-вид наиболее важной главной колеровкой LDR- и HDR-видов, которые должны быть непосредственно кодированы без необходимости какого-либо преобразования цвета, с потенциальными цветовыми ошибками. Например, телевизионная вещательная компания может выбрать этот вариант, особенно для реалистической широковещательной передачи (например, может не требоваться, чтобы новости были в наиболее эффектном HDR).

Это кодирование LDR-вида (mode-ii), однако, имеет дополнительную сложность из-за математической сущности проблемы и математики кодирования с одной стороны в сравнении с прогрессивными художественными требованиями колеровки с другой, что делает его трудной задачей для согласования с хорошей технической структурой. Более точно, с одной стороны, нам требуются функции, которые сначала выполняют понижающую колеровку с требуемого главного HDR-изображения, и на приемнике с этими принятыми функциями (или обратными функциями фактически понижающей колеровки) приемник может снова выполнять повышающую колеровку по меньшей мере до хорошей аппроксимации первоначального HDR-изображения, т.е. в данных параметров функции метаданных будут параметры для функций (выводимые кодером из функций, которые колеровщик использовал при понижающей колеровке из главного HDR), которые могут отображать единственное LDR-изображение до достаточно точного прогнозирования HDR Rec_HDR. Но, с другой стороны, LDR-изображение, когда оно непосредственно воспроизводится на дисплее +-100 нит, т.е. без дополнительного преобразования цвета, должно выглядеть достаточно хорошо также в зависимости от колеровщика цвета. Поэтому, будет равновесие между выбором функций и тем, как они будут оказывать влияние на LDR-виды Rec_HDR, и, также принимая во внимание другие вопросы, таким образом, производители IC и устройств хотели бы видеть, ограниченный набор стандартных функций, которые являются полезными для повторной колеровки видов, и создателям контента нравятся эти функции для быстрого задания любого вида, который им потребуется, так как время колеровки является дорогим и может быть критическим время выпуска фильма. В нижеследующем описании мы описываем практическую систему для обработки этого варианта mode-ii кодирования HDR-сцены.

Нижеследующие документы поверхностно относятся к нашему настоящему изобретению, но, тем не менее, интересно их упомянуть и найти отличия от них.

Во время заседания MPEG2014/M34274 в г. Саппоро R. van de Vleuten et al из компании Philips опубликовали (в июле 2014 г., т.е. после даты приоритета данный заявки) документ «Proposed electro-optical transfer function (EOTF) for HDR video delivery». Этот документ содержит EOTF, которая также используется в наших вариантах осуществления для выполнения предварительного отображения в динамический диапазон LDR. Однако этот документ только предлагает, что эта EOTF имеет хорошие свойства корреляции с внешним представлением освещенности для человека, и, следовательно может быть полезной в качестве функции выделения кодов сигналу яркости для кодирования HDR-изображения. Следовательно, ясно, что самое большее из того, что может быть взято из этого документа, представляет собой идею или подсказку в отношении того, что, если необходимо кодировать единственное главное HDR-изображение или видео, т.е. изображения с сигналами яркости пикселей, кодированными для дисплея с яркостью, например, 5000 нит, то эта EOTF является полезной. Кодирование исключительно HDR-видео означает, что имеются только изображения, определенные в отношении пиковых яркостей, например, 1000 нит или 5000 нит, которые должны быть переданы на приемники, и больше ничего, в частности, никаких других видов с колеровкой на изображения этой же сцены, таких как LDR-изображения с пиковой яркостью 100 нит, которые также необходимо передавать. Это кодирование с единственным HDR-видео является значительно более простым с технической точки зрения, и представляет собой другой взгляд на HDR-кодирование, которое не является тем, что предлагает настоящее изобретение. Такие только HDR-изображения не подходят для непосредственного отображения на существующих LDR-дисплеях, которые обычно имеют пиковую яркость около 100 нит, так как, например, темные области будут выглядеть слишком темными на таком дисплее, который в 50 раз темнее, чем дисплей с яркостью 5000 нит, для которого были созданы HDR-изображения. Как ясно упомянуто выше, настоящая заявка обеспечивает технологии для сценариев, в которых действительно хотят передать HDR-информацию о первоначальной HDR-сцене на приемник, но фактически хотят передать LDR-версию такого изображения (способом, который, однако, позволяет выполнить восстановление HDR-изображения на приемнике), которая приобретает соответствующий вид при выполнении непосредственного воспроизведения на существующем дисплее, т.е. темные области не являются слишком темными. Это представляет собой совершенно другое техническое требование кодирования только HDR-изображений, и, следовательно, данная заявка предлагает тщательно обдуманные дополнительные факторы.

Документ m34165 этого же заседания в г. Саппоро, Tourapis et al. «Report on the XYZ/HDR exploratory experiment 1: EOTFs for XYZ HDR delivery», аналогично представляет собой только исследование того, как выполняются различные такие функции EOTF, когда только HDR-изображения кодируются посредством их (так как использование неправильной EOTF может привести к полосатости на приемной стороне), т.е. без какого-либо рассмотрения, или даже упоминания о необходимости LDR-изображения, не говоря уже о визуальном или художественном качестве этого LDR-изображения.

WO2013/046095 предлагает общие технические принципы, необходимые для того, чтобы иметь возможность выполнения любого HDR-декодирования, в частности, снова декодирование данных HDR-сцены, которые были кодированы как единственные HDR-изображения, но которые не обязательно должны воспроизводиться на дисплее с такой же пиковой яркостью дисплея (PB_D), что и яркость белой точки принятого HDR-изображения (например, рассматривая телевизионную приставку, которая принимает заданный HDR-контент, т.е. с правильными яркостями пикселей объекта изображения с колеровкой цвета для воспроизведения на эталонном дисплее с PB_D 5000 нит, однако, она имеет подключенный дисплей с PB_D, например, 2000 нит или 7000 нит, следовательно, она должна выполнять оптимальное преобразование динамического диапазона, чтобы получить корректно выглядящие изображения для передачи на их фактический подключенный дисплей). Необходимо знать многочисленные обстоятельства, такие как, какой была яркость белой точки кода (например, R=G=B=1023 означает белый цвет с яркостью 1000 нит, или 5000 нит, так как это сильно изменит необходимую информацию для некоторого воспроизводимого белого цвета на подключенном дисплее), и какой является используемая EOTF, которая фактически определяет коды RGB или сигнала яркости, т.е. как связаны коды сигнала яркости со яркостями, которые, как предполагается, они представляют, т.е. какие должны воспроизводиться на соединенном дисплее. Имеется также некоторые общие идеи, что некоторые данные о преобразовании динамического диапазона могут совместно передаваться с передаваемым (единственным) HDR-изображением(-ями)/видео или, может быть, с передаваемым LDR-изображением(-ями). Эта идея может, в лучшем случае, вселять мысль специалисту в данной области техники совместно передавать некоторую требуемую модификацию вида с изображением (например, HDR может быть целенаправленно затеняться в некоторой степени по любой причине и затем снова осветляться на приемной стороне посредством передачи преобразования осветляющего динамического диапазона/тонального отображения, или, может быть, преобразование происходит на приемной стороне независимо от того, что сторона кодирования выполнила с изображением перед его передачей; эта функция тонального отображения должна противопоставляться EOTF, которая является простым техническим выделением яркостям кодов сигнала яркости, но тональное отображение может выполнять некоторое дополнительное изменение яркостей пикселей, например, технически реализуемое как отображение input_luma на output_luma, например, по художественным причинам). Поэтому, этой идеей заявки на патент о структуре обработки основных данных для управления пониманием значения некоторого типа кодирования HDR-изображения (определяемого какой пиковой яркости соответствует максимум кодов, например, R=G=B=1023 необходимо воспроизводить как белый цвет с яркостью 5000 нит; и какая EOTF использовалась для выделения всех кодов сигналам яркости RGB фактическим RGB-значениям и яркостям, подлежащим воспроизведению на дисплее), которое не может быть выведено из него, является конструкция конкретной новой и отличной технической системы, которая передает данные HDR-изображения в качестве LDR-изображений как в настоящей заявке, не говоря уже о конкретно необходимых компонентах для выполнения этого прагматически, как заявлено.

Документ JVT-S087 19-ого заседания MPEG в г. Женева: Segall et al. «Tone mapping SEI message», просто предлагает в общем, что, если кто-то имеет желание применить «некоторое» тональное отображение к яркостям пикселей, тогда он может передать его в специализированном сообщении SEI метаданных. Т.е. приемная сторона тогда может принимать, например, 10-битовое кодирование HDR-изображения и, например, использовать изображение SEI для преобразования в стандартное 8-битовое LDR-изображение, соответствующее ему, т.е. с яркостями пикселей объекта более подходящими для воспроизведения на дисплее с PB_C 100 нит (а не на дисплее с яркостью, например, 1000 нит или 5000 нит, для которого было выполнено HDR-изображение). Например, может использоваться сигмоидальная форма. Это снова пример передачи исключительно данных о цвете пикселей HDR-видео изображений, поэтому, этот документ снова не содержит ничего достаточного для того, чтобы вселить мысль о даже некотором компоненте системы двойного кодирования, совместимой с LDR, для HDR-изображений, которые мы имеем.

Документ JCTVC-P0159r1/m32076, Lasserre et al. «High dynamic range video coding», представляет собой пример 2-х уровневой (т.е. основной поток изображения и поток корректирующих изображений) системы (см. фиг.1), следовательно, очень далекой от нашей технологии, и не содержащей ничего полезного или даже никаких возможных рекомендаций для полезной вдохновляющей идеи. Двухуровневые системы по своей технической философии, следовательно, по конструкции и используемым техническим компонентам, очень отличаются от кодирования единственного изображения, плюс преобразования цветовых функций для выведения изображений с другим динамическим диапазоном.

EP2406959 или WO2010/105036 представляют собой просто двухуровневое HDR-кодирование (см. остаточный битовый поток 742 на фиг.7), поэтому, очень отличающееся и неподходящее для осознания идей в достаточной степени, относящихся к принципам настоящей заявки. Оно обеспечивает интересную точку зрения по некоторым аспектам кодирования HDR-изображений в качестве вспомогательной информации.

Документ M34355 заседания в г. Саппоро в июле (снова после даты приоритета), Stessen et al компании Philips «Chromaticity-based color signals», предлагает, что, когда хотят кодировать (единственное) HDR-изображение(-ия), может потребоваться использование другого цветового пространства, чем цветовое пространство YʹCbCr существующего LDR-кодирования. В нем снова упоминается, что ось «яркости» этого цветового пространства может определяться посредством EOTF компании Philips, которая, что неудивительно, также используется в некоторых других наших раскрытиях или идеях, как в настоящей заявке на патент. Документ затем дополнительно предлагает, что если хотят выполнить обработку цвета в пространстве, которое определяется, например, такой сильно изогнутой EOTF и двумя сигналами цветности, например, если приемнику необходимо выполнить свое любое преобразование динамического диапазона или другую оптимизацию цвета на своем конце, например, любым, о чем он автоматически принял решение, может быть подходящее преобразование для преобразования принятого HDR-изображения(-ий) в LDR-изображение(-ия), тогда это пространство может быть не таким удобным, и результатом этого могут быть ошибки цвета большей величины, чем желательно. Поэтому, авторы вводят, для двух цветовых каналов, цветности, которые являются независимыми от динамического диапазона. Мало ценного можно извлечь из этого для идей настоящей заявки, не говоря о то, что эти идеи подпадают под образец технологии, необходимой для кодирования или декодирования HDR-видео на основе LDR.

Обобщенное предложение TM-AVC0671 компании Philips, представленное Форуму по стандартизации DVB, представляет собой просто высокоуровневую систему черного ящика, предлагающую с точки зрения бизнеса, что мы разработали возможность (mode-ii) кодирования HDR-изображений посредством передачи фактически LDR-изображений (+правильный вид функциональных метаданных, нам пришлось долго исследовать изобретение, поэтому оно неожиданно заработало). Она, однако, не предоставляет никаких деталей о необходимых компонентах, которые представлены в данной настоящей заявке. Она только упоминает, что имеется ящик «преобразователь динамического диапазона», о котором специалист в данной области техники подразумевает, что он делает в такой системной топологии, но не было описано никаких подробн