Улучшенные способы и устройства кодирования и декодирования hdr изображения

Улучшенные способы и устройства кодирования и декодирования hdr изображения

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Изобретение относится к устройствам и способам и получаемым продуктам, таким как продукты хранения данных или кодированные сигналы, например, как сохраненные в памяти, для улучшенного кодирования по меньшей мере одного изображения или видео с увеличенным динамическим диапазоном яркости по сравнению с унаследованными изображениями, называемыми изображениями низкого динамического диапазона (LDR).

Уровень техники

Недавно появившаяся область формирования изображений высокого динамического диапазона (HDR) отличается от унаследованных систем, которые в настоящее время для сравнения можно назвать формированием изображений низкого динамического диапазона (LDR) (и которые содержат такие системы кодирования изображения или видео, как PAL или MPEG2, AVC, HEVC или другой член семейства MPEG или подобных видео стандартов, таких как, например, VC1, VC2 и т.д., или JPEG для неподвижных изображений и т.д.).

Говоря о HDR, необходимо рассмотреть различные компоненты цепи. Так как это совсем новая область технологии, где, возможно, не все подготовлены в равной степени, мы хотим быстро установить опорную концепцию с несколькими важными определениями, чтобы избежать неверного толкования. В конечном счете, имеется динамический диапазон визуализации, который может генерировать среда отображения. Динамический диапазон визуализации, как правило, определяется как RDR = самая светлая яркость белого/самая темная яркость черного всех пикселов в изображении (внутри-кадровый RDR) или пикселов в последовательных изображениях (меж-кадровый RDR, например, когда дисплей (почти) выключен, и видно только отражение окружающей среды на фронтальном стекле). Однако он является более содержательным, когда связан с значением пика_белого (то есть значением самой светлой яркости белого). LDR рендереры (визуализаторы), как правило, находятся в диапазоне или вокруг диапазона, определенного пиком белого 100 нит (1 нит = 1 кд/м³), и в динамическом диапазоне около 100:1. Это то, что CRT-дисплей мог бы сформировать, где, конечно, наиболее темная яркость черного сильно зависит от освещения среды просмотра, поэтому можно пойти на 40:1 для большей верности, а также 2:1 может быть практическим динамическим диапазоном при рассмотрении изображения на дисплее под солнцем. Среда просмотра, которая обуславливает адаптацию к яркости человека-наблюдателя, связана с, например, типично 20% от пика_белого. Некоторые стандарты ЕВС, SMPTE и т.д. задают, каким образом следует градуировать сигнал видео, чтобы он мог быть использован стандартным способом, например, он является оптимальным, если показывается в предписанной среде просмотра. Под градуировкой имеется в виду формирование изображения с измененными цветами пикселов, которые изменяются/задаются в соответствии с некоторым предпочтением. Например, камера может автоматически градуировать RAW (необработанное) изображение (картинку, кадр) камеры (что является зависимым от специфики камеры, как линейного инструмента измерения яркости) при заданной цели визуализации в непосредственно используемое связанное с дисплеем кодирование, с помощью которого можно управлять, например, таким CRT-дисплеем при эталонных условиях, так что он будет показывать четкое изображение зрителю.

Часто градуирование человеком включает в себя более художественные решения. Например, градуировщик хочет сделать цвет растения точно пурпурным цветом, но это требуется задать в эталонных условиях (как технологии дисплея, так и среды просмотра, и в теории также других условиях, влияющих на состояние зрителя, подобно приему медикамента, но, конечно, они типично игнорируются в значительной степени), потому что конкретный дисплей может сделать этот цвет более синеватым, и в этом случае желательный художественный эффект (создания красивой картинки) может ухудшаться. Не является типичным, что камера автоматически создает оптимальный вид пурпура, поэтому градуировщик делает это с программным обеспечением обработки изображения. Такой градуировщик может быть как фотографом, так и художником, работающим над фильмом, или даже специалистом, работающим над (возможно, даже в прямом эфире) телевизионной программой. Конечно, различные приложения будут иметь различные степени сложности градуировки, связанной с желательным техническим и/или художественным качеством для этих приложений. Типично, вышеуказанные стандарты предписывают, что градация должна быть сделана на эталонном мониторе около 100 нит в эталонной среде. Вопрос в том, как цвет будет визуализироваться и восприниматься на практике. Графические художники для публикаций печатной прессы также производят свою работу в эталонных условиях, чтобы иметь некоторую общую основу и избегать ненужных источников ошибок, например в принтере. Однако это не значит, конечно, что каждый читатель этой книги или журнала будет читать книгу при калиброванной D50 лампе, но вместо этого он может воспринимать более тусклые цвета при чтении в постели при плохом освещении. То же самое происходит, когда фильм или телевизионная программа или потребительское фото показывается на неэталонном дисплее из числа многих разных дисплеев, которые доступны в настоящее время. Например, изображение (градуировка) может быть показано на дисплее с 500 нит пика_белого. Потом происходит то, что осветляются цвета всех пикселов посредством по меньшей мере линейного растяжения, которое происходит путем управления дисплеем с градуировкой, т.е. отображением максимального белого (например, значения R=G=B=255) на пик_белого дисплея (конечно, может иметься дополнительная деформация яркости для различных цветов пикселов изображения, если дисплей имеет специальную “родную” электро-оптическую передаточную функцию EOTF, но обычно это обрабатывается внутренним образом, что обеспечивает работу дисплея как более яркой версии эталонной CRT, то есть с гаммой дисплея около 2,5).

Теперь такие стандартизированные (произведенные в эталонной среде, в частности, на эталонном дисплее с 100 нит) LDR градуировки можно использовать (т.е. вид достаточно хороший, т.е. все еще достаточно подобен тому, как они будут выглядеть при эталонных условиях) в диапазоне дисплея и/или условиях окружающей среды вокруг эталонной дисплейной системы (то есть 100 нит пика_белого и т.д.). Это объясняется тем, что большинство людей не настолько сверхкритичны к точному (абсолютному) виду цветов, так как мозг работает релятивно (например, в зависимости от критериев для допустимости, цвета лица, которые являются одними из более критичных цветов, могут варьироваться от бледного, почти белого цвета, до почти оранжевого цвета и т.д., прежде чем менее критичная большая часть людей начнет возражать), а также тем, что для многих объектов никто не знает, какими были исходные цвета в сцене. Частично это также потому, что LDR сцены созданы в стратегии цветов объектов «около среднего» (которая реализуется, в частности, с хорошо управляемым освещением студии, может быть, не всегда так, но мы имеем уже не различный оперативный контент), что означает, что все цвета яркие, можно даже сделать изображение несколько ярче до выше 18% уровня, с некоторыми тенями, но не слишком глубоко или важно и т.д., и которое воспроизводится физически и психологически довольно хорошо на различных системах. Это, например, сходно с тем, как работают художники-примитивисты, прежде чем они обнаруживают такие сложные вопросы, как контрастное сопоставление и т.д. Поэтому в зависимости от критерия качества, определяющего приемлемое сходство, LDR_100 нит градуировка может использоваться, например, на дисплеях от 30 нит до 600 нит, и в средах просмотра от 3-кратно менее яркой до 5-кратно более яркой. Свобода действий для использования градуировки может быть увеличена путем модификации ее с так называемым дисплейным преобразованием. Яркость дисплея и окружения (в связи с эффектом Стивенса и эффекта Бартлесона-Бреннемана) могут корректироваться в разумной степени гораздо легче, чем вопросы, связанные с ограничениями гаммы дисплея, и, как правило, можно обрабатывать изображение с гамма-функциями или аналогично. Например, при перемещении дисплея из тусклого окружения в темное окружение (или на самом деле при выключении освещения для просмотра в уютной гостиной), переходят от дополнительной гаммы 1.25 к 1.5, т.е. используют остаточную гамму для увеличения контраста визуализируемых изображений, потому что человеческое зрение более чувствительно в темноте, следовательно, воспринимает черные цвета визуализируемого изображения как более серые, что способствует уменьшению воспринимаемого контраста, которое должно быть скомпенсировано. Подобной LDR технологией является печать. Там, конечно, не надо априори контролировать окружающую освещенность, определяющую пик_белого печати, но по меньшей мере, как со всеми отражающими объектами, бело-черный RDR составляет около 100:1 (в зависимости от качества бумаги, например, глянцевая или матовая, чернил и т.д.).

Осложнение возникает, когда нужно воспроизвести изображение сцены с огромным динамическим диапазоном, и обычно также условия сцены очень отличаются от условий визуализации. Например, в ночной сцене глаз может наблюдать при динамическом диапазоне сцены SDR между автомобильными фарами с 100.000 нит (или, например, даже больше для натриевой лампы высокого давления или ртутной лампы в сцене) в сравнении с темными областями в тенях, соответствующих долям нит. Даже в дневное время, когда может быть более трудно создавать темные тени от всепроникающего освещения, в помещении может быть, как правило, в 100 раз темнее, чем на открытом воздухе, а также темные облака, лесной покров и т.д. могут влиять на необходимые яркости (как при съемке, так и при визуализации), если не внутри сцены, то по меньшей мере в меж-кадровом, то есть последовательном во времени воспроизведении. Оценки для «внутренне присущего динамического диапазона» человеческого зрения варьируются между 10.000:1 и 100.000:1 и даже 1.000.000:1, потому что это зависит, конечно, от условий (например, нужно ли видеть темную небольшую область при ярком свете, или наоборот, можно ли видеть некоторый яркий малый объект в темноте, и будет, возможно, зависеть частично от выцветания зрительного пурпура; считается ли количество бликов дискомфортным, и т.д.; и тогда, конечно, также имеется психологический фактор [принимая во внимание такие вещи, как важность некоторых объектов, их совершенная или достаточная видимость, эмоциональное воздействие на зрителя, и т.д.], что приводит к вопросу, как много из этого должно визуализироваться на дисплее [например, зритель может быстро отбросить некоторую область как «просто черную» не заботясь о том, какая черная точно], учитывая, что зритель находится в совершенно различной ситуации так или иначе [реально не на отдыхе или реально не при допросе офицером полиции, направляющим свет на его лицо], но хочет определенной степени реализма, который дополнительно может быть компромиссом с другими факторами, как, например, потребление электроэнергии, поэтому можно прагматично фактически определить несколько динамических диапазонов человеческого зрения, например, один для просмотра реальной сцены определенного типа и один для телевизионного просмотра). Например, если зритель адаптирован к темному ночному небу, но видит луну уголком глаза, это имеет незначительное влияние на то, как палочки в других местах сетчатки могут видеть слабые звезды, то есть «мгновенный» динамический диапазон наблюдения будет высоким. Наоборот, когда глаз находился при ярком дневном свете (на большой площади его поля зрения), более трудно различить темные цвета в более темном интерьере, наблюдаемом и освещенном через небольшое отверстие или окно, особенно если яркий источник примыкает в этой темной области. Оптические системы будут тогда проявлять некоторые бликовые явления. В действительности, мозг даже может не отрабатывать такой темный интерьер, а просто определять все эти цвета психологически черными. В качестве другого примера того, как утечка света влияет и определяет динамический диапазон сцены с точки зрения человека-наблюдателя, рассмотрим плохо освещенный темный куст ночью за фонарным столбом. Лампа на фонарном столбе создает профиль рассеяния света на царапинах очков наблюдателя (или, если он не носит очки, на неровностях его хрусталика, например, субмикронных частицах, воде между клетками,…), в частности, как гало вокруг лампы, что уменьшает возможность различения темных цветов кустарника позади него. Но когда наблюдатель проходит пару секунд, лампа остается позади него вне зоны захвата хрусталика, и глаз может быстро настроиться, чтобы найти хищника, скрывающегося в темноте.

Таким образом, однако, определяется полезный динамический диапазон сцены для кодирования и визуализации для пользовательского потребления (можно даже рассматривать не только кодирование внутри-кадровых яркостей с коэффициентом масштабирования глобальной освещенности, но действительно возникающих яркостей от солнечной тропической среды до самой темной облачной ночи), ясно, что гораздо больше, чем 100:1 необходимо для верной или по меньшей мере правдоподобной визуализации этих сред. Например, нам желательно, чтобы самый яркий объект на дисплее для тусклого окружения был около 10000 нит, а самый темный - 0.01 нит (или по меньшей мере 0.1 нит), по меньшей мере, если мы могли бы, например, затемнить свет в случае, если мы имеем полностью или в основном темные сцены в фильме или изображении(ях).

Это случай, когда применяется HDR. А также, когда снимается такая сцена, которая требует очень сложного математического отображения, чтобы аппроксимировать ее (или даже быть в состоянии визуализировать ее) на LDR дисплее (на самом это часто является реально не возможным). Например, некоторые алгоритмы отображения HDR-на-LDR используют локальную адаптацию к некоторому типу выравнивания поля освещения, оставляя в LDR визуализации в основном впечатление от отражений объекта, т.е. цветов. В связи с утечкой (многократным отражением, рассеянием и т.д.) света из более ярких к более темным частям сцены, не просто создать сцены чрезвычайно высокого динамического диапазона, но разница освещенности 100:1 может быть легко достигнута во многих практических ситуациях. Например, сцена в помещении может иметь (конечно, в зависимости от глубины помещения, размера и положения окон, отражательной способности стен и т.д.) значение доли или кратного примерно 1/100 яркости на открытом воздухе (что также определяется как фактор дневного света освещения здания). Более высокие SDR могут быть получены при наблюдении солнечной внешней среды из подвала через маленькую щель и т.д. Кроме того, на стороне визуализации на дисплее, HDR диапазон становится актуальным, когда начинают рассматривать новые концепции представления изображения. Например, на ярких дисплеях, подобных 5000 нит SIM2 дисплею, можно, при наличии корректных входных картинок (корректно градуированных) реалистично визуализировать впечатление реальных включенных фар или реальных солнечных пейзажей. В отличие от указанного выше LDR диапазона, можно, как правило, сказать, что HDR начинается для нормальных условий телевизионного просмотра в гостиной с пика_белого около 1000 нит и выше, но более точно это также зависит от точных условий просмотра (например, визуализация в кинематографе, хотя при пике_белого 50 нит, уже демонстрирует практически HDR представления). Еще более точно, ввиду адаптации глаз и мозга, HDR-ый вид в количественных деталях также зависел бы в некоторой степени не только от физических яркостей, но и от содержания изображения, то есть выбранного градуирования. Но в любом случае имеется ясное различие LDR визуализацией, которая в основном показывает скучную, неосвещенную версию сцены, как если бы она была освещена почти однородно и просто показывала отражения объектов, и HDR, в котором накладывается вид полностью освещенного поля. Если вы можете затем визуализировать приемлемые черные цвета, например 1 нит или ниже, вы действительно можете получить диапазон выше LDR контраста kx100:1, где k типично равно 2-3 (что при конкретной парадигме близкого сходства, то есть, пожалуй, только с небольшим растяжением контраста, относительно визуализации отображаемых яркостей по сравнению с яркостями сцены, будет соответствовать аналогичному DR в сцене). На высоком конце яркостей это отчасти дело вкуса, где яркость должна закончиться, в частности, когда дальнейшая яркость становится только раздражающей. Мы обнаружили, что, чтобы градуировать некоторые типы HDR сцены, 5000 нит является до некоторой степени тем, что имеется на нижнем конце, в частности, при необходимости иметь дело с дальнейшими ограничениями дисплея, подобно разрешению подсветки. В экспериментах мы обнаружили, что, безусловно, можно перейти к 10000 нит при просмотре в темноте без того, что яркость становится излишней или раздражающей (по меньшей мере, для некоторых зрителей). Изменение выше 20000 нит пика_белого, может быть практическим соображением технического проектирования, что визуализировать согласно реальной яркости и что аппроксимировать, давая по меньшей мере видимость яркости. Отметим, что, как правило, не требуется управлять таким ярким дисплеем всегда на максимальной яркости, а вместо того чтобы создавать оптимальный опыт HDR, следует использовать только наиболее яркую визуализацию в определенных местах и моментах времени, консервативно, а также правильно выбранную в отношении их временной эволюции. Следует акцентировать внимание не только на внутри-кадровом DR, но также и на том, как среды различной яркости должны визуализироваться в последовательности, принимая во внимание визуальную адаптацию человека.

Другим динамическим диапазоном является динамический диапазон камеры CDR, который (при условии настроек экспозиции) определяется полным заполнением потенциальной ямы фотодиода пиксела и шумом на темной стороне. При использовании приемов, таких как множественная экспозиция или различным образом экспонируемые массивы пикселов (например, в 3-чиповых камерах), CDR становится ограниченным оптикой (например, рассеянием объектива, отражением на объективе или корпусе камеры и т.д.), но это также может быть улучшено путем подходящих вычислительных методов формирования изображения, которые пытаются отделить реальную освещенность от темных областей сцены от ошибочного облучения из-за рассеянного света. Конечно, когда источник изображения является программой компьютерной графики (как, например, в специальных эффектах или игровом приложении) можно легко создавать HDR далеко за пределами этих ограничений. Мы будет игнорировать CDR, и только предполагаем, что это либо очень высокий, либо, возможно, ограничивающий фактор, но в системе, которая, как предполагается, обрабатывает ситуации очень высоких оригиналов. В частности, когда мы вводим ограничение, мы будем считать, что это не из-за съемки камерой низкого качества, а из-за практической обработки некоторых других ограничений во всей цепи формирования изображения, подобно неспособности дисплея визуализировать очень яркие цвета.

Теперь помимо RDR среды отображения, которая действительно генерирует правильное распределение фотонов, чтобы стимулировать зрителя для правильного восприятия (если оно зависит также от состояния адаптации этого зрителя), когда речь идет об обработке или кодировании HDR, есть еще один интересный аспект, который также может быть обобщен в динамическом диапазоне, который мы будем называть динамическим диапазоном кодирования CODR. Пара мысленных экспериментов должна уточнить эту важную концепцию. Предположим, что мы должны рисовать на яркой белой панели с задней подсветкой высоко поглощающим черным маркером, так что мы должны были бы получить пропускание в 1/16000-ую окружающего белого цвета панели (и предполагая, что окружающее помещение и зритель являются совершенно поглощающими объектами). В линейном битовом мире (под которым имеется в виду, что мы линейно представляем все значения между 0 и 2^B, где ^ представляет собой операцию возведения в степень и В - число битов), например, съемки камерой (ее ADC (АЦП)) потребовалось бы, следовательно, 14 битов для представления этого сигнала. Однако, так как этот кодек будет бесполезно тратить много кодов для значений, которые не встречаются в любом случае, мы можем сказать, что для верного представления конкретного сигнала, нам потребуется теоретически только 1-битное кодирование. Присвоим черному цвету код 0 и белому цвету 1, а затем преобразуем их к тому, чему соответствует текущая яркость. Также отметим, что дисплей не обязательно должен реально визуализировать эти значения с точно такими же яркостями, как в сцене. В самом деле, так как этот сигнал может выглядеть не лучше (психологически и семантически), чем более низкий его DR эквивалент (на самом деле, такой высоко контрастный черно-белый рисунок может даже выглядеть странно), мы могли бы также визуализировать его на дисплее со значениями 1 нит и 2000 нит. Мы видим здесь впервые интересное различие, которое важно, когда речь идет о HDR кодировании: различие между физиологическим и психологическим (или семантическим) динамическим диапазоном. Человеческое зрение состоит из двух частей, глаза и мозга. Глазу может требоваться в качестве предшественника соответствующий физиологический динамический диапазон PDR, чтобы надлежащим образом стимулировать колбочки и/или палочки (и тем самым ганглиозные клетки и т.д.), но в конечном счете именно мозг определяет окончательный вид изображения или сцены (психологический динамический диапазон PSDR). Хотя это не совсем дает точное впечатление ярко освещенной области, художники, такие как Петрус Ван Шендел могут играть на PSDR психологических принципах, чтобы эмулировать в LDR среде сцены высокого динамического диапазона, как, например, огня в темном ночном городском ландшафте. Это также является тем, что пытаются сделать сложные алгоритмы отображения цветовой гаммы при предварительной подготовке HDR изображения для визуализации на LDR дисплее. Но другой стороной этого принципа является то, что некоторые сцены будут выглядеть более HDR-подобными на HDR дисплее, чем другие (например, солнечный зимний пейзаж с бледными сухими кустами и некоторыми деревьями на заднем плане может выглядеть высоко ярким, но не HDR). Для HDR действий, подобных, например, повороту яркой лампы к зрителю, психологические эмуляции обычно не так убедительны, как реальная яркая визуализация областей.

Рассмотрим в том же духе теперь второй пример: у нас есть сцена в помещении с яркостями, например, между 200 нит и 5 нит, и сцена на открытом воздухе с яркостями, например, между 1500 и 20000 нит. Это означает, что мы снова имеем две гистограммы яркости, разделенные несуществующими кодами. Мы можем изначально кодировать их в диапазоне, скажем, 16 линейных бит (максимальный код, например, соответствующий 32768 нит), хотя было бы предпочтительно использовать некоторую нелинейность, чтобы иметь достаточную точность в черных цветах, если имеется не слишком много шума съемки. Но можно также кодировать это по-другому. Например, мы могли бы пожертвовать 1 битом точности и разделить 8-битный нелинейный JPEG диапазон сигналов яркости на две смежных касающихся части, нижнюю для более темной части сцены и верхнюю для более светлой (может быть нежелательным делить точно в середине ввиду нелинейного распределения JND). Если критичной является потеря точной детализации при наличии меньшего количества битов, можно считать, что часто может быть лучше использовать имеющиеся биты, вместо HDR эффектов. Такое распределение, как правило, соответствуют смещению и (нелинейному) растяжению значений яркости (L) входного RAW захвата в 8-битовые значения сигнала яркости (Y). Теперь можно снова задать себе вопрос о том, что является динамическим диапазоном такой сцены, если она может «произвольно» сжиматься или растягиваться (делая яркий внешний вид еще более ярким, пока он не станет, например, нереальным), по меньшей мере в пост-обработке для визуализации. Здесь может помочь принцип различных внешних видов. У нас есть в обоих суб-гистограммах ряд различных значений яркости для различных пикселов или областей, которые предположительно являются большей частью или все релевантными (если нет, то нам не нужно кодировать их, и можно, например, сбросить один или более битов точности). Также разделение (например, измеренное как разница в средней яркости) двух гистограмм, при визуализации, в конечном счете, на дисплее, имеет некоторое значение внешнего вида. Известно, что человеческое зрение в какой-то степени обесценивает освещение, но не полностью (особенно, если есть две области яркости), так что требуется визуализировать/генерировать такие зрительные вводы, по меньшей мере в определенной степени. Так работа с имеющими значимые разные цвета (или по меньшей мере яркость или светлоту) внешними видами пикселов или объектов в визуализируемой сцене (например, при визуализации в сценарии наилучшего возможного дисплея) дает нам представление о динамическом диапазоне кодирования CODR, и, как мы, следовательно, должны кодировать HDR изображения. Если изображение имеет много различных внешних видов, именно HDR должен быть представлен некоторым образом в любом разумно верном кодировании.

Поскольку классические технологии кодирования изображения или видео (например, PAL, JPEG и т.д.) главным образом были связаны с визуализацией в основном яркостей объектов (отражения) в диапазоне 100:1, при изначально относительно фиксированных условиях наблюдения (CRT в домашних условиях, а не OLED в поезде, или тот же потребитель, имеющий на своем верхнем этаже специальный темный кинозал с оперативно управляемым динамически освещением, которое может настраиваться к видео-контенту), эти системы кодировали видео довольно фиксированным способом, в частности, с фиксированной универсальной основной гаммой кодирования, которая имитирует чувствительность к яркости глаза, как, например, V_709=1.099L^0.45-0.099, что является приближенно функцией квадратного корня. Однако такие системы не очень хорошо приспособлены для обработки широкого диапазона CODR. В последние пару лет делались попытки кодировать HDR, либо простым способом связанного со сценой линейного кодирования всех возможных входных яркостей, как в системе OpenEXR (F. Kainz and Р. Bogart: http:/www.openexr.com/TechnicalIntroduction.pdf). Или имеются 2-уровневые системы на основе классической философии масштабируемости. Им требуются, по меньшей мере два изображения: базовое изображение, которое типично будет традиционно используемым LDR изображением, и изображение для восстановления основного(ых) HDR изображения(ий). Примером этого является US2012/0314944, согласно которому требуется LDR изображение, логарифмическое добавочное или относительное изображение (полученное путем деления HDR яркостей на LDR яркости, полученные после соответствующей градуировки LDR изображения для систем LDR визуализации) и изображение коррекции с ограничением цвета на каждое HDR-кодируемое изображение. С добавочным изображением можно усиливать все области (в зависимости от суб-дискретизации) от их ограниченного диапазона до того яркостного положения, которое они должны занимать в HDR диапазоне. Отметим, что для простоты мы описываем все такие операции в яркостном представлении, так как специалист может представить себе, как они должны быть сформулированы в представлении через сигнал яркости конкретного определения кодирования. Такие множественные изображения по меньшей мере в ближайшие годы будут несколько громоздкими, так как они требуют серьезной модернизации ИС (де)кодирования в существующих устройствах, поскольку требуется обработка дополнительных изображений в дополнение к LDR изображению.

Недавно, как описано в WO2013/046095, мы разработали способ, чтобы усовершенствовать классическое кодирование видео (предпочтительно с незначительными изменениями, предпочтительно с большинством метаданных, чтобы применять преобразования, связывающие две градуировки той же самой сцены для двух весьма различных условий визуализации, таких как, например, обеспечивающие преобразование кодированной LDR градуировки в HDR градуировку или наоборот, и, возможно, с некоторыми вариантами, позволяющими сохранять в метаданных пару дополнительных малых картинок, чтобы выполнить окончательную настройку, если такая дальнейшая модификация желательна, например, аддитивная или мультипликативная коррекция на малых областях, содержащих объект, подобный, например, очень ярко освещенному лицу в одном кадре или сцене фильма, в которой корректирующие коэффициенты для пикселов могут затем кодироваться, например, в 200 изображений из 120x60 пикселов, отображаемых на пиксельные положения текущей HDR реконструкции посредством цветового преобразования, или даже некоторого суб-дискретизированного представления этих малых корректирующих изображений, применяемых в качестве грубых отображений точной настройки, описанных как изображения), чтобы иметь возможность кодировать изображения высокого динамического диапазона. В этой системе, как правило, человек-градуировщик может определять оптимальную функцию отображения из входного HDR изображения (основная HDR градуировка) на, например, 8- или 10- (или 12- или в принципе другое значение для по меньшей мере кодов яркости, но это значение составляет, как правило, то, что зарезервировано для «классического» LDR кодирования изображения) битное LDR-кодирование, которое может кодироваться с помощью классического сжатия видео (DCT и т.д.), оптимальная функция отображения (например, гамма-функция или аналогичная с оптимальным коэффициентом гаммы, линейная часть и т.д., или много-сегментная функция, подобная, например, S-кривой и т.д.), как правило, зависит от того, каким было содержание в основном HDR (например, темный фон, с очень ярко освещенной областью), и как это будет визуализироваться в LDR условиях. Мы называем это одновременным кодированием LDR и HDR градуировки путем отображения HDR градуировки в традиционно используемое LDR изображение и LDR-контейнер, кодирующий HDR. Мы хотели убедиться, что эта технология была обратно совместимой, так что созданное таким образом LDR изображение дает приемлемые результаты при визуализации, например, на унаследованной LDR (т.е. картинка выглядит достаточно приятно, хотя и не совершенно, как правило, не так, что слишком много людей будут считать цвета некоторых объектов все неправильными). Если допускается некоторое уменьшение точности, наша система может даже кодировать HDR сцены или эффекты на унаследованных 8-битных системах. Под приемлемыми результатами мы имеем в виду, что LDR визуализированные изображения, хотя, возможно, не наилучшее изображение, которое могло бы достичь художественный внешний вид, будут приемлемыми для создателя контента и/или зрителя, это, в зависимости, конечно, от приложения (например, для качества более дешевой, основанной на интернете или мобильной услуги ограничения могут быть менее критичными). По меньшей мере LDR градуировка даст хорошую видимость большинства или всех объектов (по меньшей мере объектов, наиболее важных для истории изображения или видео) в изображенной сцене при визуализации в LDR системе со свойствами, не сильно отличающимися от стандартизированной LDR визуализации. С другой стороны, для HDR дисплеев, исходный основной HDR может быть аппроксимирован в близком приближении путем отображения с обратимой инверсией функции совместно кодированного отображения от LDR изображения на реконструированное HDR изображение. Можно определить такую аппроксимацию с математическим допуском, например, в терминах едва заметных различий (JND) между исходным основным введенным HDR и его реконструкцией. Обычно будут проектировать любую такую систему путем тестирования для ряда типичных HDR сцен, действий и других ситуаций, насколько сильно отличающимися выглядит реконструированный HDR (если это еще приемлемо для определенных категорий пользователей, как, например, создателей телевизионного или кино контента), и подтверждать класс операций, таких как отображения конкретной гаммы в пределах определенных диапазонов параметров. Это гарантирует, что всегда можно достичь определенного качества аппроксимации.

Целью представленной ниже технологии является дать градуировщику еще больше гибкости в определении по меньшей мере двух градуировок, LDR и HDR.

Сущность изобретения

Вышеуказанная цель реализуется кодером (202) изображения, содержащим:

- вход (240) для входного изображения высокого динамического диапазона (М_HDR);

- блок (201) градуировки изображения, выполненный так, чтобы позволить человеку-градуировщику цвета задавать отображение цвета из представления (HDR_REP) входного изображения высокого динамического диапазона, определенного в соответствии с предопределенной точностью, на изображение низкого динамического диапазона (Im_LDR) с помощью алгоритма определяемого человеком отображения цвета, и выполненный с возможностью вывода данных, задающих отображение цвета (Fi_(МР_DH)); и

- блок (203) автоматической градуировки, выполненный с возможностью получения второго изображения низкого динамического диапазона (GT_IDR) путем применения алгоритма автоматического отображения цвета на одно из входного изображения высокого динамического диапазона (М_HDR) или изображения низкого динамического диапазона изображения (Im_LDR).

Как правило, будут выполнять GT_IDR градуировку либо из изображения высокого динамического диапазона (как правило, основная градуировка) или LDR градуировку, но, конечно, также может быть выгодно учитывать характеристики изображения, в частности, вид яркости или освещенности различных объектов, или другую градуировку (т.е., как должна выглядеть LDR градуировка, если мы отображаем GT_IDE из M_HDR, так что GT_IDR может быть некоторого рода балансом, но, конечно, оно может быть также образовано всеми видами других дополнительных условий/факторов). Мы предполагаем, что основное HDR изображение кодируется в любом формате, позволяющем такое кодирование (например, это может быть OpenEXR или система, как поясняется с помощью фиг. 7, в общем, то, что, например, предпочитает создатель программного обеспечения градуировки). Т.е. М_HDR кодирование может быть линейного, основанного на сцене типа или уже иметь некоторую интересную функцию распределения кода, примененную к нему, но для наших объяснений мы могли бы с уверенностью предположить, что оно будет линейным кодированием яркости. Обычно такое основное HDR изображение будет не прямо из камеры (так как камеры являются только автоматическими инструментами захвата, с характеристиками, как, например, цветными фильтрами, не похожими на человеческий глаз, но, что еще более важно, их схемы не сходны с человеческим мозгом; то, что выходит из них простой записью, может быть хорошим, но не обязательно оптимальным), а художественной оптимальной градуировкой (которая, например, затемняет фоновую окружающую среду подвала, чтобы создать оптимальное настроение для этой сцены), однако выполненная человеком градуировка может быть просто функциональным отображением изображения камеры куда-то (затем оно становится основным HDR входом), например, только, чтобы получить первое представление некоторого визуализатора (рендерера), после чего высококачественное HDR изображение кодируется (с помощью LDR изображения и параметров отображения). Блок градуировки изображения, как правило, является программным обеспечением, выполняемым на компьютере, что позволяет осуществлять отображение цветов от исходных цветов пикселов на конечные цвета пикселов, например, изменение коррелята-яркости этих пикселов от начального до конечного значения, например, путем применения функции отображения тонов (например, S-кривой) на этом корреляте-яркости или, например, кривых определения цвета (таких как R, G, B) одновременно. Специалист должен понимать, почему мы используем термин “коррелят-яркости” для обозначения любого математического кодирования, коррелирующего с яркостью пиксела (захваченного в сцене или визуализированного при ее визуализации), так как, учитывая сложность цветовых технологий, существуют несколько аналогичных вариантов, таких как сигналы яркости, значения (V), функцио