Способ преобразования входных данных изображения в выходные данные изображения, блок преобразования изображения для преобразования входных данных изображения в выходные данные изображения, устройство обработки изображения, устройство отображения

Способ преобразования входных данных изображения в выходные данные изображения, блок преобразования изображения для преобразования входных данных изображения в выходные данные изображения, устройство обработки изображения, устройство отображения

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Изобретение относится к способу преобразования входных данных изображения в выходные данные изображения.

Кроме того, изобретение относится к блоку преобразования изображения для преобразования входных данных изображения в выходные данные изображения.

Кроме того, изобретение относится к устройству обработки изображения, содержащему:

- средство приема для приема входных данных изображения,

- блок преобразования изображения для преобразования входных данных изображения в выходные данные изображения.

Кроме того, изобретение относится к устройству отображения, содержащему устройство обработки изображения, содержащему:

средство приема для приема входных данных изображения, блок преобразования изображения для преобразования входных данных изображения в выходные данные изображения.

Уровень техники

Для того чтобы дать возможность приемлемого представления изображений большого динамического диапазона (HDR) на устройстве отображения с динамическим диапазоном, который, как правило, на несколько порядков величины ниже, динамический диапазон записанных последовательностей видеокадров, обычно, сжимается посредством тональной компрессии во время получения и передачи. Динамический диапазон многих выполненных вне помещения кадров может быть таким же большим, как 12 порядков величины, тогда как большинство жидкокристаллических устройств отображения (LCD) предлагают всего лишь статический коэффициент контрастности, составляющий приблизительно 3 порядка величины. В результате, требуется сильное сжатие динамического диапазона на ранних этапах последовательности действий для получения изображения, чтобы дать возможность приемлемого представления кадра на устройстве отображения с LDR (низким динамическим диапазоном). Использование простых способов обычно имеет такой недостаток, что контрастность мелких деталей может быть подвергнута риску или даже потеряна.

Для устранения этих недостатков были разработаны более передовые адаптивные способы. В этих способах сжимаются, преимущественно, контрастности крупных деталей при сохранении контрастности мелких деталей.

Этот подход хорошо выполняется до тех пор, пока возможности системы устройства отображения остаются более или менее подобными возможностям, предусмотренным во время компрессии на ранних этапах последовательности действий для получения изображения. Однако при использовании новых систем устройств отображения с высоким динамическим диапазоном могут быть достигнуты статические коэффициенты контрастности до 6 порядков величины. Кроме того, такие системы устройств отображения могут быть способны к локальному (по времени или месту) созданию очень высокой пиковой яркости. Например, это может быть достигнуто посредством двухмерных подсветок LED с регулируемой яркостью, в которых электроэнергия, сохраненная посредством уменьшения яркости нескольких LED под темными частями изображения, может быть использована для усиления других LED под яркими областями. Было обнаружено, что расширение входных данных изображения LDR в сигнал изображения HDR зачастую дает в результате неестественный внешний вид кадра.

Сущность изобретения

Целью изобретения является обеспечение способа, блока преобразования и устройства обработки изображения с целью увеличения качества воспроизведения и обеспечения более приемлемого и естественного внешнего вида изображений.

С этой целью способ в соответствии с изобретением отличается тем, что

- входные данные изображения преобразуются, по меньшей мере, в два сигнала, причем первый сигнал обеспечивает данные о контрасте областей, а второй сигнал обеспечивает данные о деталях,

- динамический диапазон, по меньшей мере, первого сигнала является растянутым, причем динамический диапазон первого сигнала растянут в более высокой степени, чем динамический диапазон второго сигнала,

- растянутые первый и второй сигналы объединяются в выходном сигнале.

Изобретатель понимает, что проблемы проистекают из нарушения баланса между локальной контрастностью и контрастностью областей. Сохранение контрастности деталей во время компрессии динамического диапазона во время получения в сочетании с расширением всего динамического диапазона во время или перед получением результатов на устройстве отображения дает в результате повышение четкости мелких деталей относительно контрастности областей на отображаемом изображении. Данные о контрастности областей содержат относительно мало информации о пространственной частоте. Данные о деталях содержат большее количество информации о пространственной частоте.

Вследствие значительных коэффициентов расширения это дает в результате неестественный внешний вид кадра, а также может привести к нежелательному усилению аналогового и цифрового шума.

Возможным решением может являться использование во время расширения диапазона математической инверсии оператора отображения, используемого во время компрессии диапазона для восстановления исходного кадра HDR. Однако это потребовало бы знания об используемом способе компрессии, который должен быть включен во входной сигнал. Однако на практике мы зачастую должны иметь дело с устаревшим видео LDR без знания того, каким способом был сжат его динамический диапазон во время получения и кодирования. Таким образом, это «прекрасное» решение зачастую не является практичным. За исключением этого аспекта блок приема должен быть способен совпадать с различными возможными способами компрессии.

Настоящее изобретение обеспечивает более сбалансированное преобразование из LDR в HDR входных данных изображения в выходной сигнал.

Входной сигнал разбивается на первый сигнал, предоставляющий полуглобальные данные и данные об областях, и второй сигнал, предоставляющий детали. Например, первый сигнал может получаться посредством низкочастотной фильтрации входного сигнала, включающей в себя такие способы низкочастотной фильтрации, которые сохраняют характеристики среза, как, например, двунаправленная фильтрация. Второй сигнал, предоставляющий детали, может быть получен посредством, например, вычитания первого сигнала из входного сигнала данных.

По меньшей мере, первый сигнал является растянутым, то есть динамический диапазон, по меньшей мере, первого сигнала является расширенным. Два сигнала растягиваются по-разному, причем второй сигнал растягивается в меньшей степени, чем первый сигнал. Это уменьшает неестественное видимое усиление мелких деталей относительно контрастностей областей, что дает в результате более естественный внешний вид кадра. Также до некоторой степени помехи ослабляются. В предпочтительных вариантах осуществления второй сигнал не является растянутым. Если во время начальной компрессии детали были сохранены, то второй сигнал, предоставляющий информацию о деталях, не должен быть растянут. Это является относительно простым вариантом осуществления, позволяющим упростить алгоритм.

В предпочтительных вариантах осуществления динамический диапазон объединенного растянутого первого и второго сигналов ограничен посредством верхнего значения. Это верхнее значение может быть ниже максимально допустимого сигнала на устройстве отображения. Кроме того, входной сигнал изображения анализируется для идентификации групп пикселов, формирующих яркие участки изображения в изображении и в которых данные пикселов для вышеупомянутых идентифицированных групп пикселов преобразуются в третий сигнал таким образом, чтобы третий сигнал перекрывал динамический диапазон, расширяющийся выше вышеупомянутого верхнего значения до верхнего максимального значения пиксела, в котором третий сигнал соединен с соединенными растянутыми первым и вторым сигналами.

Сигнал, содержащий растянутые первый и второй сигналы, имеет динамический диапазон, который ограничен посредством верхнего значения. В предпочтительном варианте осуществления вышеупомянутое верхнее значение и до максимального значения, верхний динамический диапазон значений пикселов резервируется для отображения ярких участков изображения.

Было обнаружено, что, в особенности, для устройств отображения с очень высокой светимостью максимально достижимая интенсивность является настолько высокой, что зритель, в некотором смысле, ослепляется светом. В случаях ослабления зритель будет различать только яркие пятна или только в очень ограниченной степени и не будет способен различать более темные детали кадра. Однако в крайних случаях это может быть болезненным или даже вредным для глаз зрителя. Это предотвращается посредством ограничения диапазона, до которого растягиваются объединенные первый и второй сигналы. Однако это не обеспечивает использования возможностей устройств отображения HDR в полном объеме. В предпочтительных вариантах осуществления максимальная светимость удерживается ниже возможностей устройства с высокой светимостью. Посредством идентификации ярких частей изображения в изображении и помещении их значений пикселов в самую высокую часть динамического диапазона устройства отображения эти яркие участки изображения помещаются на первый план без ослепления зрителя, благодаря чему обеспечивается очень четкое и чистое изображение. В варианте осуществления яркие части изображения идентифицируются посредством выбора группы пикселов со значением пиксела, расположенным в диапазоне, находящемся близко или за пределами верхнего значения диапазона LDR, причем по соседству с пикселом с высоким значением пиксела, количество пикселов с высоким значением пиксела находятся ниже порогового значения, то есть для маленьких групп пикселов с высокой интенсивностью.

Яркие части изображения являются относительно малыми группами пикселов с высокой интенсивностью. Динамический диапазон устройства отображения выше верхнего значения заполняется посредством ярких частей изображения. Это демонстрирует возможность обеспечения высококачественного изображения, в котором, с одной стороны, детали неестественно не увеличены или яркие слепящие пятна не появляются на изображении, в то время как, с другой стороны, яркие части изображения изображаются в верхнем пределе диапазона устройства отображения для обеспечения сверкающего и четкого изображения.

В предпочтительных вариантах осуществления верхнее значение динамического диапазона для объединенных растянутых первого и второго сигналов находится в диапазоне, соответствующем интенсивностям света при отображении на устройстве отображения с яркостью 500-1000 нт, а верхнее максимальное значение пиксела лежит в диапазоне, соответствующем интенсивностям света при отображении на устройстве отображения с яркостью от 1000 нт и предпочтительно выше 2500 нт.

Эти и дополнительные аспекты изобретения будут разъяснены более подробно посредством примера и со ссылкой на сопроводительные чертежи.

Краткое описание чертежей

Фиг.1 предоставляет схематическую блок-схему для варианта осуществления изобретения;

Фиг.2 иллюстрирует расширение динамических диапазонов;

Фиг.3 иллюстрирует алгоритм идентификации ярких участков изображения;

Фиг.4a-4f иллюстрируют эффекты алгоритма расширения динамического диапазона в соответствии с изобретением;

Фиг.5 иллюстрирует смешанное отображение;

Фиг.6a-6c дополнительно иллюстрируют расширение динамического диапазона в соответствии с изобретением;

Фиг.7a-7d и 8a-8d предоставляют дополнительные примеры расширения динамического диапазона в соответствии с изобретением;

Фиг.9 иллюстрирует устройство отображения в соответствии с настоящим изобретением.

Чертежи представлены не в масштабе. В целом, на чертежах идентичные компоненты обозначаются посредством одинаковых ссылочных номеров.

Подробное описание предпочтительных вариантов осуществления

Как уже было отмечено, ниже показаны примеры.

Динамический диапазон многих выполненных вне помещения кадров может быть такого размера, как 12 порядков величины, тогда как большинство жидкокристаллических устройств отображения (LCDs) предлагает статический коэффициент контрастности, составляющий приблизительно 3 порядка величины. В результате, на ранних этапах последовательности действий для получения изображений требуется сильная динамическая компрессия диапазона для того, чтобы позволить приемлемое представление кадра на устройстве отображения LDR (с низким динамическим диапазоном). Самый прямой подход к динамической компрессии диапазона осуществляется посредством глобальных дифференциальных операторов для тональной компрессии. Однако главный недостаток этих простых методов состоит в том, что контрастность мелких деталей может быть подвергнута риску. Для устранения этих недостатков были разработаны более передовые способы для компрессии контрастностей областей (крупных деталей) при сохранении контрастности мелких деталей.

На обычном устройстве отображения LDR (с низким динамическим диапазоном) контрастность изображения обычно растягивается до максимальных возможностей устройства отображения (то есть 0 для черного, 255 для белого для 8-битной системы) в зависимости от установок пользователя, иногда поддерживаемых посредством гистограммы растяжения до отображения. Этот подход выполняется хорошо до тех пор, пока возможности системы устройства отображения остаются более или менее подобными ожидаемым во время компрессии на ранних этапах последовательности действий для получения изображений. Однако в новых системах устройств отображения HDR (с высоким динамическим диапазоном) достигаются статические коэффициенты контрастности до 6 порядков величины. Кроме того, такие системы устройства отображения могут быть способны к локальному созданию (во времени или пространстве) очень высокой пиковой яркости. Например, это может быть достигнуто посредством двухмерных подсветок LED с регулируемой яркостью, где мощность, сохраняемая посредством уменьшения яркости некоторых диодов LED под темными частями изображения, может быть использована для усиления других диодов LED под яркими областями.

При отображении устаревшего видео LDR непосредственно на устройстве отображения HDR возникают помехи изображения, а именно нарушение баланса между локальной контрастностью и контрастностью областей.

Сохранение контрастности деталей во время компрессии диапазона в сочетании с расширением диапазона перед отображением дает в результате усиление мелких деталей относительно контрастностей областей. Для больших коэффициентов расширения это дает в результате неестественный внешний вид кадра и иногда нежелательное усиление помех.

В способе в соответствии с изобретением входные данные изображения преобразуются, по меньшей мере, в два сигнала, причем первый сигнал предоставляет данные о контрастности областей с низкой пространственной частотой, а второй сигнал предоставляет данные о деталях с высокой пространственной частотой. Динамический диапазон, по меньшей мере, первого сигнала является растянутым, причем динамический диапазон первого сигнала является растянутым в более высокой степени, чем динамический диапазон второго сигнала. Растянутые первый и второй сигналы объединяются в выходном сигнале изображения.

Первый сигнал предоставляет сигнал контрастности областей, а второй сигнал предоставляет слой деталей. Два сигнала растягиваются по отдельности, причем первый сигнал растягивается больше, чем второй сигнал. В действительности, растяжение областей сигнала контрастности областей выполняется, например, посредством низкочастотной фильтрации. После этого растяжения локальные детали растягиваются, но в меньшей степени. Два сигнала объединяются. Это уменьшает, по сравнению с полным растяжением входящего сигнала, нарушение баланса между деталями и изображением областей. В предпочтительных вариантах осуществления второй сигнал создается посредством вычитания первого сигнала из входных данных изображения.

Фиг.1 иллюстрирует схему последовательности операций для иллюстративного алгоритма в соответствии с изобретением.

Алгоритм выполняет динамическое расширение диапазона как процедуру с двумя сигналами. Сначала контрастности областей извлекаются из входного сигнала V i n посредством применения, в этом примере, фильтра 1 низких частот к видео, предоставляющего первый сигнал из сигнала V R C контрастности областей, и извлечения уровня деталей из входного сигнала V i n , предоставляющего второй сигнал V D с деталями. В этом примере V D извлекается посредством вычисления разницы между контрастностями областей и входными данными в вычитающем устройстве 2 в формуле:

V R C = F b i l ( V i n )

V D = V i n - V R C

где V i n обозначает входное видео, а F b i l обозначает приложение фильтра низких частот, предпочтительно, быстрого двустороннего фильтра. Предпочтительно, двусторонняя фильтрация выполняется с использованием двусторонней сетки в качестве низкочастотного оператора. Этот подход обеспечивает эффективное приближение в вычислительном отношении к полному двустороннему фильтру. Главное преимущество этого способа заключается в том, что он обеспечивает дешевый фильтр размытия с сохранением среза, таким образом, предотвращая помехи в виде светлой полосы вокруг краев изображения, зачастую связанные с линейными пространственными ядрами фильтра. Двусторонняя фильтрация с использованием двусторонней сетки может быть эффективно обобщена в качестве (1) построения локальных гистограмм, (2) применения многомерного линейного ядра фильтра к этим гистограммам и (3) деления на части (= вставки) желаемых входных пикселов. Несмотря на то что ее использование является предпочтительным, следует отметить, что двусторонняя сетка не представляет существенной части настоящего изобретения. Альтернативно, контрастности областей могут быть извлечены с использованием обычных (групп) фильтров низких частот. Вместо этого использования математического алгоритма для формирования первого и второго сигналов также могут быть использованы и другие способы, такие как, например, предварительно определенные особые классы, например темное пространство внутри комнаты.

Для уменьшения нарушения баланса между областями и деталями в изображении с высокой светимостью и поддержания естественного баланса между контрастностью мелких деталей и контрастностью областей при применении динамического расширения диапазона два сигнала V R C и V D отображаются по отдельности. Один предпочтительный способ выполнения этого процесса заключается в растяжении контрастности V R C областей линейно от входного динамического диапазона [ K L D R - W L D R ] до предварительно определенного целевого динамического диапазона [ K 0 - W 0 ], который может зависеть от возможностей устройства отображения, возможностей глаз человека или персональных установок:

V ˜ R C = ( V R C − K L D R ) ( W 0 − K 0 ) W L D R − K L D R + K 0

где V ˜ R C является растянутым сигналом. Такой предварительно определенный целевой динамический диапазон может быть задан посредством изготовителя. W 0 определяет верхнее значение динамического диапазона для объединенного сигнала. На Фиг.1 растяжение первого сигнала V R C схематически иллюстрируется посредством М( V R C ), где М обозначает операцию растяжения, вышеупомянутая формула которой является примером, в котором используется линейное растяжение. Также возможно нелинейное растяжение с использованием других формул для отображения для этого этапа растяжения или отображения, а также для любого другого этапа растяжения или отображения.

Операция растяжения обеспечивает расширение диапазона. В общих чертах растяжение динамического диапазона является коэффициентом:

( W 0 − K 0 ) W L D R − K L D R

являющимся отношением целевого динамического диапазона к входному динамическому диапазону ( W L D R - K L D R ), то есть величиной растяжения, применяемой к первому сигналу контрастности области. Растяжение выполняется в блоке 3 растяжения. Блок 3 растяжения отображает входящие данные V i n с входящим динамическим диапазоном ( W L D R - K L D R ) на растянутый динамический диапазон ( W 0 - K 0 ).

В вышеупомянутом, предпочтительно, чтобы W 0 < W H D R , где W H D R является максимальным диапазоном устройства отображения, тем самым сохраняя предварительно определенный целевой динамический диапазон ниже максимального динамического диапазона устройства отображения. Это предотвращает изображение/отображение больших ярких областей с неприятно высокой светимостью.

Предпочтительно, W 0 находится в диапазоне, соответствующем светимости в диапазоне от 500 до 1000 нт.

Во-вторых, сигнал слоя деталей усиливается посредством применения ослабленного, по сравнению с коэффициентом растяжения первого сигнала, коэффициента усиления g D в блоке 4 усиления:

V ˜ D = g D V D

где V ˜ D является растянутым вторым сигналом, содержащим детали. Предпочтительно, коэффициент усиления g D близок к 1, например в диапазоне между 1 и 1.2 или просто 1, и в последнем случае данные V D слоя деталей остаются в неизменном виде, без усиления, что является простым предпочтительным вариантом осуществления. Во многих устаревших сигналах LDR выполняется компрессия, которая более или менее поддерживает контрастность деталей. Следовательно, оставление слоя деталей неизменным, то есть применение коэффициента усиления, равного 1, зачастую является достаточным и уменьшает сложность алгоритма.

Очевидно, что могут быть использованы такие функции усиления М( V R C ) и g D , отличные от вышеупомянутого простого пропорционального изменения, как экспоненциальная функция или S-функция. В итоге, выходные данные строятся посредством объединения отображенных деталей и уровней контрастности областей, то есть растянутых первого и второго сигналов:

V ˜ 1 = V ˜ D + V ˜ R C

где V ˜ 1 является объединенными растянутыми первым и вторым сигналами. В этом примере это выполняется посредством объединения растянутых первого и второго сигналов в блоке 5 объединения, в этом примере простого блока суммирования.

Этот аспект изобретения улучшает отображаемое изображение посредством уменьшения видимого несоответствия между контрастностью областей и контрастностью деталей после увеличения динамического диапазона входного сигнала.

Дополнительная проблема, возникающая в устройстве отображении HDR, состоит в том, что пиковая яркость новых устройств отображения HDR является очень высокой (например, сообщается, что монитор DR37-P с технологией Brightside/Dolby имеет пиковую яркость более чем 3000 кд/м²). Следовательно, растяжение сигнала во время отображения до полного динамического диапазона может привести к неприятно ярким кадрам для некоторых изображений. Диапазон, до которого растягиваются входные данные, может быть ограничен, например, до промежутка между 500 и 1000 нт, чтобы избежать таких неприятных кадров, но в этом случае возможности устройств отображения используются не полностью.

Для устранения этой проблемы в предпочтительных вариантах осуществления изобретения к алгоритму добавляется дополнительный этап. Этот предпочтительный этап схематично изображен в прямоугольнике 6 на фиг.1.

Для полноценного использования возможностей устройств отображения HDR идентифицируются маленькие зрительно-яркие части изображения, которыми заполняется оставшийся доступный динамический диапазон, то есть диапазон от W 0 до W H D R (подсветка). Также, предпочтительно, в качестве формы фильтра нижних частот используются двусторонние сетки. Поскольку двусторонние сетки предусматривают построение локальных гистограмм, то эти гистограммы могут быть использованы непосредственно для идентификации областей с небольшим количеством ярких пикселов. Алгоритм для выполнения идентификации ярких участков изображения находится на фиг.1, схематично изображенной в качестве функции FHL( V i n ) в идентификаторе 7. Данные пикселов, которые идентифицированы как принадлежащие к ярким участкам изображения, усиливаются посредством коэффициента в блоке 8 отображения, который приводит их в самый высокий динамический диапазон, предоставляя сигнал V H L , подсвечивающий маленькие яркие области. Сигналы V ˜ 1 и V H L объединяются в блоке 9 объединения для предоставления выходного сигнала V o u t . Отображение может быть выполнено посредством простого умножения или посредством более сложных функций.

Фиг.2 схематично иллюстрирует различные варианты усиления динамического диапазона. Входной сигнал V i n имеет динамический диапазон в пределах от K L D R к W L D R . Он отображается на динамический диапазон, находящийся в пределах от K 0 до W 0 . Кроме того, пикселы, которые идентифицируются как принадлежащие к ярким участкам изображения, которые включают в себя пикселы в самом высоком входном диапазоне, на фиг.2 схематично указанные посредством стрелки 7', идентифицируются посредством идентификатора 7' ярких участков изображения; для пикселов, которые идентифицируются как принадлежащие к ярким участкам изображения, выполняется операция отображения в блоке 8 отображения, в которой данные для ярких частей изображения отображаются на больший динамический диапазон, перекрывающий, в частности, самый высокий диапазон светимости HL, например, соответствующий верхней части полного динамического диапазона устройства отображения HDR. Этот самый высокий диапазон светимости, зарезервированный для ярких частей изображений, растягивается до максимального значения W H D R . Это максимальное значение лежит выше верхнего значения W 0 целевого динамического диапазона, каковой целевой диапазон удерживается в пределах ослабленных значений светимости для предотвращения неприятных режимов просмотра. «Ex» на фиг.2 схематично иллюстрирует расширение динамического диапазона для V ˜ 1 , «HL» схематически иллюстрирует более высокий динамический диапазон, зарезервированный для сигнала V H L ярких участков изображения.

Фиг.3 иллюстрирует алгоритм идентификации яркой части изображения.

Входной сигнал посылается в идентификатор 7. Те области или блоки с пикселами, которые имеют светимость I выше порогового значения I t h r e s h o l d , а число nav таких пикселов с высокой интенсивностью ниже порогового значения n t h r e s h o l d , идентифицируются как яркие части изображения. Кроме того, ниже даются примеры.

В качестве примера последующая процедура может логически вытекать из следующего.

Для включения подсветки в состав последовательности обработки интенсивность двусторонней сетки, построенной на входном сигнале, растягивается как до целевого динамического диапазона [ K 0 - W 0 ], что дает в результате сетку B0, так и однократно до полного динамического диапазона устройства отображения [ K H D R - W H D R ], что дает в результате сетку BPBK. Эти две сетки адаптивно смешиваются в итоговую сетку B m a p p e d с использованием смешанного отображения M перед делением на части (вставкой):