Расширение динамического диапазона изображений

Расширение динамического диапазона изображений

Иллюстрации

Показать все

Реферат

Данная заявка притязает на приоритет заявки на патент США №60/962708, поданной 30 июля 2007 г. и озаглавленной ENHANCING DYNAMIC RANGES OF IMAGES. Для патентования в США эта заявка:

- притязает на приоритет согласно 35 U.S.C. §119 заявки на патент США №60/962708, поданной 30 июля 2007 г. и озаглавленной ENHANCING DYNAMIC RANGES OF IMAGES, которая, таким образом, включена здесь по ссылке;

- является частичным продолжением заявки на патент США №12/182121, поданной 29 июля 2008 г. и озаглавленной ENHANCING DYNAMIC RANGES OF IMAGES; и

- притязает на приоритет согласно 35 U.S.C. §120 заявки на патент США №12/182121, поданной 29 июля 2008 г. и озаглавленной ENHANCING DYNAMIC RANGES OF IMAGES.

Область техники, к которой относится изобретение

Данное изобретение относится к формированию цифровых изображений. Изобретение, в частности, относится к устройству и способам расширения динамического диапазона изображений (включая неподвижные и/или видео изображения). Изобретение можно реализовать, без ограничения, в электронных дисплеях, медиаплеерах (например, DVD-плеерах), подсистемах обработки изображений для использования в электронных дисплеях и/или медиаплеерах и компьютерном программном обеспечении, обеспеченных на носителе, который может считываться и затем выполняться процессором данных.

Уровень техники

Человеческий глаз воспринимает свет в очень широком диапазоне интенсивности. Желательно, чтобы изображения имели широкий динамический диапазон для точного воспроизведения реальных сцен. Высокопроизводительные датчики изображения, например высокопроизводительные матрицы ПЗС, способны воспринимать изображения, имеющие широкий динамический диапазон. Устройства отображения нового поколения предположительно обеспечивают значительно более широкий динамический диапазон по сравнению с традиционной технологией отображения.

Большинство существующих кинофильмов, видеозаписей и неподвижных изображения записано в форматах, которые обеспечивают значительно более узкий динамический диапазон, чем могут обеспечить устройства отображения нового поколения. В будущем развитие технологий съемки и файловых форматов позволит обеспечивать контент высокой верности для этих устройств отображения. В ближайшее время желательно обеспечить возможность расширения динамического диапазона информационных сред суженного динамического диапазона (например, данных изображения в формате суженного динамического диапазона (LDR)). Это позволит зрителям наслаждаться, по меньшей мере, некоторыми преимуществами дисплеев с широким динамически диапазоном при воспроизведении существующих информационных сред.

Зрители, пользующиеся театральными системами формирования изображений (проекторами) и домашними кинотеатрами, могут быть очень разборчивыми. В этих и других применениях желательно обеспечивать изображения, по существу, не содержащие сколько-либо заметные артефакты.

В некоторых применениях желательно расширять динамический диапазон изображений (например, для создания сигнала улучшенного изображения) в реальном времени.

Сущность изобретения

Данное изобретение имеет несколько аспектов. Один аспект предусматривает способы, которые берут в качестве входа данные изображения в формате суженного динамического диапазона (LDR) и создают в качестве выхода данные улучшенного изображения, имеющие более широкий динамический диапазон, чем данные входного изображения. В некоторых вариантах осуществления способы применяются к видеоданным и осуществляются в реальном времени (т.е. обработка кадров видео для расширения динамического диапазона кадров видео выполняется, по меньшей мере, в среднем, на частоте кадров видеосигнала).

Дополнительные аспекты изобретения и признаки конкретных вариантов осуществления изобретения описаны ниже.

Краткое описание чертежей

Прилагаемые чертежи иллюстрируют неограничительные варианты осуществления изобретения.

Фиг.1 - блок-схема способа расширения динамического диапазона изображения согласно одному варианту осуществления изобретения.

Фиг.1A - блок-схема способа линеаризации данных входного изображения согласно одному иллюстративному варианту осуществления.

Фиг.2 - блок-схема, демонстрирующая иллюстративный способ генерации и применения функции повышения яркости к данным изображения.

Фиг.2A - блок-схема, демонстрирующая иллюстративный способ генерации маски, образующей функцию краевой остановки.

Фиг.2B - схема, демонстрирующая окрестность пикселя и иллюстративный способ определения градиента на пикселе.

Фиг.3A, 3B, 3C и 3D соответственно демонстрируют: иллюстративное входное изображение LDR, соответствующий компонент сглаживания, соответствующую функцию повышения яркости, которая была изменена компонентом краевой остановки, и выходное изображение расширенного динамического диапазона (HDR). Заметим, что носитель патентного чертежа не воспроизводит динамические диапазоны входного и выходного изображений.

Фиг.4A - блок-схема иллюстративного способа генерации гладкого компонента для функции повышения яркости.

Фиг.4B - блок-схема иллюстративного способа генерации компонента краевой остановки для функции повышения яркости.

Фиг.4C демонстрирует пирамиды изображений, которые можно использовать при генерации функции повышения яркости способами, представленными, например, на Фиг.4A и 4B.

Фиг.4D дополнительно демонстрирует концепции Фиг.4B и, в частности, относящиеся к генерации компонента краевой остановки.

Фиг.5 демонстрирует устройство согласно варианту осуществления изобретения.

Фиг.6 и 6A демонстрируют способ согласно конкретному варианту осуществления для расширения динамического диапазона данных изображения и генерации значений возбуждения для модуляторов дисплея двухмодуляторного типа для отображения данных улучшенного изображения.

Описание

На протяжении нижеследующего описания конкретные детали представлены для обеспечения более глубокого понимания изобретения. Однако изобретение можно осуществлять на практике без этих частностей. В других случаях общеизвестные элементы не показаны и не описаны подробно во избежание ненужного затемнения изобретения. Соответственно описание изобретения и чертежи следует рассматривать в иллюстративном, а не в ограничительном смысле.

На Фиг.1 показана блок-схема способа 20 расширения динамического диапазона цифрового изображения, заданного данными 21 изображения, согласно одному варианту осуществления изобретения. Данные 21 изображения могут представлять собой данные изображения суженного динамического диапазона (LDR). На блоке 22 пиксельные значения из данных 21 входного изображения линеаризуются. Блок 22 не требуется в случае, когда пиксельные значения в данных 21 входного изображения уже представлены в пространстве, в котором светимость линейно зависит от пиксельного значения. В некоторых вариантах осуществления блок 22 линеаризации можно устранить, используя вместо него дополнительную постобработку. Блок 22 выводит данные 23 линеаризованного изображения. Каждый пиксель в данных 23 линеаризованного изображения имеет значение или значения, по меньшей мере, приблизительно пропорциональные светимости пикселя.

Конкретная обработка, осуществляемая на блоке 22 линеаризации, зависит от кодирования изображения в данных 21 входного изображения. Например, типичные данные изображения и телевизионного изображения кодируются кривой гамма-распределения, имеющей значение гамма-распределения около 2.2. Эта кривая гамма-распределения призвана компенсировать нелинейности, свойственные традиционным технологиям отображения, например электронно-лучевым трубкам (ЭЛТ). Линеаризацию таких данных можно осуществлять с применением функции, которая инвертирует кривую гамма-распределения. Инверсия кривой гамма-распределения может обеспечивать пиксельные значения, приблизительно пропорциональные светимости в исходной сцене.

Функции линеаризации блока 22 можно реализовать с использованием поисковой таблицы (LUT). Например, блок 22 процедуры линеаризации может предусматривать поиск пиксельного значения для данных 21 входного изображения, извлечение соответствующего линеаризованного пиксельного значения из LUT и вывод соответствующего линеаризованного пиксельного значения в данные 23 линеаризованного изображения. В других вариантах осуществления функции линеаризации блока 22 можно реализовать посредством оборудования или программного обеспечения, выполняющегося на пригодном процессоре данных, которое берет в качестве входа пиксельные значения из данных 21 входного изображения и создает в качестве выхода соответствующие линеаризованные пиксельные значения для данных 23 линеаризованного изображения.

В некоторых вариантах осуществления процесс линеаризации блока 22 содержит выбор одной из совокупности функций линеаризации, которая наиболее пригодна для линеаризации данных 21 входного изображения. Некоторые форматы данных включают в себя информацию, которая прямо или косвенно идентифицирует нелинейное соотношение между пиксельными значениями и светимостью. Такую информацию можно найти, например, в заголовке, связанном с данными 21 входного изображения.

На Фиг.1A показан способ реализации блока 22 линеаризации согласно конкретному варианту осуществления, где данные 21 входного изображения включают в себя информацию кодирования, которая прямо или косвенно идентифицирует нелинейное соотношение между пиксельными значениями данных 21 входного изображения и предусмотренной светимостью. Согласно Фиг.1A, процесс линеаризации блока 22 может содержать: считывание информации кодирования (блок 20A); выбор одной из совокупности функций линеаризации 25 (указанных по отдельности как 25A, 25B, 25C …), которая согласуется с информацией кодирования (блок 20B); и применение выбранной линеаризации 25 к данным 21 входного изображения (блок 20C) для генерации данных 23 линеаризованного изображения.

В некоторых вариантах осуществления пиксельные значения в данных 23 линеаризованного изображения содержат абсолютные выходные интенсивности, подлежащие отображению на дисплее для соответствующих пикселей.

Согласно Фиг.1 на блоке 30 контрастность данных 23 линеаризованного изображения нормализуется для создания данных 31 нормализованного изображения. Нормализацию контрастности на блоке 30 можно осуществлять различными способами. В одном конкретном варианте осуществления нормализация на блоке 30 осуществляется согласно:

где LDRij - пиксельное значение (снабженное индексами i, j) из данных 23 линеаризованного изображения, HDRij - соответствующее пиксельное значение (снабженное индексами i, j) из данных 31 нормализованного изображения; α - параметр, который можно установить равным уровню черного дисплея, на котором будет отображаться изображение; и β - масштабный коэффициент. В некоторых вариантах осуществления α меньше 1 кд/м². В иллюстративном варианте осуществления α находится в пределах от 0,05 до 0,6 кд/м². В конкретном иллюстративном варианте осуществления α равен 0,3 кд/м², что обеспечивает глубокий черный цвет в нормальных условиях наблюдения. Масштабный коэффициент β можно выбирать для обеспечения нужного коэффициента контрастности, который не настолько велик, чтобы результирующее изображение выглядело неестественно (например, возникали артефакты). Было обнаружено, что нормализацию контрастности вплоть до около 5000:1 (т.е. вплоть до около 5000) можно осуществлять для самых разнообразных изображений без внесения неприемлемых артефактов. Этот порог является консервативным. Для многих изображений можно использовать значительно большие масштабные коэффициенты β для получения выдающихся результатов. Однако в случае превышения этого порога некоторые изображения могут испытывать ухудшение визуального качества.

Масштабный коэффициент β можно устанавливать согласно уровню белого для дисплея, на котором будет отображаться изображение. Например, β можно выбирать так, чтобы насыщенные пиксельные значения в данных 23 линеаризованного изображения отображались в значение интенсивности, соответствующее точке белого. Точка белого может, например, превышать 1000 кд/м². В модельном варианте осуществления точка белого была выбрана равной около 1200 кд/м². Значения α и β можно выбирать в соответствии с любым целевым дисплеем. Значения α и β можно задавать независимо от любых характеристик изображения, представленного данными 23 линеаризованного изображения.

На необязательном блоке 40 (Фиг.1) фильтр изображения применяется к данным 31 нормализованного изображения для обеспечения данных 41 фильтрованного/нормализованного изображения. Необязательный блок 40 фильтрации может подавлять шум и артефакты квантования. Нормализация контрастности (блок 30) и нелинейное отображение (блок 22) пиксельных значений могут усиливать артефакты квантования и шум. Входные изображения LDR обычно квантуются до 256 пиксельных значений, тогда как свыше 1000 разных значений обычно используется для охвата динамического диапазона дисплеев HDR с точностью до порога "минимальной заметной разницы" (JND). Сжатие видеосигнала с потерями может дополнительно сокращать количество имеющихся уровней интенсивности в локальной области изображения. Процесс фильтрации необязательного блока 40 может применять неиспользуемые уровни интенсивности для сглаживания артефактов, которые иначе могли бы возникать за счет этого усиления артефактов квантования.

В некоторых вариантах осуществления блок 40 содержит применение разграничивающего фильтра к данным 31 нормализованного изображения. Пригодный разграничивающий фильтр описан в Tomasi and Manduchi 1998, Bilateral filtering for gray and color images, In Proc. of ICCV '98, 839. В общем случае разграничивающий фильтр может иметь вид:

где h(x) - выход фильтра для пикселя в положении x; A(x) - нормирующий множитель, f(x) - пиксельное значение в положении x; c(ξ-x) - весовая функция, которая уменьшается с расстоянием между пикселем в положении ξ и пикселем в положении x (c можно называть функцией 'близости'); и s(f(ξ)-f(x)) - весовая функция, которая уменьшается с разностью между f(x) и f(ξ) (s можно называть функцией 'подобия'). Интеграл в уравнении (2) можно вычислять в окрестности N(x) положения x.

Когда разграничивающий фильтр задан уравнением (2), нормирующую функцию A(x) можно задать в виде:

В некоторых вариантах осуществления функция близости (c) и функция подобия (s) являются гауссовыми функциями соответствующих аргументов. Например, c можно задать в виде:

где d(ξ-x) - евклидово расстояние между ξ и x, и σd - параметр, задающий дисперсию (т.е. насколько быстро c падает с увеличением расстояния между ξ и x). Функцию подобия (s) можно задать в виде:

где δ - пригодная мера расстояния в пространстве интенсивности между пиксельными значениями в положениях ξ и x, и σr - параметр, задающий дисперсию (т.е. насколько быстро s падает с увеличением разности между f(ξ) и f(x)).

В некоторых вариантах осуществления в качестве функции подобия (s) используется измененная функция, так что дисперсия σr функции подобия (s) возрастает со значением f(x). В таких вариантах осуществления может быть желательно нормализовать дисперсию σr пропорционально нормализации, вносимой нелинейным отображением интенсивности для локального пиксельного значения на блоке 30, так что после нормализации на блоке 30 фотометрическая дисперсия σ_r равна фиксированному количеству, предпочтительно двум, уровней квантования.

Эффект вышеописанного изменения σ_r в зависимости от f(x) аналогичен эффекту обеспечения разграничивающего фильтра с фиксированной дисперсией до нормализации на блоке 30. Однако осуществление блока 40 разграничивающего фильтра после блока 30 нормализации может иметь преимущество, поскольку после блока 30 нормализации блок 40 разграничивающего фильтра можно осуществлять в арифметике с фиксированной точкой. Поскольку осуществление разграничивающей фильтрации может требовать больших вычислительных мощностей, в случае, когда вычислительные ресурсы ограничены, желательно задействовать разграничивающий фильтр в относительно малой окрестности N(x) каждого пикселя. Например, в некоторых вариантах осуществления разграничивающую фильтрацию блока 40 можно осуществлять в окрестностях, которые включают в себя только пиксели, находящиеся в пределах около четырех межпиксельных промежутков от текущего пикселя.

В LDR-представлении изображения пиксели в наиболее ярких областях изображения обычно обрезаются (например, когда пиксельные значения в изображении LDR являются целыми числами в пределах от 0 до 255 (что соответствует восьмибитовому представлению), пиксели в наиболее ярких областях изображения могут иметь пиксельные значения, обрезанные на 255). Поскольку 255 является максимально возможным пиксельным значением, изображению LDR недостает информации относительно того, насколько ярче исходная сцена, чем минимальный порог, для выработки пиксельного значения 255. При расширении динамического диапазона изображения может быть желательно повышать значения обрезанных пикселей за пределы нормализации контрастности, осуществляемой на блоке 30.

Кроме того, для получения наилучшего изображения HDR на основании изображения LDR может быть желательно повышать значения наиболее ярких пикселей даже, когда эти пиксельные значения не обрезаны. Например, может быть желательно повышать значения для пикселей, имеющих значения на уровне белого изображения LDR или выше. В этих областях информация может быть потеряна, поскольку интенсивность сцены превышает возможности камеры, носителя записи или формата данных изображения.

Согласно Фиг.1 блок 50 генерирует и применяет к данным 41 фильтрованного изображения (или к данным 31 нормализованного изображения, если фильтрация не предусмотрена между блоками 30 и 50) функцию повышения яркости. Выходное изображение 51 генерируется в результате применения блока 50 функции повышения яркости. Блок 50 функции повышения яркости увеличивает светимость выходного изображения 51, особенно в областях, где пиксельные значения для, по меньшей мере, одного цветового канала превышают порог в данных 41 фильтрованного изображения. Такие области называются здесь 'областями улучшения'.

Блок 50 функции повышения яркости пытается изменить данные 41 фильтрованного изображения для обеспечения выходного изображения 51, которое будет обеспечивать у зрителя примерно такой же висцеральный отклик, как при наблюдении исходной сцены. Это возможно, даже когда невозможно точно заменить информацию, которая была потеряна из исходной сцены при генерации данных 21 входного изображения.

На Фиг.2 представлен способ реализации функции повышения яркости блока 50 согласно конкретному варианту осуществления изобретения. Согласно Фиг.2 блок 50 может содержать вычисление, на блоке 50A, функции 53 повышения яркости, которую можно применять к данным 41 фильтрованного изображения для обеспечения данных выходного изображения 51. Как описано ниже, функция 53 повышения яркости должна отличаться тем, что препятствует внесению заметных пространственных или временных артефактов, которые могут значительно ухудшать данные 51 выходного изображения. Верность, необходимая в данных 51 выходного изображения, зависит от их применения. В нижеследующем примере функция 53 повышения яркости генерирует значения, которые используются для умножения пиксельных значений в данных 41 фильтрованного изображения для создания данных 51 выходного изображения. В других вариантах осуществления функцию 53 повышения яркости можно применять к данным 41 фильтрованного изображения с использованием методов, отличных от умножения.

Функция 53 повышения яркости, в основном, изменяется гладко и имеет влияние, которое распространяется за пределы краев любых областей улучшения в данных 41 фильтрованного изображения. Результатом является увеличение яркости не только для пикселей в данных 41 фильтрованного изображения с цветовыми каналами, которые превышают пороговое значение (или другую меру светимости, которая удовлетворяет критерию включения в область улучшения), но для области вокруг таких пикселей. Как описано ниже, функция 53 повышения яркости может содержать резкие края в областях сильных градиентов изображения в данных фильтрованного изображения 41. В некоторых вариантах осуществления функция повышения яркости 53 генерируется путем объединения компонента 53A изменения сглаживания и компонента 53B краевой остановки. Как объяснено более подробно ниже, компонент 53B краевой остановки может идентифицировать положения резких градиентов в данных 41 фильтрованного изображения.

Компонент 53A изменения сглаживания функции 53 повышения яркости можно определить на основании карты, которая идентифицирует пиксели в фильтрованных данных 41, имеющие значения, которые превышают пороговое значение (или иначе удовлетворяют критериям включения в область улучшения). Удобно создавать двоичную маску 55, в которой пиксели, где, по меньшей мере, один цветовой канал превышает пороговое значение интенсивности (или пиксели, для которых некоторая другая мера светимости удовлетворяет критерию включения в область улучшения), имеет одно значение (например, "1"), и все остальные пиксели имеют другое значение (например, "0"). Когда представление данных изображения обеспечивает единичное значение светимости, или эквивалентное, то двоичную маску 55 можно создать, задав пиксели, светимость которых превышает пороговое значение, равными одному значению (например, "1") и другие пиксели равными другому значению (например, «0»).

В общем случае желательно установить пороговое значение для включения пикселей в область улучшения несколько ниже значения обрезки (т.е. наивысшего значения, разрешенного в данных 21 входного изображения). Некоторые форматы видео обычно используют уровень белого 235, подразумевая, что полный уровень белого отражающих объектов соответствует пиксельному значению 235 в каждом цветовом канале. Типичные видеопотоки также содержат более высокие, 'перенасыщенные' пиксельные значения, соответствующие отражающим ярким участкам или источникам света. Сжатие видеосигнала с потерями может изменять пиксельные значения на несколько шагов в любую сторону. Было обнаружено, что при обработке данных 21 входного изображения в формате RGB с учетом того, что каждый цветовой канал имеет пиксельные значения в пределах от 0 до 255, с использованием порогового значения 230 хорошо работает для отделения областей улучшения от других областей при наличии сжатия видеосигнала с потерями. Желательно, чтобы порог был меньше или равен точке белого для данного изображения. Для обычных фотографий было обнаружено, что порог 254 пригоден при наличии артефактов, внесенных сжатием с потерями.

Описанные здесь способы не очень чувствительны к конкретному порогу, выбранному для установления различия между пикселями, которые являются просто яркими или насыщенными, и пикселями, подлежащими повышению, в изображении HDR. Пороговое значение можно немного изменять, не вызывая значительного ухудшения вида выходного изображения. Не обязательно применять резкий или фиксированный порог.

Когда пиксельные значения заданы в RGB или аналогичном формате, в котором информация светимости задается раздельно для совокупности цветовых каналов, удобно и практично, но не обязательно применять один и тот же порог ко всем цветовым каналам. Приемлемые результаты можно получить, применяя один порог (например, 229) к одному цветовому каналу и другой порог (например, 231) к одному или нескольким другим цветовым каналам.

Компонент 53A изменения сглаживания функции 53 повышения яркости можно генерировать из двоичной маски 55 путем размывания маски 55 большим ядром гауссовой или приблизительно гауссовой кривой. Результатом является изображение 57 в градации серого, имеющее значение для каждого пикселя. Значения изображений в градации серого 57 наиболее велики в областях, которые соответствуют центральным участкам областей улучшения в данных 41 фильтрованного изображения, и значения гладко уменьшаются при удалении от центральных участков таких областей улучшения. Значения в изображении 57 в градации серого можно отобразить в диапазон от 1 до a, где a - мультипликативный коэффициент, который можно использовать для обеспечения компонента 53A изменения сглаживания повышения яркости. Отображение значений изображений 57 в градации серого в диапазон от 1 до a может быть линейным.

Ядро размывания, используемое для генерации изображения 57 в градации серого, преимущественно достаточно велико для того, чтобы в ожидаемых условиях наблюдения пространственный спектр фильтра размывания, используемого для размывания двоичной маски 55, содержал в основном достаточно малые угловые частоты, чтобы они не были заметны визуальной системе человека. Например, угловые частоты могут составлять 1 цикл/градус или менее, предпочтительно 0.5 цикл/градус или менее. Визуальная система человека не очень чувствительна к изменениям яркости, которые происходят на таких низких пространственных частотах.

Стандартное отклонение фильтра размывания в отношении расстояния между пикселями может зависеть от размеров дисплея и предполагаемого диапазона расстояний наблюдения. Например, на 37-дюймовом (по диагонали) дисплее с разрешением 1920×1080 пикселей модельный вариант осуществления применяет фильтр размывания, имеющий стандартное отклонение 150 пикселей. Это соответствует 1,2 градусам при расстоянии наблюдения 3 м. Стандартное отклонение фильтра размывания может соответствовать, по меньшей мере, 0,75 градусов, предпочтительно, по меньшей мере, 1 градусу, более предпочтительно, по меньшей мере, 1,1 градусу. В результате пространственный спектр фильтра размывания будет содержать в основном низкие угловые частоты и не будет содержать высокие угловые частоты, которые могут приводить к визуально возмущающим артефактам.

Большинство компьютерных мониторов предназначено для наблюдения на расстоянии приблизительно 0,5 метра. Такой монитор, имеющий ширину 30 см, занимает угол наблюдения приблизительно 30 градусов. Рекомендуемый угол наблюдения для телевизионных экранов в домашних кинотеатрах также обычно составляет в пределах от 30 до 36 градусов. Когда предусмотренный угол наблюдения равен 30 градусам, стандартное отклонение, равное 0,025 от горизонтального разрешения дисплея, будет охватывать около 0,75 градусов, и стандартное отклонение, равное 0,05 от горизонтального разрешения дисплея, будет охватывать около 1,5 градуса.

Когда описанные здесь способы применяются для генерации изображения, отображаемого на телевизионном экране, может быть желательно, чтобы стандартное отклонение фильтра размывания составляло, по меньшей мере, около 0,025 от горизонтального разрешения дисплея и более преимущественно, по меньшей мере, около 0,033 (где 'около' означает ±15%) от горизонтального разрешения дисплея. Например, для дисплея, имеющего горизонтальное разрешение 1920 пикселей, стандартное отклонение фильтра размывания составляет преимущественно по меньшей мере, около 50 пикселей и более преимущественно, по меньшей мере, около 65 пикселей. Как отмечено выше, хорошие результаты на дисплее с таким горизонтальным разрешением были достигнуты со стандартным отклонением 150 пикселей.

Значение коэффициента усиления яркости a можно выбирать на основании возможностей целевого дисплея. Коэффициент усиления яркости a не должен быть настолько большим, чтобы он генерировал выходные значения, которые значительно превышают выходы, на которые способен дисплей. В модельном варианте осуществления значение a=4, соответствующее пиковой интенсивности 4×1200=4800 кд/м², было найдено для получения хороших результатов на дисплее модели DR37 Brightside™. В силу большого радиуса размывания пиковая интенсивность достигается только в больших областях улучшения. Также можно использовать более высокие или низкие значения коэффициента усиления яркости a. Для некоторых изображений можно применять значения a до 32 или около того, не внося значительные артефакты. Когда способ применяется к широкому диапазону изображений без регулировки, предпочтительно более консервативное значение a, например значение в пределах от 2 до 9 или 10. В некоторых вариантах осуществления a может составлять в пределах от 3 до 12.

Компонент 53A сглаживания функции 53 повышения яркости, применяемой к данным 41 фильтрованного изображения, сам по себе нормализует глобальную контрастность и обеспечивает изображения, которые выглядят более четкими, чем данные 31 нормализованного изображения, наблюдаемые на дисплее HDR. Однако компонент 53 A сглаживания не повышает локальную контрастность вокруг резких краев. Для дополнительного улучшения вида при таких условиях функцию 53 повышения яркости можно снабдить компонентом 53B краевой остановки. Компонент краевой остановки 53B функции 53 повышения яркости ограничивает влияние компонента 53A сглаживания в областях изображения, которые отделены от области улучшения резкими краями.

Компонент 53B краевой остановки может содержать двоичную маску, которая имеет пиксельные значения, указывающие, следует ли применять компонент 53A сглаживания к пикселю. Компонент 53B краевой остановки и компонент 53A сглаживания можно объединять, указывая пиксели компонента 53A сглаживания, которые соответствуют пикселям функции 53B краевой остановки, имеющим значения, которые указывают, что компонент 53A сглаживания не следует применять. Значения для указанных таким образом пикселей в компоненте 53A сглаживания можно задавать равными 1 (чтобы они не влияли на соответствующие значения в фильтрованном изображении 41).

На Фиг.2A показан способ для генерации маски, образующей функцию 53B краевой остановки на основании маски 55 и градиентного изображения 59. Градиентное изображение 59 можно генерировать из данных фильтрованного изображения 41, и оно может принимать вид двоичной маски, имеющей пиксельные значения, указывающие, превышает ли пороговое значение градиент на каждом пикселе фильтрованных данных 41.

Затем функцию 53B краевой остановки можно генерировать соответствующим пикселям с большой величиной градиента (например, свыше порога) или границы области влияния компонента 53A сглаживания.

Градиенты для градиентного изображения 59 можно вычислять методом разделенных разностей. Например, градиент на пикселе 200 на Фиг.2B можно определить, вычислив разности между пикселями, соседствующими по вертикали 201A и 201B, и пикселями, соседствующими по горизонтали 202A и 202B. В иллюстративном варианте осуществления градиент вычисляется согласно:

где G - градиент, A - пиксельное значение пикселя 201A, B - пиксельное значение пикселя 201B, C - пиксельное значение пикселя 202A, и D - пиксельное значение пикселя 202B. Для надежности желательно использовать широкую базовую линию в несколько пикселей (т.е. 201A и 201B отстоят на несколько пикселей, и 202A и 202B отстоят на несколько пикселей). Согласно варианту осуществления, представленному на Фиг.2B, базовая линия составляет 5 пикселей. Это было установлено, чтобы помочь обеспечить толстые края в градиентном изображении 59, которые надежно предотвращают проникновение алгоритма сплошной заливки через края.

В некоторых вариантах осуществления может быть желательно дополнительно обрабатывать компонент 53B краевой остановки морфологическим оператором 'OPEN' [размыкания] (обычно обозначаемым символом '°') и слегка размывать результат для подавления ступенчатости. Оператор OPEN (не показанный в явном виде на Фиг.2A) может сглаживать контуры и разрывать узкие перешейки. Оператор OPEN может действовать, уменьшая все края на один пиксель и затем добавляя пиксели, соседствующие с любыми краями, в результирующее изображение. Дополнительно обработанный компонент 53B краевой остановки можно затем объединить с вышеописанным компонентом 53A сглаживания для обеспечения функции 53 повышения яркости. Результирующую функцию 53 повышения яркости можно умножить на данные 41 фильтрованного изображения для обеспечения данных 51 выходного изображения.

На Фиг.3A, 3B и 3C соответственно показаны: иллюстративное входное изображение LDR 60; соответствующий компонент 53A сглаживания и соответствующая функция 53 повышения яркости, которая был изменена объединением компонента 53A сглаживания с компонентом 53B краевой остановки.

Один вычислительно-эффективный подход к генерации компонента 53A сглаживания и компонента 53B краевой остановки предусматривает понижение частоты дискретизации и повышение частоты дискретизации данных изображения, показанные на Фиг.4A и 4B, которые соответственно описывают способ 70 генерации компонента 53A сглаживания и способ 71 генерации компонента 53B краевой остановки функции 53 повышения яркости согласно конкретным вариантам осуществления изобретения. Компонент 53A сглаживания можно генерировать способом 70, представленным на Фиг.4A. Способ 70 начинается с маски 55. Маска 55 может быть аналогична вышеописанной маске 55 (Фиг.2) и может быть получена в процессе, аналогичном описанному выше. На блоке 72 маска 55 подвергается понижению частоты дискретизации N раз для получения маски 73 с пониженной частотой дискретизации. Каждый из N этапов понижения частоты дискретизации блока 72 может сокращать количество пикселей с пригодным коэффициентом в каждом измерении. В некоторых вариантах осуществления удобно понижать частоту дискретизации таким образом, чтобы количество пикселей в каждом измерении сокращалось в два раза (чтобы полное количество пикселей сокращалось в четыре раза) на каждом из N этапов понижения частоты дискретизации блока 72.

В иллюстрируемом варианте осуществления компонент 53A сглаживания получают из маски 73 с пониженной частотой дискретизации посредством цикла 74. Цикл 74 содержит N итераций, причем каждая итерация содержит: применение фильтра размывания на блоке 74A (который может содержать применение гауссова размывания, имеющего малое ядро, например гауссово размывание, применяемое к окрестности каждого пикселя размером 3×3 пикселя); и затем повышение частоты дискретизации результата на блоке 74B (которое может предусматривать интерполяцию методом ближайшего соседа). Эту технику можно описать как технику пирамиды изображений. Использование пирамид изображений описано в Burt P. and Adelson E., 1983, The Laplacian pyramid as a compact image code, IEEE Trans, on Communication 31, 4, 532-540. Результатом способа 70 является компонент 53A сглаживания.

В некоторых вариантах осуществления компонент 53B краевой дискретизации N раз для обеспечения градиентного изображения 77 с пониженной частотой дискретизации. Функцию 53B краевой остановки можно получить из маски 73 с пониженной частотой дискретизации в цикле 79, N раз производя повышение частоты дискретизации маски с пониженной частотой дискретизации с использованием интерполяции методом ближайшего соседа (блок 78A) и применяя к результату морфологическую операцию 'DILATION' [дилатация (расширение)] (блок 78B). Операция DILATION (обычно обозначаемая символом '⊕') осуществляется на малых блоках (например, 3x3 пикселя) (т.е. с использованием квадратного структурного элемента 3×3) и изменяется для остановки на пикселях, которые соответствуют краю (например, помечены как имеющие высокий градиент в краевом изображении соответствующего разрешения).

На Фиг.4D дополнительно показаны эти концепции и, в частности, относящиеся к генерации компонента 53B краевой остановки. Как показано, способ 71 начинается с градиентного изображения 75, представляющего градиент фильтрованного изображения 41. Градиенты для данных градиентного изображения 75 можно определить с использованием процесса (например, разделенных разностей), аналогичного описанному выше для данных градиентного изображения 59. Способ 71 также начинается с маски 73 с пониженной частотой дискретизации (Фиг.4A), которую можно получить способом, аналогичным описанно