Управление отображением видео с расширенным динамическим диапазоном

Управление отображением видео с расширенным динамическим диапазоном

Иллюстрации

Показать все

Реферат

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

Настоящая заявка испрашивает приоритет для предварительной заявки на патент США № 61/767380, поданной 21 февраля 2013 г., и предварительной заявки на патент США № 61/810104, поданной 9 апреля 2013 г., которые полностью включены в данную заявку посредством ссылки.

ОБЛАСТЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

Настоящее изобретение в общем относится к изображениям. В частности, вариант осуществления настоящего изобретения относится к способу управления отображением изображений с расширенным или увеличенным динамическим диапазоном.

ПРЕДПОСЫЛКИ

В данном документе термин «динамический диапазон» (DR) может относиться к способности человеческой психовизуальной системы (HVS) воспринимать диапазон интенсивности (например, освещенности, яркости) в изображении, например, от самых темных из темных участков (черных) до самых светлых из светлых участков (белых). В этом смысле DR относится к «относящейся к сцене» интенсивности. DR может также относиться к способности устройства отображения в достаточной мере или приблизительно воспроизводить диапазон интенсивности конкретной ширины. В этом смысле DR относится к «относящейся к отображению» интенсивности. За исключением случаев, когда точно указывается, что конкретный смысл имеет конкретное значение в любом месте в описании в данном документе, следует делать вывод, что термин может быть использован в любом смысле, например, взаимозаменяемо.

В данном документе термин «расширенный динамический диапазон» (HDR) относится к ширине DR, которая охватывает приблизительно 14-15 порядков величины человеческой визуальной системы (HVS). Например, хорошо адаптированные люди главным образом с нормальным зрением (например, в одном или нескольких статистических, биометрических или офтальмологических смыслах) имеют диапазон интенсивности, который охватывает приблизительно 15 порядков величины. Адаптированные люди могут воспринимать источники тусклого света величиной всего лишь несколько фотонов. Также эти же люди могут воспринимать почти болезненную блестящую интенсивность полуденного солнца в пустыне, моря или снега (или даже смотреть на солнце, однако недолго для предотвращения повреждения). Однако данный охват доступен «адаптированным» людям, например, тем, чья HVS имеет период времени, за который осуществляется сброс и регулировка.

И напротив, DR, в котором человек может одновременно воспринимать пространственную ширину в диапазоне интенсивности, может быть немного сокращен относительно HDR. В данном документе термины «увеличенный динамический диапазон» (EDR) или «визуальный динамический диапазон» (VDR) могут отдельно или взаимозаменяемо относиться к DR, который одновременно воспринимается HVS. В данном документе EDR может относиться к DR, который охватывает 5 – 6 порядков величины. Таким образом, несмотря на то, что возможна немного более узкая ширина в отношении относящегося к настоящей сцене HDR, тем не менее EDR представляет ширину широкого DR.

На практике изображения содержат один или несколько цветовых компонентов (например, яркость Y и цветность Cb и Cr), при этом каждый цветовой компонент представлен с точностью до N бит на пиксель (например, N=8). Изображения, в которых N ≤ 8 (например, цветные 24-битные изображения JPEG), рассматриваются в качестве изображений стандартного динамического диапазона, тогда как изображения, в которых N>8, могут быть рассмотрены в качестве изображений увеличенного динамического диапазона. Изображения EDR и HDR могут быть сохранены и распределены с использованием высокоточных (например, 16-битных) форматов с плавающей точкой, таких как формат файла OpenEXR, разработанный компанией Industrial Light and Magic.

До недавнего времени дисплеи имели значительно более узкий DR, чем HDR. Устройство телевизора (TV) и компьютерного монитора, которое использует типовую электроннолучевую трубку (CRT), жидкокристаллический дисплей (LCD) с постоянным флуоресцентным белым задним освещением или технологией плазменного экрана, может быть ограничено в своей возможности воспроизведения DR до приблизительно трех порядков величины. Таким образом, такие традиционные дисплеи являются типичными представителями низкого динамического диапазона (LDR), также называемого стандартным динамическим диапазоном (SDR), относительно HDR или EDR.

Большая часть потребительских настольных дисплеев поддерживает яркость от 200 до 300 кд/м² или нитов. Большая часть потребительских HDTV имеет диапазон от 300 до 1000 кд/м². Поскольку доступность контента EDR растет вследствие развития как оборудования захвата (например, камер), так и дисплеев EDR (например, профессионального контрольного монитора PRM-4200 от компании Dolby), контент EDR может быть отсортирован по цвету на дисплеях EDR, которые поддерживают ряд динамических диапазонов (например, от 1000 нитов до 5000 нитов или больше). Подобным образом, контент EDR может быть отображен как на дисплеях SDR, так и на дисплеях EDR с динамическим диапазоном, отличным от дисплея, используемого для сортировки по цвету исходного контента. Как оценено в настоящей заявке авторами изобретения, улучшенные методы управления отображением изображений EDR на дисплеях HDR являются необходимыми как для обратной совместимости, так и превосходного эффекта погружения.

Подходы, описанные в данном разделе, являются подходами, которые могут быть осуществлены, но они необязательно являются подходами, которые были представлены или осуществлены ранее. Таким образом, если не указано обратное, не следует предполагать, что любой из подходов, описанных в данном разделе, расценивается как известный уровень техники, только лишь вследствие их включения в данный раздел. Подобным образом, ограничения, определенные относительно одного или нескольких подходов, не стоит воспринимать, как признанные в уровне техники на основе данного раздела, если не указано обратное.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

Вариант осуществления настоящего изобретения проиллюстрирован в качестве примера, а не в качестве ограничения, на фигурах прилагаемых графических материалов, на которых одинаковые номера позиций относятся к подобным элементам и на которых:

На фиг. 1A - фиг. 1C показаны приведенные в качестве примера способы управления отображением изображений EDR в соответствии с вариантами осуществления настоящего изобретения;

На фиг. 2 показан приведенный в качестве примера способ преобразования входных данных EDR из входного цветового пространства RGB в пространство IPT-PQ в соответствии с вариантом осуществления настоящего изобретения;

На фиг. 3 показан пример отображения нелинейного динамического диапазона изображений EDR в соответствии с вариантом осуществления настоящего изобретения;

На фиг. 4 показан приведенный в качестве примера способ регулировки насыщенности цветовых компонентов P и T в тонально отображенном изображении IPT-PQ в соответствии с вариантом осуществления настоящего изобретения;

На фиг. 5 показаны приведенные в качестве примера функции отображения для повторного отображения цветности в соответствии с возможными вариантами осуществления настоящего изобретения; и

На фиг. 6 показана приведенная в качестве примера реализация многомасштабного сохранения детализации в соответствии с вариантом осуществления настоящего изобретения.

ОПИСАНИЕ ПРИВЕДЕННЫХ В КАЧЕСТВЕ ПРИМЕРА ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

В данном документе описано эффективное управление отображением (например, отображением тона и гаммы) изображений с увеличенным динамическим диапазоном (EDR). В следующем описании в целях объяснения приведено множество специфических подробностей для обеспечения полного понимания настоящего изобретения. Однако следует понимать, что настоящее изобретение может быть осуществлено без этих специфических подробностей. В других примерах хорошо известные структуры и устройства не описаны в исчерпывающих подробностях, во избежание ненужного перенасыщения, искажения смысла или запутывания содержания настоящего изобретения.

Общее представление

В данном документе приведенные в качестве примера варианты осуществления относятся к эффективному управлению отображением изображений EDR. Процессор управления отображением принимает входное изображение с увеличенным динамическим диапазоном для отображения на целевом дисплее, который имеет отличный от исходного дисплея динамический диапазон. Входное изображение сперва преобразовывается из входного цветового пространства (например, RGB) в перцепционно-скорректированное цветовое пространство IPT (IPT-PQ). Нелинейная функция отображения генерирует первый тонально отображенный сигнал посредством отображения интенсивности входного сигнала из исходного динамического диапазона в целевой динамический диапазон. Компонент интенсивности (I) первого тонально отображенного сигнала усиливается для сохранения детализации с использованием нерезкого маскирования и насыщенность цветовых (P и T) компонентов соответственно регулируется для генерирования второго тонально отображенного выходного изображения. Функция отображения цветовой гаммы может быть применена ко второму тонально отображенному выходному изображению для генерирования изображения, подходящего для отображения на целевом дисплее. Канал управления отображением может быть также выполнен с возможностью регулировки компонентов интенсивности и цветовых компонентов отображаемого изображения в соответствии с конкретно определенными режимами отображения.

В случаях, когда входное изображение принимается в цветовом формате, в котором компоненты цветности находятся в более низком пространственном разрешении, чем разрешение яркости, тогда в приведенных в качестве примера вариантах осуществления способ управления отображением может быть разделен на два пути, которые могут быть выполнены параллельно. Один путь применяется ко всем цветовым компонентам, но при более низком разрешении компонентов цветности входного изображения, тогда как второй путь применяется только к относящимся к яркости данным, но при исходном (полном) разрешении компонента яркости.

Приведенный в качестве примера канал обработки управления отображением

На фиг. 1A показан приведенный в качестве примера способ управления отображением изображений EDR (также называемых изображениями HDR) в соответствии с вариантом осуществления настоящего изобретения. Как показано на фиг. 1A, видеопроцессор (например, телевизионная приставка, устройство воспроизведения изображений на экране или другой подходящий процессор изображений) принимает изображение (102) EDR и необязательно соответствующие метаданные (104) и (106). Изображение (102) EDR может содержать часть кадра или полный кадр последовательности изображений, такой как видеосигнал EDR. В данном документе термин «метаданные» относится к любой вспомогательной информации, которая передается в качестве части кодированного битового потока и способствует воспроизведению декодером декодированного изображения. Такие метаданные могут включать, помимо всего прочего, цветовое пространство или информацию о гамме, параметры исходного отображения и параметры вспомогательного сигнала, такие как описанные в данном документе.

Принятое изображение (102) EDR может иметь цветовой формат RGB или любое другое цветовое пространство, такое как YCbCr, XYZ и тому подобное. Принятое изображение может быть отсортировано по цвету на исходном мониторе EDR, который может иметь отличные от целевого монитора отображения динамический диапазон и характеристики цветовой гаммы. В данном документе термин «сортировка по цвету» обозначает процесс регулировки цвета изображения или видео для исправления цветовых артефактов и/или для соответствия замыслу режиссера.

Входное изображение (102) EDR может также включать метаданные (104) первоначального дисплея, относящиеся к дисплею, используемому для сортировки по цвету изображения во время производства программы. Например, такие метаданные могут включать исходную электронно-оптическую передаточную функцию (EOTF), как определено Рекомендацией ITU-R BT.1866 (03/2011). Входное изображение EDR может также включать дополнительные метаданные (106) контента и первоначального дисплея, такие как максимальная и минимальная яркость первоначального или исходного дисплея, максимальный, минимальный и средний промежуточный тон данных и интенсивность окружающего света во время сортировки по цвету. Например, метаданные для исходного монитора могут включать следующие приведенные в качестве примера параметры, используемые для производства:

Минимальная яркость первоначального монитора, Smin= 0,005 нита;

Максимальная яркость первоначального монитора, Smax = 4000 нитов;

Окружающий свет, Samb = 10 нитов;

Гамма, Sgamma = 2,4;

Цветовое пространство = DCI P3, точка белого = D65;

Метаданные для исходного монитора должны быть переданы, как правило, только один раз; однако метаданные для видеоданных могут быть переданы на покадровой основе, на посценовой основе или при любом их изменении. Если метаданные, относящиеся к первоначальному контенту, отсутствуют, тогда в некоторых вариантах осуществления такие данные могут быть извлечены посредством анализа первоначального видеоконтента.

Цветовое пространство IPT-PQ

В предпочтительном варианте осуществления канал обработки выполнен в так называемом цветовом пространстве IPT-PQ; однако подобные этапы обработки могут быть выполнены в других цветовых пространствах, таких как RGB, YCbCr, XYZ, CIE-Lab и тому подобное. IPT, как описано в документе «Development and testing of a color space (ipt) with improved hue uniformity», F. Ebner и M.D. Fairchild, в ходе 6^й конференции по цветному изображению: Цветоведение, системы и приложения, IS&T, Скоттсдейл, Аризона, ноябрь 1998 г., страницы 8-13 (именуемые как «Ebner paper»), который полностью включен посредством ссылки в данный документ, является моделью цветовой разницы между колбочками в человеческой визуальной системе. В этом смысле она похожа на цветовые пространства YCbCr или CIE-Lab; однако в некоторых научных исследованиях она показала лучшую мимическую человеческую визуальную обработку, чем данные пространства. Как и CIE-Lab, IPT является нормированным пространством для некоторой исходной яркости. В варианте осуществления нормирование основано на максимальной яркости целевого дисплея.

В данном документе термин «PQ» относится к перцепционному преобразованию. Человеческая визуальная система реагирует на увеличение уровней света очень нелинейным образом. Способность человека видеть стимул зависит от яркости этого стимула, размера стимула, пространственной частоты (частот), формирующей стимул, и уровня яркости, к которому адаптировались глаза в конкретный момент просмотра стимула. В предпочтительном варианте осуществления функция перцепционного преобразователя отображает линейные входные серые уровни на выходные серые уровни, которые лучше соответствуют пороговым значениям контрастной чувствительности в человеческой визуальной системе. Примеры функций отображения PQ описаны в заявке PCT № PCT/US2012/068212 (именуемой заявка ‘212) под названием «Perceptual luminance nonlinearity-based image data exchange across different display capabilities», J. S. Miller и др., поданной 6 декабря 2012 г. (которая в данный момент является патентом США № 9077994) и полностью включены в данный документ посредством ссылки, в которых предоставлен фиксированный размер стимула для каждого уровня яркости (т.е. уровень стимула), этап минимального видимого контраста при данном уровне яркости выбирается в соответствии с наиболее чувствительным уровнем адаптации и наиболее чувствительной пространственной частотой (в соответствии с моделями HVS). По сравнению с традиционной кривой гамма-распределения, которая представляет характеристическую кривую физического устройства электроннолучевой трубки (CRT) и в то же время может иметь очень грубое сходство со способом реагирования человеческой визуальной системы, кривая PQ, как определено в заявке ‘212, имитирует настоящую визуальную реакцию человеческой визуальной системы с использованием относительно простой функциональной модели.

В Таблице 1 описано вычисление EOTF перцепционной кривой для преобразования кодовых значений цифрового видео в абсолютные линейные уровни яркости в точке дисплея. Также включено обратное вычисление OETF для преобразования абсолютной линейной яркости в цифровые кодовые значения.

Таблица 1

Представленные в качестве примера формулировки уравнений:

D = цифровое кодовое значение перцепционной кривой, целое число без знака SDI-legal, 10 или 12 бит;

b = количество бит на компонент в представлении цифрового сигнала, 10 или 12;

V = нормированное значение сигнала перцепционной кривой;

Y = нормированное значение яркости;

L = абсолютное значение яркости, 0,000 кд/м².

Приведенные в качестве примера декодированные уравнения EOTF:

(t1)

Приведенные в качестве примера кодированные уравнения EOTF:

(t2)

(t3)

Приведенные в качестве примера постоянные:

Примечания

1. Оператор INT возвращает значение 0 для дробных частей в диапазоне от 0 до 0,4999… и +1 для дробных частей в диапазоне от 0,5 до 0,9999…, т.е. он округляет дроби выше 0,5.

2. Все постоянные определяются в качестве точных чисел, кратных 12-битным рациональным числам, для предотвращения проблем с округлением.

3. Компоненты R, G или B сигнала должны быть вычислены таким же образом, как и компонент сигнала Y, описанный выше.

На фиг. 2 более подробно показан приведенный в качестве примера способ этапа (110) цветового преобразования в соответствии с вариантом осуществления. Как показано на фиг. 2, заданный входной сигнал (102) EDR, который находится в первом цветовом пространстве (например, RGB), на этапе (110) преобразования цветового пространства превращается в сигнал (112) в перцепционно-скорректированном цветовом пространстве IPT (IPT-PQ). Данное цветовое преобразование может включать следующие этапы:

a) (Этап 210) Нормирование пиксельных значений входного сигнала (102) (например, от 0 до 4095) в пиксельные значения с динамическим диапазоном от 0 до 1.

b) (Этап 215) Использование EOTF (как предоставлено посредством метаданных (104)) для возврата или отмены преобразования первоначальным дисплеем из кодовых значений в яркость. Например, если входной сигнал является кодированным сигналом гаммы, тогда данный этап применяет обратную гамма-функцию. Если входной сигнал является кодированным сигналом PQ в соответствии с заявкой “212 PCT, тогда данный этап применяет обратную функцию PQ. На практике этап (210) нормирования и обратное нелинейное кодирование (215) могут быть выполнены с использованием предварительно вычисленных справочных таблиц (LUT) 1-D.

c) (Этап 220) Преобразование выходного сигнала на этапе b) в цветовое пространство LMS.

d) (Этап 225) В соответствии с «Ebner paper» традиционное преобразование цветового пространства из LMS в IPT включает применение первой нелинейной функции мощности к данным LMS, а затем применение линейной матрицы преобразования. Несмотря на возможность преобразования данных из LMS в IPT, а затем применения функции PQ, находящейся в домене IPT-PQ, в предпочтительном варианте осуществления на этапе (225) традиционная функция мощности для нелинейного кодирования из LMS в IPT заменяется нелинейным кодированием PQ. Например, нелинейные значения L, M и S вычисляются таким же образом, как и сигнал V в уравнении (t2), в котором сигнал Y заменяется линейными значениями (222) компонента L, M или S. В некоторых вариантах осуществления может быть использована нормированная версия кодирования PQ, при этом этап уравнения (t3) может быть опущен и диапазон выходных значений PQ составляет от 0 до 1.

e) (Этап 230) Использование стандартного линейного преобразования из LMS в IPT, этап 230 завершает преобразование сигнала 222 в цветовое пространство IPT.

f) (Этап 235) В некоторых вариантах осуществления компонент I выходного сигнала IPT-PQ 232 может быть также отрегулирован для учета эффекта Гельмгольца-Кольрауша, посредством чего насыщенные цвета кажутся ярче, чем белый цвет с таким же значением яркости. С учетом пикселя в пространстве IPT, представленном значениями I_i, P_i и T_i, пусть CH_i = , тогда в варианте осуществления выходной сигнал I’ этапа 235 может быть выражен следующим образом:

(1)

Диапазон выходного сигнала IPT-PQ (112) составляет от 0 до 1 для компонента I (в соответствии с динамическим диапазоном от 0 до 10000 нитов) от -1 до 1 для компонентов P и T.

В некоторых вариантах осуществления канал (например, 110) полного цветового преобразования может быть вычислен с использованием 3D LUT.

ТОНАЛЬНОЕ ОТОБРАЖЕНИЕ

После этапа (110) цветового преобразования интенсивность (I) сигнала (112) должна быть отображена для соответствия ограничениям целевого дисплея. На фиг. 3 показан пример нелинейной функции (320) отображения, вычисленной в соответствии с вариантом осуществления (например, на этапе 115). Целевой дисплей может являться дисплеем EDR или дисплеем SDR. Если целевой дисплей имеет такие же характеристики, как и исходный (или первоначальный) дисплей производства, используемый для обработки (например, сортировки по цвету) входного сигнала (102), тогда преобразование не является необходимым. Такое линейное отображение один к одному показано на фиг. 3 посредством линейного отображения (310); однако, если целевой дисплей имеет динамический диапазон, который ниже или выше, чем динамический диапазон исходного дисплея производства, тогда этап (115) обработки будет отображать динамический диапазон входного сигнала до динамического диапазона целевого дисплея.

На фиг. 3 пусть границы (305-1) и (305-2) представляют минимальный и максимальный уровни яркости входного сигнала (входного сигнала EDR). Также, пусть (307-1) и (307-2) представляют минимальный и максимальный уровни яркости целевого дисплея.

Предполагая входной сигнал отображения динамического диапазона исходного дисплея, представленного функцией (320), выход нелинейного отображения (например, 320) лучше соответствует ограничениям (например, 307-1 и 307-2) динамического диапазона целевого дисплея. Пример преобразования нелинейного отображения описан A. Ballestad и др. в заявке PCT № PCT/US2012/029189, поданной 15 марта 2012 г., под названием «Method and apparatus for image data transformation» (которая в данный момент является патентом США № 8593480), которая полностью включена в данную заявку посредством ссылки.

В соответствии с заявкой PCT ‘189 Ballestad приведенная в качестве примера передаточная функция для нелинейного отображения (115) может быть обозначена следующим образом:

(2)

где C₁, C₂ и C₃ являются постоянными, Y_in является входным значением для цветового канала (например, канала I ), Y_out является выходным значением для цветового канала, и n и m являются параметрами. Данная передаточная функция является примером параметризованной сигмоидальной функции тоновой кривой. Параметры C₁, C₂ и C₃ определены на основе определения трех опорных точек (например, 325-1, 325-2 и 325-3), которые в свою очередь определяются на основе характеристик яркости исходного (или первоначального) дисплея, которые, как правило, извлекаются из входных метаданных (106), и характеристик яркости целевого дисплея, которые, как правило, уже известны процессору, выполняющему способ управления отображением.

В приведенном в качестве примера варианте осуществления этап (120) может вычислить параметры тоновой кривой уравнения (2) следующим образом:

a) Вычисление соотношения первоначального к целевому, S2Tratio.

Пусть Tmin и Tmax обозначают минимальную и максимальную яркость целевого дисплея, представленного посредством кодирования PQ. Также, пусть Smin и Smax обозначают минимальную и максимальную яркость первоначального дисплея, также с кодированием PQ, тогда в варианте осуществления S2Tratio может быть определено следующим образом:

(3)

Без потери общности в некоторых вариантах осуществления значение S2Tratio может быть также ограничено, чтобы никогда не превышать единицу; то есть декодер может предполагать, что исходный дисплей всегда по меньшей мере такой же яркий, как и целевой дисплей. Следует отметить, что, если S2Tratio = 1, то этап (115) может быть пропущен.

Без потери общности пусть входная последовательность характеризуется тремя переменными, которые в приведенном в качестве примера варианте осуществления обозначаются переменными Crush, Clip и Mid, которые обозначают соответственно самый низкий уровень черного, самый высокий уровень белого и средний уровень серого входной последовательности. Их значения могут быть вычислены для каждого кадра, части кадра или последовательности кадров в сцене. Значения этих параметров могут быть либо вычислены на основе входного видеопотока, либо они могут являться частью входных метаданных (106). В варианте осуществления эти параметры вычисляются на посценовой основе. В данном документе термины «сцена» или «снимок» обозначают ряд последовательно захваченных кадров, которые могут разделять одинаковые общие характеристики яркости. Записи сцен могут быть определены вручную или они также могут являться частью входных метаданных. Например, ряд записей может определить количество кадров записей сцен. В качестве альтернативы параметр в каждом кадре может определить, представляет ли кадр начало записи сцены.

С учетом этих значений и значения S2Tratio в варианте осуществления могут быть вычислены следующие промежуточные параметры регулировки тоновой кривой:

Slope = обозначает контраст промежуточных тонов. Он регулируется в соответствии со значением S2Tratio для сохранения видимости контраста. Он может быть представлен в качестве наклона касательной к кривой (320) отображения рядом с центральной опорной точкой (352-2).

Key = является показателем «темной» или «светлой» сцены. Сцены с низкой тональностью (темные) могут быть отображены немного ярче и сцены с высокой тональностью (светлые) могут быть отображены немного темнее для сохранения темной и светлой детализации соответственно.

Shift = обозначает величину, на которую затемняется изображение.

Rolloff, как правило, является постоянной (например, 1/3) и представляет крутизну перехода между промежуточными тонами и яркими участками/тенями. Более низкое значение указывает на более резкий переход и будет иметь визуальный эффект «мягкого кадрирования».

Пусть и , тогда в варианте осуществления с использованием системы обозначений MATLAB параметры тоновой кривой нелинейного отображения уравнения (2) могут быть вычислены, как показано в Таблице 2.

Таблица 2

x1 = Crush.^(Slope/Rolloff);

x2 = Mid.^(Slope/Rolloff);

x3 = Clip.^(Slope/Rolloff);

y1 = Min.^(1/Rolloff);

y2 = (Mid - Shift).^(1/Rolloff);

y3 = Max.^(1/Rolloff);

temp = x3*y3*(x1-x2)+x2*y2*(x3-x1)+x1*y1*(x2-x3);

c1 = (x2*x3*(y2-y3)*y1-x1*x3*(y1-y3)*y2+x1*x2*(y1-y2)*y3)/temp;

c2 = (-(x2*y2-x3*y3)*y1+(x1*y1-x3*y3)*y2-(x1*y1-x2*y2)*y3)/temp;

c3 = ((x3-x2)*y1-(x3-x1)*y2+(x2-x1)*y3)/temp;

С учетом вышеуказанных параметров C₁, C₂ и C₃ в варианте осуществления выходной сигнал (117) (I_m) этапа (115) отображения интенсивности может быть вычислен следующим образом:

(4)

где I_o обозначает компонент I сигнала (112) EDR IPT-PQ.

Многомасштабное сохранение детализации компонента I

Оператор тонового отображения уравнения (4), как правило, относится к глобальному оператору тонального отображения, поскольку подобное уравнение применяется ко всему кадру. В варианте осуществления глобальное тональное отображение может сопровождаться оператором (125) многомасштабного тонального отображения, который улучшает локальный контраст. Пример такого локального оператора тонального отображения описан Ballestad в заявке PCT ‘189. В качестве альтернативы в еще одном варианте осуществления выходной сигнал (117) этапа (115) отображения интенсивности может сопровождаться методом нерезкого маскирования, таким как описан в документе «Retaining local image information in gamut mapping algorithms» P. Zolliker и K. Simon, записи IEEE относительно обработки изображения, том 16, № 3, март 2007 г., страницы 664-672, включенном в данную заявку посредством ссылки.

Пусть I_o обозначает интенсивность входного сигнала (112), и пусть I_m обозначает интенсивность выходного сигнала (117) с тональным отображением, тогда в соответствии с вариантом осуществления интенсивность выходного сигнала I_S (127) этапа (125) многомасштабного сохранения детализации может быть выражена следующим образом:

, (5)

где F (I, H) обозначает применение к изображению I раздельного фильтра с ядром H. В варианте осуществления H содержит фильтр Гаусса 11x11 с σ=2; однако альтернативные фильтры могут быть также применены. В некоторых вариантах осуществления в зависимости от характеристик входного сигнала данный этап может быть также пропущен.

В некоторых вариантах осуществления процесс сохранения детализации уравнения (5) может быть также улучшен посредством применения дополнительного фильтра обнаружения краев для снижения сияния вокруг высококонтрастных краев, включая леттербоксинг и субтитры. В варианте осуществления пусть

(6)

и

(7)

обозначают соответственно выходные сигналы фильтра (LPF) низких частот с ядром H_B и фильтра обнаружения краев с ядром H_E. Тогда с учетом выходного сигнала I_E, который может находиться в диапазоне [0,1], этап (125) многомасштабного сохранения детализации может быть выражен следующим образом:

(8)

По сравнению с уравнением (5), каждый раз, когда обнаруживается насыщенный край, I_S становится ближе к исходному тонально отображаемому сигналу, чем сигналу фильтра низких частот.

В некоторых вариантах осуществления дополнительные значения могут быть также применены, а именно:

(9)

где w₁ и w₂ являются зависящими от реализации значениями. В еще одном варианте осуществления с учетом a и порогового значения обнаружения краев T_e, выходной сигнал этапа (125) многомасштабного сохранения может быть выражен следующим образом:

(10)

Например, в соответствии с уравнением (10) для a=1, если край не обнаружен, выходной сигнал I_S определяется в соответствии с уравнением (5); однако, если обнаружен сильный край, тогда I_S = I_m.

В варианте осуществления фильтр LPF является фильтром Гаусса и фильтр обнаружения краев может являться раздельным фильтром с коэффициентами, полученными посредством взятия первой производной фильтра LPF. Однако может быть применен любой фильтр обнаружения краев. Посредством применения раздельных фильтров низких частот и обнаружения краев в варианте осуществления операции фильтрации низких частот, обнаружение краев в горизонтальном направлении и обнаружение краев в вертикальном направлении могут быть применены параллельно, чтобы воспользоваться преимуществом параллельных архитектур (а именно FPGA или заказная интегральная схема), которые могут включать отдельные схемы для каждого из этих фильтров. Такой пример реализации показан на фиг. 6, при этом:

Входной сигнал D0’ соответствует ;

Входной сигнал D0’’ соответствует I_m;

Входной сигнал D0’’’ соответствует I_S;

Фильтр 0 соответствует фильтру (LPF) низких частот;

«Фильтр1» и «Фильтр2» соответствуют фильтрам горизонтального и вертикального обнаружения краев;

ABS() обозначает функцию абсолютного значения; и

MS_weight и MS_edge_weight являются регулируемыми параметрами в диапазоне [0, 1], (например, MS_weight = 0,0 и MS_edge_weight =1,0).

Для заданной битовой глубины N пусть max_value обозначает максимальное значение 2^N-1. Пусть dx и dy обозначают выходные сигналы фильтров «фильтр1» и «фильтр2» обнаружения краев, тогда в варианте осуществления значение alpha может быть вычислено следующим образом:

dx = dx ÷ max_valuedy = dy ÷ max_valuealpha = MAX( 0, MIN( 1, ( ABS( dx ) + ABS( dy ) ) * ms_edge_weight + ( ms_ weight ) ) )

Тогда выходной сигнал может быть вычислен следующим образом:

d0[ x, y ] = D0’[ x, y ] - d[x,y] * alpha - v[ x, y] *( 1.0 – alpha ) D0”’[ x, y ] = CLIP3( 0, max_value, d0 ),

где d[x,y] обозначает изображение разницы , v[ x, y] обозначает выходной сигнал LPF (например, , и функция CLIP3(a, b, x) обозначает, что значение x ограничено нижним значением a и верхним значением b.

Регулировка насыщенности

[00051] В сигнале IPT, P и T являются лишь относительными интенсивностями цветовых различий по сравнению с интенсивностью I. Поскольку этапы (115) и (125) модифицировали I цветовой компонент, то цветовые компоненты P и T должны быть отрегулированы для сохранения оттенка и насыщенности. Пример такого процесса (130) показан на фиг. 4.

[0001] Как показано на фиг. 4, параметры для повышения красочности и насыщенности могут быть вычислены на основе исходного входного сигнала в пространстве IPT-PQ (112) и тонально отображенного выходного сигнала (127). Данные параметры вычисляются на попиксельном уровне и одинаковый преобразователь масштаба (S) применяется для обоих цветовых компонентов P и T. В приведенном в качестве примера варианте осуществления пусть повышение красочности будет определено с использованием линейных функций отображения.

CEDR = k₁ I_o + k_2, (11)

CMapped = k₁ I_S + k_2,

где k₁ и k₂ являются постоянными на основе психофизических данных. Например, в варианте осуществления k₁ = 0,5 и k₂ = 1,0. В уравнении (6) CEDR (412) обозначает выходной сигнал этапа (410-1) и CMapped (414) обозначает выходной сигнал этапа (410-2). Тогда преобразователь масштаба (422) регулировки насыщенности может быть определен следующим образом:

(12)

С учетом S, и исходных цветовых компонентов P_o и T_o сигнала (112), донасыщенные компоненты P_S и T_S тонально отображенного выходного сигнала (132) могут быть вычислены следующим образом:

, и (13)

.

В некоторых вариантах осуществления преимущественным может являться определение повышения красочности CMapped на основе исходного тонально отображенного сигнала (117) (I_m) нежели усиленного сигнала (127) (I_S), тогда CMapped = k₁ I_m + k₂ и

. (14)

В альтернативном варианте осуществления этап регулировки насыщенности может являться частью этапа (110) цветового преобразования. В приведенном в качестве примера варианте осуществления после поправки на эффект (235) Гельмгольца-Кольрауша, показанный в уравнении (1), может применяться следующая шкала цветности:

+0,5, (15)

, (16)

. (17)

3D LUT устройства от