Обработка изображений для изображений с расширенным динамическим диапазоном (hdr)

Обработка изображений для изображений с расширенным динамическим диапазоном (hdr)

Иллюстрации

Показать все

Реферат

Часть раскрытия данного патентного документа содержит материал, который является предметом защиты авторского права. Владелец авторских прав не возражает против факсимильного воспроизведения кем-либо указанного патентного документа или раскрытия сущности запатентованного изобретения, как оно фигурирует в патентном фонде и регистрациях Ведомства по регистрации патентов и товарных знаков, однако сохраняет за собой все авторские права.

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

[0001] Данная заявка заявляет приоритет предварительной заявки на патент США №61/681061, поданной 8 августа 2012 г., которая ссылкой полностью включается в настоящее раскрытие.

ОБЛАСТЬ ТЕХНИКИ

[0002] Настоящее изобретение в целом относится к обработке изображений. Конкретнее, один из вариантов осуществления настоящего изобретения относится к обработке изображений с расширенным динамическим диапазоном (HDR).

ПРЕДПОСЫЛКИ

[0003] Некоторые современные или унаследованные цифровые изображения соответствуют 24-битным форматам. Эти изображения включают вплоть до 24 бит для хранения как цветовой информации, так и информации яркости, такой как данные освещенности и цветности, для каждого пиксела на изображении. Указанные форматы сохраняют достаточно информации об изображении для того, чтобы позволить представлять или воспроизводить изображение унаследованными электронными дисплеями, и поэтому считаются стандартами, относящимися к выводу. Унаследованные дисплеи, как правило, имеют динамический диапазон (DR) в три порядка величины. Однако, поскольку нормальное человеческое зрение может различать контрастность до 1:10000 или более, могут восприниматься изображения со значительно более широкими динамическими диапазонами.

[0004] Развитие современной технологии электронных дисплеев допускает представление и воспроизведение изображений с более широким динамическим диапазоном, который значительно превышает DR унаследованных дисплеев. Изображения с расширенным динамическим диапазоном (HDR) более точно отображают сцены реального мира, чем форматы изображений, которые соответствуют стандартам, относящимся к выводу. Так, HDR-изображения можно считать относящимися к сценам. В контексте HDR-изображений и дисплеев, которые способны их представлять, унаследованные или другие изображения и дисплеи с более ограниченным DR можно в данном раскрытии именовать изображениями/дисплеями с узким динамическим диапазоном (LDR).

[0005] Подходы, описываемые в данном разделе, представляют собой подходы, которые могли быть осуществлены, но необязательно являются подходами, которые были созданы или осуществлены ранее. Поэтому, если не указано иное, не следует полагать, что любой из подходов, описываемых в данном разделе, квалифицируется как известный уровень техники единственно в силу его включения в данный раздел. Аналогично, если не указано иное, проблемы, отождествляемые с одним или несколькими подходами, не следует на основе данного раздела полагать признанными в известном уровне техники.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

[0006] Настоящее изобретение иллюстрируется на примере, без ограничения, на фигурах сопроводительных графических материалов, где сходные ссылочные позиции относятся к сходным элементам, и где:

[0007] ФИГ. 1A изображает один из примеров системы локального многомасштабного тонального отображения в соответствии с одним из вариантов осуществления настоящего изобретения;

[0008] ФИГ. 1 В изображает один из примеров процесса кодирования изображения в соответствии с одним из вариантов осуществления настоящего изобретения;

[0009] ФИГ. 2 изображает один из примеров способа локального многомасштабного тонального отображения в соответствии с одним из вариантов осуществления настоящего изобретения;

[0010] ФИГ. 3А и ФИГ. 3B, соответственно, изображают один из примеров блока HCTN и соответствующую многомасштабную фильтрацию в соответствии с одним из вариантов осуществления настоящего изобретения;

[0011] ФИГ. 4A, ФИГ. 4B и ФИГ. 4C, соответственно, изображают один из примеров блока многомасштабных фильтров, соответствующий одному из примеров реализации многомасштабной фильтрации, и пример процесса в соответствии с одним из вариантов осуществления настоящего изобретения;

[0012] ФИГ. 5 изображает один из примеров процессора изображения отношений в соответствии с одним из вариантов осуществления настоящего изобретения;

[0013] ФИГ. 6А и ФИГ. 6 В изображает пример потока данных процесса кодирования для HDR-изображений в соответствии с одним из вариантов осуществления настоящего изобретения;

[0014] ФИГ. 7 изображает один из процессов экспозиции слияния-объединения для демонстрации HDR-изображения в соответствии с одним из вариантов осуществления настоящего изобретения; и

[0015] ФИГ. 8А и ФИГ. 8 В изображают примеры процессов кодирования и декодирования JPEG-HDR, поддерживающих широкую цветовую гамму и несколько цветовых пространств в соответствии с вариантами осуществления изобретения.

ОПИСАНИЕ ИЛЛЮСТРАТИВНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

[0016] В настоящем раскрытии описываются иллюстративные варианты осуществления изобретения, которые относятся к обработке изображений для HDR-изображений. В нижеследующем описании для целей разъяснения излагаются многочисленные конкретные подробности, предназначенные для обеспечения исчерпывающего понимания настоящего изобретения. Однако должно быть ясно, что настоящее изобретение может применяться на практике без указанных конкретных подробностей. В других случаях хорошо известные конструкции и устройства не описываются в исчерпывающих подробностях во избежание излишнего затруднения понимания или запутывания особенностей настоящего изобретения.

ОБЗОР - HDR-ИЗОБРАЖЕНИЯ

[0017] Данный обзор представляет базовое описание некоторых особенностей иллюстративных вариантов осуществления настоящего изобретения. Следует отметить, что данный обзор не является всесторонним и исчерпывающим кратким описанием особенностей возможного варианта осуществления изобретения. Более того, следует отметить, что данный обзор не должен трактоваться как идентифицирующий любые практически важные особенности или элементы возможного варианта осуществления изобретения, как очерчивающий какой-либо объем возможного варианта осуществления изобретения ни в частности, ни в общем. Данный обзор лишь представляет некоторые концепции, которые относятся к примеру возможного варианта осуществления изобретения в сжатой и упрощенной форме, и его следует понимать как лишь абстрактное вступление к нижеследующему более подробному описанию примера одного из вариантов осуществления изобретения.

[0018] Один из иллюстративных вариантов осуществления настоящего изобретения относится к кодированию HDR-изображений. Для логарифмических освещенностей на входном HDR-изображении вычисляется гистограмма, предназначенная для генерирования тонального отображения, наряду с которым вычисляется изображение глобального тонального отображения логарифмической освещенности. Размер изображения глобального тонального отображения логарифмических освещенностей уменьшается. Логарифмические освещенности и изображение глобального тонального отображения логарифмических освещенностей образуют логарифмическое изображение отношений. Многомасштабная фильтрация разрешающей способности логарифмического изображения отношений генерирует логарифмическое многомасштабное изображение отношений. Логарифмическое многомасштабное изображение отношений и логарифмические освещенности образуют второе логарифмическое тонально отображенное изображение, которое нормируется для вывода тонально отображенного изображения на основе изображения глобального тонального отображения логарифмических освещенностей с уменьшенным размера и нормированного изображения. Входное HDR-изображение и выходное тонально отображенное изображение образуют второе изображение отношений, которое квантуется.

[0019] Массив активных устройств (например, транзисторов) располагается в полупроводниковом кристалле. Активные устройства конфигурируются или функционально связываются так, чтобы они действовали как кодер изображения. Кодер содержит первое устройство тонального отображения, предназначенное для вычисления гистограммы логарифмических значений освещенности, которые получаются из каждого пиксела входного изображения с расширенным динамический диапазоном (HDR). Устройство тонального отображения представляет первое изображение отношений вычисленными значениями гистограммы. Многомасштабный фильтр-прореживатель рекуррентно уменьшает размер первого изображения отношений и подвергает каждый его пиксел фильтрации с пропусканием нижних частот в горизонтальном направлении и в вертикальном направлении. В зависимости от размера первого изображения отношений первое изображение отношений прореживается и фильтруется по одному, двум или трем уровням. Таким образом, на каждом из указанных уровней представляется соответствующее изображение отношений. Каждое из соответствующих изображений отношений записывается на носитель данных (например, в память), который является независимым (например, внешним) по отношению к IC-устройству. Усилитель взвешивает на каждом из уровней фильтрованные пикселы каждого из соответствующих изображений отношений с масштабным коэффициентом, который соответствует каждому из уровней, на которых функционирует указанный прореживатель. Устройство билинейной интерполяции увеличивает размер каждого из взвешенных изображений отношений до уровня, который является следующим за каждым из предыдущих уровней. Сумматор на каждом из уровней суммирует каждое из взвешенных изображений отношений с взвешенным изображением отношений из ближайшего предыдущего уровня. Второе устройство тонального отображения тонально отображает базовое изображение и его тонально отображенное изображение отношений, каждое из которых соответствует входному HDR-изображению, но с более узким динамическим диапазоном. Базовое изображение и его базовое изображение отношений квантуются. Квантованные базовое изображение и его базовое изображение отношений могут представлять собой вывод, например, в кодер JPEG для сжатия в формат JPEG.

[0020] Некоторые современные электронные дисплеи по существу выдают относящиеся к сценам HDR-изображения, которые превышают возможности DR унаследованных дисплеев. В контексте возможностей DR дисплеев термины «представлять», «воспроизводить», «восстанавливать», «представлять», «выводить» и «генерировать» могут использоваться в настоящем раскрытии синонимично и/или взаимозаменяемо. Один из вариантов осуществления настоящего изобретения эффективен как с современными дисплеями, так и с унаследованными дисплеями. Один из вариантов осуществления изобретения позволяет современным дисплеям, имеющим такую возможность, представлять HDR-изображения по существу с их полной контрастностью и обратно совместимым образом позволяет унаследованным дисплейным устройствам и дисплейным устройствам с LDR представлять изображение в пределах их собственных, несколько более ограниченных, возможностей воспроизведения DR. Один из вариантов осуществления изобретения поддерживает указанную обратную совместимость с LDR-дисплеями, а также новые дисплейные технологии HDR.

[0021] Один из вариантов осуществления изобретения по существу представляет HDR-изображение с тонально отображенным базовым изображением (как, например, в случае изображения, которое имеет меньший DR, чем у соответствующего HDR-экземпляра изображения) наряду с кодированными метаданными, что обеспечивает дополнительную информацию об изображении. Дополнительная информация включает данные, относящиеся к интенсивности изображения (например, освещенность, сигнал яркости), и/или данные, относящиеся к цвету (например, цветность, насыщенность цвета). Дополнительные данные относятся к разности в DR между HDR-экземпляром изображения и соответствующим экземпляром базового изображения. Таким образом, первый (например, унаследованный) дисплей, который имеет относительно ограниченные возможности воспроизведения DR, может использовать тонально отображенное изображение для представления изображения с нормальным DR, например, в соответствии с существующими, установленными или популярными стандартами сжатия/распаковки (кодек).

[0022] Один из иллюстративных вариантов осуществления изобретения позволяет обрабатывать изображения с нормальным DR в соответствии со стандартом JPEG, разработанным группой экспертов в области фотографии Международного союза телекоммуникаций и Международной электротехнической комиссии, JPEG ISO/IEC 10918-1 ITU-T Rec. T.81, который ссылкой включен в настоящее раскрытие полностью во всей полноте, как изложенный в настоящем раскрытии полностью. Кроме того, второй (например, современный) дисплей с возможностью HDR может обрабатывать тонально отображенное изображение наряду с метаданными изображения с целью эффективного представления HDR-изображения. С одной стороны, тонально отображенное изображение используется для представления изображения с нормальным динамическим диапазоном на унаследованном дисплее. С другой стороны, с тонально отображенным изображением могут использоваться дополнительные метаданные, предназначенные для генерирования, восстановления или представления HDR-изображения (например, HDR-дисплеем). Один из вариантов осуществления изобретения использует оператор тонального отображения (TMO) для создания экземпляров тонально отображенного изображения.

[0023] Для относительно эффективного создания тонально отображенных изображений могут использоваться различные операторы TMO, такие как глобальный фотографический оператор Рейнхарда. Там, где вычислительные затраты несущественны, доступны или иным образом пренебрежимы, для создания относительно высококачественных тонально отображенных изображений может использоваться билатеральный фильтр. Билатеральная фильтрация помогает сохранять такие детали изображения, например в его ярких областях, которые может терять более экономный в вычислительном отношении оператор Рейнхарда. В дополнение, или в альтернативном варианте, могут использоваться операторы TMO корректировки гистограммы и/или операторы ТМО в градиентной области.

[0024] В одном из вариантов осуществления изобретения формат изображения дееспособно и эффективно представляет HDR-изображения как изображения, не обладающие HDR. Варианты осуществления изобретения могут функционировать в формате JPEG и/или в других разнообразных форматах изображений. Например, варианты осуществления изобретения могут функционировать с одним или несколькими из форматов MPEG, AVI, TIFF, BMP, GIF или другими пригодными форматами, которые хорошо знакомы квалифицированным специалистам в областях, относящихся к изображениям. Один из вариантов осуществления изобретения функционирует в соответствии с форматом изображений JPEG-HDR, описанным в публикациях Ward, Greg и Simmons, Maryanne, "Subband Encoding of High Dynamic Range Imagery," in First ACM Symposium on Applied Perception in Graphics and Visualization (APGV), pp.83-90 (2004); Ward, Greg и Simmons, Maryanne, "JPEG-HDR: Backwards-Compatible, High Dynamic Range Extension to JPEG," in Proceedings of the Thirteenth Color Imaging Conference, pp.283-290 (2005); и E. Reinhard, G. Ward, et al. «High Dynamic Range Imaging - Acquisition, Display and Image-Based Lighting», pp.105-108, Elsevier, MA (2010), которые ссылкой включены в настоящее раскрытие во всей полноте, как изложенные в настоящем раскрытии полностью.

[0025] Для отображения изображений на различных устройствах представления изображений операторы тонального отображения (TMO) обрабатывают входные HDR-изображения в тонально отображенные (TM) базовые изображения. Базовые TМ-изображения могут включать изменения цвета (например, изменения цветового тона, отсечения цветов, художественные эффекты и т.д.) относительно входного изображения. Согласно некоторым методикам для реконструкции HDR-изображений, эквивалентных входным HDR-изображениям, базовые ТМ-изображения доставляются в расположенные ниже декодеры изображений наряду с отношениями освещенностей. Однако расположенный ниже декодер изображений может не иметь возможности устранять изменения цвета в реконструированном HDR-изображении, полагаясь на базовое ТМ-изображение и отношения освещенностей шкалы серого. В результате, изменения цвета на реконструированном РВК-изображении могут оставаться заметными.

[0026] Кодеры HDR-изображений согласно одному из вариантов осуществления изобретения, описываемому в настоящем раскрытии, создают не только отношения освещенностей, но также остаточные значения цветов на основе входного HDR-изображения и базового ТМ-изображения. Отношения освещенностей и остаточные значения цветов могут совместно обозначаться как данные о реконструкции HDR. Необязательно и/или в качестве дополнения с целью поддержки относительно широкого диапазона значений освещенностей отношения освещенностей преобразовываются в логарифмическую область. Необязательно и/или в качестве дополнения результирующие логарифмические отношения освещенностей и остаточные значения цветов квантуются. Необязательно и/или в качестве дополнения квантованные логарифмические отношения и остаточные значения цветов сохраняются в остаточном изображении. Квантованные логарифмические отношения и остаточные значения цветов или, в некоторых вариантах осуществления изобретения остаточное изображение, доставляются с базовым ТМ-изображением в расположенный ниже декодер изображений. Необязательно и/или в качестве дополнения параметры, относящиеся к квантованным логарифмическим отношениям и остаточным значениям цветов (например, границы диапазонов и т.д.), также доставляются совместно с базовым ТМ-изображением.

[0027] ТМО согласно одному из вариантов осуществления изобретения, описываемому в настоящем раскрытии, может свободно выполнять отсечение цветов в цветовых каналах для отдельных пикселов с низкими (черные) и высокими (белые) уровнями освещенности. Также ТМО, описываемый в настоящем раскрытии, необязательно поддерживает цветовой тон для каждого пиксела. Согласно методикам, описываемым в настоящем раскрытии, пользователь может выбирать ТМО на основе содержимого изображения (например, фигуры людей, изображение помещения, сцена вне помещения, ночной вид, закат и т.д.) или вариантов применения (например, использование в кинофильме, на плакате, свадебной фотографии, журнале и т.д.). Отсечения или модификации цветов могут преднамеренно и свободно использоваться для создания художественных эффектов на изображении. Кодеры и декодеры HDR-изображений в настоящем раскрытии поддерживают ТМО, реализованные различными типами редактирующего программного обеспечения и производителей фотоаппаратов, которые могут вводить расширенный диапазон возможных изменений цветов. Согласно методикам, описываемым в настоящем раскрытии, кодеры HDR доставляют в декодеры HDR остаточные значения цветов. Указанные декодеры HDR, в свою очередь, используют остаточные значения цветов для предотвращения (или минимизации) присутствия изменений цветов на реконструированных HDR-изображениях.

[0028] Один из вариантов осуществления изобретения может использовать битовые потоки и/или файлы изображений для хранения и доставки базовых ТМ-изображений и их соответствующих данных реконструкции HDR на средства просмотра изображений или декодеры в нисходящем направлении с целью декодирования и/или представления. В одном из иллюстративных вариантов осуществления изобретения формат изображения поддерживает ТМО, который может реализовываться различными редактирующими программными приложениями и/или производителями фотоаппаратов. Иллюстративные варианты осуществления изобретения могут функционировать с различными форматами изображений, в том числе, например, с форматами изображений стандарта JPEG и расширенными, усовершенствованными, дополненными или улучшенными форматами, относящимися к JPEG, такими как JPEG-HDR. В дополнение, в качестве альтернативы или необязательно, один из иллюстративных вариантов осуществления изобретения может использовать формат изображения, который основывается на кодеке/стандарте или используется совместно с ним, который отличается одной или несколькими существенными особенностями, атрибутами, объектами, техническими характеристиками кодирования или рабочими параметрами относительно тех, которые могут использоваться с форматом изображений, относящимся к JPEG. Один из иллюстративных вариантов осуществления изобретения использует формат JPEG-HDR для поддержки сохранения базового ТМ-изображения с отношениями освещенностей и остаточными значениями цветов. В дополнение, в качестве альтернативы или необязательно одно из базового ТМ-изображения и остаточного изображения, хранящегося в файле изображения, или оба могут сжиматься. В одном из иллюстративных вариантов осуществления изобретения сжатие данных изображения выполняется в соответствии со стандартом JPEG. В дополнение, в качестве альтернативы или необязательно один из иллюстративных вариантов осуществления изобретения может выполнять сжатие в соответствии со стандартом, который отличается одной или несколькими существенными особенностями, атрибутами, объектами, техническими характеристиками кодирования или рабочими параметрами в отношении тех, которые могут использоваться в формате изображения, относящемся к JPEG.

[0029] В то время как формат JPEG ограничен LDR-изображениями, JPEG-HDR по существу включает обратно совместимое HDR-расширение для формата JPEG. JPEG-HDR одновременно поддерживает представление HDR-изображений на новых дисплейных устройствах HDR и представление изображений без HDR (например, LDR) на дисплейных устройствах с HDR или без HDR. JPEG-HDR сохраняет тонально отображенное изображение в стандартных положениях (например, в битовом потоке, в формате диска и т. д.), которые определены в JPEG, и сохраняет дополнительные метаданные в новых положениях, которые могут игнорироваться дисплейными устройствами без HDR. Дополнительные метаданные могут использоваться совместно с тонально отображенным изображением для генерирования/восстановления HDR-версии оригинального HDR-изображения.

[0030] В одном из вариантов осуществления изобретения кодер JPEG-HDR реализован в устройстве на основе интегральной микросхемы (IC) или расположен в этом устройстве. В одном из вариантов осуществления изобретения устройства, схемы и/или механизмы, описываемые в настоящем раскрытии, включают компонент в фотоаппарате или другой системе регистрации и представления или демонстрации изображений, сотовом радиотелефоне, личном цифровом помощнике (PDA) или персональном, переносном или бытовом устройстве (например, рассчитанном для изображений, вычислений, кинофильмов, музыки, информации, развлечений, расчетов, голоса).

[0031] Один из вариантов осуществления изобретения может выполнять одну или несколько функций, описанных в патентной заявке №PCT/US2012/033795, поданной 16 апреля 2012 г. согласно Договору о патентном сотрудничестве (PCT), авторами Wenhui Jia, et al., озаглавленной «ENCODING, DECODING, AND REPRESENTING HIGH DYNAMIC RANGE IMAGES», или в технической спецификации Dolby Laboratories «JPEG-HDR Encoder and Decoder Algorithm Specification», которая включена в настоящее раскрытие во всей полноте, копия которой прилагается к данному описанию (при подаче) как Приложение «А».

[0032] Один из вариантов осуществления изобретения может выполнять одну или несколько функций, описанных в патентной заявке №PCT/US2012/027267, поданной 1 марта 2012 г. согласно Договору о патентном сотрудничестве (PCT), автором Gregory John Ward, озаглавленной «LOCAL MULTI-SCALE TONE MAPPING OPERATOR», которая ссылкой включена в настоящее раскрытие во всей полноте.

[0033] Различные модификации предпочтительных вариантов осуществления изобретения, общих принципов и характерных признаков, описываемых в настоящем раскрытии, будут понятны специалистам в данной области. Поэтому данное раскрытие не предназначено для ограничения показанных вариантов осуществления изобретения, но должно соответствовать наиболее широкому объему, соответствующим принципам и характерным признакам, описываемым в настоящем раскрытии.

ПРИМЕР КОДЕРА JPEG HDR

[0034] В одном из вариантов осуществления изобретения кодер JPEG HDR реализован в устройстве на основе интегральной микросхемы (IC), которое общепринято именуется кристаллом. Например, кодер может быть расположен внутри IC-устройства. IC-устройство может быть реализовано как специализированное IC-устройство (ASIC), процессор цифровой обработки сигналов (DSP), программируемая пользователем вентильная матрица (FPGA) и/или графический процессор. IC-устройство может быть реализовано как система на кристалле (SOC) с ASIC или с одним или несколькими конфигурируемыми, или программируемыми, устройствами, такими как микропроцессор, программируемое логическое устройство (PLD), программируемая пользователем вентильная матрица (FPGA) или микроконтроллер.

[0035] IC-устройство содержит массив таких активных компонентов устройства, как транзисторы, которые расположены внутри полупроводникового кристалла. Активные компоненты устройства выстроены в массив, упорядочены, сконфигурированы и/или запрограммированы для функционирования в качестве модулей, регистров, элементов кэш-памяти, логических вентилей, логических и вычислительных элементов (например, арифметических/с плавающей запятой) или для выполнения других операций, которые могут соответствовать кодированию JPEG HDR. Активные компоненты массива взаимосвязаны с, по меньшей мере, частично проводящей трассировочной системой коммутации, такой как сеть трасс/межслойных соединений, решетка адресных линий/числовых шин и т.п., которые располагаются внутри кристалла, допуская электрический/электронный обмен сигналами и данными между активными компонентами устройства и различными функциональными модулями, которые формируются посредством этого. Активные компоненты являются оперативно адресуемыми (например, посредством узлов или участков трассировочной системы коммутации) с, по меньшей мере, частично проводящим интерфейсом, который допускает электрическую, электронную и/или коммуникативную связанность с источниками сигналов, данных или энергии, которые являются внешними по отношению к IC-устройству.

[0036] Один из примеров варианта осуществления кодера JPEG HDR описан в настоящем раскрытии как реализованный посредством ASIC. Для ясности, простоты, краткости и связности пример реализации на основе ASIC, описываемый в настоящем раскрытии, также представляет конфигурируемые и программируемые реализации IC. ФИГ. 1А изображает один из примеров кодера 10 JPEG HDR согласно одному из вариантов осуществления настоящего изобретения.

[0037] Пример кодера 10 реализован при помощи ASIC. Кодер 10 принимает входные изображения через интерфейс развитой высокопроизводительной шины (AHB). Предварительное тональное отображение PRE_TM преобразовывает данные входного изображения в формат, который является пригодным для тонального отображения. PRE_TM выполняет повышающую дискретизацию цветности, например, от формата дискретизации цветности 4:2:2 до формата 4:4:4. PRE_TM преобразовывает цветовое пространство ввода изображения (например, YCbCr) в такое трехцветное цветовое пространство, как RGB. Pre_TM выполняет обратную (инверсную) гамма (γ) коррекцию на изображении, преобразованном в RGB.

[0038] Кодер 10 выполняет функцию тонального отображения, которая генерирует из входного HDR-изображения тонально отображенное базовое изображение. Кодер 10 можно быть реализован для обработки HDR-изображений, которые являются входными во многих форматах, таких, как примеры входных форматов, показанные ниже в Таблице 1.

ТАБЛИЦА 1

ФОРМАТ	БИТОВАЯ ГЛУБИНА
Линейный RGB	16, 14, 12
Линейный YCbCr 4:2:2	16, 14, 12
Линейный YCbCr 4:4:4	16, 14, 12
RGB с гамма-коррекцией	14, 12, 10
YCbCr 4:2:2 с гамма-коррекцией	14, 12, 10
YCbCr 4:4:4 с гамма-коррекцией	14, 12, 10

[0039] Функция тонального отображения включает оператор многомасштабного тонального отображения с коррекцией гистограммы (HAMS-TMO), который использует адаптивное выравнивание гистограммы с ограниченным контрастом (CLAHE) для выполнения нормировочной функции тонального отображения на входных HDR-изображениях. Нормировочная функция может быть реализована нормировкой тонального отображения гистограммы CLAHE (HCTN) на входных изображениях. HAMS-TMO HCTN выводит нормированное тонально отображенное базовое изображение в линейном 12-битном формате RGB. Ниже (ФИГ. 2 и ФИГ. 3) описаны примеры вариантов осуществления HAMS-TMO HCTN. Процессор изображения отношений RI_Proc может вычислять и обрабатывать одно или несколько изображений отношений, исходя из нормированного тонально отображенного базового изображения.

[0040] В ходе обработки HAMS-TMO HCTN последующее тональное отображение Post_TM восстанавливает гамма-коррекцию по нормированному 12-битному изображению RGB и генерирует из него 8-битное изображение RGB. Post_TM отвечает за отправку тонально отображенного базового изображения в кодер JPEG для сжатия. Post_TM преобразовывает цветовое пространство RGB 8-битного изображения, подвергнутого повторной гамма-коррекции, в изображение YCbCr с цветовым форматом, совместимым с JPEG, (например, 4:2:2 или 4:2:0). Например, Post-TMO может включать следующие операции: гамма-кодирование (где 12-битный ввод RGB переводится в 8-битный ввод, как правило, через определяемую пользователем справочную таблицу), преобразование цветов RGB в YCbCr (например, посредством матричного преобразования цветов 3x3) и преобразование 4:4:4 в 4:2:2 или 4:2:0 посредством соответствующей субдискретизации цветовых плоскостей цветности. Кодер 10 может содержать более одного модуля подблока последующего тонального отображения Post_TM. Например, кодер 10 может реализовываться с тремя (3) подблоками Post_TM.

[0041] ФИГ. 1 В изображает один из примеров процесса 100 кодирования в соответствии с одним из вариантов осуществления настоящего изобретения. В одном из вариантов осуществления изобретения кодер 10 действует так, как описано в отношении процесса 100, при приеме или получении доступа к входному HDR-изображению. На этапе 101 на основе значений логарифмической (log) освещенности пикселов вычисляется гистограмма. На этапе 102 на основе вычисленной гистограммы генерируется кривая тонального отображения. На этапе 103 на основе значений логарифмической освещенности пикселов входного HDR-изображения и кривой тонального отображения вычисляется изображение глобального тонального отображения логарифмических освещенностей.

[0042] На этапе 104 изображение глобального тонального отображения логарифмических освещенностей подвергается понижающей дискретизации (например, прореживается по вертикали и по горизонтали) для вычисления уменьшенного изображения глобального тонального отображения логарифмических освещенностей. На этапе 105 на основе уменьшенного изображения глобального тонального отображения логарифмических освещенностей и значений логарифмической освещенности пикселов входного HDR-изображения вычисляется логарифмическое изображение отношений. На этапе 106 на логарифмическом изображении отношений выполняется многомасштабная фильтрация с целью генерирования логарифмического многомасштабного изображения отношений. Второе логарифмическое тонально отображенное изображение генерируется на этапе 107 на основе логарифмического многомасштабного изображения отношений и логарифмических значений освещенности пикселов входного HDR-изображения.

[0043] На этапе 108 второе логарифмическое тонально отображенное изображение нормируется с целью изменения диапазона значений интенсивности пикселов и достижения выравнивания контрастности, и на его основе, а также на основе уменьшенного изображения глобального тонального отображения логарифмических освещенностей генерируется выходное тонально отображенное изображение. Второе изображение отношений генерируется на этапе 109 на основе выходного тонально отображенного изображения и входного HDR-изображения. На этапе 110 второе изображение отношений квантуется. На этапе 111 выходное тонально отображенное изображение и квантованное второе изображение отношений выводятся в кодер JPEG. На каждом этапе иллюстративного процесса 100 генерируемые изображения, подвергнутые глобальному тональному отображению, и изображения отношений могут записываться во внешнюю память и/или считываться из внешней памяти, например, через интерфейсы примера кодера 10.

[0044] ФИГ. 2 изображает пример устройства 200 многомасштабного тонального отображения с коррекцией гистограммы в соответствии с одним из вариантов осуществления настоящего изобретения. В одном из вариантов осуществления изобретения устройство 200 многомасштабного тонального отображения с коррекцией гистограммы реализует вышеописанную (ФИГ. 1) функцию HAMS-TMO HCTN. HAMS-TMO 200 принимает HDR-изображение в трехцветном (например, RGB) или другом (например, YCbCr) цветовом пространстве. Модуль (201) освещенности вычисляет 16-битные значения Y освещенности по входному HDR-изображению RGB. Модуль LOG (202) логарифмических освещенностей преобразовывает значение Y освещенности из линейной области в логарифмическую область. Модуль LOG 202 реализует преобразование в логарифмы значений освещенности Y по основанию 2, «logY».

[0045] При преобразовании 16-битных значений освещенности модуль LOG сохраняет результирующие значения логарифмов по основанию 2 (log₂) logY как данные Q4.12 (например, 4 бита перед смысловой двоичной запятой и 12 бит после). Например, логарифмы включают целочисленную и дробную составляющие. Таким образом, один из вариантов осуществления изобретения разделяет целочисленную составляющую logY и дробную составляющую logY для реализации логарифма по основанию 2, log₂Y. Целочисленная часть вычисляется в соответствии с количеством сдвигов влево при нормировании, а дробные 8 бит индексируются в справочную таблицу LUT, например, как показано ниже в примере псевдокода в Таблице 2.

ТАБЛИЦА 2

[0046] Гистограмма HIST (203), которая содержит 512 двоичных значений строится исходя из дробной составляющей logY. Дробные значения логарифмической освещенности обрабатываются как 16-битные целочисленные величины. Так, интервал между двоичными значениями включает 65536/512=128. Затем HAMS-TMO 200 выполняет корректировки CLAHE на гистограмме. Динамический диапазон вычисляется исходя из гистограммы, например, в соответствии с примером псевдокода, показанным ниже в Таблице 3А.

ТАБЛИЦА 3A

[0047] Выходной динамический диапазон (ODR) выполнен с возможностью конфигурирования со значением по умолчанию 3,5 в области натуральных логарифмов (по основанию е), которая переводится в значение пять (5) по основанию 2. Коэффициент отсечения гистограммы «cf» вычисляется, например, согласно

и гистограмма может корректироваться им по нескольким операциям, например, в соответствии с псевдокодом, показанным ниже в Таблице 3 В.

ТАБЛИЦА 3B

Совокупная гистограмма вычисляется исходя из гистограммы, скорректированной и отображенной в 12-битную логарифмическую область в формате данных Q4.12, например, в соответствии с псевдокодом, показанным ниже в Таблице 3С.

ТАБЛИЦА 3C

[0048] Такое выравнивание гистограммы CLAHE генерирует кривую отображения, которая реализуется как оператор глобального тонального отображения для изображения logY. Так как кривая отображения содержит 512 двоичных значений, линейная интерполяция вычисляется по значениям освещенности в каждом из 512 двоичных значений, например, в соответствии с псевдокодом, показанным ниже в Таблице 3D.

ТАБЛИЦА 3D

Вывод отображения CLAHE включает изображение (204) logY в формате Q4.12. В одном из вариантов осуществления изобретения HAMS-TMO 200 реализован с блоком, который выполняет функцию нормирования тон