Устройство и способ для преобразования динамического диапазона изображений
Иллюстрации
Показать всеИзобретение относится к преобразованиям динамического диапазона для изображений. Техническим результатом является обеспечение возможности улучшенных преобразований динамического диапазона, которые могут адаптироваться к конкретным характеристикам визуализации изображения. Устройство обработки изображения содержит приемник (201) для приема сигнала изображения, второй приемник (1701) для приема сигнала данных от дисплея (107), процессор (203) динамического диапазона, выполненный с возможностью генерирования выходного изображения путем применения преобразования динамического диапазона к кодированному изображению, и выход (205) для вывода выходного сигнала изображения на дисплей. Сигнал изображения содержит кодированное изображение. Сигнал данных содержит поле данных, которое содержит индикацию динамического диапазона дисплея для дисплея (107), содержащую светимость точки белого, которая способна характеризовать, является ли дисплей дисплеем высокого динамического диапазона. Процессор (203) выполнен с возможностью применения преобразования динамического диапазона к сигналу изображения, являющемуся сигналом изображения высокого динамического диапазона, соответствующему абсолютной максимальной светимости целевого дисплея выше 500 нит. 5 н. и 19 з.п. ф-лы, 23 ил.
Реферат
ОБЛАСТЬ ТЕХНИКИ
Изобретение относится к преобразованиям динамического диапазона для изображений и, в частности, но не исключительно, к обработке изображений для генерации изображений высокого динамического диапазона из изображений низкого динамического диапазона или для генерации изображений низкого динамического диапазона из изображений высокого динамического диапазона.
ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ
Цифровое кодирование сигналов различных источников становится все более важным в последние десятилетия, так как цифровое представление сигнала и коммуникация все более заменяют аналоговое представление и коммуникацию. Постоянные исследования и разработки продолжается в направлении улучшения качества, которое может быть получено из кодированных изображений и видеопоследовательностей, в то же время сохраняя скорость передачи данных до приемлемых уровней.
Важным фактором для воспринимаемого качества изображения является динамический диапазон, который может быть воспроизведен, когда отображается изображение. Обычно динамический диапазон воспроизводимых изображений имеет тенденцию к существенному уменьшению по отношению к нормальному зрению. Действительно, уровни яркости, возникающие в реальном мире, охватывают динамический диапазон такого размера, как 14 порядков величины, варьируясь от безлунной ночи до прямого наблюдения солнца. Динамический диапазон мгновенной светимости и соответствующий отклик зрительной системы человека может находиться между 10,000:1 и 100,000:1 в солнечные дни или в ночное время (яркие отражения против темных теневых областей). Традиционно динамический диапазон дисплеев был ограничен 2-3 порядками величины, а также датчики имели ограниченный диапазон, например, <10,000:1 в зависимости от приемлемости шума. Следовательно, традиционно можно хранить и передавать изображения в 8-битных гамма-кодированных форматах без введения перцепционно заметных артефактов на традиционных устройствах визуализации. Однако, в попытке записать более точные и живые изображения, были разработаны новые датчики изображений высокого динамического диапазона (HDR), которые способны записывать динамические диапазоны более 6 порядков величины. Кроме того, большинство спецэффектов, расширение компьютерной графики и другая работа на завершающем этапе создания уже регулярно выполняются на более высоких битовых глубинах и с более высокими динамическими диапазонами.
Кроме того, контраст и пиковая светимость известных систем отображения продолжает увеличиваться. В последнее время были представлены новые дисплеи с пиковой светимостью до 3000 кандел/м2 и отношениями контраста 5-6 порядков величины («родной» дисплей, среда просмотра будет также влиять на визуализируемое в конечном счете отношение контраста, которое может для дневного просмотра телепрограмм даже падать ниже 50:1). Ожидается, что в будущем дисплеи смогут обеспечить даже более высокие динамические диапазоны и, в частности, более высокие пиковые светимости и отношения контраста. Когда традиционно кодированные 8-битовые сигналы отображаются на таких дисплеях, могут появиться раздражающие артефакты квантования и отсечки. Более того, традиционные форматы видео предлагают недостаточный запас и точность, чтобы передавать обогащенную информацию, содержащуюся в новых HDR изображениях.
В результате, существует растущая потребность в новых подходах, которые позволяют потребителю в полной мере воспользоваться возможностями современных (и будущих) сенсоров и систем отображения. Предпочтительно, представления такой дополнительной информации являются обратно совместимыми, так что унаследованное оборудование по-прежнему может принимать обычные видеопотоки, а новые устройства с возможностями HDR могут в полной мере воспользоваться дополнительной информацией, передаваемой в новом формате. Таким образом, желательным является то, что кодированные видеоданные не только представляют HDR изображения, но также позволяют кодировать соответствующие традиционные изображения низкого динамического диапазона (LDR), которые могут отображаться на обычном оборудовании.
Для того, чтобы успешно внедрить HDR системы и наиболее полно использовать возможности HDR, важно, чтобы принятый подход обеспечивал как обратную совместимость, так и обеспечивал возможность оптимизации или по меньшей мере адаптации к HDR дисплеям. Однако этому внутренне присущ конфликт между оптимизацией для HDR и оптимизацией для традиционного LDR.
Например, типично контент изображения, такие как видеоклипы, будут обрабатываться в студии (градация цветов и отображение тонов) для оптимального проявления на определенном дисплее. Традиционно, такая оптимизация выполнялась для LDR дисплеев. Например, в процессе производства для стандартного LDR дисплея, эксперты по грации цвета будут уравновешивать многие аспекты качества изображения для создания нужного "вида" для основной сюжетной линии. Это может включать балансировку региональных и локальных контрастов, иногда даже сознательно отсечение пикселей. Например, на дисплее с относительно низкой пиковой яркостью, вспышки или яркие блики часто сильно обрезаются, чтобы передать впечатление высокой яркости для зрителя (то же самое происходит для темных теневых деталей на дисплеях с плохими уровнями черного). Эта операция, как правило, выполняется в предположении номинального LDR дисплея, и традиционно дисплеи отклоняются сравнительно мало от таких номинальных LDR дисплеев так как, по существу все потребительские дисплеи являются LDR дисплеями.
Однако если фильм был адаптирован для HDR целевого дисплея, результат был бы совсем другим. Действительно, эксперты по цвету выполняли бы оптимизацию, которая приводила бы к совершенно иному отображению кода. Например, можно не только высвечивать и затенять детали, лучше сохраняемые на HDR дисплеях, но они также могут быть оптимизированы, чтобы иметь различное распределение по тонам средне-серого. Таким образом, оптимальное HDR изображение не достигается простым масштабированием LDR изображения на величину, соответствующую разнице в светимостях точки белого (максимально достижимая яркость).
В идеале, отдельные цветовые градуировки и отображения тонов будет выполняться для каждого возможного динамического диапазона дисплея. Например, одна видеопоследовательность будет для максимальной светимости точки белого 500 кд/м2, одна для 1000 кд/м2, одна для 1500 кд/м2 и т.д. до максимально возможной яркости. Данный дисплей может затем просто выбрать видеопоследовательность, соответствующую его яркости. Тем не менее, такой подход непрактичным, так как требует большого количества видеопоследовательностей, которые должны генерироваться, тем самым увеличивая ресурсы, необходимые для создания этих различных видеопоследовательностей. Кроме того, требуемые функциональные возможности хранения и распределения должны быть существенно увеличены. Кроме того, данный подход ограничит возможный максимальный уровень яркости дисплея до дискретных уровней, тем самым обеспечивая субоптимальную производительность для дисплеев с максимальными уровнями яркости дисплея между уровнями, для которых предоставляются видеопоследовательности. Кроме того, такой подход не позволит использовать будущие дисплеи, разработанные с более высокими максимальными уровнями яркости, чем для видеопоследовательности с наивысшим уровнем яркости.
Соответственно, ожидается, что лишь ограниченное число видеопоследовательностей будет создаваться на стороне предоставления контента, и ожидается, что автоматическое преобразование динамического диапазона будет применяться в более поздних точках в распределительной цепочке к таким видеопоследовательностям, чтобы генерировать видеопоследовательности, подходящие для конкретного дисплея, на котором видеопоследовательность визуализируется. Однако в таких подходах результирующее качество изображения сильно зависит от автоматического преобразования динамического диапазона.
Таким образом, улучшенный подход для поддержки различных динамических диапазонов для изображений и, предпочтительно, для поддержки изображений различных динамических диапазонов был бы полезным.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Соответственно, изобретение стремится предпочтительно уменьшить, облегчить или устранить один или более из указанных выше недостатков поодиночке или в любой комбинации.
В соответствии с одним аспектом данного изобретения предложено устройство обработки изображения, содержащее: приемник для приема сигнала изображения, причем сигнал изображения содержит по меньшей мере первое кодированное изображение и первое опорное значение целевого дисплея, причем первое опорное значение целевого дисплея указывает динамический диапазон первого целевого дисплея, для которого кодировано первое кодированное изображение; процессор динамического диапазона, выполненный с возможностью генерирования выходного изображения путем применения преобразования динамического диапазона к первому кодированному изображению в ответ на первое опорное значение целевого дисплея, и выход для вывода выходного сигнала изображения, содержащего выходное изображение.
Изобретение может позволить системе поддерживать изображения и/или дисплеи различного динамического диапазона. В частности, такой подход может обеспечить возможность улучшенных преобразований динамического диапазона, которые могут адаптироваться к конкретным характеристикам визуализации изображения. Во многих сценариях может быть достигнуто улучшенное преобразование динамического диапазона из LDR в HDR изображения или из HDR в LDR.
В некоторых вариантах осуществления, преобразование динамического диапазона увеличивает динамический диапазон выходного видеосигнала относительно первого кодированного изображения. В некоторых вариантах осуществления, преобразование динамического диапазона уменьшает динамический диапазон выходного видеосигнала относительно первого кодированного изображения.
Динамический диапазон соответствует диапазону визуализации светимости, т.е. диапазону от минимального светового выхода до максимального светового выхода для визуализируемого изображения. Таким образом, динамический диапазон не просто является отношением между максимальным значением и минимальным значением или мерой квантования (например, числом битов), но соответствует фактическому диапазону светимости для визуализации изображения. Таким образом, динамический диапазон может быть диапазоном значений светимости, например, измеряемым в канделах на квадратный метр (кд/м2), что также обозначается как нит. Динамический диапазон, таким образом, является диапазоном светимости от светового выхода (яркости), соответствующего минимальному значению светимости (часто считается абсолютно черным, т.е. без светового выхода) до светового выхода (яркости), соответствующего наивысшему значению светимости. Динамический диапазон может конкретно характеризоваться значением наивысшего светового выхода, также известным как точка белого, светимость точки белого, светимость белого или максимальная светимость. Для LDR изображений и LDR дисплеев точка белого типично равна 500 нит или менее.
Выходной сигнал изображения может быть подан, в частности, на дисплей, имеющий конкретный динамический диапазон, и, таким образом, преобразование динамического диапазона может преобразовывать кодированное изображение из динамического диапазона, указанного опорным значением целевого дисплея, в динамический диапазон дисплея, на котором визуализируется изображение.
Изображение может быть изображением последовательности движущегося изображения, таким как, например, кадр или изображение видеопоследовательности. В качестве другого примера, изображение может быть постоянным фоном или, например, наложенным изображением, таким как графика и т.д.
Первое кодированное изображение может конкретно быть LDR изображением, и выходное изображение может быть HDR изображением. Первый кодированное изображение может конкретно быть HDR изображением, и выходное изображение может быть LDR изображением.
В соответствии с опциональным признаком изобретения, первое опорное значение дисплея содержит светимость точки белого первого целевого дисплея.
Это может обеспечить предпочтительную операцию во многих вариантах осуществления. В частности, это может позволить низкую сложность и/или низкую служебную нагрузку, предоставляя достаточную информацию, чтобы обеспечивать возможность выполнения улучшенного преобразования динамического диапазона.
В соответствии с опциональным признаком изобретения, первое опорное значение целевого дисплея содержит индикацию электрооптической передаточной функции для первого целевого дисплея.
Это может обеспечить предпочтительную операцию во многих вариантах осуществления. В частности, это может позволить низкую сложность и/или низкую служебную нагрузку, обеспечивая достаточную информацию, чтобы обеспечивать возможность выполнения улучшенного преобразования динамического диапазона. Данный подход может, в частности, позволять преобразованию динамического диапазона также адаптироваться к конкретным характеристикам для, например, светимостей среднего диапазона. Например, это может позволить преобразованию динамического диапазона учитывать различия в гамме целевого дисплея и дисплея конечного пользователя.
В соответствии с опциональным признаком изобретения, первое опорное значение целевого дисплея содержит индикацию отображения тона, представляющую отображение тона, используемое для генерирования первого кодированного изображения для первого целевого дисплея.
Это может обеспечить возможность улучшенного преобразования динамического диапазона, которое должно выполняться во многих сценариях, и может, в частности, позволить преобразованию динамического диапазона компенсировать конкретные характеристики отображения тона, выполняемого на стороне создания контента.
В некоторых сценариях, устройство обработки изображения, таким образом, может учитывать как характеристики дисплея, для которого кодированное изображение было оптимизировано, так и характеристики конкретного отображения тона. Это может, например, позволить принимать во внимание субъективные и, например, художественные решения по отображению тона при преобразовании изображения из одного динамического диапазона в другой.
В соответствии с опциональным признаком изобретения, сигнал изображения дополнительно содержит поле данных, содержащее данные управления преобразованием динамического диапазона, и процессор динамического диапазона дополнительно выполнен с возможностью выполнять преобразование динамического диапазона в ответ на данные управления преобразованием динамического диапазона.
Это может обеспечить улучшенную производительность и/или функциональность во многих системах. В частности, это может позволить локализованную и целевую адаптацию к дисплеям конкретного динамического диапазона, все еще позволяя стороне провайдера контента, чтобы сохранить некоторый контроль над результирующими изображениями.
Данные управления преобразованием динамического диапазона могут включать в себя данные, специфицирующие характеристики преобразования динамического диапазона, которое должно и/или может быть применено, и/или они могут специфицировать рекомендуемые характеристики преобразования динамического диапазона.
В соответствии с опциональным признаком изобретения, данные управления преобразованием динамического диапазона включают в себя параметры различных преобразований динамического диапазона для различных максимальных уровней светимости дисплеев.
Это может обеспечить улучшенное управление и/или адаптацию во многих вариантах осуществления. В частности, это может позволить устройству 103 обработки изображений выбирать и применять соответствующие управляющие данные для конкретного динамического диапазона, для которого генерируется выходное изображение.
В соответствии с опциональным признаком изобретения, данные управления преобразованием динамического диапазона содержат различные параметры отображения тона для различных максимальных уровней светимости дисплея, а процессор динамического диапазона выполнен с возможностью определения параметров отображения тона для преобразования динамического диапазона в ответ на различные параметры отображения тона и максимальную светимость для сигнала выходного изображения.
Это может обеспечить улучшенное управление и/или адаптацию во многих вариантах осуществления. В частности, это может позволить устройству 103 обработки изображения выбирать и применять соответствующие данные управления для конкретного динамического диапазона, для которого сгенерировано выходное изображение. Параметры отображения тона могут специально обеспечивать параметры, которые должны, могут или являются рекомендованными для преобразования динамического диапазона.
В соответствии с опциональным признаком изобретения, данные управления преобразованием динамического диапазона содержат данные, определяющие набор параметров преобразования, которые должны применяться к преобразованию динамического диапазона.
Это может позволить стороне провайдера контента сохранять контроль над изображениями, визуализируемыми на дисплеях, поддерживаемых устройством обработки изображения. Это может обеспечивать однородность между различными ситуациями визуализации. Данный подход может, например, позволить провайдеру контента гарантировать, что художественное впечатление от изображения останется относительно неизменным при визуализации на разных дисплеях.
В соответствии с опциональным признаком изобретения данные управления преобразованием динамического диапазона содержат данные, определяющие границы для параметров преобразования, которые должны применяться преобразованием динамического диапазона.
Это может обеспечить улучшенные операции и улучшенный пользовательский опыт во многих вариантах осуществления. В частности, это может во многих сценариях достичь улучшенный компромисс между желанием провайдера контента сохранять контроль над визуализацией его контента, позволяя конечному пользователю настраивать его на свои предпочтения.
В соответствии с опциональным признаком изобретения, данные управления преобразованием динамического диапазона включают в себя данные управления различными преобразованиями для различных категорий изображений.
Это может обеспечить улучшенные преобразованные изображения во многих сценариях. В частности, это может позволить оптимизировать преобразование динамического диапазона для индивидуальных характеристики различных изображений. Например, различные преобразования динамического диапазона могут быть применены к изображениям, соответствующим основному изображению, изображениям, соответствующим графикам, изображениям, соответствующим фону, и т.д.
В соответствии с опциональным признаком изобретения, максимальная светимость динамического диапазона первого целевого дисплея составляет не менее 1000 нит.
Изображение, подлежащее преобразованию, может быть HDR изображением. Преобразование динамического диапазона может преобразовать такое HDR изображение в другое HDR изображение (ассоциированное с дисплеем, имеющим динамический диапазон не менее 1000 нит), имеющее отличающийся динамический диапазон. Таким образом, улучшение качества изображения может быть достигнуто путем преобразования одного HDR изображения для одного динамического диапазона в другое HDR изображения для другого динамического диапазона (который может иметь более высокую или более низкую светимость точки белого).
В соответствии с опциональным признаком изобретения, сигнал изображения содержит второе кодированное изображение и второе опорное значение целевого дисплея, причем второе опорное значение целевого дисплея указывает динамический диапазон второго целевого дисплея, для которого кодировано второе кодированное изображение, причем динамический диапазон второго целевого дисплея является другим, отличным от динамического диапазона первого целевого дисплея, и процессор динамического диапазона выполнен с возможностью применять преобразование динамического диапазона для второго кодированного изображения в ответ на второе опорное значение целевого дисплея.
Это может позволить улучшить выходное качество во многих сценариях. В частности, различные преобразования могут быть применены для первого кодированного изображения и для второго кодированного изображения в зависимости от различий соответствующих целевых дисплеев (и обычно в зависимости от того, как каждый из них связан с желательным динамическим диапазоном выходного изображения).
В соответствии с опциональным признаком изобретения, процессор динамического диапазона изображения выполнен с возможностью генерирования выходного изображения путем комбинирования первого кодированного изображения и второго кодированного изображения.
Это может обеспечить улучшенное качество изображения во многих вариантах осуществления и сценариях. В некоторых сценариях, комбинация может быть комбинацией выбора, где комбинация реализуется просто выбором одного из изображений.
В соответствии с опциональным признаком изобретения, устройство обработки изображения дополнительно включает в себя: приемник для приема сигнала данных от дисплея, причем сигнал данных содержит поле данных, которое содержит индикацию динамического диапазона дисплея для дисплея, причем индикация динамического диапазона дисплея содержит по меньшей мере одну спецификацию светимости; и процессор динамического диапазона выполнен с возможностью применять преобразование динамического диапазона для первого кодированного изображения в ответ на индикацию динамического диапазона дисплея.
Это может позволить улучшение визуализации изображения во многих вариантах осуществления.
В соответствии с опциональным признаком изобретения процессор динамического диапазона выполнен с возможностью выбирать между генерацией выходного изображения как первого кодированного изображения и генерацией выходного изображения как преобразованного изображения первого кодированного изображения в ответ на первое опорное значение целевого дисплея.
Это может позволить улучшение визуализации изображения во многих вариантах осуществления и/или может уменьшить вычислительную нагрузку. Например, если дисплей конечного пользователя имеет динамический диапазон, который очень близок к тому, для которого было сформировано кодированное изображение, улучшенное качество выводимого изображения, как правило, будет достигнуто, если принятое изображение используется непосредственно. Однако, если динамические диапазоны достаточно различны, улучшение качества достигается за счет обработки изображения, чтобы адаптировать его к отличающемуся динамическому диапазону. В некоторых вариантах осуществления преобразование динамического диапазона может быть просто адаптировано для переключения между нулевой операцией (с использованием первого кодированного изображения непосредственно) и применением заранее определенного фиксированного преобразования динамического диапазона, если опорное значение целевого дисплея достаточно отличается от дисплея конечного пользователя.
В соответствии с опциональным признаком изобретения преобразование динамического диапазона включает в себя преобразование гаммы.
Это может позволить генерацию улучшенного выходного изображения во многих вариантах осуществления и сценариях. В частности, это может позволить восприятие улучшенной визуализации цвета и может, например, компенсировать изменения в восприятии цвета, связанные с изменениями яркости областей изображения. В некоторых вариантах осуществления преобразование динамического диапазона может состоять в преобразовании гаммы.
В соответствии с опциональным признаком изобретения устройство обработки изображения дополнительно содержит передатчик данных управления для передачи данных управления динамическим диапазоном к источнику сигнала изображения.
Это может позволить источнику адаптировать сигнал изображения в ответ на данные управления динамическим диапазоном. Данные управления динамическим диапазоном могут конкретно включать индикацию предпочтительного динамического диапазона для изображения и/или индикацию динамического диапазона (например, светимости точки белого и, опционально, EOTF или функцию гаммы) для дисплея конечного пользователя.
Согласно одному аспекту изобретения, предоставляется устройство источника сигнала изображения, содержащее: приемник для приема кодированного изображения; генератор для генерирования сигнала изображения, содержащего кодированное изображение и опорное значение целевого дисплея, указывающее динамический диапазон целевого дисплея, для которого кодировано кодированное изображение; передатчик для передачи сигнала изображения.
Согласно одному аспекту изобретения, предложен способ обработки изображения, содержащий:
прием сигнала изображения, причем сигнал изображения содержит по меньшей мере первое кодированное изображение и первое опорное значение целевого дисплея, первое опорное значение целевого дисплея указывает динамический диапазон первого целевого дисплея, для которого кодировано первое кодированное изображение;
генерацию выходного изображения путем применения преобразования динамического диапазона к первому кодированному изображению в ответ на первое опорное значение целевого дисплея; и
вывод сигнала выходного изображения, включающего в себя выходное изображение.
В соответствии с аспектом настоящего изобретения, предложен способ передачи сигнала изображения, причем способ содержит: прием кодированного изображения, генерацию сигнала изображения, содержащего кодированное изображение и опорное значение целевого дисплея, указывающего динамический диапазон целевого дисплея, для которого кодировано кодированное изображение, и передачу сигнала изображения.
В соответствии с одним аспектом изобретения, предложен сигнал изображения, содержащий по меньшей мере первое кодированное изображение и первое опорное значение целевого дисплея, причем первое опорное значение целевого дисплея указывает динамический диапазон первого целевого дисплея, для которого кодировано первое кодированное изображение.
Эти и другие аспекты, признаки и преимущества настоящего изобретения будут очевидны и объяснены со ссылкой на вариант(ы) осуществления, описанные ниже.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Варианты осуществления настоящего изобретения будут описаны, только в качестве примера, со ссылкой на чертежи, на которых представлено следующее:
Фиг. 1 - иллюстрация примеров элементов системы визуализации изображения в соответствии с некоторыми вариантами осуществления изобретения;
Фиг. 2 - иллюстрация примера элементов устройства обработки изображения;
Фиг. 3 - пример отображения для устройства обработки изображения;
фиг. 4 - пример электрооптической передаточной функции (EOTF) для дисплея;
Фиг. 5 - пример модели для плоскостей презентации в режиме HDMV-2D стандарта Blu-RayTM;
Фиг. 6 - пример динамического диапазона обработки для HDR и LDR изображений;
Фиг. 7 - пример отображения для устройства обработки изображения;
Фиг. 8-10 - примеры изображений с различными преобразованиями динамических диапазонов при представлении на том же дисплее;
Фиг. 11 - пример соотношения между значениями светимости и возможными отображениями для устройства обработки изображения;
Фиг. 12 - пример отображения для устройства обработки изображения;
Фиг. 13 - пример отображения для устройства обработки изображения;
Фиг. 14 - структура потока графических данных в соответствии со стандартом Blu-RayTM;
Фиг. 15 - пример обработки динамического диапазона изображения и ассоциированное наложенное изображение графики;
Фиг. 16 - пример обработки для динамического диапазона для изображения и графики;
Фиг. 17 - иллюстрация примера элементов устройства обработки изображения;
Фиг. 18 - пример отображения для устройства обработки изображения;
Фиг. 19 - иллюстрация примера элементов устройства обработки изображения;
Фиг. 20 - пример отображения для устройства обработки изображения;
Фиг. 21 - иллюстрация примера элементов дисплея в соответствии с некоторыми вариантами осуществления изобретения;
Фиг. 22 - иллюстрация примера элементов устройства обработки изображения; и
Фиг. 23 - схематичная иллюстрация генерации 8-битового изображения, кодирующего HDR изображение посредством устройства кодирования.
ПОДРОБНОЕ ОПИСАНИЕ НЕКОТОРЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ
ФИГ. 1 иллюстрирует пример канала аудиовизуального распространения. В данном примере устройство 101 провайдера контента генерирует сигнал аудиовизуального контента для элемента аудиовизуального контента, такого как, например, фильм, телевизионная программа и т.д. Устройство 101 провайдера контента может специально кодировать аудиовизуальный контент в соответствии с подходящим форматом кодирования и представления цвета. В частности, устройство 101 провайдера контента может кодировать изображения видеопоследовательности элемента аудиовизуального контента в соответствии с подходящим представлением таким как, например, YCrCb. Устройство 101 провайдера контента может рассматриваться как представляющее компанию по производству и распределению, которая создает и осуществляет вещание контента.
Сигнал аудиовизуального контента затем распространяется на устройство 103 обработки изображения через канал 105 распространения. Устройство 103 обработки изображения может быть, например, телеприставкой, находящейся у конкретного потребителя элемента контента, например, персональным видеомагнитофоном, Blu-RayTM плеером, сетевым (например, Интернет) потоковым устройством, приемником спутникового или наземного телевидения и т.д.
Аудиовизуальный контент кодируется и распространяется из устройства 101 провайдера контента через среду, которая может, например, состоять из среды пакетированной передачи или коммуникационной среды. Затем он поступает в устройство источника в виде устройства 103 обработки изображения, которое включает в себя функциональные возможности для декодирования и воспроизведения контента.
Следует иметь в виду, что канал 105 распространения может быть любым каналом распространения и через любую среду или с использованием любого подходящего стандарта связи. Кроме того, канал распространения не обязательно должен быть в режиме реального времени, но может включать в себя постоянное или временное хранилище. Например, канал распространения может включать в себя Интернет, спутниковое, кабельное или наземное вещание, мобильную или стационарную сети связи и т.д., или хранилище на физически распределенных средах, таких как DVD или Blu-Ray DiscTM или карта памяти и т.д.
Устройство 103 обработки изображения связано с дисплеем 107 через коммуникационный канал 109. Устройство 103 обработки изображения генерирует сигнал отображения, представляющий элемент аудиовизуального контента. Таким образом, устройство-источник выполняет потоковую передачу декодированного контента в устройство-приемник, которым может быть телевизор или другое устройство, которое преобразует цифровые сигналы в физическое представление.
Устройство 103 обработки изображения может выполнять, например, алгоритмы повышения качества изображения или обработки сигнала на данных и может специально декодировать и повторно кодировать (обработанный) аудиовизуальный сигнал. Повторное кодирование может конкретно выполняться в другой формат кодирования или представления, иной, чем для принятого сигнала.
Система по фиг. 1 в некоторых вариантах осуществления выполнена с возможностью предоставления видеоинформации высокого динамического диапазона (HDR) на дисплей 107, а в других вариантах осуществления или сценариях выполнена с возможностью предоставления изображения низкого динамического диапазона (LDR) на дисплей 107. Кроме того, в целях обеспечения, например, улучшения обратной совместимости, в некоторых случаях она может иметь возможность обеспечивать одновременно как LDR, так и HDR изображение в зависимости от дисплея, на котором оно отображается. В частности, система имеет возможность передавать/распространять сигналы изображения, относящиеся как к LDR, так и HDR изображениям.
Обычные дисплеи типично используют LDR представление. Как правило, такие LDR представления обеспечиваются трехкомпонентным 8-битовым представлением, относящимся к специфицированным трех основным цветам. Например, представление RGB цветов может быть обеспечено тремя 8-битовыми выборками, относящимися к красному, зеленому и синему основным цветам, соответственно. Другое представление использует один компонент яркости и два компонента цветности, такие как YCrCb). Эти LDR представления соответствуют заданному диапазону яркости или светимости.
HDR в особенности обеспечивает возможность представления значительно более ярких изображений (или областей изображения) соответствующим образом на HDR дисплеях. Действительно, HDR изображение, отображаемое на HDR дисплее, может обеспечить существенно более яркий белый цвет, чем может быть обеспечено соответствующим LDR изображением, представляемым на LDR дисплее. Действительно, HDR дисплей может обеспечить обычно по меньшей мере в четыре раза более яркий белый цвет, чем LDR дисплей. Яркость может специально измеряться относительно самого темного черного, который может быть представлен или может быть измерен по отношению к данному уровню серого или черного.
LDR изображение может конкретно соответствовать определенным параметрам отображения, таким как фиксированное битовое разрешение, относящееся к конкретному набору основных цветов и/или конкретной точке белого. Например, 8 бит могут быть предусмотрены для данного набора RGB основных цветов и, например, точки белого 500 кд/м2. HDR изображение представляет собой изображение, которое включает в себя данные, которые должны быть визуализированы выше этих ограничений. В частности, яркость может быть более чем в четыре раза ярче, чем точка белого (например, 2000 кд/м2), или более.
Высокие пиксельные значения динамического диапазона имеют диапазон контраста светимости (наиболее яркая светимость в наборе пикселей, деленная на самую темную светимость), который (много) больше, чем диапазон, который может быть точно отображен на дисплеях, стандартизированных в NTSC и MPEG-2 (с их типичными основными цветами RGB и D65 белым с максимальным уровнем возбуждения [255, 255, 255], опорная яркость, например, 500 нит или ниже). Обычно для такого опорного дисплея 8 битов достаточны для отображения всех значений серого между примерно 500 нит и примерно 0,5 нит (т.е. с диапазоном контраста 1000: 1 или ниже) с визуально малыми ступеньками, в то время как HDR изображения кодируются с более высоким битовым словом, например, 10 бит (которое также захватывается камерой с большей глубиной темного пятна и ЦАП, например, на 14 бит). В частности, HDR изображения, как правило, содержат много пиксельных значений (ярких объектов изображения) выше белого сцены. В частности, некоторые пиксели ярче, чем двукратное значение белого сцены. Это белое сцены в типовом случае может быть приравнено к белому NTSC/MPEG-2 опорного дисплея.
Число битов, используемых для Х HDR изображения, обычно может быть больше или равно числу битов Y, используемых для LDR изображений (X обычно может быть, например, 10 или 12, или 14 битов (на цветовой канал, если используются некоторые из каналов), и Y может быть, например, 8 или 10 битов). Преобразование/отображение может потребоваться, чтобы подогнать пиксели в меньший диапазон, например, при масштабировании со сжа