Аппроксимация восстановления формы сигнала

Аппроксимация восстановления формы сигнала

Иллюстрации

Показать все

Реферат

ПЕРЕКРЕСТНЫЕ ССЫЛКИ НА РОДСТВЕННЫЕ ЗАЯВКИ

[0001] Настоящее изобретение испрашивает приоритет по предварительной патентной заявке США № 62/136,402, поданной 20 марта 2015 г., и предварительной патентной заявке США № 62/199,391, поданной 31 июля 2015 г., которые в полном объеме включены в данный документ посредством ссылки.

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0002] Настоящее изобретение относится, в целом, к обработке изображений и, в частности, к кодированию, декодированию и представлению видеоданных.

УРОВЕНЬ ТЕХНИКИ

[0003] Видеоданные, поступающие от расположенных ранее по схеме устройств на расположенные позднее по схеме устройства, могут поддерживать различные динамические диапазоны, цветовые пространства и т.д. Динамические диапазоны могут варьироваться от уровней яркости 10000 нит, 12000 нит или более на устройствах высокого класса до уровней яркости 100 нит, 300 нит, 600 нит и т.д. на устройствах низкого класса. Цветовые пространства могут включать в себя, без ограничения, линейные цветовые пространства, нелинейные цветовые пространства, перцепционно квантованные цветовые пространства и т.д.

[0004] Кроме того, метаданные, относящиеся к рабочим параметрам, используемым для кодирования видеоданных расположенными ранее по схеме устройствами, могут требоваться расположенным позднее по схеме устройствам для генерации рабочих параметров, используемых для декодирования видеосигналов, генерируемых расположенными ранее по схеме устройствами. Объем метаданных, необходимый расположенным позднее по схеме устройствам для операций декодирования сравнительно высокого качества, может быть слишком велик для передачи на и/или многие из расположенных позднее по схеме устройств обработки ими.

[0005] Подходы, описанные в этом разделе, являются подходами, которым можно следовать, но не обязательно подходами, сформулированными ранее или которым раньше следовали. Поэтому, если не указано обратное, не следует исходить из того, что любой из подходов, описанных в этом разделе, относится к уровню техники, лишь на том основании, что он включен в этот раздел. Аналогично, проблемы, идентифицированные в отношении одного или более подходов, не следует считать решенными ни в одном известном из уровня техники решении на основании этого раздела, если не указано обратное.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0006] Настоящее изобретение проиллюстрировано в порядке примера, но не ограничения, на фигурах прилагаемых чертежей, где сходные ссылочные позиции относятся к аналогичным элементам, и где:

[0007] фиг. 1A демонстрирует видеокодер;

[0008] фиг. 1B демонстрирует видеодекодер;

[0009] фиг. 2 демонстрирует иллюстративный способ аппроксимации функции восстановления формы;

[00010] фиг. 3A и фиг. 3B демонстрируют иллюстративные последовательности обработки для аппроксимации целевой LUT;

[0010] фиг. 4A - фиг. 4C демонстрируют иллюстративные алгоритмы классификации изображений;

[0011] фиг. 5A и фиг. 5B демонстрируют иллюстративные последовательности обработки для адаптивного восстановления формы и обратного отображения; и

[0012] фиг. 6 демонстрирует иллюстративную аппаратную платформу, на которой можно реализовать описанные здесь компьютер или вычислительное устройство.

ОПИСАНИЕ ИЛЛЮСТРАТИВНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0013] Здесь описаны иллюстративные варианты осуществления, которые относятся к кодированию, декодированию и представлению видеоданных. В нижеследующем описании, в целях объяснения, многочисленные конкретные детали изложены для обеспечения полного понимания настоящего изобретения. Однако следует понимать, что настоящее изобретение можно осуществлять на практике без этих конкретных деталей. В других случаях, общеизвестные конструкции и устройства не описаны слишком подробно, чтобы не перегружать настоящее изобретение несущественными деталями и не затемнять его смысл.

[0014] Иллюстративные варианты осуществления описаны здесь согласно следующей схеме:

1. Общий обзор

2. Кодирование адаптивно восстановленного по форме видеоконтента

3. Декодирование адаптивно восстановленного по форме видеоконтента

4. Степенные функции для адаптивного восстановления формы

5. Аппроксимация функций, относящихся к адаптивному восстановлению формы

6. Иллюстративные последовательности обработки

7. Оптимизации в реальном времени

8. Механизмы реализации - обзор оборудования

9. Эквиваленты, расширения, альтернативы и смешанные

1. Общий обзор

[0015] Этот обзор представляет основное описание некоторых аспектов иллюстративного варианта осуществления настоящего изобретения. Следует отметить, что этот обзор не является обширной или исчерпывающей сводкой аспектов иллюстративного варианта осуществления. Кроме того, следует отметить, что этот обзор не следует рассматривать как идентифицирующий какие-либо особо значимые аспекты или элементы иллюстративного варианта осуществления или как-либо ограничивающий объем иллюстративного варианта осуществления в частности и изобретение в целом. Этот обзор лишь представляет некоторые принципы, относящиеся к иллюстративному варианту осуществления, в сжатой и упрощенной форме, и подлежит рассмотрению лишь в качестве принципиальной прелюдии к нижеследующему более подробному описанию иллюстративных вариантов осуществления.

[0016] Без использования описанного здесь адаптивного восстановления формы, видеокодек выделяет доступные кодовые слова на сравнительно низкой битовой глубине (например, двухканальные 8-битовые видеосигналы, одноканальные 10-битовые видеосигналы и т.д.), таким образом, чтобы можно было не сохранять визуальные детали исходного видеоконтента (например, опорный кодированный видеоконтент, опорный кодированный видеоконтент PQ и т.д.) первоначально кодированный доступными кодовыми словами на сравнительно высокой глубине. Например, кодек (например, кодек гамма-области и т.д.) без использования описанного здесь адаптивного восстановления формы может перевыделять кодовые слова поддиапазонам высокой яркости (например, ярким участкам, выделениям и т.д.) и недовыделять кодовые слова поддиапазону низкой яркости (например, темным участкам, темным областям и т.д.). В результате, визуальные детали перцепционно кодированного исходного видеоконтента могут без необходимости утрачиваться согласно этим другим методам.

[0017] Видеокодек, реализующий описанные здесь методы адаптивного восстановления формы, выделяет доступные кодовые слова на конкретной битовой глубине (например, 8 битов и т.д.) таким образом, чтобы сохранить визуальные детали в разнообразном исходном видеоконтенте. В некоторых вариантах осуществления, видеокодек выбирает/определяет конкретные значения параметров (например, значения показателя в степенных функциях, наклоны в линейном квантовании, оси в кусочно-линейном квантовании и т.д.) на основании результатов анализа контент изображения, переносимых кадрами изображения (например, в сцене и т.д.) в исходном видеоконтенте. Если контент изображения содержит больше участков выделения или больше уровней яркости, значения параметров можно выбирать/определять так, чтобы больше представленных уровней яркости в поддиапазоне высокой яркости было доступно для операций кодирования или декодирования. Если контент изображения содержит меньше участков выделения или меньше уровней яркости, значения параметров можно выбирать/определять так, чтобы меньше представленных уровней яркости в поддиапазоне высокой яркости было доступно для операций кодирования или декодирования. Аналогично, если контент изображения содержит больше темных участков или больше уровней яркости, параметр можно выбирать/определять так, чтобы больше представленных уровней яркости в поддиапазоне низкой яркости было доступно для операций кодирования или декодирования. Если контент изображения содержит меньше темных участков или меньше уровней яркости, значения параметров можно выбирать/определять так, чтобы меньше представленных уровней яркости в поддиапазоне низкой яркости было доступно для операций кодирования или декодирования.

[0018] Описанные здесь методы можно использовать для поддержки операций кодирования (например, кодирования, декодирования, перекодирования и т.д.) для видеосигналов (например, кодированных битовых потоков и т.д.), которые содержат либо один слой, либо более одного слоя (например, два слоя, несколько слоев, комбинацию базового слоя и одного или более слоев улучшения и т.д.). Эти методы можно реализовать посредством программного обеспечения, аппаратного обеспечения, комбинации программного обеспечения и аппаратного обеспечения, и могут применяться различными вычислительными устройствами, мультимедийными устройствами, мобильными устройствами и т.д. По меньшей мере, некоторые из методов могут быть собраны в один или более профилей технических признаков (например, мобильный профиль, планшетный профиль, профиль домашней увеселительной системы и т.д.), которые могут выпускаться независимо или совместно с другими поставщиками, разработчиками, производителями и т.д.

[0019] Видеокодек, который осуществляет описанные здесь методы для адаптивного восстановления формы видеосигнала, может использоваться для поддержки один или более из обратно совместимых (BC) видеоприложений, не обладающих обратной совместимостью (NBC) видеоприложений и т.д. Примеры систем с таким видеокодеком могут включать в себя, но без ограничения, любой из: однослойного 12-битового кодека, двухслойного 8-битового кодека, многослойного кодека, не обладающего обратной совместимостью кодека восстановления формы, обратно совместимого кодека, кодека, реализующего набор настроек/требований/возможностей в усовершенствованном видеокодировании (AVC), кодека, реализующего набор настроек/требований/возможностей в высокопроизводительном видеокодировании (HEVC) и т.д.

[0020] Некоторые примеры не обладающего обратной совместимостью кодека восстановления формы описаны в патентной заявке PCT № PCT/US2014/031716, поданной 25 марта 2014 г., принадлежащей правопреемнику настоящей заявки, содержание которой включено посредством ссылки для всех целей, как если бы было полностью изложено здесь. Некоторые примеры обратно совместимого кодека восстановления формы описаны в патентной заявке PCT № PCT/US2012/062932, поданной 1 ноября, 2012 г., принадлежащей правопреемнику настоящей заявки, содержание которой включено посредством ссылки для всех целей, как если бы было полностью изложено здесь.

[0021] В некоторых вариантах осуществления, описанная здесь система кодека осуществляет способ криволинейной аппроксимации для аппроксимации произвольной функции восстановления формы с использованием ограниченного количества полиномов, которые минимизируют общую максимальную ошибку. Дополнительно, в необязательном порядке, или альтернативно, система кодека может осуществлять адаптивный алгоритм выбора параметров для определения или выбора параметров адаптивного восстановления формы, используемых совместно с функцией восстановления формы для достижения более высокого перцептивного качества, чем в ином случае.

[0022] Исходный видеопакет для медиапрограммы может иметь сравнительно большой размер файла, поскольку исходный видеопакет может содержать исходный видеоконтент со сравнительно высоким пространственным разрешением (например, 4k, 8k и т.д.), сравнительно большим динамическим диапазоном, сравнительно широкой цветовой гаммой. В некоторых вариантах осуществления, исходный видеоконтент, закодированный в видеосигнал сравнительно высокой битовой глубины (например, 12-битовый видеосигнал, 14+-битовый видеосигнал и т.д.), может перекодироваться в кодированный видеоконтент значительно меньшего размера, по меньшей мере частично, на основании адаптивного восстановления формы сигнала.

[0023] Например, исходный контент может кодироваться в 12-битовый PQ видеосигнал исходными кодовыми словами, которые соответствуют (например, фиксированным, неадаптивно восстановленным по форме и т.д.) яркостным или цветностным значениям от изображения к изображению, от сцены к сцене, от медиапрограммы к медиапрограмме и т.д.

[0024] Используемый здесь термин ʺPQʺ означает перцептивное квантование амплитуды яркости. Зрительная система человека реагирует на увеличение уровня освещенности весьма нелинейно. Способность человека видеть раздражитель определяется яркостью этого раздражителя, размером раздражителя, пространственными частотами, образующими раздражитель, и уровнем яркости, к которому приспособились глаза в конкретный момент наблюдения раздражителя. Согласно варианту осуществления, функция перцептивного квантователя отображает линейные входные уровни серого в выходные уровни серого, которые лучше совпадают с порогами контрастной чувствительности в зрительной системе человека. Примеры отображающих функций PQ (или EOTF) описаны в SMPTE ST 2084:2014 ʺHigh Dynamic Range EOTF of Mastering Reference Displaysʺ, который в полном объеме включен в настоящее описание изобретения посредством ссылки, где при фиксированном размере раздражителя, для каждого уровня яркости (т.е. уровне раздражителя), минимальный шаг видимой контрастности с которым выбирается уровень яркости согласно наиболее чувствительному уровню адаптации и наиболее чувствительной пространственной частоте (согласно моделям HVS). По сравнению с традиционной гамма-кривой, которая представляет кривую характеристики физического устройства электронно-лучевой трубки (CRT) и одновременно может быть очень мало похожей на реакцию зрительной системы человека, кривая PQ имитирует истинный визуальный отклик зрительной системы человека с использованием сравнительно простой функциональной модели.

[0025] Исходный контент, кодированный в 12-битовом PQ видеосигнале, может иметь сравнительно высокий динамический диапазон, например, динамический диапазон до 12000 нит и т.д. Напротив, кодированный видеоконтент может кодироваться в 10-битовом видеосигнале адаптивно восстановленными по форме кодовыми словами, которые не обязаны соответствовать фиксированным яркостным или цветностным значениям от изображения к изображению, от сцены к сцене, от медиапрограммы к медиапрограмме и т.д. Адаптивно восстановленные по форме кодовые слова в пространстве 10-битовых кодовых слов могут (например, адаптивно и т.д.) отображаться в исходные кодовые слова в пространстве 12-битовых кодовых слов на основании функции адаптивного восстановления формы, которая может изменяться от изображения к изображению, от сцены к сцене, от медиапрограммы к медиапрограмме и т.д. В результате, кодированный видеоконтент, будучи кодирован в 10-битовый сигнал, может поддерживать сравнительно высокий динамический диапазон, вплоть до полного динамического диапазона, поддерживаемого исходным видеоконтентом, который кодируется в 12-битовый сигнал. Функцию адаптивного восстановления формы можно представить одним или более из кривых квантования, поисковых таблиц (LUT), отображений кодовых слов и т.д.

[0026] В некоторых вариантах осуществления, некоторые или все из кривых квантования, поисковых таблиц (LUT), отображений кодовых слов и т.д., представляющих функцию адаптивного восстановления формы, используемую расположенным ранее по схеме устройством для осуществления адаптивного восстановления формы исходного видеосигнал, могут передаваться как композиционные метаданные с кодированным видеоконтентом, закодированным в 10-битовый сигнал, от расположенного ранее по схеме устройства (например, видеокодера, перекодировщика видеосигнала и т.д.) прямо или косвенно на расположенные позднее по схеме устройства-получатели (например, видеодекодер, перекодировщик видеосигнала и т.д.). Функция адаптивного восстановления формы, представленная кривыми квантования, поисковыми таблицами (LUT), отображениями кодовых слов и т.д., может использоваться расположенными позднее по схеме устройствами-получателями для реконструкции версии исходного видеоконтента из кодированного видеоконтента. Например, адаптивно восстановленные по форме кодовые слова в кодированном видеоконтенте могут обратно отображаться, на основании функции адаптивного восстановления формы или обратной ей, в набор кодовых слов (например, в пространстве 12-битовых кодовых слов и т.д.), эквивалентных исходным кодовым словам, присутствовавшим в исходном видеоконтенте.

[0027] Композиционные метаданные, которые включают в себя представление функции адаптивного восстановления формы, могут быть слишком велики для передачи и/или обработки некоторыми расположенными позднее по схеме устройствами. Расположенные позднее по схеме устройства, которые испытывают трудности в обработке сравнительно больших объемов метаданных (например, относящихся к обработке видеосигнала, например, композиционных метаданных и т.д.) могут включать в себя, но без ограничения, любые из: мобильных устройств, устройств с малым объемом памяти, вычислительных устройств со сравнительно ограниченными возможностями для обработки видеосигнала, вычислительных устройств, которые включают в себя модули типа "система на кристалле" (SoC) со сравнительно ограниченными возможностями для обработки видеосигнала, вычислительных устройств, которые включают в себя форматы видеосигнала, реализации, конструкции, аппаратное обеспечение, программное обеспечение, программно-аппаратное обеспечение и т.д., которые поддерживают передачу/прием сравнительно малых объемов метаданных, и т.д.

[0028] Согласно описанным здесь методам, функцию адаптивного восстановления формы можно аппроксимировать ограниченным количеством простых математических функций, например, полиномов, кусочно-линейных (PWL) отрезков и т.д. В неограничительном иллюстративном варианте осуществления, функция адаптивного восстановления формы аппроксимируется ограниченным количеством (например, 4, 8, 12, другое положительное целое число, большее единицы, и т.д.) полиномиальных функций (например, линейных, 2-го порядка и т.д.) с ограниченным количеством битов для каждого коэффициента и с минимизированными ошибками аппроксимации. Минимизированные ошибки аппроксимации в аппроксимации функции адаптивного восстановления формы ограниченным количеством полиномиальных функций проводятся для минимизации ошибок в обратном отображении, которое осуществляется на основании аппроксимации функции адаптивного восстановления формы ограниченным количеством полиномиальных функций.

[0029] Адаптивное восстановление формы может осуществляться на различных видеосигналах и/или видеоконтенте во многих различных формах. В частности, описанные здесь методы применимы при аппроксимации любой функции адаптивного восстановления формы, в том числе, но без ограничения, произвольной LUT.

[0030] В некоторых иллюстративных вариантах осуществления, описанные здесь механизмы образуют часть системы обработки медиаданных, в том числе, но без ограничения, любой из: карманного устройства, игрового аппарата, телевизора, портативного компьютера, компьютера типа нетбук, планшетного компьютера, сотового радиотелефона, устройства чтения электронных книг, торгового терминала, настольного компьютера, компьютерной рабочей станции, компьютерного киоска или различных других видов терминалов и блоков обработки медиаданных.

[0031] Различные модификации предпочтительных вариантов осуществления и описанные здесь общие принципы и признаки будут очевидны специалистам в данной области техники. Таким образом, изобретение не подлежит ограничению показанными вариантами осуществления, но подлежит рассмотрению в самом широком объеме, согласующемся с описанными здесь принципами и признаками.

2. Кодирование адаптивно восстановленного по форме видеоконтента

[0032] Фиг. 1A демонстрирует иллюстративный видеокодер 102, который можно использовать как расположенное ранее по схеме устройство для доставки выходного видеосигнала (или восстановленного по форме видеосигнала), кодированного адаптивно восстановленным по форме видеоконтентом, на расположенные позднее по схеме устройства (одним из которых может быть, например, видеодекодер 152, показанный на фиг. 1B и т.д.). Видеокодер (102) можно реализовать посредством одного или более вычислительных устройств. В некоторых вариантах осуществления, видеокодер (102) содержит декодер 104 исходного контента, адаптивный восстановитель 106 формы контента, кодер 108 восстановленного по форме контента и т.д.

[0033] В некоторых вариантах осуществления, декодер (104) исходного контента содержит программное обеспечение, аппаратное обеспечение, комбинацию программного обеспечения и аппаратного обеспечения и т.д., выполненное с возможностью приема одного или более исходных видеосигналов (например, кодированных битовых потоков и т.д.), декодирования исходных видеосигналов в исходный видеоконтент. В некоторых вариантах осуществления, исходный видеоконтент декодируется из однослойного видеосигнала, кодированного исходным видеоконтентом, в однослойный. В некоторых вариантах осуществления, исходный видеоконтент декодируется из многослойного кодированного видеосигнала, кодированного исходным видеоконтентом в более чем одном слое (например, базовом слое и одном или более слоях улучшения и т.д.).

[0034] В некоторых вариантах осуществления, адаптивный восстановитель (106) формы контента содержит программное обеспечение, аппаратное обеспечение, комбинацию программного обеспечения и аппаратного обеспечения и т.д., выполненное с возможностью осуществления операций адаптивного восстановления формы на исходном видеоконтенте для генерации восстановленного по форме видеоконтента. Один или оба из исходного видеоконтента или восстановленного по форме контента может использоваться для одного или более из обратно совместимых (BC) видеоприложений, не обладающих обратной совместимостью (NBC) видеоприложений и т.д.

[0035] В некоторых вариантах осуществления, адаптивный восстановитель (106) формы контента выполнен с возможностью выбора и применения функции восстановления формы для восстановления формы исходных кодовых слов в одном или более изображений, одной или более сцен и т.д., представленных в исходном видеоконтенте, в восстановленные по форме кодовые слова в одном или более соответствующих изображений, одной или более соответствующих сцен и т.д., представленных в восстановленном по форме видеоконтенте. Согласно описанным здесь методам, выбор функции восстановления формы и/или параметров адаптивного восстановления формы, используемых в функции восстановления формы адаптивно осуществляется на основании фактического контента в изображениях, сценах и т.д., представленных в исходном видеоконтенте. Дополнительно, в необязательном порядке, или альтернативно, выбор функции восстановления формы и/или параметров адаптивного восстановления формы, используемых в функции восстановления формы, может адаптивно осуществляться, пока эти изображения, сцены и т.д. обрабатываются видеокодером (102).

[0036] Адаптивный восстановитель (106) формы контента может, но без ограничения, быть выполнен с возможностью использования прямых степенных функций в качестве функций восстановления формы. Адаптивный восстановитель (106) формы контента может быть выполнен с возможностью определения, содержит ли изображение большие гладкие яркие области, большие темные черные области и т.д., является ли изображение полутоновым изображением и т.д. На основании такого определения, можно выбирать параметры адаптивного восстановления формы, например, значения показателя прямых степенных функций и т.д.

[0037] В некоторых вариантах осуществления, адаптивный восстановитель (106) формы контента применяет операции адаптивного восстановления формы к исходным кодовым словам в исходном видеоконтенте непосредственно на основании выбранной функции адаптивного восстановления формы с выбранными параметрами адаптивного восстановления формы.

[0038] В некоторых вариантах осуществления, функцию адаптивного восстановления формы можно представить посредством LUT, которая содержит множество записей, каждая из которых отображает исходное кодовое слово в наборе доступных исходных кодовых слов, используемых для кодирования исходного видеоконтента, в восстановленного по форме кодовое слово в наборе доступных восстановленных по форме кодовых слов, используемых для кодирования восстановленного по форме видеоконтента. Первая LUT, используемая для восстановления формы одного или более первых изображений в исходном видеоконтенте может отличаться от второй LUT, используемой для восстановления формы одного или более вторых изображений в исходном видеоконтенте. В некоторых вариантах осуществления, набор доступных исходных кодовых слов может оставаться одинаковым для первых изображений и вторых изображений. Например, если адаптивный восстановитель (106) формы контента определяет, что первые изображения являются гладкими яркими изображениями, то LUT, или функция адаптивного восстановления формы, которая представляет LUT, может иметь сравнительно большое количество доступных восстановленных по форме кодовых слов, соответствующих ярким значениям яркости. В результате, артефакты оконтуривания/сегментации можно ослаблять, или их можно избагать, даже когда восстановленный по форме видеоконтент кодируется в восстановленный по форме видеосигнал (например, двухслойный 8-битовый видеосигнал, однослойный 10-битовый видеосигнал и т.д.) с меньшей битовой глубиной, чем у исходного видеосигнала (например, 12-битового видеосигнала, 14+-битового видеосигнала и т.д.). С другой стороны, если адаптивный восстановитель (106) формы контента определяет, что вторые изображения являются гладкими темными изображениями (но не чисто черным изображением), то LUT, или функция адаптивного восстановления формы, которая представляет LUT, может иметь сравнительно большое количество доступных восстановленных по форме кодовых слов, соответствующих темным значениям яркости. В результате, детали изображения в темных областях могут сохраняться в восстановленном по форме видеоконтенте, кодированном в восстановленном по форме видеосигнале. В некоторых вариантах осуществления, адаптивный восстановитель (106) формы контента применяет операции адаптивного восстановления формы к исходным кодовым словам в исходном видеоконтенте на основании LUT, причем LUT может генерироваться на основании выбранной функции адаптивного восстановления формы, или сама LUT может рассматриваться как выбранная функция адаптивного восстановления формы.

[0039] В некоторых вариантах осуществления, адаптивный восстановитель (106) формы контента определяет аппроксимацию (целевой) LUT, которая представляет функцию восстановления формы или эквивалентна ей. Например, адаптивный восстановитель (106) формы контента может, но без ограничения, аппроксимировать LUT полиномами, конкретно определяемыми коэффициентами для минимизации ошибок между отображением, представленным полиномами, и отображением, представленным целевой LUT. В некоторых вариантах осуществления, адаптивный восстановитель (106) формы контента применяет операции адаптивного восстановления формы к исходным кодовым словам в исходном видеоконтенте на основании полиномов, которые аппроксимируют целевую LUT, или функцию восстановления формы, представленную LUT.

[0040] Независимо от того, каким образом видеокодер (102) может применять операции адаптивного восстановления формы (например, на основании функции восстановления формы, например, аналитической или неаналитической функции или кусочно-аналитической функции, на основании LUT, которая может представлять или не представлять аналитическую функцию, на основании аппроксимации LUT, которая может генерироваться или не генерироваться на основании аналитической функции и т.д.), видеокодер (102) может быть выполнен с возможностью генерации одного или более типов параметров адаптивного восстановления формы и передачи, по меньшей мере, один из одного или более типов параметров адаптивного восстановления формы на расположенные позднее по схеме устройства-получатели.

[0041] В некоторых вариантах осуществления, адаптивный восстановитель (106) формы контента выполнен с возможностью определения аппроксимации (целевой) LUT (или обратной LUT), которая представляет функцию, обратную к функции восстановления формы. Композиционные метаданные, задающие аппроксимацию целевой LUT, которая представляет функцию, обратную к функции восстановления формы, может генерироваться и передаваться как часть общих метаданных, переносимых в восстановленном по форме видеосигнале видеокодером (102) на расположенные позднее по схеме устройства-получатели например, видеодекодер 152, показанный на фиг. 1B, и т.д.

[0042] В некоторых вариантах осуществления, видеодекодер (152) может быть выполнен с возможностью приема или реконструкции аппроксимации целевой LUT, которая представляет функцию, обратную к функции восстановления формы на основании композиционных метаданных, декодированных/извлеченных из восстановленного по форме видеосигнала. Видеодекодер (152) может быть выполнен с возможностью применения операций обратного отображения на восстановленном по форме видеоконтенте, происходящем от видеокодера, декодированном из восстановленного по форме видеосигнала с использованием аппроксимации целевой LUT, независимо от того, применяет ли адаптивный восстановитель (106) формы контента операции адаптивного восстановления формы к исходным кодовым словам в исходном видеоконтенте, на основании функции восстановления формы, или, альтернативно, на основании прямой LUT, которая представляет функцию восстановления формы, или, альтернативно, на основании аппроксимации прямой LUT.

[0043] Дополнительно, в необязательном порядке, или альтернативно, в некоторых вариантах осуществления, адаптивный восстановитель (106) формы контента выполнен с возможностью генерации композиционных метаданных, задающих целевую LUT, которая представляет функцию, обратную к функции восстановления формы, и передачи композиционных метаданных как части общих метаданных, переносимых в восстановленном по форме видеосигнале видеокодером (102) на расположенные позднее по схеме устройства-получатели например, видеодекодер 152, показанный на фиг. 1B, и т.д. В некоторых вариантах осуществления, видеодекодер (152) может быть выполнен с возможностью приема или реконструкции целевой LUT на основании композиционных метаданных, декодированных/извлеченных из восстановленного по форме видеосигнала. Видеодекодер (152) может быть выполнен с возможностью применения операций обратного отображения на восстановленном по форме видеоконтенте, происходящем от видеокодера, декодированном из восстановленного по форме видеосигнала с использованием целевой LUT, независимо от того, применяет ли адаптивный восстановитель (106) формы контента операции адаптивного восстановления формы к исходным кодовым словам в исходном видеоконтенте, на основании функции восстановления формы, или, альтернативно, на основании прямой LUT, которая представляет функцию восстановления формы, или, альтернативно, на основании аппроксимации прямой LUT.

[0044] Дополнительно, в необязательном порядке, или альтернативно, в некоторых вариантах осуществления, адаптивный восстановитель (106) формы контента выполнен с возможностью генерации композиционных метаданных, задающих функцию, обратную к функции восстановления формы, и передачи композиционных метаданных как части общих метаданных, переносимых в восстановленном по форме видеосигнале видеокодером (102) на расположенные позднее по схеме устройства-получатели например, видеодекодер 152, показанный на фиг. 1B, и т.д. В некоторых вариантах осуществления, видеодекодер (152) может быть выполнен с возможностью приема или реконструкции функции, обратной к функции восстановления формы на основании композиционных метаданных, декодированных/извлеченных из восстановленного по форме видеосигнала. Видеодекодер (152) может быть выполнен с возможностью применения операций обратного отображения на восстановленном по форме видеоконтенте, происходящем от видеокодера, декодированном из восстановленного по форме видеосигнала с использованием функции, обратной к функции восстановления формы, независимо от того, применяет ли адаптивный восстановитель (106) формы контента операции адаптивного восстановления формы к исходным кодовым словам в исходном видеоконтенте, на основании функции восстановления формы, или, альтернативно, на основании прямой LUT, которая представляет функцию восстановления формы, или, альтернативно, на основании аппроксимации прямой LUT.

[0045] В некоторых вариантах осуществления, кодер (108) восстановленного по форме контента содержит программное обеспечение, аппаратное обеспечение, комбинацию программного обеспечения и аппаратного обеспечения и т.д., выполненное с возможностью кодирования восстановленного по форме видеоконтента в восстановленный по форме видеосигнал (например, двухслойный 8-битовый видеосигнал, кодированный восстановленным по форме видеосигналом, однослойный 10-битовый видеосигнал, кодированный восстановленным по форме видеосигналом, и т.д.). Дополнительно, в необязательном порядке, или альтернативно, видеокодер (102) или, в данном случае, кодер восстановленного по форме контента, выводит метаданные, содержащие некоторые или все из рабочих параметров, используемых в операциях видеокодера (102), как часть восстановленного по форме видеосигнала, на расположенное позднее по схеме устройство (например, видеодекодер 152, показанный на фиг. 1B, и т.д.). Рабочие параметры в метаданных, передаваемых на расположенные позднее по схеме устройства, включают в себя, но без ограничения, любые из: композиционных метаданных, содержащих параметры адаптивного восстановления формы, задающие функции восстановления формы или обратные им, композиционных метаданных, задающих LUT, которые представляют функции восстановления формы или обратные им, композиционных метаданных, задающих аппроксимации одной или более из функций восстановления формы или функций, обратных функциям восстановления формы, одного или более из параметров отображения тонов, параметров отсечения, значений показателя, используемых в степенных функциях для гамма-сжатия, параметров обратного отображения, LUT, осевых значений в кусочно-линейных (PWL) функциях, параметров нелинейного квантования, параметров нелинейного квантования (NLQ) и т.д. Метаданные могут составлять часть данных, переносимых в слоях, содержащих кодированный видеоконтент, или в отдельном битовом подпотоке общего битового потока видео, например, как часть информации дополнительного улучшения (SEI) или другие аналогичные носители метаданных, доступных в битовом потоке видео. Иллюстративный битовый подпоток может представлять собой поток опорных единиц обработки (RPU), разработанный Dolby Laboratories, Inc.

[0046] Используемый здесь термин ʺбитовая глубинаʺ означает количество битов, обеспеченных в пространстве кодирования, которое обеспечивает доступные кодовые слова для кодирования или квантования данных изображения; примером низкой битовой глубины является 8 битов; примером высокой битовой глубины является 12 битов или более.

[0047] Используемый здесь термин "видеоконтент" может содержать последовательность изображений или кадров. Используемый здесь термин ʺисходное изображениеʺ может означать изображение, например, изображение, связанное со сценой, захваченной устройством получения высококачественного изображения, опорное кодированное изображение, PQ кодированное изображение и т.д. Исходное изображение может содержать кодовые слова, доступные в пространстве кодовых слов сравнительно большой битовой глубины.

[0048] Такое изображение, как исходное изображение, восстановленное по форме изображение, реконструированное изображение и т.д., может существовать в любом цветовом пространстве. Например, исходное изображение может представлять собой 12+-битовое изображение в цветовом пространстве YCbCr, в цветовом пространстве RGB, в цветовом пространстве XYZ, в цветовом пространстве YDzDx, в цветовом пространстве IPT и т.д. Например, каждый пиксель, представленный в изображении, содержит кодовые слова для