Способ и система для компенсации освещенности и перехода при кодировании и обработке видеосигнала

Способ и система для компенсации освещенности и перехода при кодировании и обработке видеосигнала

Иллюстрации

Показать все

Реферат

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

[0001] Данная заявка заявляет приоритет предварительной заявки на патент США №61/380111, поданной 3 сентября 2010 г., которая ссылкой включается в данное раскрытие полностью во всех отношениях.

ОБЛАСТЬ ТЕХНИЧЕСКОГО ПРИМЕНЕНИЯ

[0002] Настоящее изобретение, в общем, относится к обработке изображений. В частности, один из вариантов осуществления настоящего изобретения относится к получению параметров компенсации освещенности и обнаружению преобладающих типов переходов освещенности при кодировании и обработке видеосигнала.

ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯ

[0003] Переходы от одной картинки к следующей картинке видеосигнала часто отличаются каким-либо движением на новой картинке относительно предыдущей картинки, которая могла быть подвергнута операции сжатия или обработки, появлением или исчезновением какого-либо объекта или его части, или возникновением новой сцены, что в совокупности может делать предыдущую кодированную, обработанную или оригинальную картинку менее пригодной для использования в качестве опорной картинки для предсказания. Большинство таких событий могут моделироваться с использованием компенсации движения (частного случая межкадрового предсказания) и внутрикадрового предсказания. Компенсация движения используется для предсказания дискретных значений на текущей картинке с использованием дискретных значений на одной или нескольких ранее кодированных картинках. Конкретнее, при компенсации движения на основе блока блок дискретных значений на текущей картинке предсказывается исходя из блока дискретных значений на некоторой уже декодированной опорной картинке. Последний известен как блок предсказания. Блок предсказания может быть таким простым, как блок, расположенный в том же положении на какой-либо ранее кодированной картинке, что соответствует вектору движения, состоящему из нулей. Однако для учета движения передается вектор движения, который дает команду декодеру использовать какой-либо другой, смещенный блок, который более близко соответствует блоку, который предсказывается. Модель движения может быть такой простой, как трансляционная, где параметры движения состоят из вектора движения при горизонтальном и вертикальном перемещении, или такой сложной, как аффинная или перспективная модели преобразования, которые требуют 6 или 8 параметров движения. Более сложные схемы компенсации движения также могут приводить к блокам предсказания, которые представляют собой комбинации нескольких блоков, которые соответствуют различным параметрам движения. Однако видеосигналы также могут содержать глобальные или локальные изменения освещенности, которые нельзя эффективно моделировать при помощи компенсации движения (межкадрового предсказания) или внутрикадрового предсказания. Такие изменения освещенности обычно обнаруживаются как постепенные изменения освещенности, монтажные переходы, вспышки или другие локальные изменения освещенности, которые могут быть вызваны, например, присутствием нескольких источников света. Взвешенное предсказание (WP), например, компенсация освещенности, может приносить пользу для эффективности предсказания постепенных изменений освещенности, монтажных переходов, вспышек и других локальных изменений освещенности. Взвешенное предсказание состоит из взвешивания (умножения) дискретных значений цветовых составляющих, например, дискретных значений яркости и/или цветности, с коэффициентом усиления, который дополнительно приращивается путем добавления дополнительного смещения. Следует отметить, что в данном раскрытии термины «цветовые параметры» или «цветовые составляющие» могут использоваться для обращения к индивидуальным составляющим, которые включают цветовую область, или пространство. Также следует отметить, что в некоторых областях, или пространствах, цветовые составляющие могут включать составляющие, относящиеся к интенсивности, и составляющие, относящиеся к цвету. Составляющие, относящиеся к интенсивности, могут включать одну или несколько следующих величин: величину яркости или величину светимости, а составляющие, относящиеся к цвету, могут включать одну или несколько следующих величин: величину цветности или хроматическую величину. Находящиеся на современном уровне развития кодеки, такие как H.264/AVC, поддерживающие взвешенное предсказание дискретных значений, которые могут находиться в одном или нескольких возможных цветовых пространствах/областях. Взвешенное предсказание также пригодно для временнόй предварительной фильтрации или постфильтрации, которая может использоваться для понижения шума датчика, сжатия или других искажений, и, среди прочих, временнόго мерцания/несовместимостей. На практике операции обработки изображений, ответственные за изменение освещенности, необязательно могут происходить в области, используемой для сжатия или обработки изображения, например, области YCbCr. Интуиция, основывающаяся на экспериментальных данных, подсказывает, что эти операции обычно проводятся в какой-либо другой области, обычно в области sRGB (sRGB представляет собой широко используемое цветовое пространство для ПК и цифровых фотокамер), которое, кроме того, более близко представлениям о цветовой информации в человеческом восприятии. Следует отметить, что существует множество возможных формул преобразования YCbCr в цветовое пространство RGB и из цветового пространства RGB. Также следует учитывать, что до или после операций, которые создали изменения освещенности, значения RGB подвергались гамма-коррекции. Помимо изменений освещенности, которые создавались путем обработки (главным образом, постепенные изменения освещенности и монтажные переходы), также существуют изменения освещенности, которые являются частью содержимого, такие как среди прочих, глобальные или локальные вспышки, изменяющаяся освещенность от мигающего света и осветительной арматуры, а также меняющееся естественное освещение.

[0002] Параметры взвешенного предсказания, например, коэффициент усиления w и смещение f, которые используются для компенсации освещенности дискретного значения s исходя из дискретного значения p как , получаются в результате какого-либо поиска/оценки параметров взвешенного предсказания (поиска WP). В самой прямой, наиболее сложной форме можно использовать схему поиска методом последовательного перебора, которая рассматривает все возможные сочетания коэффициентов усиления и смещений в пределах некоторого ограниченного окна поиска аналогично схеме полного поиска методом последовательного перебора для оценки движения, вычисляет расхождение/сходство для опорных сигналов со скомпенсированной освещенностью в сравнении с начальными сигналами, и выбирает параметры компенсации освещенности, которые приводят к минимальному расхождению. В ходе поиска также может учитываться оценка и компенсация движения. Однако полный поиск требует большого объема вычислений. Предложено множество способов оценки взвешенных параметров, которые оценивают «оптимальные» коэффициент усиления и смещение для некоторого заданного блока, области или даже всего кадра (при глобальной компенсации освещенности). См., например, публикацию K. Kamikura и др., "Global Brightness - Variation Compensation for Video Coding", IEEE Transactions on Circuits and Systems for Video Technology, vol. 8, no, 8, December 1998, pp. 988 - 1000, которая описывает схему глобальной компенсации изменений освещенности, предназначенную для повышения эффективности кодирования для сцен видеоизображения с глобальными изменениями яркости, вызванными постепенным возникновением/исчезновением изображения, регулировкой ирисовой диафрагмы камеры, мерцанием, изменением освещенности и т.д. См. также публикации Y. Kikuchi, T. Chujoh, "Interpolation coefficient adaptation in multi-frame interpolative prediction", Joint Video Team of ISO/IEC MPEG and ITU-T VCEG, JVT-C103, Mar. 2002, и H. Kato, Y. Nakajima, "Weighting factor determination algorithm for H.264/MPEG-4 AVC weighted prediction," Proc. IEEE 6th Workshop on Multimedia Signal Proc. , Siena, Italy, Oct. 2004.

[0003] Для достижения наилучших возможных результатов способы, описанные по обсужденным выше ссылкам, приходится применять по отдельности для каждой цветовой составляющей. Поиск взвешенных параметров также может извлекать пользу из компенсации и оценки движения. См., например, публикацию, J. M. Boyce, "Weighted prediction in the H.264/MPEG-4 AVC video coding standard," Proc. IEEE International Symposium on Circuits and Systems, Vancouver, Canada, May 2004, vol. 3, pp. 789-792. В стандарте H.264/AVC за компенсацией движения для дискретных значений следует применение взвешенного предсказания, что приводит к конечным предсказываемым дискретным значениям. Поэтому в ходе поиска WP существует независимость между векторами движения и взвешенными параметрами. Обратиться к решению этой задачи можно, выполняя множественные итерации следующим образом: при помощи какого-либо простого алгоритма получаются начальные значения взвешенных параметров, которые используются для масштабирования и смещения опорного кадра. Масштабированный и смещенный опорный кадр затем используется для оценки движения, что приводит к векторам движения. В альтернативном варианте масштабирование и смещение дискретных значений может включаться в этап оценки движения. В такой реализации масштабирование и смещение рассматриваются в реальном времени, и в обособленном этапе, который создает взвешенный опорный кадр, нет необходимости. На второй итерации указанные векторы движения используются в ходе поиска WP так, чтобы для каждого МВ при получении параметров WP использовался текущий опорный блок предсказания. За этим снова следует генерирование масштабированного и смещенного опорного кадра, который претерпевает оценку движения, или единый этап оценки движения, который рассматривает уже полученный масштабный коэффициент и смещение. Обычно эти алгоритмы завершаются тогда, когда достигается сходимость параметров WP.

[0004] Как указывалось выше, известные на текущем уровне техники способы, направленные на компенсацию освещенности, могут требовать больших вычислительных ресурсов, что приводит к пониженной производительности устройства отображения изображений или к повышенной стоимости аппаратного обеспечения, предназначенного для обеспечения указанной производительности. Отметим, что хотя термины «кадр» и «картинка» могут использоваться взаимозаменяемо, данное взаимозаменяемое использование не следует интерпретировать как исключающее такое содержимое с чересстрочной разверткой, как картинки полукадров. Идеи данного раскрытия применимы как к кадрам с последовательной разверткой, так и к картинкам полукадров с чересстрочной разверткой (сверху или снизу).

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

[0005] Сопроводительные графические материалы, которые включаются в данное описание и составляют его часть, иллюстрируют один или несколько вариантов осуществления настоящего раскрытия и, совместно с подробным описанием и примерами, служат для разъяснения принципов и реализаций данного раскрытия.

[0006] ФИГ. 1 показывает блок-схему алгоритма определения локальных или глобальных изменений освещенности.

[0007] ФИГ. 2 показывает блок-схему оценки цветовых параметров WP для постепенных изменений освещенности.

[0008] ФИГ. 3 показывает блок-схему алгоритма получения цветовых параметров в случае, когда коэффициент усиления не равен единице, и смещение является ненулевым.

[0009] ФИГ. 4 показывает блок-схему алгоритма получения цветовых параметров WP для вспышек.

[0010] ФИГ. 5 показывает блок-схему алгоритма получения параметров WP для постепенных изменений освещенности в линейной области.

[0011] ФИГ. 6 показывает схему окончания постепенного изменения освещенности, где DC уменьшается до кадра m+2.

[0012] ФИГ. 7 показывает схему окончания постепенного изменения освещенности, где DC увеличивается до кадра m+2.

[0013] ФИГ. 8 показывает схему начала постепенного изменения освещенности, где DC увеличивается от кадра m+2.

[0014] ФИГ. 9 показывает схему окончания постепенного изменения освещенности, где DC уменьшается от кадра m+2.

[0015] ФИГ. 10 показывает блок-схему алгоритма обнаружения постепенного изменения освещенности с использованием соотношений освещенности.

[0016] ФИГ. 11 показывает блок-схему алгоритма детектора монтажного перехода с низкой сложностью.

[0017] ФИГ. 12 показывает пример глобальной освещенности с насыщенным фоном и с постепенным возникновением изображения из черного цвета.

[0018] ФИГ. 13 показывает общий пример глобальной освещенности с насыщенным фоном.

[0019] ФИГ. 14 показывает блок-схему алгоритма поиска параметров WP на основе меченых наборах.

[0020] ФИГ. 15 показывает блок-схему алгоритма поиска WP с использованием итеративного исключения.

[0021] ФИГ. 16 показывает блок-схему гибридного видеодекодера.

ОПИСАНИЕ ИЛЛЮСТРАТИВНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

[0022] Как указывается в описываемых ниже примерах, один из вариантов осуществления изобретения представляет собой способ обнаружения постепенного изменения освещенности и определения глобальной или локальной сущности постепенного изменения освещенности при переходе от одной картинки к следующей картинке видеосигнала, где способ включает этапы, на которых:

создают несколько кадров картинки и связанные опорные кадры предсказания;

для каждого кадра и связанного опорного кадра предсказания вычисляют в первой цветовой области одну или несколько величин, относящихся к интенсивности, и одну или несколько величин, относящихся к цвету;

для каждого кадра и связанного опорного кадра предсказания вычисляют коэффициенты усиления взвешенного предсказания для каждого значения цветовой составляющей в первой цветовой области;

если все взвешенные коэффициенты усиления предсказания являются неотрицательными и, в значительной мере, подобными друг другу, то определяют, что во второй цветовой области происходит, главным образом, глобальный переход с нулевым смещением; и

если не все взвешенные коэффициенты усиления предсказания являются неотрицательными и, в значительной мере, подобными друг другу, то определяют, что не происходит по меньшей мере одно из следующих событий: глобальный переход с постепенным изменением освещенности; глобальный переход с постепенным изменением освещенности с нулевым смещением; или глобальный переход с постепенным изменением освещенности с нулевым смещением во второй цветовой области.

[0023] Как в дальнейшем указывается в описываемых ниже примерах, другой вариант осуществления изобретения представляет собой способ обнаружения постепенного изменения освещенности и определения глобальной или локальной сущности постепенного изменения освещенности при переходе от одной картинки к следующей картинке видеосигнала, где способ включает этапы, на которых:

создают несколько кадров картинки и связанные опорные кадры предсказания;

для каждого кадра и связанного опорного кадра предсказания вычисляют в первой цветовой области одну или несколько величин, относящихся к интенсивности, и одну или несколько величин, относящихся к цвету;

для каждого кадра и связанного опорного кадра предсказания вычисляют коэффициенты усиления взвешенного предсказания для каждого значения цветовой составляющей в первой цветовой области;

для каждого кадра и связанного опорного кадра предсказания вычисляют параметры взвешенного предсказания, относящиеся к интенсивности;

для каждого кадра и связанного опорного кадра предсказания вычисляют коэффициенты усиления взвешенного предсказания исходя из расчетных (например, вычисленных) величин, относящихся к интенсивности и относящихся к цвету, и из расчетных параметров взвешенного предсказания, относящихся к интенсивности;

если все коэффициенты взвешенного предсказания являются неотрицательными и, в значительной мере, подобными друг другу, то определяют, что во второй цветовой области происходит, главным образом, глобальный переход с нулевым смещением; и

если не все коэффициенты усиления взвешенного предсказания являются неотрицательными и, в значительной мере, подобными друг другу, то проверяют, происходит ли локальный переход.

[0024] Еще один вариант осуществления изобретения представляет собой способ определения глобальной или локальной сущности затемнения при переходе от картинки к следующей картинке видеосигнала, где способ включает этапы, на которых:

создают несколько кадров картинки и связанные опорные кадры предсказания;

для каждого кадра и связанного опорного кадра предсказания рассчитывают (например, вычисляют) величины, относящиеся к интенсивности и относящиеся к цвету, в первой цветовой области;

для каждого кадра и связанного опорного кадра предсказания вычисляют коэффициенты усиления взвешенного предсказания для каждой величины, относящейся к интенсивности и относящейся к цвету, в первой цветовой области;

для каждого кадра и связанного опорного кадра предсказания сравнивают коэффициенты усиления взвешенного предсказания друг с другом;

если все коэффициенты усиления взвешенного предсказания являются неотрицательными и, в значительной мере, подобными друг другу, то определяют, что постепенное изменение освещенности является глобальным; и

если не все коэффициенты усиления взвешенного предсказания являются неотрицательными и, в значительной мере, подобными друг другу, определяют, что постепенное изменение освещенности является локальным.

[0025] Еще один вариант осуществления изобретения представляет собой способ вычисления параметров взвешенного предсказания второй и третьей цветовых составляющих исходя из информации о преобразовании цветового пространства и параметров взвешенного предсказания первой цветовой составляющей при возникновении перехода изображения, где способ включает этапы, на которых:

вычисляют коэффициент усиления и смещения взвешенного предсказания для первой цветовой составляющей;

и на основе значений коэффициента усиления и смещения взвешенного предсказания первой цветовой составляющей, вычисляют коэффициенты усиления и смещений взвешенного предсказания вторую и третью цветовую составляющую как функции смещений при преобразовании цветов, коэффициентов матрицы преобразования цветов и коэффициента усиления и смещения взвешенного предсказания первой цветовой составляющей.

[0026] Другой вариант осуществления изобретения представляет собой способ вычисления параметров, относящихся к цвету, исходя из параметров, относящихся к интенсивности, и информации о преобразовании цветового пространства при возникновении вспышки на изображении, где способ включает этапы, на которых:

вычисляют коэффициенты усиления и смещения, относящиеся к интенсивности;

если коэффициент усиления, относящийся к интенсивности, не равен единице, и смещение, относящееся к интенсивности, является ненулевым, то приравнивают коэффициенты усиления, относящиеся к цвету, к коэффициенту усиления, относящемуся к интенсивности, и вычисляют смещения, относящиеся к цвету, как функции смещений при преобразовании цветового формата, коэффициента усиления, относящегося к интенсивности, смещения, относящегося к интенсивности, и коэффициентов матрицы преобразования цветов;

если коэффициент усиления, относящийся к интенсивности, не равен единице, и смещение, относящееся к интенсивности, является нулевым, то приравнивают коэффициенты усиления, относящиеся к цвету, к коэффициенту усиления, относящемуся к интенсивности, и вычисляют смещения, относящиеся к цвету, как функции смещений при преобразовании цветового формата, коэффициента усиления, относящегося к интенсивности, и коэффициентов матрицы преобразования цветов; и

если коэффициент усиления, относящийся к интенсивности, является равным единице или близким к единице, то приравнивают коэффициенты усиления, относящиеся к цвету, к 1, и вычисляют смещения, относящиеся к цвету, как функции смещения, относящегося к интенсивности, и коэффициентов матрицы преобразования цветов.

[0027] Еще один вариант осуществления изобретения представляет собой способ обнаружения постепенного изменения освещенности при переходе от одной сцены к следующей сцене видеосигнала, где способ включает следующие этапы:

этап A: создают несколько кадров из видеосигнала;

этап В: выбирают текущий кадр из нескольких кадров;

этап С: вычисляют набор свойств для одной или нескольких составляющих цветового пространства текущего кадра на основе значений кадра для одной или нескольких цветовых составляющих из кадров, предшествующих текущему кадру, и кадров, следующих за текущим кадром;

этап D: вычисляют набор свойств для одной или нескольких составляющих цветового пространства предыдущего кадра, предшествующего текущему кадру, на основе значений кадра для одной или нескольких цветовых составляющих из кадров, предшествующих предыдущему кадру, и кадров, следующих за предыдущим кадром; и

этап Е: сравнивают набор свойств для одного или нескольких параметров цветового пространства для текущего кадра со свойствами набора параметров для одного или нескольких параметров цветового пространства предшествующего кадра с целью определения того, является ли текущий кадр конечным кадром постепенного изменения освещенности с увеличивающимся или уменьшающимся значением кадра, или того, является ли кадр, предшествующий текущему кадру, начальным кадром постепенного изменения освещенности с увеличивающимся или уменьшающимся значением кадра.

[0028] Еще один вариант осуществления изобретения представляет собой способ обнаружения монтажного перехода, который включает этапы, на которых:

создают несколько кадров видеопоследовательности и связанные опорные кадры двунаправленного предсказания; и

определяют, присутствует ли монтажный переход, на основе средних коэффициентов усиления, вычисленных для составляющих цветового пространства первой цветовой области текущего кадра и связанных опорных кадров двунаправленного предсказания, и средних коэффициентов усиления, вычисленных для составляющих цветового пространства второй цветовой области текущего кадра и связанных опорных кадров двунаправленного предсказания.

[0029] Еще один вариант осуществления изобретения представляет собой способ определения взвешенных параметров в присутствии условий постепенного изменения освещенности, где способ включает следующие этапы:

этап А: создают несколько кадров картинки и связанные опорные кадры предсказания;

этап В: выбирают цветовую составляющую;

этап С: для каждого кадра и связанного опорного кадра предсказания определяют насыщенные разделы для выбранной цветовой составляющей в пределах кадра и связанного с ним опорного кадра предсказания;

этап D: для каждого кадра и связанного опорного кадра предсказания определяют, используют ли совместно оба кадра большие области с насыщенными значениями для выбранной цветовой составляющей, и если нет совместно используемых ими больших областей с насыщенными значениями, то - переходят на этап Н;

этап Е: для каждого кадра и связанного опорного кадра предсказания определяют насыщенные разделы в пределах кадра и связанного с ним опорного кадра предсказания;

этап F: для каждого кадра и связанного опорного кадра предсказания определяют, используют ли совместно оба кадра большие области с насыщенными значениями для выбранной цветовой составляющей, и если нет совместно используемых ими больших областей с насыщенными значениями, то - переходят на этап Н;

этап G: для каждого кадра и связанного опорного кадра предсказания вычисляют коэффициенты усиления и факторы взвешенного предсказания на основе совместно используемых и, необязательно, нормированных на одинаковое число пикселов больших областей с насыщенными значениями; и

этап Н: для каждого кадра и связанного опорного кадра предсказания вычисляют коэффициенты усиления и факторы взвешенного предсказания на основе всего кадра.

[0030] Еще один вариант осуществления изобретения представляет собой способ определения взвешенных параметров в присутствии условий постепенного изменения освещенности, где способ включает следующие этапы:

этап А: создают несколько кадров картинки и связанные опорные кадры предсказания, содержащие выборочные цветовые данные;

этап В: выбирают цветовую составляющую;

этап С: для каждого кадра задают текущее наименьшее значение насыщения и текущее наибольшее значение насыщения для выбранной цветовой составляющей на основе выбранной цветовой области для выборочных цветовых данных;

этап D: для каждого связанного опорного кадра предсказания задают текущее наименьшее опорное значение насыщения и текущее наибольшее опорное значение насыщения для выбранной цветовой составляющей на основе выбранной цветовой области для выборочных цветовых данных;

этап Е: для каждого кадра и связанного опорного кадра предсказания оценивают параметры взвешенного предсказания на основе текущего наименьшего значения насыщения, текущего наибольшего значения насыщения, текущего наименьшего опорного значения насыщения и текущего наибольшего опорного значения насыщения;

этап F: для каждого связанного опорного кадра предсказания вычисляют обновленное текущее наименьшее опорное значение насыщения и обновленное текущее наибольшее опорное значение насыщения на основе оценочных параметров взвешенного предсказания;

этап G: приравнивают текущее наименьшее опорное значение насыщения к обновленному текущему наименьшему опорному значению насыщения, и приравнивают текущее наибольшее опорное значение насыщения к обновленному текущему наибольшему опорному значению насыщения;

этап Н: повторяют этапы D - G в последовательных итерациях, если параметры взвешенного предсказания для текущей итерации отличаются от параметров взвешенного предсказания для непосредственно предшествующей итерации на выбранную величину, или если количество итераций больше, чем выбранное значение счетчика итераций.

[0031] Еще один вариант осуществления изобретения представляет собой способ оценки коэффициентов усиления и смещений взвешенного предсказания при монтажном переходе от одной картинки к следующей картинке видеосигнала, где способ включает этапы, на которых:

создают текущий кадр и связанный опорный кадр предсказания из картинок в видеосигнале;

для каждого текущего кадра и связанного опорного кадра предсказания вычисляют значения цветовых составляющих в цветовой области, где А_m обозначает первую цветовую составляющую для текущего кадра, B_m обозначает вторую цветовую составляющую для текущего кадра, C_m обозначает третью цветовую составляющую для текущего кадра, и где А_m+1 обозначает первую цветовую составляющую для связанного опорного кадра предсказания, В_m+1 обозначает вторую цветовую составляющую для связанного опорного кадра предсказания, С_m+1 обозначает третью цветовую составляющую для связанного опорного кадра предсказания;

приравнивают коэффициенты усиления взвешенного предсказания для всех цветовых составляющих, где w обозначает значение коэффициента усиления взвешенного предсказания, равное для всех цветовых составляющих;

приравнивают друг другу смещения взвешенного предсказания для двух цветовых составляющих, где f_A обозначает смещение для первой цветовой составляющей, а f_С обозначает значение смещения, равное для двух цветовых составляющих; и решают формулу для коэффициента усиления w взвешенного предсказания и смещений f_A и f_С взвешенного предсказания.

[0032] Еще один вариант осуществления изобретения представляет собой способ оценки коэффициентов усиления и смещений взвешенного предсказания при монтажном переходе от одной картинки к следующей картинке видеосигнала, где способ включает этапы, на которых:

создают текущий кадр и связанный опорный кадр предсказания из картинок в видеосигнале;

для каждого текущего кадра и связанного опорного кадра предсказания вычисляют значения цветовых составляющих в цветовой области, где А_m обозначает первую цветовую составляющую для текущего кадра, B_m обозначает вторую цветовую составляющую для текущего кадра, C_m обозначает третью цветовую составляющую для текущего кадра, и где А_m+1 обозначает первую цветовую составляющую для связанного опорного кадра предсказания, В_m+1 обозначает вторую цветовую составляющую для связанного опорного кадра предсказания, С_m+1 обозначает третью цветовую составляющую для связанного опорного кадра предсказания;

приравнивают друг другу смещения взвешенного предсказания для всех цветовых составляющих, где f обозначает значение смещения взвешенного предсказания, равное для всех цветовых составляющих;

приравнивают друг другу коэффициенты усиления взвешенного предсказания для двух цветовых составляющих, где w_A обозначает смещение взвешенного предсказания для первой цветовой составляющей, и w_С обозначает значение смещения взвешенного предсказания, равное для двух цветовых составляющих;

решают формулу для коэффициентов усиления w_A и w_С и смещения f взвешенного предсказания.

[0033] Еще один вариант осуществления изобретения представляет собой способ преобразования параметров взвешенного предсказания из первой цветовой области во вторую цветовую область, где преобразование из первой цветовой области во вторую цветовую область не является линейным, где способ включает этап, на котором: вычисляют параметры взвешенного преобразования во второй цветовой области для одного или нескольких кадров во второй области на основе выражения преобразования из первой цветовой области во вторую цветовую область.

ОБЩИЙ ОБЗОР

[0034] Данное раскрытие описывает способы и варианты осуществления изобретения, которые относятся к компенсации освещенности по соображениям цветового пространства. В частности, эти способы и варианты осуществления изобретения направлены на компенсацию освещенности, которая может включаться в устройства и программное обеспечение, использующие кодирование и декодирование видеосигнала, как для двумерных, так и для трехмерных приложений. Указанные устройства могут включать системы видеодисков, системы беспроводного вещания, системы Интернет-телевидения (IPTV) и другие подобные устройства.

[0035] Наиболее широко используемым цветовым пространством для воспроизведения видеоизображений является цветовое пространство RGB. Каждая составляющая представляет интенсивность каждого из основных цветов, в данном случае, красного, зеленого и синего основных цветов. Область RGB очень эффективна в условиях представления цветовой информации. Кроме того, значения RGB перед отправкой на дисплей или графическую плату подвергаются гамма-коррекции. Операцию гамма-коррекции можно обобщить, как показано ниже в уравнении 1:

. (1)

Параметры и представляют собой показатели гамма-коррекции, в то время как коэффициенты усиления и управляют контрастностью, а смещения и управляют уровнем черного и интенсивностью. В оставшейся части данного раскрытия предполагается, что и . И хотя показатели гамма-коррекции для каждой составляющей могут отличаться, в оставшейся части данного раскрытия в соображении упрощения условных обозначений и анализа . Однако следует понимать, что многие из способов, описанных в данном раскрытии, применимы даже в тех случаях, когда показатели различны. Для основных и имеющих наибольшее практическое значение приложений коэффициент усиления при гамма-коррекции и смещение при гамма-коррекции также предполагаются как согласованные по всем цветовым каналам.

[0036] Цветовое пространство RGB эффективно в условиях представления и отображения цветов, но не всегда эффективно для сжатия видеоизображений, поскольку между цветовыми каналами может существовать значительная корреляция. Для повышения производительности сжатия в системах телевизионного вещания было предложено и стандартизовано несколько преобразований, которые выполняют декорреляцию сигналов RGB в новое цветовое пространство, где одна из составляющих концентрирует информацию о яркости и часто обозначается как Y (Y' - если она подвергнута гамма-коррекции), а две остальные составляющие большей частью содержат информацию о цветности. Указанные преобразования включают аналоговое преобразование согласно американскому стандарту NTSC - Y'VQ', и аналоговое преобразование согласно европейскому стандарту EBU - Y'U'V, а также различные цифровые разновидности преобразования Y'CbCr. См., например, публикацию A. Ford, A. Roberts, "Color Space Conversions", доступную по адресу . Ниже описываются наиболее широко используемые версии указанных преобразований и вопросы, которые могут возникать при их применении. Следует отметить, что описываемые ниже преобразования и уравнения представлены с иллюстративными целями, и их не следует интерпретировать как ограничивающие изобретение описанными конкретными преобразованиями и уравнениями. Специалисты в данной области поймут, что в пределах объема изобретения находятся и другие преобразования и уравнения.

[0037] Международным стандартом для кодирования цифровых телевизионных изображений с разрешением стандартной четкости (SD) является стандарт ITU BT.601. Матрицы нелинейного кодирования для преобразования из аналогового пространства RGB в аналоговое пространство YCbCr показаны ниже в уравнении 2:

. (2)

[0038] Уравнение 2 справедливо для представления цветовых каналов RGB, которое находится в интервале от 0 до 1, , и приводит к «аналоговым» величинам , которые принимают значения: и . В цифровых компьютерах цветовые составляющие RGB обычно представляются беззнаковыми целочисленными величинами из N бит, например, 8 бит, допускающими значения от 0 до 255. Пусть . Преобразование аналоговых величин в цифровые величины (что, по существу, представляет собой процесс квантования) может выполняться в соответствии с техническими условиями ITU и SMPTE путем преобразования, показанного ниже в уравнении 3:

. (3)

[0039] С использованием уравнений (2) и (3) 8-битное представление составляющих Y'CbCr получается так, как это показано ниже в уравнении 4:

. (4)

[0040] В 8-битном цифровом представлении составляющие RGB находятся в диапазоне от 0 до 255. При применении преобразования в пространстве Y'CbCr этот динамический диапазон может ограничиваться. При использовании преобразования по приведенному ниже уравнению 5 эффективными диапазонами становятся: и :

. (5)

[0041] Выражение, приведенное в уравнении 5, можно дополнительно упростить, чтобы сделать возможным быстрое вычисление с только целочисленными операциями SIMD, как показано в уравнении 6:

. (6)

[0042] При выводе уравнения 5 и уравнения 6 для составляющей яр