Способ кодирования/декодирования многоракурсной видеопоследовательности на основе локальной коррекции яркости и контрастности опорных кадров без передачи дополнительных служебных данных
Иллюстрации
Показать всеИзобретение относится к вычислительной технике. Технический результат заключается в повышении эффективности кодирования. Способ локальной коррекции изменения яркости и контрастности опорного кадра для кодирования многоракурсной видеопоследовательности, в котором: получают значения пикселей текущего кодируемого блока, принадлежащего кодируемому кадру, и значения пикселей опорного блока, принадлежащего опорному кадру; получают восстановленные значения пикселей, соседних по отношению к текущему блоку кодируемого кадра, и значения пикселей, соседних по отношению к опорному блоку опорного кадра; определяют числовые соотношения между значениями пикселей опорного блока и значениями пикселей, соседних по отношению к опорному блоку, и соотношения между восстановленными значениями пикселей, соседних по отношению к текущему кодируемому блоку, и значениями пикселей, соседних по отношению к опорному блоку; на основе найденных на предыдущем шаге числовых соотношений определяют параметры коррекции яркости и контрастности для коррекции различия в яркости и контрастности для опорного блока в сравнении с текущим кодируемым блоком; выполняют коррекцию различия в яркости и контрастности для опорного блока, используя найденные параметры коррекции. 3 н. и 10 з.п. ф-лы, 10 ил.
Реферат
Настоящее изобретение относится к способу коррекции различий в яркости и контрастности, которые могут возникать между кадрами многоракурсной видеопоследовательности. В частности, настоящее изобретение может быть использовано при кодировании и декодировании многоракурсных видеопоследовательностей.
Один из способов, применяемых для кодирования многоракурсных видеопоследовательностей, заключается в использовании кадров, принадлежащих соседним видам (ракурсам), а также кадров, синтезированных с помощью кадров соседних видов (ракурсов) и карт глубин. Такие кадры выступают в качестве опорных кадров при проведении кодирования с предсказанием [1]. При этом производится устранение смещения объекта в текущем кадре относительно одного из опорных кадров. Под смещением может пониматься движение объекта или различие в положении объекта между текущим кодируемым кадром и кадрами, принадлежащими соседним видам (ракурсам), или синтезированным кадром. Цель устранения указанного смещения заключается в получении минимальной межкадровой разности. Полученная межкадровая разность затем кодируется (например, путем применения декоррелирующего преобразования, квантования и энтропийного кодирования) и помещается в выходной битовый поток.
Возможные различия в параметрах камер, используемых для съемки многоракурсных видеопоследовательностей, а также различие в световом потоке, поступающем от объектов съемки к камерам, приводят к различию в яркости и контрастности между кадрами, принадлежащими разным ракурсам. Указанные различия в яркости и контрастности также влияют на характеристики синтезированных кадров. Это может приводить к увеличению абсолютных значений межкадровой разности, что негативно сказывается на эффективности кодирования.
Для решения указанной выше проблемы в стандарте Н.264 [2] используется взвешенный прогноз, изначально предназначенный для эффективного кодирования одновидовых (одноракурсных) видеопоследовательностей, в которых встречаются эффекты плавного введения и выведения изображения, мерцания или смены сцены. Взвешенный прогноз позволяет устранять различие в яркости между кодируемым кадром и опорными кадрами на уровне макроблоков. При этом используются одни и те же значения весовых коэффициентов для всех макроблоков, принадлежащих одному и тому же слою. Весовые коэффициенты могут определяться в процессе кодирования и сохраняться в выходном битовом потоке («явный» взвешенный прогноз) или вычисляться в процессе кодирования/декодирования («неявный» взвешенный прогноз). Однако в случае многоракурсных последовательностей, где могут наблюдаться локальные изменения яркости и/или контрастности, такой способ может оказаться неэффективным.
Другим решением указанной проблемы является адаптивная поблочная коррекция различия в яркости [3]. Одним из способов, реализующих указанный подход, является способ одношаговой аффинной коррекции яркости для многоракурсных видеопоследовательностей (Multiview One-Step Affine Illumination Compensation - MOSAIC) [4, 5]. Указанный способ предполагает комбинацию поблочной коррекции различия в яркости с описанными в стандарте Н.264 режимами межкадрового предсказания. В процессе такого кодирования для каждого макроблока вычисляют средние значения пикселей текущего кодируемого блока и опорного блока-кандидата. Для указанных блоков формируют модифицированные блоки путем вычитания среднего значения для каждого пикселя блока. Затем для полученных блоков вычисляют сумму абсолютных разностей (Mean-Removed Sun of Absolute Difference - MRSAD). Результатом межкадрового предсказания являются относительные координаты опорного блока (вектор смещения), которые дают минимальное значение стоимости кодирования, а также разность между модифицированным кодируемым блоком и модифицированным опорным блоком. При этом вычисление стоимости кодирования основывается на вычисленном значении MRSAD и оценке битовых затрат на передачу дополнительной информации, необходимой для последующего декодирования. Помимо вектора смещения, дополнительная информация включает в себя разность между средними значениями текущего и опорного блоков. Эта разность обозначается как DVIC (Difference Value of Illumination Compensation) и является параметром коррекции яркости. Значение DVIC подвергается дифференциальному кодированию и помещается в выходной битовый поток. Необходимо отметить, что в случае режима "Р Skip" значение DVIC определяется на основании значений DVIC соседних макроблоков, которые уже были закодированы на момент кодирования текущего макроблока. Таким образом, приведенный способ не позволяет полностью устранить необходимость явной передачи дополнительной информации, необходимой для последующего декодирования.
Параметры, необходимые для коррекции различия яркости и контрастности, могут быть получены путем анализа восстановленных (закодированных, а затем декодированных) областей кадров. Это помогает уменьшить количество дополнительной информации, которая должна быть закодирована и явным образом помещена в выходной битовый поток. Указанный подход был реализован в способе взвешенного предсказания с использованием соседних пикселей (WPNP - Weighted Prediction using Neighboring Pixels) [6]. Этот способ использует значения пикселей кодируемого кадра, соседних с текущим кодируемым блоком, и значения пикселей опорного кадра, соседних с опорным блоком, для попиксельной оценки изменения яркости. При этом изменения яркости для выбираемых двух соседних пикселей умножаются на весовые коэффициенты и складываются, образуя оценку изменения яркости и контрастности между отдельными пикселями текущего и опорного блоков. Необходимо отметить, что весовые коэффициенты вычисляются отдельно для каждого положения пикселя кодируемого блока. Значения весовых коэффициентов определяются исходя из взаимного расстояния между пикселем кодируемого блока и выбранными соседними пикселями. Основной недостаток описанного способа заключается в том, что сокращение объема дополнительной информации достигается за счет возможного снижения качества коррекции. Причина снижения качества состоит в том, что изменение яркости пикселей, соседних по отношению к кодируемому и опорному блокам, может отличаться от изменения яркости пикселей, принадлежащих непосредственно кодируемому и опорному блокам.
Другой вариант, реализующий подход, связанный с оценкой параметров изменения яркости и контрастности путем анализа восстановленных (закодированных, а затем декодированных) областей кадров, описан в патентной заявке США 2011/0286678 [7]. Описываемый в заявке способ кодирования многоракурсных видеопоследовательностей включает в себя коррекцию различия яркости в процессе кодирования с предсказанием. Параметры коррекции изменения яркости оцениваются исходя из оценки изменения яркости для смежных, по отношению к кодируемому и опорному блокам, областей. Так как указанные смежные области доступны как при кодировании, так и при декодировании, то отпадает необходимость явной передачи параметров коррекции в выходном битовом потоке. Получаемые параметры применяются для коррекции опорного блока. Надежность оценки параметров изменения яркости определяется путем коррекции яркости для области опорного кадра, смежной с опорным блоком, и сравнения полученной скорректированной области с восстановленной (закодированной и затем декодированной) областью кодируемого кадра, смежной с текущим кодируемым блоком. Недостаток указанного способа заключается в том, что надежность коррекции изменения яркости определяется только путем анализа смежных областей. Данные, содержащиеся в опорном блоке, не используются при анализе надежности коррекции изменения яркости, что может приводить к ошибочной коррекции, тем самым снижая ее эффективность.
Наиболее близким к заявляемому изобретению является способ, описанный в патентной заявке США 2008/0304760 [8]. Указанный способ коррекции изменения яркости и контрастности для опорного блока включает в себя следующие этапы: получение восстановленных значений пикселей, соседних по отношению к текущему кодируемому блоку, и восстановленных значений пикселей, соседних по отношению к опорному блоку, в качестве входной информации; предсказание средних значений для текущего кодируемого и опорного блоков на основании восстановленных значений пикселей, соседних по отношению к текущему кодируемому блоку, и восстановленных значений пикселей, соседних по отношению к опорному блоку; определение параметров коррекции яркости для опорного блока на основе предсказанного среднего значения пикселей текущего кодируемого блока, предсказанного среднего значения опорного блока и значений пикселей текущего кодируемого блока и опорного блока; и выполнение коррекции яркости для опорного блока, используя ранее определенный параметр коррекции яркости.
Недостаток прототипа заключается в следующем. Восстановленные значения пикселей, соседних по отношению к текущему кодируемому блоку и опорному блоку, используются исключительно для предсказания средних значений. Это ограничение не позволяет использовать информацию, которая содержится в соседних пикселях. Кроме того, отсутствует анализ соотношений между значениями пикселей опорного блока и значениями пикселей, соседних по отношению к опорному блоку. Таким образом, не принимаются во внимание возможные различия в параметрах коррекции изменения яркости и контрастности между рассматриваемыми блоками и областями, соседними по отношению к рассматриваемым блокам. Это может приводить к снижению надежности процедуры коррекции различия в яркости и контрастности, что негативным образом будет сказываться на эффективности кодирования.
В соответствии с описанием, в прототипе [8] предлагается способ кодирования цифровых изображений (кадров), основанный на использовании коррекции изменения яркости. Этот способ включает в себя следующие шаги: определение опорного блока, предназначенного для формирования блока-предсказания для текущего кодируемого блока; определение параметра коррекции яркости для коррекции найденного опорного блока; выполнение коррекции яркости найденного опорного блока на основе определенного на предыдущем шаге параметра коррекции яркости; формирование блока-предсказания для текущего кодируемого блока, используя скорректированный опорный блок; кодирование разности между сформированным блоком-предсказанием и текущим кодируемым блоком; формирование выходного битового потока и сохранение информации о параметре коррекции яркости в предопределенном месте внутри сформированного битового потока. Недостатком описанного метода является необходимость сохранения параметров коррекции в выходном битовом потоке.
Заявляемое изобретение направлено на повышение эффективности кодирования многоракурсных видеопоследовательностей в случае, если используется модель гибридного видеокодирования. Изобретение заключается в применении более надежной адаптивной процедуры оценки параметров изменения яркости и контрастности опорного блока, а также процедуры коррекции яркости и контрастности опорного блока.
Технический результат достигается за счет использования большего количества данных для оценки параметров изменения яркости и контрастности. В частности, в заявляемом способе проводится анализ соотношений между значениями пикселей опорного блока и значениями пикселей, соседних по отношению к опорному блоку, а также соотношений между восстановленными значениями пикселей, соседних по отношению к текущему кодируемому блоку, и значениями пикселей, соседних по отношению к опорному блоку. При реализации способа предусмотрено также применение усовершенствованных способов кодирования и декодирования многоракурсных видеопоследовательностей, причем такие способы основаны на использовании коррекции яркости и контрастности, что позволяет повысить эффективность сжатия благодаря тому, что при оценке изменения яркости и контрастности используются значения пикселей, которые доступны как при проведении кодирования, так и при декодировании. В этом случае параметры коррекции яркости и контрастности могут быть точно восстановлены без необходимости передачи дополнительных данных в выходном битовом потоке.
Согласно основному аспекту заявляемого изобретения предложен способ коррекции различия яркости и контрастности между опорным блоком и текущим кодируемым блоком при проведении межкадрового предсказания для кодирования многоракурсной видеопоследовательности, причем такой способ включает в себя:
- получение значений пикселей текущего кодируемого блока, принадлежащего кодируемому кадру, и значений пикселей опорного блока, принадлежащего опорному кадру;
- получение восстановленных (закодированных и затем декодированных) значений пикселей, соседних по отношению к текущему блоку кодируемого кадра, и значений пикселей, соседних по отношению к опорному блоку опорного кадра;
- определение соотношений между значениями пикселей опорного блока и значениями пикселей, соседних по отношению к опорному блоку, а также соотношений между восстановленными значениями пикселей, соседних по отношению к текущему кодируемому блоку, и значениями пикселей, соседних по отношению к опорному блоку;
- определение параметров коррекции изменения яркости и контрастности для коррекции различия в яркости и контрастности между опорным блоком и текущим кодируемым блоком на основе найденных на предыдущем шаге соотношений, значениями пикселей опорного блока, восстановленными значениями пикселей, соседних по отношению к текущему кодируемому блоку, и значениями пикселей, соседних по отношению к опорному блоку;
- выполнение коррекции различия в яркости и контрастности между опорным блоком и текущим кодируемым блоком на основе найденных на предыдущем шаге параметров коррекции.
В одном из вариантов реализации заявляемого изобретения предлагается модификация упомянутого выше способа, заключающаяся в том, что процесс определения соотношений между пикселями текущего кодируемого кадра и опорного кадра, а также процесс определения параметров коррекции яркости и контрастности включают в себя:
- вычисление статистических характеристик для восстановленных значений пикселей, соседних по отношению к текущему кодируемому блоку, статистических характеристик для пикселей опорного блока и статистических характеристик для пикселей, соседних по отношению к опорному блоку;
- определение соотношений между статистическими характеристиками для пикселей опорного блока и статистическими характеристиками для восстановленных значений пикселей, соседних по отношению к опорному блоку;
- вычисление оценки значения статистической характеристики для текущего кодируемого блока на основе вычисленных статистических характеристик и соотношений между ними производят;
- определение параметра коррекции изменения яркости и контрастности для коррекции различия в яркости и контрастности между опорным и текущим кодируемым блоками на основе найденной оценки статистической характеристики для текущего блока и статистической характеристики опорного блока.
В другом варианте реализации заявляемого изобретения предлагается модификация упомянутого выше способа, в рамках которой процесс вычисления статистических характеристик, определения соотношений между статистическими характеристиками и определения параметра коррекции изменения яркости и контрастности включает в себя:
- вычисление среднего значения для восстановленных пикселей, соседних по отношению к текущему кодируемому блоку и расположенных слева от текущего кодируемого блока, в случае их наличия; вычисление среднего значения для восстановленных пикселей, соседних по отношению к текущему кодируемому блоку и расположенных сверху над текущим кодируемым блоком, в случае их наличия, вычисление среднего значения для пикселей опорного блока, вычисление среднего значения для пикселей, соседних по отношению к опорному блоку и расположенных слева от опорного блока, в случае их наличия, и вычисление среднего значения для пикселей, соседних по отношению к опорному блоку и расположенных сверху над опорным блоком, в случае их наличия;
- в случае наличия восстановленных пикселей, соседних по отношению к текущему кодируемому блоку и расположенных слева от текущего кодируемого блока, а также наличия пикселей, соседних по отношению к опорному блоку и расположенных слева от опорного блока, вычисление отношения между средним значением пикселей опорного блока и средним значением пикселей, соседних по отношению к опорному блоку и расположенным слева от опорного блока; вычисление произведения полученного отношения и среднего значения восстановленных пикселей, соседних по отношению к текущему кодируемому блоку и расположенных слева от текущего кодируемого блока; определение параметра коррекции изменения яркости и контрастности как отношения между вычисленным произведением и средним значением для пикселей опорного блока;
- иначе, в случае наличия восстановленных пикселей, соседних по отношению к текущему кодируемому блоку и расположенных сверху над текущим кодируемым блоком, и наличия пикселей, соседних по отношению к опорному блоку и расположенных сверху над опорным блоком, вычисление отношения между средним значением пикселей опорного блока и средним значением пикселей, соседних по отношению к опорному блоку и расположенным сверху над опорным блоком; вычисление произведения полученного отношения и среднего значения восстановленных пикселей, соседних по отношению к текущему кодируемому блоку и расположенных сверху от текущего кодируемого блока; определение параметра коррекции изменения яркости и контрастности как отношения между вычисленным произведением и средним значением для пикселей опорного блока;
- иначе, путем использования Метода Медианного Предсказания для вычисления оценки среднего значения текущего кодируемого блока;
- определение параметра коррекции изменения яркости и контрастности как отношения между оценкой среднего значения для пикселей текущего кодируемого блока и средним значением для пикселей опорного блока.
Еще одна модификация заявляемого изобретения состоит в том, что способ коррекции яркости и контраста опорного блока в процессе кодирования многоракурсной видеопоследовательности, включает в себя:
- получение значений пикселей текущего блока кодируемого кадра и значений пикселей опорного блока опорного кадра;
- получение восстановленных (закодированных и затем декодированных) значений пикселей, соседних по отношению к текущему кодируемому блоку, и значений пикселей, соседних по отношению к опорному блоку;
- вычисление первой оценки estDi,j для каждого положения (i,j) пикселя в опорном блоке; причем первая оценка estDi,j является функцией линейной комбинации восстановленных значений T k D пикселей, соседних по отношению к текущему кодируемому блоку, k=0, …, N-1, N - число пикселей, соседних по отношению к текущему кодируемому и опорному блокам;
- вычисление второй оценки estRi,j для каждого положения (i,j) пикселя в опорном блоке; причем вторая оценка estRi,j является функцией линейной комбинации значений T k R пикселей, соседних по отношению к опорному блоку, k=0, …, N-1;
- определение параметров коррекции изменения яркости и контрастности для коррекции каждого пикселя в опорном блоке; при этом определение этих параметров основывается на значении первой оценки estDi,j, значении второй оценки estRi,j, а также на значениях Ri,j пикселей опорного блока, на восстановленных значениях T k D пикселей, соседних по отношению к текущему блоку, и на значениях T k R пикселей, соседних по отношению к опорному блоку;
- выполнение коррекции изменения яркости и контрастности для каждого пикселя в опорным блоке, используя найденные на предыдущем шаге параметры коррекции изменения яркости и контрастности.
Согласно другой модификации заявляемого изобретения, способ предусматривает, что вычисление первой и второй оценок для каждого положения пикселя в опорном блоке и определение параметров коррекции изменения яркости и контрастности для каждого положения пикселя в опорном блоке включает в себя:
- вычисление первой оценки estDi,j как
e s t D i , j = ∑ k = 0, … , N − 1 W k ( i , j ) ⋅ T k D ,
где Wk(i,j), k=0, …, N-1 - весовые коэффициенты, и T k D , k=0, …, N-1 - это восстановленные значения пикселей, соседних по отношению к текущему кодируемому блоку, N - это число пикселей, соседних по отношению к текущему кодируемому и опорному блокам;
- вычисление второй оценки estRi,j как
e s t R i , j = ∑ k = 0, … , N − 1 W k ( i , j ) ⋅ T k R
где Wk(i,j), k=0, …, N-1 - весовые коэффициенты, и T k R , k=0, …, N-1 - значения пикселей, соседних по отношению к опорному блоку;
- определение параметров коррекции изменения яркости и контрастности для каждого положения (i,j) пикселя в опорном блоке; этот параметр представляет собой отношение α i , j = e s t D i , j e s t R i , j , если вторая оценка estRi,j не равна нулю. В противном случае αi,j полагается равным 1.
- выполнение коррекции изменения яркости и контрастности для опорного блока путем умножения значения каждого пикселя опорного блока Ri,j на соответствующий параметр коррекции αi,j.
Еще одна модификация заявляемого изобретения предусматривает, что вычисление первой и второй оценок для каждого положения пикселя в опорном блоке включает в себя:
- вычисление весовых коэффициентов Wk(i,j), k=0, …, N-1 для первой оценки estDi,j, и второй оценки estRi,j, для каждого положения (i,j) пикселя в опорном блоке весовой коэффициент Wk(i,j) равен невозрастающей функции абсолютной разности:
| R i , j − T k R | ,
что обеспечивает обратно пропорциональное увеличение/уменьшение значения Wk(i,j) в зависимости от уменьшения/увеличения абсолютной разности. Здесь Ri,j - это значение пикселя опорного блока; T k R (k=0, …, N-1) - значение пикселя, соседнего по отношению к опорному блоку; N - число пикселей, соседних по отношению к текущему кодируемому и опорному блокам.
В другом варианте реализации заявляемого изобретения предлагается модификация упомянутого выше метода, которая предусматривает, что вычисление первой и второй оценок для каждого положения пикселя в опорном блоке включает в себя:
- вычисление весовых коэффициентов Wk(i,j), k=0, …, N-1 для первой оценки estDi,j и второй оценки estRi,j; для каждого положения (i,j) пикселя в опорном блоке весовой коэффициент Wk(i,j) равен невозрастающей функции абсолютной разности:
| R i , j − T k R | ,
что обеспечивает обратно пропорциональное увеличение/уменьшение значения Wk(i,j) в зависимости от уменьшения/увеличения абсолютной разности; в случае | T k R − R i , j | ≤ T h r , где Thr - предопределенное пороговое значение; иначе Wk(i,j). Здесь Ri,j - значение пикселя опорного блока; T k R (k=0, …, N-1) - значение пикселя, соседнего по отношению к опорному блоку; N - число пикселей, соседних по отношению к текущему кодируемому и опорному блокам.
При реализации заявляемого изобретения имеет смысл применить еще одну модификацию упомянутого выше метода, которая предусматривает, что вычисление первой и второй оценок для каждого положения пикселя в опорном блоке включает в себя:
- вычисление весовых коэффициентов Wk(i,j), k=0, …, N-1 для первой оценки estDi,j и второй оценки estRi,j, для каждого положения (i,j) пикселя в опорном блоке весовой коэффициент Wk(i,j) равен невозрастающей функции абсолютной разности:
| R i , j − T k R | ,
что обеспечивает обратно пропорциональное увеличение/уменьшение значения Wk(i,j) в зависимости от уменьшения/увеличения абсолютной разности; в случае | T k R − T k D | ≤ T h r 1 , где T k D (k=0, …, N) - значение пикселя, соседнего по отношению к текущему кодируемому блоку, Thr1 - первый предопределенный порог; и | T k R − R i , j | ≤ T h r 2 , где Thr2 - второй предопределенный порог; иначе Wk(i,j)=0. Здесь Ri,j - значение пикселя опорного блока; T k R (k=0, …, N - 1) - значение пикселя, соседнего по отношению к опорному блоку; N - число пикселей, соседних по отношению к текущему кодируемому и опорному блокам.
Согласно другому варианту реализации заявляемого изобретения, предлагается модификация упомянутого выше метода, которая предусматривает, что вычисление первой и второй оценки для каждого положения пикселя в опорном блоке включает в себя:
- вычисление весовых коэффициентов Wk(i,j), k=0, …, N - 1 для первой оценки estDi,j и второй оценки estRi,j; для каждого положения (i,j) пикселя в опорном блоке весовой коэффициент Wk(i,j) равен Wk(i,j)=exp(-C·Ak(i,j)), где С - предопределенная константа больше 0, и Ak(i,j) равняется A k ( i , j ) = | R i , j − T k R | , где Ri,j - значение пикселя опорного блока, T k R (k=0, …, N - 1) - значение пикселя, соседнего по отношению к опорному блоку, в случае | T k R − R i , j | ≤ T h r , где Thr - предопределенный порог; иначе Wk(i,j)=0.
В качестве альтернативы при реализации заявляемого изобретения, предлагается модификация упомянутого выше метода, которая предусматривает, что вычисление первой и второй оценок для каждого положения пикселя в опорном блоке включает в себя:
- вычисление весовых коэффициентов Wk(i,j), k=0, …, N - 1 для первой оценки estDi,j и второй оценки estRi,j; для каждого положения (i,j) пикселя в опорном блоке весовой коэффициент Wk(i,j) равен Wk(i,j)=exp(-C·Ak(i,j)), где С - предопределенная константа больше 0, и Ak(i,j) равняется A k ( i , j ) = | R i , j − T k R | , где Ri,j - значение пикселя опорного блока T k R (k=0, …, N - 1) - значение пикселя, соседнего по отношению к опорному блоку, в случае | T k R − T k D | ≤ T h r 1 , где T k D , k=0, …, N - 1 - значение пикселя, соседнего по отношению к текущему кодируемому блоку, Thr1 - первый предопределенный порог; | T k R − R i , j | ≤ T h r 2 , где Thr2 - второй предопределенный порог; иначе Wk(i,j)=0.
Согласно другому варианту реализации заявляемого изобретения, предлагается модификация упомянутого выше метода, в которой предусматривается, что позиции восстановленных значений пикселей, соседних по отношению к текущему кодируемому блоку, и позиции значений пикселей, соседних по отношению к опорному блоку, определяются адаптивно вместо соответствующих пикселей с наперед заданными позициями.
В группу связанных единым замыслом изобретений входит также оригинальный способ кодирования многоракурсных видеопоследовательностей на основе коррекции изменения яркости и контрастности. Этот способ включает в себя:
- определение опорного блока, который используется для формирования блока-предсказания для текущего кодируемого блока;
- определение параметров коррекции изменения яркости и контрастности для коррекции различия в яркости и контрастности между опорным блоком и текущим кодируемым блоком в процессе поиска или по завершении поиска опорного блока;
- выполнение коррекции изменения яркости и контрастности найденного опорного блока за счет использования найденных параметров коррекции изменения яркости и контрастности;
- формирование блока-предсказания для текущего кодируемого блока за счет использования скорректированного по яркости и контрастности опорного блока;
- кодирование текущего блока с помощью сформированного блока-предсказания без кодирования найденных параметров коррекции изменения яркости и контрастности; кодирование информации об опорном блоке, если это необходимо для декодирования;
при этом определение параметров коррекции изменения яркости и контрастности включает в себя:
- получение восстановленных (закодированных и затем декодированных) значений пикселей, соседних по отношению к текущему блоку кодируемого кадра, и значений пикселей, соседних по отношению к опорному блоку опорного кадра;
- определение соотношений между значениями пикселей опорного блока и значениями пикселей, соседних по отношению к опорному блоку, а также соотношений между восстановленными значениями пикселей, соседних по отношению к текущему кодируемому блоку, и значениями пикселей, соседних по отношению к опорному блоку;
- определение параметров коррекции изменения яркости и контрастности для коррекции различия в яркости и контрастности между опорным блоком и текущим кодируемым блоком на основе найденных на предыдущем шаге соотношений между значениями пикселей опорного блока, восстановленными значениями пикселей, соседних по отношению к текущему кодируемому блоку, и значениями пикселей, соседних по отношению к опорному блоку.
В рамках единого замысла предусматривается также использование оригинального способа декодирования многоракурсных видеопоследовательностей на основе коррекции изменения яркости и контрастности. Этот способ включает в себя:
- декодирование информации об опорном блоке, если это необходимо для того, чтобы определить опорный блок для текущего декодируемого блока; определение опорного блока;
- определение параметров коррекции изменения яркости и контрастности для найденного опорного блока;
- выполнение коррекции изменения яркости и контрастности найденного опорного блока, используя найденные параметры коррекции изменения яркости и контрастности;
- формирование блока-предсказания для текущего декодируемого блока за счет использования опорного блока, скорректированного по яркости и контрастности;
- декодирование текущего блока за счет использования полученного блока-предсказания и параметров коррекции изменения яркости и контрастности,
при этом процедура определения параметров коррекции яркости и контрастности включает в себя:
- получение восстановленных (закодированных и затем декодированных) значений пикселей, соседних по отношению к текущему блоку кодируемого кадра, и значений пикселей, соседних по отношению к опорному блоку опорного кадра;
- определение соотношений между значениями пикселей опорного блока и значениями пикселей, соседних по отношению к опорному блоку, а также соотношений между восстановленными значениями пикселей, соседних по отношению к текущему кодируемому блоку, и значениями пикселей, соседних по отношению к опорному блоку;
- определение параметров коррекции изменения яркости и контрастности для коррекции различия в яркости и контрастности между опорным блоком и текущим кодируемым блоком на основе найденных на предыдущем шаге соотношений между значениями пикселей опорного блока, восстановленными значениями пикселей, соседних по отношению к текущему кодируемому блоку, и значениями пикселей, соседних по отношению к опорному блоку.
Далее существо изобретения поясняется с привлечением графических материалов.
Фиг.1 - структурная схема гибридного кодера многоракурсных видеопоследовательностей и место применения заявляемого изобретения.
Фиг.2 - структурная схема части гибридного видеокодера, реализующей заявляемый способ, входящий в состав процесса кодирования с предсказанием.
Фиг.3 - диаграмма, поясняющая способ коррекции изменения яркости и контрастности опорного блока в соответствии с одним из примеров реализации заявляемого изобретения.
Фиг.4 - блок-схема, иллюстрирующая способ коррекции изменения яркости и контрастности опорного блока, согласно одному из примеров реализации заявляемого изобретения.
Фиг.5 - диаграмма, иллюстрирующая процедуру выбора входных блоков в текущем кадре в процессе вычисления параметров коррекции изменения яркости и ко