Способ межслойного предсказания для видеосигнала

Способ межслойного предсказания для видеосигнала

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к способу межслойного предсказания при кодировании/декодировании видеосигнала.

Предшествующий уровень техники

Масштабируемый видеокодек (SVC) кодирует видео в последовательность изображений с максимально высоким визуальным качеством и при этом обеспечивает возможность декодирования части последовательности кодированных изображений (в частности, частичной последовательности кадров, выбранных с перерывами из полной последовательности кадров) и использования для представления видео с низким визуальным качеством.

Несмотря на то что существует возможность представления видео с низким визуальным качеством посредством приема и обработки части последовательности изображений, кодированных по масштабируемой схеме, остается проблема, связанная с тем, что визуальное качество существенно ухудшается, если снижается расход битов (битрейт). Одно решение упомянутой проблемы заключается в обеспечении вспомогательной последовательности изображений для низких битрейтов, например, последовательности изображений, имеющих небольшой экранный размер и/или низкую частоту кадров, в виде, по меньшей мере, одного слоя в иерархической структуре.

Когда предполагается, что обеспечены две последовательности, вспомогательную (младшую) последовательность изображений называют базовым слоем, и главную (старшую) последовательность изображений называют улучшенным слоем или слоем улучшенного качества. Видеосигналы базового и улучшенного слоев обладают избыточностью, поскольку один и тот же источник видеосигнала кодируется в двух слоях. Для повышения эффективности кодирования улучшенного слоя, видеосигнал улучшенного слоя кодируется с использованием кодированной информации (информации о движении или информации о текстуре) базового слоя.

Хотя единственный видеоисточник 1 можно кодировать во множество слоев с разными скоростями переноса, как показано на фиг.1a, множество видеоисточников 2b в разных режимах сканирования, которые содержат одинаковый контент 2a, можно кодировать в соответствующие слои, как показано на фиг.1b. И в этом случае кодер, который кодирует старший слой, может повысить эффективность кодирования путем выполнения межслойного предсказания с использованием кодированной информации младшего слоя, поскольку оба источника 2b обеспечивают одинаковый контент 2a.

Таким образом, необходимо обеспечить способ для межслойного предсказания с учетом режимов сканирования видеосигналов, при кодировании разных источников в соответствующие слои. Когда кодируется чересстрочное видео, его можно кодировать в четные и нечетные поля и можно также кодировать в пары нечетных и четных макроблоков в одном кадре. Соответственно, типы изображений для кодирования чересстрочного видеосигнала также следует учитывать при межслойном предсказании.

В общем, улучшенный слой обеспечивает изображения с разрешением выше, чем в изображениях базового слоя. Соответственно, если изображения слоев имеют разные разрешения, когда разные источники кодируются в соответствующие слои, то необходимо также выполнять интерполяцию для повышения разрешения изображения (т.е. размера изображения). Поскольку чем ближе находятся видеообъекты в изображениях базового слоя для использования в межслойном предсказании к видеообъектам в изображениях улучшенного слоя для кодирования с предсказанием, тем выше является скорость кодирования, то необходимо создать способ интерполяции, учитывающий режимы сканирования видеосигналов слоев.

Сущность изобретения

Целью настоящего изобретения является создание способа выполнения межслойного предсказания при условии, что, по меньшей мере, один из двух слоев содержит чересстрочные составляющие видеосигнала.

Другой целью настоящего изобретения является создание способа выполнения межслойного предсказания движения в слоях, содержащих изображения с разными пространственными разрешениями (масштабируемостями) в зависимости от типов изображений.

Еще одной целью настоящего изобретения является создание способа выполнения межслойного предсказания текстуры в слоях, содержащих изображения с разными пространственными и/или временными разрешениями (масштабируемостями).

Один способ межслойного предсказания движения в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что устанавливают связанную с движением информацию макроблока intra-режима (с внутрикадровым кодированием) по связанной с движением информации макроблока inter-режима (с межкадровым кодированием), при этом макроблоки intra-режима и inter-режима являются двумя вертикально смежными макроблоками базового слоя; и затем получают информацию о движении пары вертикально смежных макроблоков для использования в межслойном предсказании движения на основе этих двух вертикально смежных макроблоков.

Другой способ межслойного предсказания движения в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что устанавливают макроблок intra-режима, который является одним из двух вертикально смежных макроблоков intra-режима и inter-режима базового слоя, по блоку inter-режима, содержащему нулевую, связанную с движением информацию; и затем получают информацию о движении пары вертикально смежных макроблоков для использования в межслойном предсказании движения на основе этих двух вертикально смежных макроблоков.

Другой способ межслойного предсказания движения в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что выводят информацию о движении одного макроблока из информации о движении пары вертикально смежных макроблоков кадра базового слоя; и используют выведенную информацию о движении в качестве информации предсказания в информации о движении макроблока поля в текущем слое или соответствующей информации о движении пары макроблоков полей в текущем слое.

Другой способ межслойного предсказания движения в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что выводят соответствующую информацию о движении двух макроблоков из информации о движении одного макроблока поля базового слоя или информации о движении одного макроблока поля, выбранного из пары вертикально смежных макроблоков полей базового слоя; и используют выведенную соответствующую информацию о движении в качестве информации предсказания в соответствующей информации о движении пары макроблоков кадра текущего слоя.

Один способ межслойного предсказания движения для слоев с изображениями с разными разрешениями в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что преобразуют изображение младшего слоя в кадровое изображение с таким же разрешением посредством селективного применения предсказательных способов для преобразования в макроблоки кадров в соответствии с типами изображений и типами макроблоков в изображениях; выполняют повышающую дискретизацию (сверхдискретизируют) в отношении кадрового изображения, чтобы получить такое же разрешение, как разрешение старшего слоя; и затем применяют способ межслойного предсказания, подходящий для типов макроблоков кадра в сверхдискретизированном кадровом изображении и типов макроблоков в изображении старшего слоя.

Другой способ межслойного предсказания движения для слоев с изображениями с разными разрешениями в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что опознают типы изображений младшего и старшего слоев и/или типы макроблоков, содержащихся в изображениях; применяют способ предсказания пары макроблоков кадра по одному макроблоку поля к изображению младшего слоя в соответствии с результатами опознания, чтобы построить виртуальное изображение, имеющее такое же соотношение размеров, как соотношение размеров изображения старшего слоя; сверхдискретизируют виртуальное изображение; и затем применяют межслойное предсказание движения к старшему слою с использованием сверхдискретизированного виртуального изображения.

Другой способ межслойного предсказания движения для слоев с изображениями с разными разрешениями в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что опознают типы изображений младшего и старшего слоев и/или типы макроблоков, содержащихся в изображениях; применяют способ предсказания пары макроблоков кадра по одному макроблоку поля к изображению младшего слоя в соответствии с результатами опознания, чтобы построить виртуальное изображение, имеющее такое же соотношение размеров, как соотношение размеров изображения старшего слоя; и применяют межслойное предсказание движения к изображению старшего слоя с использованием построенного виртуального изображения.

Другой способ межслойного предсказания движения для слоев с изображениями с разными разрешениями в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что опознают типы изображений младшего и старшего слоев; копируют информацию о движении блока в изображении младшего слоя, чтобы построить виртуальное изображение, если тип изображения младшего слоя является чересстрочным, и тип изображения старшего слоя является прогрессивным; сверхдискретизируют виртуальное изображение; и применяют способ предсказания движения между макроблоками кадров сверхдискретизированного виртуального изображения и изображения старшего слоя.

Другой способ межслойного предсказания движения для слоев с изображениями с разными разрешениями в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что опознают типы изображений младшего и старшего слоев; копируют информацию о движении блока младшего слоя, чтобы построить виртуальное изображение, если тип изображения младшего слоя является чересстрочным и тип изображения старшего слоя является прогрессивным; и используют виртуальное изображение для применения межслойного предсказания движения к изображению старшего слоя.

В варианте осуществления настоящего изобретения, при межслойном предсказании движения последовательно предсказываются режимы разбиения, опорные индексы и векторы движения.

В другом варианте осуществления настоящего изобретения последовательно предсказываются опорные индексы, векторы движения и режимы разбиения.

В другом варианте осуществления настоящего изобретения информация о движении пары макроблоков полей виртуального базового слоя, подлежащая использованию для межслойного предсказания движения, выводится из информации о движении пары макробоков кадра базового слоя.

В другом варианте осуществления настоящего изобретения информация о движении макроблока поля в четном или нечетном полевом изображении виртуального базового слоя, подлежащая использованию для межслойного предсказания движения, выводится из информации о движении пары макробоков кадра базового слоя.

В другом варианте осуществления настоящего изобретения макроблок выбирается из пары макроблоков полей базового слоя, и информация о движении пары макроблоков полей виртуального базового слоя, подлежащая использованию для межслойного предсказания движения, выводится из информации о движении выбранного макроблока.

В другом варианте осуществления настоящего изобретения информация о движении пары макроблоков кадра виртуального базового слоя, подлежащая использованию для межслойного предсказания движения, выводится из информации о движении макроблока поля в четном или нечетном полевом изображении базового слоя.

В другом варианте осуществления настоящего изобретения информация макроблока поля в четном или нечетном полевом изображении базового слоя копируется, чтобы дополнительно построить виртуальный макроблок поля, и информация о движении пары макроблоков кадра виртуального базового слоя, подлежащая использованию для межслойного предсказания движения, выводится из информации о движении пары макробоков полей, построенных упомянутым образом.

Один способ межслойного предсказания текстуры в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что строят пару макроблоков полей из пары вертикально смежных макроблоков кадра базового слоя; и используют соответствующую информацию о текстуре построенной пары макроблоков полей в качестве соответствующей информации предсказания текстуры пары макроблоков полей текущего слоя.

Другой способ межслойного предсказания текстуры в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что строят один макроблок поля из пары вертикально смежных макроблоков кадра базового слоя; и используют информацию о текстуре построенного одного макроблока поля в качестве информации предсказания текстуры макроблока поля текущего слоя.

Другой способ межслойного предсказания текстуры в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что строят пару макроблоков кадра из одного макроблока поля или пары вертикально смежных макроблоков полей базового слоя; и используют соответствующую информацию о текстуре построенной пары макроблоков кадра в качестве соответствующей информации предсказания текстуры пары макроблоков кадра текущего слоя.

Другой способ межслойного предсказания текстуры в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что строят N пар макроблоков кадров из пары вертикально смежных макроблоков полей базового слоя, причем N является целым числом больше, чем 1; и используют соответствующую информацию о текстуре построенных N пар макроблоков кадров в качестве соответствующей информации предсказания текстуры N пар макроблоков кадров, находящихся в разных временных позициях в текущем слое.

Другой способ межслойного предсказания текстуры в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что разделяют каждый кадр младшего слоя на множество полевых изображений, чтобы младший слой мог иметь такое же временное разрешение, как временное разрешение старшего слоя; сверхдискретизируют каждое из полученных разделением полевых изображений в вертикальном направлении для растяжения каждого из разделенных полевых изображений в вертикальном направлении; и затем используют каждое из сверхдискретизированных полевых изображений в межслойном предсказании текстуры каждого кадра старшего слоя.

Другой способ межслойного предсказания текстуры в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что сверхдискретизируют каждое полевое изображение младшего слоя в вертикальном направлении для растяжения каждого полевого изображения в вертикальном направлении; и используют каждое из сверхдискретизированных полевых изображений в межслойном предсказании текстуры каждого кадра старшего слоя.

Другой способ межслойного предсказания текстуры в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что разделяют каждый кадр старшего слоя на множество полевых изображений; выполняют понижающую дискретизацию (субдискретизируют) в отношении изображений младшего слоя для уменьшения изображений младшего слоя в вертикальном направлении; и затем используют субдискретизированные изображения в межслойном предсказании текстуры полученных разделением полевых изображений старшего слоя.

Способ кодирования видеосигнала с использованием межслойного предсказания в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что определяют, использовать ли, в межслойном предсказании текстуры, соответствующую информацию о текстуре 2N блоков, построенных поочередным выбором строк 2N блоков в произвольном изображении базового слоя, и затем размещением выбранных строк в порядке выбора, или соответствующую информацию о текстуре 2N блоков, построенных интерполированием одного блока, выбранного из 2N блоков базового слоя; и включают информацию, показывающую результат определения, в кодированную информацию.

Способ декодирования видеосигнала с использованием межслойного предсказания в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что проверяют, содержится ли или нет специальная указательная информация в принятом сигнале; и определяют, на основе результата проверки, использовать ли в межслойном предсказании текстуры соответствующую информацию о текстуре 2N блоков, построенных поочередным выбором строк 2N блоков в произвольном изображении базового слоя, и затем размещением выбранных строк в порядке выбора, или соответствующую информацию о текстуре 2N блоков, построенных интерполированием одного блока, выбранного из 2N блоков базового слоя.

В варианте осуществления настоящего изобретения каждый кадр старшего или младшего слоя разделяется на два полевых изображения.

В варианте осуществления настоящего изобретения, если специальная указательная информация не содержится в принятом сигнале, то случай рассматривается как аналогичный случаю, в котором принят сигнал, содержащий указательную информацию, установленную в нуль, и определяются блоки, чья соответствующая информация о текстуре подлежит использованию в межслойном предсказании.

Один способ использования видеосигнала базового слоя в межслойном предсказании текстуры в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что разделяют чересстрочный видеосигнал базового слоя на компоненты четного и нечетного полей; увеличивают каждый из компонентов четного и нечетного полей в вертикальном и/или горизонтальном направлении; и затем объединяют и используют увеличенные компоненты четного и нечетного полей в межслойном предсказании текстуры.

Другой способ использования видеосигнала базового слоя в межслойном предсказании текстуры в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что разделяют прогрессивный видеосигнал базового слоя на группу четных строк и группу нечетных строк; увеличивают каждую из групп четных и нечетных строк в вертикальном и/или горизонтальном направлении; и объединяют и используют объединенные увеличенные группы четных и нечетных строк в межслойном предсказании текстуры.

Другой способ использования видеосигнала базового слоя в межслойном предсказании текстуры в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что увеличивают чересстрочный видеосигнал базового слоя в вертикальном и/или горизонтальном направлении, чтобы обеспечить такое же разрешение, как разрешение прогрессивного видеосигнала старшего слоя; и выполняют межслойное предсказание текстуры видеосигнала старшего слоя на основе увеличенного видеосигнала.

Другой способ использования видеосигнала базового слоя в межслойном предсказании текстуры в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что увеличивают прогрессивный видеосигнал базового слоя в вертикальном и/или горизонтальном направлении, чтобы обеспечить такое же разрешение, как разрешение чересстрочного видеосигнала старшего слоя; и выполняют межслойное предсказание текстуры видеосигнала старшего слоя на основе увеличенного видеосигнала.

В варианте осуществления настоящего изобретения разделение и увеличение видеосигнала выполняется на уровне макроблоков (или на основе макроблоков).

В другом варианте осуществления настоящего изобретения, разделение и увеличение видеосигнала выполняется на уровне изображений.

В другом варианте осуществления настоящего изобретения, разделение и увеличение видеосигнала выполняется, если различаются форматы изображений двух слоев, к которым следует применять межслойное предсказание текстуры, т.е. если один слой содержит прогрессивные изображения и другой слой содержит чересстрочные изображения.

В другом варианте осуществления настоящего изобретения разделение и увеличение видеосигнала выполняется, если оба изображения двух слоев, к которым следует применять межслойное предсказание текстуры, являются чересстрочными.

Перечень чертежей

Фиг.1a и 1b - наглядное представление способов кодирования одного видеоисточника во множество слоев;

Фиг.2a и 2b - сокращенное представление конфигурации устройства кодирования видеосигнала, к которому применен способ межслойного предсказания в соответствии с настоящим изобретением;

Фиг.2c и 2d - типы последовательностей изображений для кодирования чересстрочного видеосигнала;

Фиг.3a и 3b - схематичное представление процедуры, по которой строится изображение базового слоя и выполняется деблокинговая фильтрация для межслойного предсказания текстуры в соответствии с вариантом осуществления настоящего изобретения;

Фиг.4a-4f - схематичное представление процедуры, по которой информацию о движении в макроблоке поля виртуального базового слоя, подлежащего использованию для межслойного предсказания движения в макроблоке поля в MBAFF-кадре (кадре с адаптивным к макроблокам кодированием полей), получают с использованием информации о движении в макроблоке кадра в соответствии с вариантом осуществления настоящего изобретения;

Фиг.4g - схематичное представление процедуры, по которой информацию о текстуре в паре макроблоков используют для предсказания текстуры в паре макроблоков поля в MBAFF-кадре в соответствии с вариантом осуществления настоящего изобретения;

Фиг.4h - наглядное представление способа преобразования пары макроблоков кадра в пару макроблоков поля в соответствии с вариантом осуществления настоящего изобретения;

Фиг.5a и 5b - представление процедуры вывода опорного индекса и информации о движении в соответствии с другим вариантом осуществления настоящего изобретения;

Фиг.6a-6c - схематичное представление процедур, по которым информацию о движении в макроблоке поля виртуального базового слоя получают с использованием информации о движении в макроблоке кадра в соответствии с вариантом осуществления настоящего изобретения;

Фиг.6d - схематичное представление процедуры, по которой информацию о текстуре в паре макроблоков кадров используют для предсказания текстуры в макроблоке поля в полевом изображении в соответствии с вариантом осуществления настоящего изобретения;

Фиг.7a и 7b - представление процедуры вывода опорного индекса и информации о движении в соответствии с другим вариантом осуществления настоящего изобретения;

Фиг.8a-8c - схематичное представление процедур, по которым информацию о движении в макроблоке кадра из макроблока поля виртуального базового слоя, подлежащую использованию для межслойного предсказания движения, выводят с использованием информации о движении макроблока поля в MBAFF-кадре в соответствии с вариантом осуществления настоящего изобретения;

Фиг.8d - схематичное представление процедуры, по которой информацию о текстуре пары макроблоков полей в MBAFF-кадре используют в предсказании текстуры пары макроблоков кадра в соответствии с вариантом осуществления настоящего изобретения;

Фиг.8e - схема способа преобразования пары макроблоков полей в пару макроблоков кадра в соответствии с вариантом осуществления настоящего изобретения;

Фиг.8f-8g - схематичное представление процедур, по которым информацию о текстуре пары макроблоков полей в MBAFF-кадре используют в межслойном предсказании пары макроблоков кадра, когда только один из пары макроблоков полей является макроблоком inter-режима в соответствии с вариантом осуществления настоящего изобретения;

Фиг.8h - схематичное представление процедуры, по которой информацию о текстуре пары макроблоков полей в MBAFF-кадре используют в предсказании текстуры множества пар макроблоков кадров в соответствии с вариантом осуществления настоящего изобретения;

Фиг.9a-9b - схема процедур вывода опорных индексов и информации о движении в соответствии с другим вариантом осуществления настоящего изобретения;

Фиг.10a-10c - схематичное представление процедур, по которым информацию о движении макроблока кадра виртуального базового слоя, подлежащую использованию для межслойного предсказания движения, выводят с использованием информации о движении макроблока поля в полевом изображении в соответствии с вариантом осуществления настоящего изобретения;

Фиг.10d - схематичное представление процедуры, по которой информацию о текстуре макроблока поля в полевом изображении используют в предсказании текстуры пары макроблоков кадра в соответствии с вариантом осуществления настоящего изобретения;

Фиг.11 - схема процедуры вывода опорных индексов и информации о движении в соответствии с другим вариантом осуществления настоящего изобретения;

Фиг.12a и 12b - схематичное представление процедур, по которым информацию о движении макроблока кадра виртуального базового слоя, подлежащую использованию для межслойного предсказания движения, выводят с использованием информации о движении макроблока поля в полевом изображении в соответствии с другим вариантом осуществления настоящего изобретения;

Фиг.13a-13d - схематичное представление, раздельно по типам изображений, процедур, по которым информацию о движении макроблока поля виртуального базового слоя, подлежащую использованию для межслойного предсказания движения, выводят с использованием информации о движении макроблока поля в соответствии с вариантом осуществления настоящего изобретения;

Фиг.14a-14k - схематичное представление, раздельно по типам изображений, способов выполнения межслойного предсказания движения, когда пространственные разрешения слоев различаются, в соответствии с множеством различных вариантов осуществления настоящего изобретения;

Фиг.15a и 15b - схематичное представление процедур, по которым изображение базового слоя с отличающимся пространственным разрешением используется в межслойном предсказании текстуры, когда улучшенный слой является прогрессивным и базовый слой является чересстрочным, в соответствии с вариантом осуществления настоящего изобретения;

Фиг.16a и 16b - схематичное представление процедур, по которым, чтобы использовать изображение базового слоя в межслойном предсказании текстуры, пара макроблоков в изображении разделяется на макроблоки, и полученные разделением макроблоки увеличиваются в соответствии с вариантом осуществления настоящего изобретения;

Фиг.17a и 17b - схематичное представление процедур, по которым изображение базового слоя с отличающимся пространственным разрешением используется в межслойном предсказании текстуры, когда улучшенный слой является чересстрочным, и базовый слой является прогрессивным в соответствии с вариантом осуществления настоящего изобретения;

Фиг.18 - схематичное представление процедур, по которым изображение базового слоя с отличающимся пространственным разрешением используется в межслойном предсказании, когда как улучшенный, так и базовый слои являются чересстрочными в соответствии с вариантом осуществления настоящего изобретения;

Фиг.19a - схематичное представление процедуры, по которой межслойное предсказание применяется, когда улучшенный слой представляет собой последовательность прогрессивных кадров, и различаются типы изображений и временные разрешения двух слоев в соответствии с вариантом осуществления настоящего изобретения;

Фиг.19b - схематичное представление процедуры, по которой межслойное предсказание применяется, когда улучшенный слой представляет собой последовательность прогрессивных кадров, и два слоя содержат изображения разных типов и имеют одинаковое разрешение в соответствии с вариантом осуществления настоящего изобретения;

Фиг.20 - схематичное представление процедуры, по которой межслойное предсказание применяется, когда базовый слой представляет собой последовательность прогрессивных кадров, и различаются типы изображений и временные разрешения двух слоев в соответствии с вариантом осуществления настоящего изобретения; и

Фиг.21 - схематичное представление процедуры, по которой межслойное предсказание применяется, когда базовый слой представляет собой последовательность прогрессивных кадров, и два слоя содержат изображения разных типов и имеют одинаковое разрешение в соответствии с вариантом осуществления настоящего изобретения.

Варианты осуществления изобретения

Ниже приведено подробное описание вариантов осуществления настоящего изобретения со ссылкой на прилагаемые чертежи.

На фиг.2a схематично представлены компоновочные блоки устройства кодирования видеосигнала, к которому применен способ межслойного предсказания в соответствии с настоящим изобретением. Хотя устройство, показанное на фиг.2a, выполнено для кодирования входного видеосигнала в двух слоях, нижеописанные принципы настоящего изобретения применимы также к процессам межслойной обработки, даже когда видеосигнал кодируется в три или больше слоев.

Способ межслойного предсказания в соответствии с настоящим изобретением в кодере 20 улучшенного слоя (EL-кодере) в устройстве, показанном на фиг.2a. Кодированная информация (информация о движении и информация о текстуре) принимается в кодере 21 базового слоя (BL-кодере). Межслойное предсказание текстуры или предсказание движения выполняется на основании принятой информации. При необходимости, принятая информация декодируется, и предсказание выполняется на основании декодированной информации. Безусловно, в настоящем изобретении входной видеосигнал может быть кодирован с использованием видеоисточника 3 базового слоя, который уже кодирован, как показано на фиг.2b. В данном случае применяется такой же способ межслойного предсказания, как описанный ниже.

В случае, показанном на фиг.2a, возможны два способа, которыми BL-кодер 21 кодирует чересстрочный видеосигнал или которыми кодирован кодированный видеоисточник 3, показанный на фиг.2b. В частности, по одному из двух способов чересстрочный видеосигнал просто, поле за полем, кодируется в последовательность полей, как показано на фиг.3a, и по другому способу кадры кодируются в последовательность кадров посредством построения каждого кадра последовательности парами макроблоков из двух (четного и нечетного) полей, как показано на фиг.3b. Верхний макроблок из пары макроблоков в кадре, кодированном таким образом, называется «верхним макроблоком», и нижний макроблок называется «нижним макроблоком». Если верхний макроблок состоит из видеокомпонента четного (или нечетного) поля, то нижний макроблок состоит из видеокомпонента нечетного (или четного) поля. Построение кадра упомянутым способом называется кадром с адаптивным к макроблокам кодированием полей (MBAFF). MBAFF-кадр может содержать не только пары макроблоков, содержащих, каждая, макроблоки нечетного и четного полей, но также пары макроблоков, содержащих, каждая, два макроблока кадра.

Соответственно, когда макроблок в изображении содержит чересстрочный видеокомпонент, он может быть макроблоком в поле и может быть также макроблоком в кадре. Каждый макроблок, содержащий чересстрочный видеокомпонент, называется макроблоком поля, тогда как каждый макроблок, содержащий прогрессивный (с прогрессивной разверткой) видеокомпонент, называется макроблоком кадра.

Таким образом, способ межслойного предсказания необходимо определить путем определения того, является ли каждый из типов макроблока, подлежащего кодированию в EL-кодере 20, и макроблок базового слоя, подлежащего использованию в межслойном предсказании макроблока, типом макроблока кадра или типом макроблока поля. Если макроблок является макроблоком поля, то способ межслойного предсказания необходимо определить путем определения, является ли упомянутый макроблок макроблоком поля в поле или в MBAFF-кадре.

Способ будет описан отдельно для каждого случая. Перед описанием сделано допущение, что разрешение текущего слоя равно разрешению базового слоя. То есть принято, что тип пространственной масштабируемости (SpatialScalabilityType()) является нулевым. Описание случая, когда разрешение текущего слоя выше, чем разрешение базового слоя, будет дано позже. В нижеследующих описании и чертежах, термины «верхний» и «четный» (или нечетный) используются взаимозаменяемо, и термины «нижний» и «нечетный» (или четный) используются взаимозаменяемо.

Чтобы выполнить межслойное предсказание для кодирования или декодирования улучшенного слоя с использованием базового слоя, сначала необходимо декодировать базовый слой. Поэтому далее сначала приведено описание декодирования базового слоя.

Когда декодируется базовый слой, декодируется не только информация о движении в базовом слое, например режимы разбиения, опорные индексы и векторы движения, но также текстура базового слоя.

Когда декодируется текстура базового слоя для межслойного предсказания текстуры, декодируются не все данные отсчетов видеообъектов базового слоя, чтобы уменьшить загрузку декодера. В макроблоках, обработанных в так называемом intra-режиме (режиме внутрикадрового кодирования, далее по тексту иногда intra-макроблоках), декодируются данные отсчетов видеообъектов, а в макроблоках, обработанных в так называемом inter-режиме (режиме межкадрового кодирования, далее по тексту иногда inter-макроблоках), декодируются без компенсации движения по отношению к соседним изображениям лишь остаточные данные, которые являются данными ошибок между данными отсчетов видеообъектов.

Кроме того, декодирование текстуры базового слоя для межслойного предсказания текстуры выполняется по изображениям, а не по макроблокам, чтобы строить изображения базового слоя, которые по времени совпадают с изображениями улучшенного слоя. Изображение базового слоя строится по данным отсчетов видеообъектов, реконструированным из intra-макроблоков, и остаточным данным, декодированным из inter-макроблоков, как описано выше.

Компенсация и преобразование движения в режиме intra или режиме inter, например, DCT (дискретное косинусное преобразование) и квантование выполняются по блокам видеообъектов, например, по 16×16 макроблокам или 4×4 субблокам. Это вызывает искажение изображений артефактами блочности на границах блоков. Для подавления упомянутых артефактов блочности применяют деблокинговую фильтрацию. Деблокинговый фильтр сглаживает контуры блоков видеообъектов для повышения качества видеокадров.

Следует ли или нет применять деблокинговую фильтрацию для подавления искажений блочности, зависит от яркости блоков видеообъектов на границах и градиентов пикселей около границ. Мощность или степень деблокингового фильтра определяется по параметру квантования, intra-режиму, inter-режиму, режиму разбиения на блоки, указывающему размер блоков или чего-то подобного, вектору движения, значению пикселя перед деблокинговой фильтрацией и т.п.

Деблокинговый фильтр при межслойном предсказании применяется к intra-макроблоку в изображении базового слоя, которое является основой для предсказания текстуры в макроблоке улучшенного слоя, обработанном в базовом intra-режиме (режиме внутрикадрового кодирования базового слоя (intraBL-режиме) или режиме внутрикадрового кодирования с межслойным предсказанием).

Когда каждый из двух слоев, подлежащих кодированию в соответствии со способом межслойного предсказания, кодируется в последовательность изображений полей, как показано на фиг.2c, каждый из двух слоев считается имеющим кадровый формат, так что, исходя из процессов кодирования для кадрового формата, можно легко вывести процессы кодирования/декодирования, включая деблокинговую фильтрацию.

Способ для выполнения деблокинговой фильтрации в соответствии с вариантом осуществления описан ниже для случая, когда формат изображения базового слоя отличается от формата изображения улучшенного слоя, т.е. для случая, когда улучшенный слой имеет кадровый (или прогрессивный) формат и базовый слой имеет полевой (или чересстрочный формат) формат, для случая, когда улучшенный слой имеет полевой формат и базовый слой имеет кадровый формат, или для случая, когда какой-то один из улучшенного и базового слое