Способ масштабируемого кодирования видео, устройство масштабируемого кодирования видео, программа масштабируемого кодирования видео и машиночитаемый носитель записи, сохраняющий программу

Способ масштабируемого кодирования видео, устройство масштабируемого кодирования видео, программа масштабируемого кодирования видео и машиночитаемый носитель записи, сохраняющий программу

Иллюстрации

Показать все

Реферат

Область техники

Настоящее изобретение относится к способу и устройству масштабируемого кодирования видео, которые масштабируемым образом кодируют видео, а также к программе масштабируемого кодирования видео, которая используется для того, чтобы реализовывать этот способ масштабируемого кодирования видео, и к машиночитаемому носителю записи, сохраняющему программу. В частности, настоящее изобретение относится к способу и устройству масштабируемого кодирования видео, которые достигают сокращения времени кодирования, а также к программе масштабируемого кодирования видео, которая используется для того, чтобы реализовывать этот способ масштабируемого кодирования видео, и к машиночитаемому носителю записи, в котором эта программа сохраняется.

Данная заявка притязает на приоритет патентной заявки (Япония) номер 2008-271513, зарегистрированной 22 октября 2008 года, содержимое которой содержится в данном документе по ссылке.

Уровень техники

В последние годы разработаны различные дисплейные терминалы и сетевые окружения. Вследствие этого JVT (Объединенная группа по видеостандартам) выполняет исследование системы кодирования на основе SVC (масштабируемого кодирования видео), которая предоставляет масштабируемость пространства/времени/SNR (отношения "сигнал-шум") для AVC (усовершенствованного кодирования видео) (см., например, непатентный документ 1).

В SVC используются три способа прогнозирования, а именно, взаимное прогнозирование, внутреннее прогнозирование и межслойное прогнозирование, и выполняется устранение избыточности, вставляемой между временем, пространством и слоями. Примеры режимов прогнозирования, достижимых через SVC, приведены ниже.

Взаимное прогнозирование

- режим пропуска (Skip)

- прямой режим (Direct)

- режим прогнозирования движения с размером блока 16×16 (P16×16)

- режим прогнозирования движения с размером блока 16×8 (P16×8)

- режим прогнозирования движения с размером блока 8×16 (P8×16)

- режим прогнозирования движения с размером блока 8×8 (P8×8)

Внутреннее прогнозирование

- режим внутреннего прогнозирования с размером блока 16×16 (I16×16)

- режим внутреннего прогнозирования с размером блока 8×8 (I8×8)

- режим внутреннего прогнозирования с размером блока 4×4 (I4×4)

Межслойное прогнозирование

- режим BLSkip (BLSkip)

- режим IntraBL (IntraBL)

Когда выполняется P8×8, каждый блок 8×8 может быть дополнительно разделен на размеры блоков 8×4, 4×4 и 4×4. В SVC один из этих вариантов для поиска режима прогнозирования (вариантов поиска режима прогнозирования) выбирается в качестве оптимального режима прогнозирования в каждом макроблоке.

Пример способа, используемого для того, чтобы определять оптимальный режим прогнозирования, приведен ниже.

В JSVM (объединенная модель масштабируемого видео: см., например, непатентный документ 2), которая продвигается JVT как опорный SVC-кодер, затраты на кодирование, которые формируются из бита кодирования и искажения при кодировании, вычисляются в каждом режиме прогнозирования, и режим прогнозирования, имеющий наименьшие затраты на кодирование из всех вышеуказанных режимов прогнозирования, определяется как оптимальный режим прогнозирования.

Кроме того, в патентном документе 1, приведенном ниже, векторы создаются посредством экстраполяции или интерполяции векторов движения на основе опорных кадров при кодировании настоящих кадров, и координаты каждого пиксела в макроблоках, которые перемещены в результате этого, затем определяются, и число раз, когда пикселы совпадают, подсчитывается для каждого пиксела. Затем, варианты поиска режима прогнозирования сужаются в соответствии с размером значения количественного показателя, который вычисляется из подсчитанного числа для каждого пиксела в рамках целевых макроблоков кодирования. Способом, используемым для этого сужения, является способ, который предложен для того, чтобы повышать скорость поиска режима прогнозирования H.264/AVC, тем не менее, он также может применяться в SVC, которое является механизмом для поиска режима прогнозирования, идентичного поиску режима прогнозирования в H.264/AVC.

Кроме того, в патентном документе 2, приведенном ниже, чтобы позволять выполнять внутрикадровое кодирование на высокой скорости, например, девять экранных ошибок прогнозирования определяются в блоке, в котором внутрикадровое кодирование должно выполняться с использованием пикселных значений смежных блоков кодирования, и, на основе этих ошибок прогнозирования, режим прогнозирования определяется для этого блока. Затем, режим прогнозирования для этого блока определяется с использованием экранного режима прогнозирования смежного блока, который уже кодирован, и когда эти два режима прогнозирования совпадают, режим прогнозирования выбирается при таких условиях. Если, тем не менее, эти два режима прогнозирования не совпадают, выбирается режим прогнозирования, имеющий более низкие затраты на кодирование.

Документы предшествующего уровня техники

Непатентный документ 1. T. Wiegand, G. Sullivan, J. Reichel, H. Schwarz и M. Wien: "Joint Draft ITU-T Rec. H.264-ISO/IEC 14496-10/ Amd.3 Scalable video coding, "ISO/IEC JTC1/SC29/WG11 и ITU-T SG16 Q.6, JVT-X201, 2007. http://ftp3.itu.ch/av-arch/jvt-site/2007_06_Geneva/JVTX201.zip

Непатентный документ 2. J. Reichel, H. Schwarz и M. Wien: "Joint Scalable Video Model JSVM-11", ISO/IEC JTC1/SC29/WG11 и ITU-T SG16 Q.6, JVT-X202, 2007. http://ftp3.itu.ch/av-arch/jvt-site/2007_06_Geneva/JVTX202.zip

Патентный документ 1. Не прошедшая экспертизу заявка на патент (Япония), первая публикация (JP-A) № 2006-033451

Патентный документ 2. Не прошедшая экспертизу заявка на патент (Япония), первая публикация (JP-A) № 2005-184241

Сущность изобретения

Проблемы, разрешаемые изобретением

В JSVM-способе определения оптимального режима прогнозирования, описанном в непатентном документе 2, поскольку отсутствует сужение вариантов поиска режима прогнозирования, может достигаться превосходная производительность кодирования. С другой стороны, в этом способе определения, огромное количество времени требуется для того, чтобы выполнять поиск режима прогнозирования. А именно, в этом способе определения, продолжительное время тратится впустую, поскольку выполняется поиск всех режимов прогнозирования даже для режимов прогнозирования, которые, очевидно, имеют низкую вероятность выбора, если рассматриваются характеристики изображений в рамках макроблоков (например, режимов прогнозирования во внутреннем режиме в статических областях).

Кроме того, поскольку сужение вариантов поиска режима прогнозирования в патентном документе 1 является способом определения того, выполнять или нет прогнозирование во внутреннем режиме, оно не оказывает влияние на сокращение поисков режима взаимного прогнозирования, которые требуют более длительного времени вычисления по сравнению с поисками режима внутреннего прогнозирования. А именно, существенный простор для улучшения остается в отношении поисков режима взаимного прогнозирования.

Кроме того, поскольку сужение вариантов поиска режима прогнозирования согласно патентному документу 2 является только сужением для внутреннего прогнозирования, аналогично сужению вариантов поиска режима прогнозирования согласно патентному документу 2, отсутствует влияние на сокращение поисков режима взаимного прогнозирования. А именно, существенный простор для улучшения остается в отношении поисков режима взаимного прогнозирования.

Настоящее изобретение создано с учетом вышеописанных обстоятельств, и его цель заключается в том, чтобы предоставлять новую технологию масштабируемого кодирования видео, которая, при масштабируемом кодировании видео, которое достигает масштабируемости посредством многослойной структуры, сужает варианты поиска режима прогнозирования верхнего слоя с использованием корреляций оптимальных режимов прогнозирования между слоями, чтобы достигать повышения скорости.

Средство решения проблемы

При масштабируемом кодировании видео, в котором масштабируемость достигается посредством многослойной структуры, чтобы достигать повышения скорости поиска режима прогнозирования, устройство масштабируемого кодирования видео настоящего изобретения включает в себя: (1) модуль создания, который, на основе информации об оптимальном режиме прогнозирования, который выбран при масштабируемом кодировании, выполняемом без наложения ограничений на использование режимов прогнозирования, заданных как возможные для использования, определяет доли выпадений комбинаций оптимальных режимов прогнозирования, которые должны выбираться для пространственно соответствующих блоков верхнего слоя и нижнего слоя, и создает таблицу соответствия, которая описывает взаимосвязи между комбинациями выбранного оптимального режима прогнозирования и оптимального режима прогнозирования, который должен выбираться, и долями выпадений; (2) модуль обнаружения, который, при кодировании блока верхнего слоя, обнаруживает информацию об оптимальном режиме прогнозирования, выбранном при кодировании пространственно соответствующего блока нижнего слоя; (3) модуль определения, который, на основе информации о выбранном оптимальном режиме прогнозирования, обнаруженной посредством модуля обнаружения, и на основе информации о долях выпадений, описанной в таблице соответствия, извлекает эффективную комбинацию из числа комбинаций, описанных в таблице соответствия, и определяет оптимальный режим прогнозирования верхнего слоя, содержащийся в извлеченной эффективной комбинации, в качестве варианта поиска режима прогнозирования, поиск которого должен выполняться при кодировании блока верхнего слоя; и (4) модуль управления, который осуществляет управление так, что масштабируемое кодирование, в котором ограничения налагаются на использование режимов прогнозирования, выполняемых с использованием таблицы соответствия, и масштабируемое кодирование, в котором ограничения не налагаются на использование режимов прогнозирования, выполняемых без использования таблицы соответствия, повторяются попеременно.

В такой структуре, как описано выше, посредством обращения к таблице соответствия с использованием в качестве ключа информации об оптимальных режимах прогнозирования, которые обнаружены посредством модуля обнаружения, модуль определения указывает доли выпадений, ассоциированные с этими оптимальными режимами прогнозирования. Затем, предпочтительно для модуля определения либо извлекать комбинацию оптимальных режимов прогнозирования, имеющих доли выпадений, показывающие значение, превышающее предварительно определенное пороговое значение из числа этих указанных долей выпадений, либо извлекать комбинацию оптимальных режимов прогнозирования, имеющих доли выпадений, показывающие наибольшее значение из числа этих указанных долей выпадений, либо извлекать комбинацию оптимальных режимов прогнозирования, имеющих предварительно определенное число долей выпадений, которые выбираются последовательно из доли выпадений, имеющей наибольшее значение из числа этих указанных долей выпадений. Модуль определения затем определяет оптимальный режим прогнозирования верхнего слоя, содержащийся в извлеченной комбинации оптимальных режимов прогнозирования, в качестве варианта поиска режима прогнозирования, поиск которого должен выполняться при кодировании блока верхнего слоя.

Кроме того, чтобы осуществлять обработку эффективного определения посредством модуля определения, предпочтительно для устройства масштабируемого кодирования видео настоящего изобретения извлекать заранее комбинацию эффективных оптимальных режимов прогнозирования посредством сужения комбинаций оптимальных режимов прогнозирования, описанных в таблице соответствия, на основе значений долей выпадений, описанных в таблице соответствия, и создавать информацию соответствия для режимов прогнозирования, которая описывает комбинации извлеченных эффективных оптимальных режимов прогнозирования.

В этом случае, при масштабируемом кодировании видео, в котором масштабируемость достигается посредством многослойной структуры, чтобы достигать повышения скорости поиска режима прогнозирования, устройство масштабируемого кодирования видео настоящего изобретения включает в себя: (1) модуль создания таблиц соответствия, который, на основе информации об оптимальном режиме прогнозирования, который выбран при масштабируемом кодировании, выполняемом без наложения ограничений на использование режимов прогнозирования, заданных как возможные для использования, определяет доли выпадений комбинаций оптимальных режимов прогнозирования, которые должны выбираться для пространственно соответствующих блоков верхнего слоя и нижнего слоя, и создает таблицу соответствия, которая описывает взаимосвязи между комбинациями выбранного оптимального режима прогнозирования и оптимального режима прогнозирования, который должен выбираться, и долями выпадений; (2) модуль создания информации соответствия для режимов прогнозирования, который, на основе значений долей выпадений, извлекает комбинацию эффективных оптимальных режимов прогнозирования посредством сужения комбинаций выбранных оптимальных режимов прогнозирования, описанных в таблице соответствия, и оптимального режима прогнозирования, который должен выбираться, и создает информацию соответствия для режимов прогнозирования, которая описывает комбинации извлеченных эффективных оптимальных режимов прогнозирования; (3) модуль обнаружения, который, при кодировании блока верхнего слоя, обнаруживает информацию об оптимальном режиме прогнозирования, выбранном при кодировании пространственно соответствующего блока нижнего слоя; (4) модуль определения, который, посредством обращения к информации соответствия для режимов прогнозирования с использованием в качестве ключа информации о выбранном оптимальном режиме прогнозирования, обнаруженной посредством модуля обнаружения, определяется вариант поиска режима прогнозирования, поиск которого должен выполняться при кодировании блока верхнего слоя; и (5) модуль управления, который осуществляет управление так, что масштабируемое кодирование, в котором ограничения налагаются на использование режимов прогнозирования, выполняемых с использованием таблицы соответствия, и масштабируемое кодирование, в котором ограничения не налагаются на использование режимов прогнозирования, выполняемых без использования таблицы соответствия, повторяются попеременно.

Когда эта структура используется, модуль создания информации соответствия для режимов прогнозирования может либо: создавать информацию соответствия для режимов прогнозирования посредством извлечения, в качестве эффективной комбинации, комбинации оптимальных режимов прогнозирования, имеющей долю выпадений, показывающую значение, которое превышает предварительно определенное пороговое значение; или, альтернативно, создавать информацию соответствия для режимов прогнозирования посредством извлечения, в качестве эффективной комбинации, комбинации оптимальных режимов прогнозирования, имеющей долю выпадений, показывающую наибольшее значение, из числа комбинаций оптимальных режимов прогнозирования, имеющих идентичный оптимальный режим прогнозирования на нижнем слое; или создавать информацию соответствия для режимов прогнозирования посредством извлечения, в качестве эффективной комбинации, комбинации предварительно определенного числа оптимальных режимов прогнозирования, выбранных последовательно из доли выпадений, показывающей наибольшее значение.

Способ масштабируемого кодирования видео настоящего изобретения, который реализуется как результат работы каждого из вышеуказанных модулей обработки, также может быть реализован посредством компьютерной программы. Эта компьютерная программа предоставляет возможность реализации настоящего изобретения посредством записи на подходящий машиночитаемый носитель записи или посредством предоставлении через сеть, или посредством установки на компьютер и управления посредством модуля управления, такого как CPU, когда настоящее изобретение должно быть реализовано.

Преимущества изобретения

В настоящем изобретении, при масштабируемом кодировании видео, которое достигает масштабируемости посредством многослойной структуры, поскольку можно сужать варианты поиска режима прогнозирования верхнего слоя с использованием корреляций оптимальных режимов прогнозирования между слоями, уменьшение времени кодирования может достигаться.

Кроме того, в настоящем изобретении, когда уменьшение времени кодирования достигается посредством сужения вариантов поиска режима прогнозирования, поскольку это сужение выполняется на основе соответствующих взаимосвязей оптимальных режимов прогнозирования между слоями в уже кодированных кадрах, можно исключать риск пропуска вариантов поиска оптимального режима прогнозирования вследствие этого сужения. Соответственно, можно подавлять снижение производительности кодирования, которое может, возможно, возникать в результате сужения вариантов поиска режима прогнозирования.

Краткое описание чертежей

Фиг.1 является пояснительным видом, показывающим примеры кадров, предназначенных для кодирования, и кадров, предназначенных для создания таблицы степеней соответствий режимов прогнозирования.

Фиг.2 является блок-схемой последовательности операций способа, показывающей обобщенную последовательность операций обработки кодирования видео согласно варианту осуществления настоящего изобретения.

Фиг.3 является таблицей степеней соответствий режимов прогнозирования согласно варианту осуществления настоящего изобретения.

Фиг.4 является таблицей, показывающей результаты, когда варианты поиска режима прогнозирования сужаются в варианте осуществления настоящего изобретения.

Фиг.5 является таблицей, показывающей результаты, когда варианты поиска режима прогнозирования сужаются в варианте осуществления настоящего изобретения.

Фиг.6 является блок-схемой последовательности операций способа, показывающей обработку масштабируемого кодирования видео согласно варианту осуществления настоящего изобретения.

Фиг.7 является блок-схемой последовательности операций способа, показывающей пример обработки для того, чтобы определять варианты поиска режима прогнозирования, которая выполняется в обработке масштабируемого кодирования видео, показанной на Фиг.6.

Фиг.8 является блок-схемой последовательности операций способа, показывающей другой пример обработки, чтобы определять варианты поиска режима прогнозирования, которая выполняется в обработке масштабируемого кодирования видео, показанной на Фиг.6.

Фиг.9 является блок-схемой, показывающей устройство масштабируемого кодирования видео согласно варианту осуществления настоящего изобретения.

Фиг.10 является блок-схемой, показывающей пример модуля определения вариантов поиска режима прогнозирования в устройстве масштабируемого кодирования видео, показанном на Фиг.9.

Фиг.11 является блок-схемой, показывающей другой пример модуля определения вариантов поиска режима прогнозирования в устройстве масштабируемого кодирования видео, показанном на Фиг.9.

Фиг.12 является пояснительным видом, показывающим кадр вычисления соответствия и кадр высокоскоростного выбора режима в эксперименте, который выполнен, чтобы проверять эффективность варианта осуществления настоящего изобретения.

Фиг.13 является графиком, показывающим экспериментальные результаты эксперимента, который выполнен, чтобы проверять эффективность варианта осуществления настоящего изобретения.

Фиг.14 является графиком, показывающим экспериментальные результаты эксперимента, который выполнен, чтобы проверять эффективность варианта осуществления настоящего изобретения.

Осуществление изобретения

[1] Основная идея вариантов осуществления настоящего изобретения

В варианте осуществления настоящего изобретения, при масштабируемом кодировании видео, которое достигает масштабируемости посредством многослойной структуры, повышение скорости, на которой выполняется поиск режима прогнозирования, достигается посредством двух процессов, а именно:

(i) посредством создания таблицы степеней соответствий режимов прогнозирования (т.е. таблицы, описывающей корреляции оптимальных режимов прогнозирования между слоями); и

(ii) посредством сужения вариантов поиска режима прогнозирования с использованием этой таблицы степеней соответствий режимов прогнозирования.

В дальнейшем в этом документе, описание продолжается в соответствии с примером, показанным на Фиг.1. А именно, предполагается, что как слой L, так и слой L-1 кодируются с использованием IBBBP-упорядоченной B-структуры. Стрелки на схеме показывают опорное назначение прогнозирования. Целевой слой кодирования рассматривается как L, целевой кадр кодирования рассматривается как B2b, и кадр, предназначенный для создания таблицы степеней соответствий режимов прогнозирования, рассматривается как B2a. Кроме того, кадр слоя L-1 в идентичной синхронизации с B2b рассматривается как B'2b, и кадр слоя L-1 в идентичной синхронизации B2a рассматривается как B'2a. Кодирование выполняется последовательно от наименьшего временного уровня, и, в рамках одного временного уровня, кодирование выполняется последовательно от кадра, имеющего самое раннее время. Слои кодируются в этой последовательности от наименьшего уровня.

Далее, относительно блок-схемы последовательности операций способа, показанной на Фиг.2, описывается обобщенная последовательность операций обработки настоящего варианта осуществления.

В настоящем варианте осуществления, когда масштабируемое кодирование выполняется для видео, как показано в блок-схеме последовательности операций способа на Фиг.2, переменная n задается равной 1 на этапе S101, и выполняется определение в отношении того, все или нет кадры кодированы, на следующем этапе S102. Если определено, что все кадры кодированы, процедура завершается.

Если, тем не менее, в соответствии с обработкой определения этапа S102, определяется то, что не все кадры кодированы, процедура переходит к этапу S103, на котором один необработанный кадр выбирается в соответствии с последовательностью от начального кадра. На следующем этапе S104, выбранный кадр кодируется посредством осуществления прогноза без наложения ограничений на использование режимов прогнозирования, которые заданы как возможные для использования, а именно, посредством осуществления прогноза с использованием всех применимых режимов прогнозирования.

Затем, на этапе S105, значение переменной n увеличивается на единицу. На следующем этапе S106, выполняется определение в отношении того, превышает или нет значение переменной n предварительно определенное пороговое значение N1 (при этом N1 является целым числом, равным 1 или больше). Если определено, что значение переменной n не превышает пороговое значение N1, процедура возвращается к обработке этапа S102, и кодирование кадров продолжается без наложения ограничений на использование режимов прогнозирования, которые заданы как допущенные к использованию.

Если, тем не менее, в обработке определения этапа S106, определяется то, что значение переменной n превышает пороговое значение N1, процедура переходит к этапу S107, и создается таблица степеней соответствий режимов прогнозирования. Таблица степеней соответствий режимов прогнозирования имеет такую структуру данных, как описано ниже, и является таблицей, которая описывает корреляции (т.е. доли выпадений) оптимальных режимов прогнозирования между слоями.

Затем, на этапе S108, переменная n задается равной 1, и, на следующем этапе S109, выполняется определение в отношении того, все или нет кадры кодированы. Если определено, что все кадры кодированы, процедура завершается.

Если, тем не менее, на этапе S109 определяется то, что не все кадры кодированы, процедура переходит к этапу S110. На этапе S110, один необработанный кадр выбирается в соответствии с последовательностью от начального кадра. На следующем этапе S111, выбранный кадр кодируется посредством осуществления прогноза при одновременном сужении вариантов поиска режима прогнозирования с использованием таблицы степеней соответствий режимов прогнозирования.

Затем, на этапе S112, значение переменной n увеличивается на единицу. На следующем этапе S113, выполняется определение в отношении того, превышает или нет значение переменной n предварительно определенное пороговое значение N2 (при этом N1 является целым числом, равным 1 или больше). Если определено, что значение переменной n не превышает пороговое значение N2, процедура возвращается к обработке этапа S109, и кодирование кадров продолжается при одновременном сужении вариантов поиска режима прогнозирования с использованием таблицы степеней соответствий режимов прогнозирования.

Если, тем не менее, на этапе S113, определяется то, что значение переменной n превышает пороговое значение N2, то определяется необходимость обновлять таблицу степеней соответствий режимов прогнозирования, и процедура возвращается к этапу S101. Соответственно, обработка этапов S101-S113 продолжается в то время, когда таблица степеней соответствий режимов прогнозирования обновляется.

Таким образом, в настоящем варианте осуществления, когда масштабируемое кодирование выполняется для видео, после того как N1-тый кадр кодирован, на основе результатов этого кодирования создается таблица степеней соответствий режимов прогнозирования, которая описывает корреляции (т.е. доли выпадений) оптимальных режимов прогнозирования между слоями. Затем, процедура переходит к кодированию последующего N2-того кадра, и обработка повторяется, чтобы кодировать N2-тый кадр при одновременном сужении вариантов поиска режима прогнозирования с использованием созданной таблицы степеней соответствий режимов прогнозирования.

(i) Создание таблицы степеней соответствий режимов прогнозирования

Далее описывается обработка создания таблицы степеней соответствий режимов прогнозирования, выполняемая на этапе S107.

В результате обработки этапа S104, для кадра B2a, созданного посредством таблицы степеней соответствий режимов прогнозирования, и кадра B'2a непосредственно под ним, показанных на Фиг.1, кодирование уже завершено, и оптимальные режимы прогнозирования уже выбраны. Когда кадры B2a и B'2a кодируются, информация о выбранном оптимальном режиме прогнозирования сохраняется в буфере. На основе этой информации оптимального режима прогнозирования, которая сохраняется в буфере, анализируется взаимосвязь соответствия между оптимальным режимом прогнозирования для макроблока (в дальнейшем в этом документе, сокращенно как MB) кадра B2a и субмакроблока (в дальнейшем в этом документе, сокращенно как SMB) пространственно соответствующего кадра B'2a.

В частности, таблица степеней соответствий режимов прогнозирования, имеющая такую структуру данных, как показана на Фиг.3 создается между B2a и B'2a. Числовые значения, показанные на Фиг.3 показывают отношение (т.е. долю выпадений), при котором, когда оптимальным режимом прогнозирования, выбранным в каждом SMB (размер 8×8) кадра B'2a, является i, оптимальный режим j прогнозирования выбирается в MB кадра B2a. Например, если P16×16 выбирается в SMB кадра B'2a, то в MB кадра B2a, который пространственно соответствует SMB, в котором выбран P16×16, это показывает то, что выбирается режим пропуска 32,3%.

Здесь, способом, используемым для того, чтобы выбирать оптимальный режим прогнозирования в кадрах B2a и B'2a, может быть JSVM-способ, описанный в непатентном документе 2, или способ, в котором варианты поиска режима прогнозирования сужаются, к примеру, способ, описанный в патентном документе 1.

Кроме того, в этом примере, целевой кадр таблицы степеней соответствий режимов прогнозирования рассматривается как один кадр (т.е. B2a), который уже кодирован и имеет временной уровень, идентичный временному уровню целевого кадра, который должен кодироваться, тем не менее, это не ограничено означенным. Также можно выбирать в качестве целевого кадр, который уже кодирован и имеет другой временной уровень (например, B1). Кроме того, также можно выбирать в качестве целевых множество кадров (например, B1 и B2a) и вычислять степень соответствий с использованием суммы этого множества кадров. А именно, при условии, что кодирование кадров уже завершено в целевом слое кодирования и в слое непосредственно под ним, то они могут быть целевыми кадрами, которые должны создаваться посредством таблицы степеней соответствий режимов прогнозирования.

(ii) Сужение вариантов поиска режима прогнозирования с использованием таблицы степеней соответствий режимов прогнозирования

Далее, приводится описание обработки, чтобы сужать варианты поиска режима прогнозирования с использованием таблицы степеней соответствий режимов прогнозирования, описанной на этапе S111.

Варианты поиска режима прогнозирования сужаются в каждом MB целевого кадра B2b кодирования в соответствии со значениями степеней соответствий режимов прогнозирования в таблице степеней соответствий режимов прогнозирования, созданной на этапе S107. Числовые значения в таблице степеней соответствий режимов прогнозирования показывают вероятность нахождения оптимального режима прогнозирования в конкретном целевом макроблоке кодирования.

Далее подробнее описывается обработка для того, чтобы сужать варианты поиска режима прогнозирования. В описании, приведенном ниже, целевой макроблок кодирования кадра B2b записан как MBL, при этом субмакроблок кадра B'2b слоя L-1, который находится пространственно в положении, идентичном положению этого MBL, записан как SMBL-1.

При сужении вариантов поиска режима прогнозирования макроблока MBL, во-первых, считывается информация об оптимальном режиме прогнозирования субмакроблока SMBL-1. Затем, таблица степеней соответствий режимов прогнозирования сопоставляется с оптимальным режимом прогнозирования SMBL-1, и собираются сведения по вероятности (т.е. доли выпадений) того, что каждый режим прогнозирования в целевом макроблоке MBL кодирования является оптимальным режимом прогнозирования. Затем, на основе этой вероятности оптимальности режима прогнозирования, варианты поиска режима прогнозирования сужаются. Два примера этого сужения приведены ниже.

(a) Процедура сужения 1

Процедура сужения 1 является процедурой для сужения вариантов поиска режима прогнозирования с использованием пороговых значений для сужения вариантов поиска режима прогнозирования.

В этой процедуре сужения 1, пороговое значение t% для сужения вариантов поиска режима прогнозирования предоставляется, и режимы прогнозирования, которые меньше этого порогового значения t%, исключаются из вариантов поиска. Значение порогового значения t предоставляется извне. Примером способа, используемого для того, чтобы определять это значение, является способ, в котором значение, которое ограничивает снижение производительности кодирования рамками допустимого диапазона, определяется посредством многократного выполнения обработки кодирования.

Здесь, если используется способ, в котором вероятность (т.е. степень соответствий) того, что каждый режим прогнозирования в MBL является оптимальным режимом прогнозирования, считывается из таблицы степеней соответствий режимов прогнозирования в момент времени, когда информация об оптимальном режиме прогнозирования для SMBL-1 обнаружена, и сравнивается с пороговым значением для сужения вариантов поиска режима прогнозирования, то требуемая обработка сравнения становится чрезвычайно сложной.

Следовательно, обработка порогового значения выполняется заранее на степенях соответствий таблицы степеней соответствий режимов прогнозирования с использованием пороговых значений сужения вариантов поиска режима прогнозирования так, что степени соответствий таблицы соответствия режимов прогнозирования преобразуются в двоичную форму.

Результаты сужения вариантов поиска режима прогнозирования, когда пороговое значение для сужения вариантов поиска режима прогнозирования задано равным 5% в таблице степеней соответствий режимов прогнозирования, показанной на Фиг.3, показаны на Фиг.4. На Фиг.4, ○ представляет варианты поиска, а x представляет режимы прогнозирования, исключенные из вариантов поиска.

(b) Процедура сужения 2

Процедура сужения 2 является процедурой, в которой только режимы прогнозирования, в которых степень соответствий режимов прогнозирования является максимальной, задаются в качестве вариантов поиска.

Режимы прогнозирования, в которых степень соответствий режимов прогнозирования является максимальной, задаются в качестве вариантов поиска. В этом случае, варианты поиска обычно должны сужаться до одного режима прогнозирования, тем не менее, когда имеется множество вариантов поиска режима прогнозирования, которые предоставляют максимальное значение, они все задаются в качестве вариантов поиска.

Здесь, если используется способ, в котором вероятность (т.е. степень соответствий) того, что каждый режим прогнозирования в MBL является оптимальным режимом прогнозирования, считывается из таблицы степеней соответствий режимов прогнозирования в момент времени, когда информация об оптимальном режиме прогнозирования для SMBL-1 обнаружена, и степень соответствий, имеющая максимальное значение из их числа, указывается, то требуемая обработка указания становится чрезвычайно сложной.

Следовательно, указывается степень соответствий, имеющая максимальное значение, которое содержится в степенях соответствий таблицы соответствия режимов прогнозирования, и степень соответствий таблицы соответствия режимов прогнозирования преобразуется в двоичную форму.

Результаты сужения, когда режим прогнозирования, имеющий максимальное значение в таблице степеней соответствий режимов прогнозирования, показанной на Фиг.3, задан в качестве варианта поиска режима прогнозирования, показаны на Фиг.5. На Фиг.5, ○ представляет варианты поиска, а x представляет режимы прогнозирования, исключенные из вариантов поиска.

В дальнейшем в этом документе, настоящее изобретение описывается подробнее в соответствии с вариантами осуществления.

Фиг.6-8 являются блок-схемами последовательности операций способа, показывающими обработку масштабируемого кодирования видео, выполняемую посредством настоящего варианта осуществления.

Фиг.6 является блок-схемой последовательности операций способа, показывающей полную обработку масштабируемого кодирования видео, выполняемую посредством настоящего варианта осуществления. Фиг.7 и Фиг.8 являются блок-схемами последовательности операций способа, показывающими пример и другой пример подробностей обработки, выполняемой на этапе S201 блок-схемы последовательности операций способа, показанной на Фиг.6.

Далее, обработка масштабируемого кодирования видео, выполняемая посредством настоящего варианта осуществления, описывается подробно в соответствии с этими блок-схемами последовательности операций способа.

Обработка кодирования настоящего варианта осуществления является обработкой для улучшающих слоев, и обработка немасштабируемого однослойного кодирования применяется к базовому слою. Примером обработки однослойного кодирования является обработка кодирования части базового слоя опорного SVC-кодера JVSM, упомянутого в непатентном документе 2.

Далее описывается обработка этапов S201-S206, выполняемая в блок-схеме последовательности операций способа, показанной на Фиг.6.

На этапе S201, считываются начальные значения вариантов поиска режима прогнозирования, поиск которых должен выполняться в целевом макроблоке (MB) кодирования, и варианты поиска для режима прогнозирования, поиск которых должен выполняться в конечном счете в целевом MB кодирования, определяются и сохраняются в регистре. Эта обработка описывается подробно ниже в отношении Фиг.7 и Фиг.8.

На этапе S202, информация о вариантах поиска режима прогнозирования, которая сохранена как результат обработки этапа S201, считывается из регистра, и выполняется