Способ кодирования и декодирования масштабируемого видео, устройства для их осуществления, программы для их осуществления и машиночитаемые носители, которые хранят эти программы

Способ кодирования и декодирования масштабируемого видео, устройства для их осуществления, программы для их осуществления и машиночитаемые носители, которые хранят эти программы

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к способу кодирования и способу декодирования масштабируемого видео, устройствам для их осуществления, программам для их осуществления и машиночитаемым носителям, которые хранят эти программы.

Приоритет испрашивается по заявке № 2007-174161 на выдачу патента Японии, поданной 2 июля 2007 года, содержимое которой включено в материалы настоящей заявки посредством ссылки.

УРОВЕНЬ ТЕХНИКИ

В обычных способах кодирования видео предсказание движения выполняется посредством подбора блоков, основанного на минимизации расхождений между значениями пикселей между кадрами, с тем, чтобы улучшать эффективность кодирования. Однако в изображении (имеющем эффект выцветания или ему подобный), чья яркость меняется во времени, в соответствии с изменением яркости возрастает ошибка предсказания, которая ухудшает эффективность кодирования.

Поэтому стандарт H.264/AVC (смотрите непатентный документ 1) применяет взвешенное предсказание движения для адаптивного умножения опорного кадра изображения для предсказания движения на весовые коэффициенты. Предсказанный опорный сигнал, в котором было скорректировано временное изменение яркости, получается вследствие вышеприведенного взвешенного предсказания движения, тем самым улучшая эффективность кодирования.

Взвешенное предсказание движения в H.264/AVC имеет два режима передачи коэффициентов, таких как (i) явный режим для кодирования и передачи весовых коэффициентов, и (ii) неявный режим для опосредованного формирования общего весового коэффициента между кодером и декодером на основании информации об опорном кадре. Таблица 1 иллюстрирует типы и способы предсказания у взвешенного предсказания для P и B серий последовательных макроблоков.

Таблица 1 Тип и способы взвешенного предсказания движения в H.264/AVC
Тип	Тип предсказания	Предсказанный сигнал	Передача коэффициентов
Серия Р последовательных макроблоков	-	z=w0·y0+d0	передать w0 и d0 (явная)
Серия В последовательных макроблоков	предсказание L0/L1	z=w0·y0+d0 (предсказание L0)z=w1·y1+d1 (предсказание L1)	передача w0, d0, w1 и d1 (явная)
двухпрогнозное предсказание	z=w0·y0+w1·y1+d(d=1/2(d0+d1))	передача w0, d0, w1 и d1 (явная)
z=w0·y0+w1·y1+d	вычисление коэффициентов на основании расстояния от опорного кадра изображения (неявное)

В таблице 1 z представляет собой подвергнутый взвешенному предсказанию сигнал, y, y₀ и y₁ представляют собой опорные сигналы для взвешенного предсказания движения, а w, w₀, w₁, d, d₀ и d₁ представляют собой весовые коэффициенты. Операция переключения для взвешенного предсказания движения и выбор режима для передачи коэффициентов выполняется для каждой серии последовательных макроблоков.

Фиг.1 - схема, используемая для разъяснения взвешенного предсказания движения (неявного режима) в H.264/AVC. Неявный режим применяется только к двухпрогнозному предсказанию для серий B последовательных макроблоков, а весовые коэффициенты формируются в соответствующих кодере и декодере, как показано на фиг.1, где t_b и t_d указывают расстояния между кадрами.

Здесь предполагается, что изменение яркости между кадром кодирования и двумя опорными кадрами является линейным. Коэффициенты w₀ и w₁ пропорциональности вычисляются в соответствии с расстоянием от опорного кадра изображения. Коэффициент d смещения определен, чтобы был равен 0.

w₀=1-w₁

w₁=t_b/t_d

d=0

Несмотря на то что фиг.1 иллюстрирует пример вычисления коэффициентов пропорциональности посредством внутреннего разбиения в соответствии с расстоянием от опорного кадра изображения, подобная операция может выполняться, когда применяется внешнее разбиение. Если яркость значимого изображения изменяется линейно, надлежащие весовые коэффициенты могут вычисляться даже в неявном режиме, а объем кода, требуемого для информации о коэффициентах, может быть уменьшен.

Такое же взвешенное предсказание движения в настоящее время применяется JSVC (расширенным масштабируемым способом) H.264/AVEX (смотрите непатентный документ 2), который рассмотрен в JTD (совместной части ISO (Международной организации по стандартизации) и ITU-T (Международного телекоммуникационного союза).

Взвешенное предсказание движения, показанное в таблице 1, также применяется в JSVM (программе) базового кодера, показанной в непатентном документе 3.

Также известна методика, описанная в патентном документе 1, в которой общее изменение яркости видеоизображения детектируется, с тем, чтобы выполнять компенсацию яркости. Для того чтобы справляться со случаем, в котором изменение яркости не является постоянным по всему изображению, технология по патентному документу 1 использует величину общего изменения яркости по всему изображению и применяет признак, который указывает, скомпенсировано ли изменение яркости на каждом небольшом участке.

Непатентный документ 1: ITU-T: «Advanced video coding for generic audiovisual services», ITU-T Rec, H.264, pp. 129-132, 2003.

Непатентный документ 2: T.Wiegand, G.Sullivan, J.Reichel, H.Schwarz and M.Wien: «Joint Draft 9 of SVC Amendment», ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, JVT-V201, pp. 166-170, 2006.

Непатентный документ 3: J.Reichel, H.Schwarz and M.Wien: "Joint Scalable Video Model JSVM-8.0", ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, JVT-U202, 2006.

Патентный документ 1: Нерассмотренная заявка на выдачу патента Японии, первая публикация № H10-32824.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Проблема, решаемая изобретением

Как описано выше, взвешенное предсказание движения в H.264/AVC применяется к каждой серии последовательных макроблоков. Поэтому, если изменение яркости возникает в части серии последовательных макроблоков или не является постоянным в пределах серии последовательных макроблоков, эффективность предсказания у взвешенного предсказания движения в H.264/AVC ухудшается. Отдельным примером является изменение яркости, обусловленное тенью движущегося объекта, которое ухудшает эффективность предсказания.

Если весовые коэффициенты вычисляются для каждого макроблока, который является меньшим элементом, чем серия последовательных макроблоков, и выполняется взвешенное предсказание движения, объем кода, требуемого для весовых коэффициентов, значительно возрастает в явном режиме. В таком случае, предпочтительно вычислять весовые коэффициенты в неявном режиме. Однако, как описано выше, неявный режим взвешенного предсказания движения в H.264/AVC применяется только к двухпрогнозному предсказанию для серий B последовательных макроблоков.

Кроме того, в неявном режиме взвешенного предсказания движения весовые коэффициенты вычисляются на основании предположения, такого что изменение яркости по целевому кадру кодирования и двум опорным кадрам является линейным. Поэтому, если изменение яркости по трем кадрам является нелинейным, надлежащие весовые коэффициенты не вычисляются, что ухудшает эффективность предсказания. Отдельными примерами являются выцветающее изображение, имеющее нелинейное изменение яркости, или вспышечное изображение, которое включает в себя вспышку и имеет временное изменение яркости. JSVC непосредственно применяет взвешенное предсказание движения в H.264/AVC и, таким образом, имеет такие же проблемы, как описанные выше.

В дополнение, технология, раскрытая в патентном документе 1, нуждается в передаче информации признака для каждого небольшого участка и, таким образом, имеет проблему снижения эффективности кодирования. Когда изменение яркости даже для небольшого участка велико и значительно отличается от общего изменения яркости, изменение яркости для небольшого участка не может компенсироваться, тем самым ухудшая эффективность кодирования.

В свете вышеприведенных обстоятельств задача настоящего изобретения состоит в том, чтобы создать способ расчета для масштабируемого кодера и масштабируемого декодера, используемых при пространственном масштабируемом кодировании, на основании базового уровня, имеющего самое низкое пространственное разрешение, и одного или более уровней апертурной коррекции, каждый из которых имеет разрешение, более высокое, чем у базового уровня, причем способ расчета включает в себя этапы, на которых формируют весовой коэффициент для взвешенного предсказания движения на основании информации о временном изменении яркости между декодированным сигналом и опорным кадром для предсказания движения и декодированным сигналом непосредственно нижнего уровня целевого кадра кодирования, и выполняют взвешенное предсказание движения с использованием общего весового коэффициента между кодером и декодером, без передачи информации о весовом коэффициенте.

Средство решения проблемы

Далее будет описана процедура взвешенного предсказания движения по настоящему изобретению.

Взвешенное предсказание движения состоит из двух этапов: один является взвешенной оценкой движения, а другой - взвешенной компенсацией движения.

Взвешенная оценка движения состоит в том, чтобы отыскивать движение между целевым кадром обработки и опорным кадром предсказания движения наряду с коррекцией изменения яркости между двумя кадрами, и выдавать информацию о движении, полученную соответствующим поиском в качестве вектора движения.

Взвешенная компенсация движения состоит в том, чтобы извлекать информацию о векторе движения, корректировать значение сигнала, указанное соответствующим вектором движения в отношении изменения яркости, и выдавать скорректированное значение сигнала в качестве предсказанного сигнала для целевого кадра обработки.

В процессе кодирования вектор движения выявляется посредством взвешенной оценки движения, и вектор движения извлекается, для того чтобы выполнялась взвешенная компенсация движения.

С другой стороны, в процессе декодирования кодированные данные декодируются, с тем чтобы извлекать соответствующий вектор движения и выполнять взвешенную компенсацию движения.

Вычисление весовых коэффициентов может применяться к требуемому единичному участку изображения, такому как кадр, серия последовательных макроблоков, макроблок или тому подобное.

Так как необходима передача коэффициентов, каждый единичный участок изображения имеет одинаковые служебные сигналы или данные для взвешенного предсказания движения. Поэтому, чем меньше единичный участок изображения, тем выше эффективность предсказания у взвешенного предсказания движения.

Теперь поясняются примеры вычисления весовых коэффициентов для каждого макроблока в качестве единичного элемента. Однако другой единичный участок изображения может подвергаться взвешенному предсказанию движения в соответствии с подробной операцией. В дополнение, операция не зависит от типа сигнала, то есть подобная операция может применяться к каждому из сигнала яркости и сигнала цветности.

Преимущество изобретения

В соответствии с настоящим изобретением весовые коэффициенты могут вычисляться для каждого требуемого локального участка. Поэтому, даже когда яркость изменяется в части изображения вследствие тени движущегося объекта или тому подобного, точное взвешенное предсказание движения может быть воплощено посредством неявного режима, который не выполняет никакой передачи весовых коэффициентов.

К тому же, в предсказании L0/L1 серий P и B последовательных макроблоков, которое традиционно имеет только явный режим, можно выполнять взвешенное предсказание движения посредством неявного режима.

Дополнительно, в соответствии с коррекцией с учетом информации о яркости непосредственно нижнего уровня, даже для изображений (например, изображений, содержащих вспышечные и выцветающие изображения, имеющие нелинейное изменение), имеющих нелинейное изменение яркости между целевым кадром кодирования или декодирования и опорными кадрами предсказания, можно выполнять взвешенное предсказание движения посредством неявного режима. В соответствии с таким улучшением эффективности взвешенного предсказания движения может улучшаться результативность кодирования.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг.1 - схема, используемая для разъяснения взвешенного предсказания движения (неявного режима) в H.264/AVC.

Фиг.2 - схема, используемая для разъяснения взвешенного предсказания движения в соответствии с настоящим изобретением.

Фиг.3 - схема, иллюстрирующая последовательность операций процесса кодирования в соответствии с вариантом осуществления настоящего изобретения.

Фиг.4 - схема, иллюстрирующая последовательность операций процесса декодирования в соответствии с вариантом осуществления настоящего изобретения.

Фиг.5 - схема, иллюстрирующая последовательность операций взвешенной оценки движения при операции кодирования.

Фиг.6 - схема, иллюстрирующая последовательность операций взвешенной компенсации движения при операциях кодирования и декодирования.

Фиг.7 - схема, иллюстрирующая последовательность операций вычисления весовых коэффициентов при операциях кодирования и декодирования.

Фиг.8 - схема, иллюстрирующая подробную последовательность операций этапа S43 на фиг.7.

Фиг.9 - схема, иллюстрирующая подробную последовательность операций этапа S44 на фиг.7.

Фиг.10 - схема, иллюстрирующая подробную последовательность операций этапа S46 на фиг.7.

Фиг.11 - схема, иллюстрирующая подробную последовательность операций этапа S48 на фиг.7.

Фиг.12 - схема, иллюстрирующая подробную последовательность операций этапа S49 на фиг.7.

Фиг.13 - схема, иллюстрирующая пример конструкции устройства кодирования в качестве варианта осуществления настоящего изобретения.

Фиг.14 - схема, иллюстрирующая пример конструкции устройства декодирования в качестве варианта осуществления настоящего изобретения.

Фиг.15 - схема, иллюстрирующая пример конструкции блока взвешенной оценки движения.

Фиг.16 - схема, иллюстрирующая пример конструкции взвешенного компенсатора движения.

Фиг.17 - схема, иллюстрирующая пример конструкции модуля вычисления весовых коэффициентов.

Фиг.18 - схема, иллюстрирующая пример конструкции процессора коррекции весовыми коэффициентами на базе минимизации квадратичной ошибки двухпрогнозного предсказания.

Фиг.19 - схема, иллюстрирующая пример конструкции процессора коррекции весовыми коэффициентами на базе DC-составляющей двухпрогнозного предсказания.

Фиг.20 - схема, иллюстрирующая пример конструкции процессора коррекции весовыми коэффициентами на базе минимизации квадратичной ошибки покадрового предсказания.

Фиг.21 - схема, иллюстрирующая пример конструкции процессора коррекции коэффициентов пропорциональности на базе DC-составляющей покадрового предсказания.

Фиг.22 - схема, иллюстрирующая пример конструкции процессора коррекции смещения на базе DC-составляющей покадрового предсказания.

Фиг.23 - схема, иллюстрирующая изменение BD бит (в качестве экспериментального примера) для выцветающих изображений.

Фиг.24 - схема, иллюстрирующая изменения средней яркости и среднего коэффициента смещения (в качестве экспериментального примера) для выцветающих изображений.

Фиг.25 - схема, иллюстрирующая изменение BD бит (в качестве экспериментального примера) для вспышечных изображений.

Фиг.26 - схема, иллюстрирующая изменения средней яркости и среднего коэффициента смещения (в качестве экспериментального примера) для вспышечных изображений.

101 модуль определения способа предсказания

102 внутрикадровый предсказатель

103 невзвешенный предсказатель движения

104 межуровневый предсказатель

105 блок взвешенной оценки движения

106 взвешенный компенсатор движения

107 генератор остаточного сигнала предсказания

108 кодер остаточного сигнала предсказания

109 декодер

110 модуль хранения декодированного сигнала соответствующего уровня апертурной коррекции

111 модуль хранения декодированного сигнала непосредственно нижнего уровня

201 декодер способа предсказания

202 модуль хранения режима предсказания

203 модуль определения способа предсказания

204 внутрикадровый предсказатель

205 невзвешенный предсказатель движения

206 межуровневый предсказатель

207 декодер информации о векторе движения

208 модуль хранения вектора движения

209 взвешенный компенсатор движения

210 модуль хранения декодированного сигнала непосредственно нижнего уровня

211 декодер остаточного сигнала

212 модуль хранения остаточного сигнала

213 генератор декодированного сигнала

214 модуль хранения декодированного сигнала соответствующего уровня апертурной коррекции

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Типичное действие в соответствии с настоящим изобретением будет пояснено ниже.

Взвешенная оценка движения

При взвешенной оценке движения для каждого единичного участка изображения (например, макроблока) в целевом кадре кодирования в опорном кадре для оценки отыскивается макроблок совпадения.

В операции поиска каждый раз, когда целевой макроблок для поиска изменяется, вычисляется весовой коэффициент для указания изменения яркости между соответствующими блоками кадров, и декодированный сигнал целевого макроблока для поиска корректируется весовым коэффициентом. Скорректированный сигнал используется в качестве сравнительного сигнала для определения совпадения.

Макроблок, определенный блоком совпадения, указывается вектором движения и действует в качестве опорного макроблока при компенсации движения.

Примерное устройство для определения совпадения является устройством определения, использующим минимизацию стоимости Лагранжа для объема кода и расхождения кодирования, как показано в непатентном документе 1.

Взвешенная компенсация движения

При взвешенной компенсации кодирования для каждого целевого макроблока кодирования или декодирования реконструируется информация о векторе движения целевого макроблока.

Затем вычисляется весовой коэффициент для указания изменения яркости между опорным макроблоком, обозначенным вектором движения, и целевым макроблоком кодирования или декодирования.

Декодированный сигнал опорного макроблока корректируется с использованием весового коэффициента, и скорректированный сигнал используется в качестве предсказанного сигнала для целевого макроблока кодирования или декодирования.

Вычисление весовых коэффициентов

Типично весовые коэффициенты, используемые для взвешенной оценки движения и взвешенной компенсации движения для масштабируемого кодирования, вычисляются посредством процедуры, поясненной ниже.

В традиционном неявном режиме временное изменение яркости оценивается в пределах одиночного уровня посредством интерполяции или экстраполяции в соответствии с расстоянием от опорного кадра, тем самым вычисляя весовые коэффициенты.

В настоящем изобретении временное изменение яркости оценивается с использованием информации о декодированном сигнале макроблока на непосредственно нижнем уровне, тем самым улучшая точность оценки.

До того, как пояснена процедура, показаны обозначения, используемые для пояснения. Целевой кадр кодирования или декодирования (называемый «целевым кадром коррекции») на соответствующем уровне апертурной коррекции представлен посредством «f»; опорный кадр взвешенной оценки или компенсации движения (называемый «корректируемым кадром») для серий P последовательных макроблоков и предсказания L0 серий B последовательных макроблоков представлен посредством «f₀»; а корректируемый кадр для предсказания L1 серий B последовательных макроблоков представлен посредством «f₁».

В дополнение, кадр на непосредственно нижнем уровне одновременно с целевым кадром f коррекции представлен посредством «g»; кадр на непосредственно нижнем уровне одновременно с корректируемым кадром f₀ представлен посредством «g₀»; а кадр на непосредственно нижнем уровне одновременно с корректируемым кадром f₁ представлен посредством «g₁».

Дополнительно, значение предсказанного сигнала, применяемое к координатам (i,j) целевого блока кодирования или декодирования (называемого «целевым блоком коррекции») в кадре f, представлено посредством z(i,j); а значение декодированного сигнала в координатах (i,j) в опорном блоке взвешенной оценки или компенсации движения (называемом «корректируемым блоком») кадра f₀ представлено посредством y₀(i,j).

Дополнительно, значение декодированного сигнала в координатах (i,j) в блоке кадра g, который имеет такое же пространственное положение, как целевой блок коррекции кадра f, представлено посредством x(i,j); а значение сигнала, полученное подверганием x(i,j) повышающей дискретизации для получения разрешения соответствующего уровня апертурной коррекции посредством специального фильтра повышающей дискретизации, представлено посредством x'(i,j).

Подобным образом, значение декодированного сигнала в координатах (i,j) в блоке кадра g₀, который имеет такое же пространственное положение, как корректируемый блок кадра f₀, представлено посредством x₀(i,j); а значение сигнала, полученное подверганием x₀(i,j) повышающей дискретизации для получения разрешения соответствующего уровня апертурной коррекции посредством специального фильтра повышающей дискретизации, представлено посредством x₀'(i,j).

Способы для получения y₁(i,j), x₁(i,j) и x₁'(i,j) соответствуют таковым для получения y₀(i,j), x₀(i,j) и x₀'(i,j).

Вышеприведенное определение будет показано на фиг.2, где отношением разрешений между соответствующим уровнем апертурной коррекции и непосредственно нижним уровнем является 2:1 как в вертикальном, так и горизонтальном направлениях. Подобные операции могут выполняться для отношений разрешений, иных чем 2:1.

В дополнение, DC (постоянный ток) составляющая корректируемого блока в кадре f₀ представлена посредством Y₀, а DC-составляющая блока в кадре g, который имеет такое же пространственное положение, как целевой блок коррекции в кадре f, представлена посредством X. Что касается фиг.2, эти составляющие вычисляются, как изложено ниже.

Способы для предоставления X₀, X₀', X₁, X₀' и Y₁ соответствуют таковым для предоставления X и Y₀.

Способ вычисления весовых коэффициентов для серии P последовательных макроблоков и предсказания L0/L1 серии B последовательных макроблоков

В предсказании, применяемом к одиночной серии последовательных макроблоков (например, предсказании для серии P последовательных макроблоков или предсказании L0/L1 серии B последовательных макроблоков), значение z(i,j) предсказанного сигнала вычисляется, как изложено ниже.

Для серии P последовательных макроблоков или предсказания L0 серии B последовательных макроблоков:

z(i,j)=w₀·y₀(i,j)+d₀

Для предсказания L1 серии B последовательных макроблоков:

z(i,j)=w₁·y₁(i,j)+d₁ (3)

Ниже будут показаны три способа вычисления для весовых коэффициентов w₀ и d₀ или w₁ и d₁.

Последующее пояснение относится к предсказанию для серии P последовательных макроблоков или предсказанию L0 серии B последовательных макроблоков. Что касается предсказания L1 серии B последовательных макроблоков, элементы, относящиеся к кадрам f₀ и g₀, преобразуются в таковые для кадров f₁ и g₁.

Три способа вычисления основаны на следующем допущении. Так как кадры f и g являются информацией, полученной одновременно, предсказывается, что оба имеют подобные значения яркости сигнала. Поэтому информация о яркости известного кадра g используется для опосредованного предсказания изменения яркости от корректируемого кадра f₀ до целевого кадра f коррекции.

Способ 1-1: Коррекция коэффициентом пропорциональности с использованием DC-составляющей при покадровом предсказании

В этом способе коэффициенты пропорциональности вычисляются, как изложено ниже.

w₀=X/Y₀ (4)

d₀=0 (5)

В формуле (4) X может быть замещен составляющей X' DC соответствующего подвергнутого повышающей дискретизации сигнала. В дополнение, вышеприведенные X или X' могут быть заменены составляющей, скорректированной с использованием соотношения DC-составляющих между корректируемым кадром f₀ и кадром g₀ его непосредственно нижнего уровня.

Примерами такой коррекции являются составляющая, полученная умножением X или X' на отношение Y₀/X₀ DC-составляющих для корректируемого кадра f₀, и составляющая, полученная сложением X или X' и разности Y₀-X₀ DC-составляющих для корректируемого кадра f₀.

Способ 1-2: Коррекция коэффициентом смещения с использованием DC-составляющей при покадровом предсказании

В этом способе коэффициенты пропорциональности вычисляются, как изложено ниже.

w₀=1 (6)

d₀=X-Y₀ (7)

Подобно способу 1-1, X в формуле (7) может быть заменен составляющей X' DC подвергнутого повышающей дискретизации сигнала. В дополнение, вышеприведенные X или X' могут быть заменены составляющей, скорректированной с использованием соотношения DC-составляющих между корректируемым кадром f₀ и кадром g₀ его непосредственно нижнего уровня. Примеры такой коррекции подобны таковым для способа 1-1.

Способ 1-3: Коррекция весовыми коэффициентами с использованием метода наименьших квадратов при покадровом предсказании

В этом способе весовые коэффициенты вычисляются, как изложено ниже, где w₀ и d₀, на которые наложены тильды, являются переменными, используемыми для получения w₀ и d₀.

В формуле (8) x'(i,j) может быть заменен составляющей, скорректированной с использованием соотношения декодированных сигналов между корректируемым кадром f₀ и кадром g₀ его непосредственно нижнего уровня.

Примерами такой коррекции являются составляющая, полученная умножением x'(i,j) на отношение «y₀(i,j)/x₀'(i,j)» декодированных сигналов для корректируемого кадра f₀, и составляющая, полученная сложением x'(i,j) и разности «y₀(i,j)-x₀'(i,j)» декодированных сигналов для корректируемого кадра f₀.

Весовые коэффициенты (w₀, d₀) для предоставления минимального значения ε могут быть получены в качестве решений следующей системы линейных уравнений.

Способ вычисления весовых коэффициентов для двухпрогнозного предсказания серии B последовательных макроблоков

При двухпрогнозном предсказании серий B последовательных макроблоков значение z(i,j) предсказанного сигнала вычисляется, как изложено ниже.

z(i,j)=w₀·y₀(i,j)+w₁·y₁(i,j)+d (12)

Ниже будут показаны два способа вычисления для весовых коэффициентов w₀, w₁ и d.

Три способа вычисления основаны на следующем допущении. Так как кадры f и g являются информацией, полученной одновременно, предсказывается, что оба имеют близкие значения яркости сигнала. Поэтому информация о яркости известного кадра g используется для опосредованного предсказания изменения яркости от корректируемых кадров f₀ и f₁ до целевого кадра f коррекции.

Способ 2-1: Коррекция весовыми коэффициентами с использованием блока DC-составляющих при двухпрогнозном предсказании

В этом способе коэффициенты пропорциональности вычисляются, как изложено ниже.

w₀=1-w₁ (13)

w₁=t_b/t_d (14)

d₀=X-w₀·Y₀-w₁·Y₁ (15)

В вышеприведенных формулах t_b указывает межкадровое расстояние от корректируемого кадра f₀ до целевого кадра f коррекции, а t_d указывает внутрикадровое расстояние от корректируемого кадра f₀ до корректируемого кадра f₁.

В формуле (15) X может быть заменен составляющей X' DC подвергнутого повышающей дискретизации сигнала. В дополнение, вышеприведенные X или X' могут быть заменены составляющей, скорректированной с использованием DC-составляющих корректируемого кадра f₀ и кадра g₀ его непосредственно нижнего уровня или DC-составляющих корректируемого кадра f₁ и кадра g₁ его непосредственно нижнего уровня. Способ коррекции подобен показанным для вышеприведенного способа 1-1.

Способ 2-2: Коррекция весовыми коэффициентами с использованием метода наименьших квадратов при двухпрогнозном предсказании

В этом способе коэффициенты пропорциональности вычисляются, как изложено ниже.

В формуле (16) x'(i,j) может быть заменен составляющей, скорректированной с использованием декодированных сигналов корректируемого кадра f₀ и кадра g₀ его непосредственно нижнего уровня или декодированных сигналов корректируемого кадра f₁ и кадра g₁ его непосредственно нижнего уровня.

Примерами такой коррекции являются составляющая, полученная умножением x'(i,j) на отношение «y₀(i,j)/x₀'(i,j)» декодированных сигналов для корректируемого кадра f₀, и составляющая, полученная сложением x'(i,j) и разности «y₀(i,j)-x₀'(i,j)» декодированных сигналов для корректируемого кадра f₀. Способ коррекции подобен показанным для вышеприведенного способа 1-3.

Весовые коэффициенты (w₀, w₁, d) для предоставления минимального значения ε могут быть получены в качестве решений следующей системы линейных уравнений.

В традиционном взвешенном предсказании движения по стандарту H.264/AVC переключение весовых коэффициентов выполняется для каждой серии последовательных макроблоков. В противоположность, в настоящем изобретении весовой коэффициент может вычисляться для любого прямоугольного единичного участка, тем самым улучшая точность взвешенного предсказания движения.

Дополнительно, в традиционной технологии передача информации о весовых коэффициентах необходима для блоков, к которым применяется однонаправленное предсказание. В противоположность, в настоящем изобретении даже для блоков, к которым применяется однонаправленное предсказание, передача информации о весовых коэффициентах необязательна и может выполняться точное взвешенное предсказание.

В традиционной технологии, для того чтобы выполнять точное взвешенное предсказание, когда яркость целевого видеоизображения меняется нелинейно, необходимо передавать информацию о весовых коэффициентах даже для двухпрогнозного предсказания. В противоположность, в настоящем изобретении независимо от способа временного изменения яркости целевого видеоизображения передавать информацию о весовых коэффициентах необязательно и может выполняться точное взвешенное предсказание.

В частности, когда отношение значений сигналов между декодированным сигналом опорного блока предсказания и исходным сигналом текущего блока является постоянным в пределах блока, точные весовые коэффициенты могут быть вычислены вышеприведенным способом 1-1, и, соответственно, этот способ предпочтителен.

В дополнение, когда разность значений сигналов между декодированным сигналом опорного блока предсказания и исходным сигналом текущего блока является постоянным в пределах блока, добавочные точные весовые коэффициенты могут быть вычислены вышеприведенным способом 1-2, и, соответственно, предпочтителен этот способ.

Когда все пространственные частотные составляющие, включенные в исходный сигнал текущего блока, близки к пространственным частотным составляющим, включенным в интерполированный сигнал пространственно соответствующего блока непосредственно нижнего уровня, точные весовые коэффициенты могут быть вычислены вышеприведенными способами 1-1, 1-2 и 2-1.

Вышеприведенные способы 1-3 и 2-2 могут давать точные весовые коэффициенты, когда только DC-составляющие, включенные в исходный сигнал текущего блока, близки к DC-составляющим, включенным в интерполированный сигнал пространственно соответствующего блока непосредственно нижнего уровня.

Рабочая последовательность операций

Вариант осуществления операции кодирования в соответствии с настоящим изобретением будет пояснен со ссылкой на фиг.3. Поясненный вариант осуществления является операцией кодирования, примененной к макроблоку. Кодированные данные видеоизображения вырабатываются подверганием всех макроблоков соответствующей операции.

Этап S1: Определяется, является или нет текущий макроблок соответствующего уровня апертурной коррекции целевым макроблоком для взвешенного предсказания движения. Если результатом определения является ДА, выполняется последовательность операций этапа S3, а если результатом определения является НЕТ, выполняется последовательность операций этапа S2.

Вышеприведенное определение может выполняться на основании предопределенных условий, которые в настоящем изобретении не ограничены.

Этап S2: Предсказанный сигнал формируется в соответствии с информацией о режиме предсказания текущего макроблока, которая выдана этапом S1. Способ предсказания на этапе S2 может быть внутрикадровым предсказанием, обычным предсказанием движения (то есть не взвешенным) или межуровневым предсказанием.

Способ предсказания в JSVM, показанной в непатентном документе 3, является примерным способом предсказания.

Этап S3: Когда текущий макроблок является целевым для взвешенного предсказания движения, извлекаются исходный сигнал текущего макроблока, декодированный сигнал макроблока его непосредственно нижнего уровня и декодированный сигнал целевого макроблока поиска (в опорном кадре), так что выполняется взвешенная оценка движения, и выводится информация о векторе движения. Эта последовательность операций подробно показана на фиг.5 (пояснена позже).

Этап S4: Получаются информация о векторе движения, выведенная на этапе S3, и декодированный сигнал макроблока его непосредственно нижнего уровня, так что выполняется взвешенная компенсация движения, и выводится подвергнутый взвешенному предсказанию движения сигнал. Эта последовательность операций подробно показана на фиг.6 (пояснена позже).

Этап S5: Получается предсказанный сигнал, выведенный этапами S2 или S4, и формируется разностный сигнал между предсказанным сигналом и исходным сигналом текущего макроблока. Разностный сигнал затем кодируется. Способ кодирования в JSVM, показанной в непатентном документе 3, является примерным способом кодирования.

Вариант осуществления операции декодирования в соответствии с настоящим изобретением будет пояснен со ссылкой на фиг.4. Поясненный вариант осуществления является операцией декодирования, примененной к макроблоку. Декодированный сигнал видеоизображения вырабатывается подверганием всех макроблоков соответствующей операции.

Этап S11: Кодированные данные для режима предсказания текущего макроблока соответствующего уровня апертурной коррекции извлекаются и подвергаются последовательности операций декодирования, тем самым выдавая информацию о режиме предсказания.

Этап S12: Определяется, является или нет текущий макроблок соответствующего уровня апертурной коррекции целевым макроблоком для взвешенного предсказания движения. Если результатом определения является ДА, выполняется последовательность операций этапа S14, а если результатом определения является НЕТ, выполняется последовательность операций этапа S13.

Этап S13: Предсказанный сигнал формируется в соответствии с информацией о режиме предсказания текущего макроблока, которая выдана этапом S11. Способ предсказания на этапе S13 может быть внутрикадровым предсказанием, обычным предсказанием движения (то есть не взвешенным) или межуровневым предсказанием. Способ предсказания в JSVM, показанной в непатентном документе 3, является примерным спосо