Способ масштабируемого кодирования и способ масштабируемого декодирования видеоинформации, устройства для них, программы для них и носитель записи, на котором записаны программы

Способ масштабируемого кодирования и способ масштабируемого декодирования видеоинформации, устройства для них, программы для них и носитель записи, на котором записаны программы

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к способу масштабируемого кодирования видеоинформации и устройству для него, которые масштабируемым образом кодируют видеоизображение, яркость которого изменяется во времени, к способу масштабируемого декодирования видеоинформации и устройству для него, которые декодируют кодированные данные, которые кодировались посредством масштабируемого кодирования видеоинформации, к программе масштабируемого кодирования видеоинформации, используемой в реализации способа масштабируемого кодирования видеоинформации, к машиночитаемому носителю записи, на котором программа хранится, к программе масштабируемого декодирования видеоинформации, используемой в реализации способа масштабируемого декодирования видеоинформации, и к машиночитаемому носителю записи, на котором программа хранится.

Испрашивается приоритет по заявке на патент Японии за номером 2007-277224, поданной 25 октября 2007 г., содержание которой включено в настоящий документ путем ссылки.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

В обычных способах кодирования видеоинформации предсказание движения выполняется поблочным сравнением на основе минимизации разности в значениях пикселов между кадрами, таким образом расширяя параметры кодирования. Однако для изображения, такого как постепенно изменяющееся изображение, яркость которого изменяется во времени, остаточный сигнал предсказания в предсказании движения возрастает на величину, эквивалентную изменению яркости, и параметры кодирования таким образом ухудшаются.

Соответственно, в стандарте H.264/AVC, показанном в непатентном документе 1, выполняется взвешенное предсказание движения путем адаптивного применения весового коэффициента к опорному изображению для предсказания движения. Это взвешенное предсказание движения формирует опорный сигнал предсказания со скорректированным временным изменением яркости, таким образом расширяя параметры кодирования.

Стандарт H.264/AVC включает в себя два способа для взвешенного предсказания движения: явный режим, который кодирует весовой коэффициент, используемый в коррекции яркости, и передает его, и неявный режим, который вместо передачи весового коэффициента использует информацию опорного кадра, чтобы неявно создавать одинаковый весовой коэффициент в кодере и декодере.

В Таблице 1 показаны категория и способы предсказания для взвешенного предсказания движения в серии макроблоков P-плоскости (однонаправленного предсказания) и серии макроблоков B-плоскости (двунаправленного предсказания).

Таблица 1Категории и способы взвешенного предсказания движения в стандарте H.264/AVC
Тип	Категория предсказания	Сигнал предсказания	Передача коэффициента
P-серия			Передавать (Явный)
B-серия	Предсказание L0/L1	(Предсказание L0) (Предсказание L1)	Передавать (Явный)
Двунаправленное предсказание		Передавать (Явный)
	Вычислить w0 и w1 в соответствии с расстоянием от опорного изображения (Неявный)

В Таблице 1 z является сигналом взвешенного предсказания движения, r₀ и r₁ являются опорными сигналами взвешенного предсказания движения, w₀, w₁, d₀ и d₁ являются весовыми коэффициентами. Переключение взвешенного предсказания движения и выбор режима передачи весового коэффициента выполняются в единицах серий макроблоков («слайсов»).

На Фиг. 20 показана пояснительная схема взвешенного предсказания движения (неявный режим) в стандарте H.264/AVC. Неявный режим используется только для двунаправленного предсказания в B-сериях макроблоков. При условии, что изменение яркости в кодируемом целевом кадре и двух опорных кадрах является линейным, пропорциональные коэффициенты w₀ и w₁ вычисляются в соответствии с расстоянием от опорных кадров. Коэффициент смещения d установлен в 0.

Хотя в примере по Фиг. 20 пропорциональные коэффициенты вычисляются согласно внутреннему разделению в соответствии с расстояниями от опорных кадров, вычисление согласно внешнему разделению может выполняться таким же образом.

Способ масштабируемого расширения (JSVC) в стандарте H.264/AVC, представленный в непатентном документе 2, был стандартизирован группой JVT, которая является совместной группой Международной организации по стандартизации (ISO) и сектора телекоммуникаций Международного Союза электросвязи (МСЭ-Т, ITU-T), и в настоящее время использует такое же взвешенное предсказание движения как стандарт H.264/AVC, упомянутый выше. Ссылающийся на JSVC кодер JSVM, представленный в непатентном документе 3, также использует взвешенное предсказание движения, показанное в Таблице 1.

Одна известная технология для выявления общего изменения яркости видеоизображения и выполнения компенсации яркости раскрыта в Патентном документе 1. Технология, раскрытая в Патентном документе 1, использует величину полного изменения яркости всего экрана, и флажок, указывающий определение того, компенсировать ли изменение яркости в каждой малой области, и может использоваться в случаях, где изменение яркости является неоднородным в пределах экрана.

Непатентный документ 1: ITU-T: ”Advanced video coding for generic audiovisual services”, ITU-T Rec. H.264, p. 129-132, May, 2003, (Усовершенствованное кодирование видеоинформации для аудиовизуальных услуг, рекомендации ITU-T по H.264, с.129-132, Май 2003).

Непатентный документ 2: T.Wiegand, G.Sullivan, J.Reichel, H.Schwarz и M.Wien: ”Joint Draft 8 of SVC”, ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, JVT-U201, pp. 166-170, October, 2006, (Изменения к совместному проекту 8 по SVC, документ ISO/IEC JTC1/SC29/WG11 и ITU-T SG16 Q.6, JVT-U201, с. 166-170, октябрь 2006).

Непатентный документ 3: J.Reichel, H.Schwarz и M.Wien: ”Joint Scalable Video Model JSVM-8”, ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, JVT-U202, October, 2006, (Объединенная масштабируемая модель видеоинформации JSVM-8, документ ISO/IEC JTC1/SC29/WG11 и ITU-T SG16 Q.6, JVT-U202, октябрь 2006).

Патентный документ 1: публикация нерассмотренной заявки на патент Японии, Первая публикация номер H10-32824.

РАСКРЫТИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

Техническая задача изобретения

Взвешенное предсказание движения в стандарте H.264/AVC выполняется в единицах серий макроблоков. Следовательно, в случаях, если имеется изменение яркости в части серии макроблоков и где изменение яркости является неоднородным в пределах серии макроблоков, ухудшаются параметры предсказания для взвешенного предсказания движения. Примером является изменение яркости, вызванное тенью движущегося объекта и тому подобным. Поскольку JSVC наследует взвешенное предсказание движения стандарта H.264/AVC, оно сталкивается с такой же проблемой.

Если предпринимается попытка выполнить взвешенное предсказание движения согласно вычислению весового коэффициента в единицах меньше серий макроблоков, например, в макроблоках, необходимый для весового коэффициента объем кодирования в явном режиме будет чрезвычайно большим. В таких случаях весовой коэффициент предпочтительно вычисляют в неявном режиме. Однако, как пояснено выше, неявный режим для взвешенного предсказания движения в стандарте H.264/AVC ограничен двунаправленным предсказанием в B сериях.

Кроме того, поскольку весовой коэффициент, вычисляемый в неявном режиме во взвешенном предсказании движения, основан на условии, что изменение яркости между кодируемым целевым кадром и двумя опорными кадрами является линейным, тогда как является нелинейным временное изменение яркости по этим трем кадрам, становится невозможным вычислять соответствующий весовой коэффициент, и параметры предсказания ухудшаются. Примеры включают плавно изменяющееся изображение, где яркость изменяется нелинейно, изображение, которое содержит флеш-анимацию, и т.д.

Поскольку взвешенное предсказание движения в JSVC непосредственно использует взвешенное предсказание движения по H.264/AVC, оно сталкивается с той же проблемой.

В технологии, раскрытой в Патентном документе 1, информация флажка должна передаваться для каждой малой области, приводя к проблеме ухудшающихся параметров кодирования. Кроме того, поскольку изменение яркости нельзя компенсировать в малых областях, где имеется большая величина изменения яркости в малой области, и она отклоняется от величины полного изменения яркости, этот момент также ведет к проблеме ухудшающихся параметров кодирования.

Настоящее изобретение было выполнено ввиду этих обстоятельств и имеет своей задачей создание, в пространственном масштабируемом кодировании, включающем в себя базовый слой, имеющий низшую пространственную разрешающую способность, и один или несколько слоев расширения, имеющих более высокую пространственную разрешающую способность, способа построения масштабируемых кодера и декодера, которые формируют весовой коэффициент для взвешенного предсказания движения на основании информации, относящейся к временному изменению яркости между декодированным сигналом для опорного кадра для предсказания движения и декодированным сигналом для непосредственно нижележащего слоя из кодируемого целевого кадра, и, без передачи информации весового коэффициента, выполняют взвешенное предсказание движения, используя одинаковый весовой коэффициент в кодере и декодере.

Средства для решения технической задачи изобретения

(1) Конфигурация устройства масштабируемого кодирования видеоинформации по изобретению

Для решения вышеупомянутых задач устройство масштабируемого кодирования видеоинформации по настоящему изобретению использует конфигурацию, которая вычисляет весовой коэффициент, включающий в себя пропорциональный коэффициент и коэффициент смещения, и указывает изменение яркости между кодируемой целевой областью изображения и областью опорного изображения в вышележащем слое, вычисляет вектор движения путем применения весового коэффициента к сигналу изображения области опорного изображения в качестве объекта поиска и выполнения оценивания движения и формирует сигнал предсказания путем применения весового коэффициента к декодированному сигналу области опорного изображения, указанной вектором движения, и выполнения компенсации движения. Устройство масштабируемого кодирования видеоинформации включает в себя:

(i) устройство определения, которое на основании информации кодирования относительно непосредственно нижележащей области изображения в непосредственно нижележащем слое, которая присутствует пространственно в той же позиции, что и кодируемая целевая область изображения, определяет структуру данных для весового коэффициента, и (ii) устройство вычисления, которое, если непосредственно нижележащая область изображения выполняла межкадровое предсказание в непосредственно нижележащем слое, идентифицирует область опорного изображения непосредственно нижележащего слоя, которая использовалась непосредственно нижележащей областью изображения в качестве ссылки при предсказании для предсказания движения, и вычисляет весовой коэффициент путем применения весового коэффициента, который использовался непосредственно нижележащей областью изображения во взвешенном предсказании движения по отношению к DC (прямой текущий) компоненту области изображения в вышележащем слое, который присутствует пространственно в той же позиции, как и область опорного изображения непосредственно нижележащего слоя, и принимая результат применения в качестве DC компонента непосредственно нижележащей области изображения.

Если имеется одна область опорного изображения и устройство определения применяет способ вычисления весового коэффициента, используя коррекцию с пропорциональным коэффициентом, имеются случаи, где устройство определения принимает решение использовать отношение между DC компонентом области опорного изображения и DC компонентом непосредственно нижележащей области изображения в качестве пропорционального коэффициента и принимает решение использовать нуль в качестве коэффициента смещения, и определяет структуру данных для весового коэффициента таким образом.

Кроме того, если имеется одна область опорного изображения и устройство определения применяет способ вычисления весового коэффициента, используя коррекцию с коэффициентом смещения, имеются случаи, где устройство определения принимает решение использовать разность между DC компонентом области опорного изображения и DC компонентом непосредственно нижележащей области изображения в качестве коэффициента смещения, и принимает решение использовать 1 в качестве пропорционального коэффициента, и определяет структуру данных для весового коэффициента таким образом.

Кроме того, если имеются две области опорного изображения, имеются случаи, где устройство определения принимает решение использовать значение, вычисляемое в качестве пропорционального коэффициента в соответствии с межкадровым расстоянием между кодируемой целевой областью изображения и каждой областью опорного изображения, принимает решение использовать значение, вычисляемое в качестве коэффициента смещения, вычитая значение, полученное умножением каждого DC компонента для двух областей опорного изображения на соответствующий пропорциональный коэффициент, из DC компонента непосредственно нижележащей области изображения, и определяет структуру данных для весового коэффициента таким образом.

При использовании этой конфигурации, при попытке повысить точность путем учета остаточного сигнала предсказания относительно предсказания движения, формируемого в непосредственно нижележащей области изображения, вычислительное устройство может (i) суммировать DC компонент остаточного сигнала предсказания относительно предсказания движения, формируемого в непосредственно нижележащей области изображения со значением, получаемым путем применения весового коэффициента, который использовался непосредственно нижележащей областью изображения во взвешенном предсказании движения для DC компонента области изображения в вышележащем слое, которая присутствует пространственно в той же позиции, как и область опорного изображения непосредственно нижележащего слоя, и (ii), принимает результат суммирования в качестве DC компонента непосредственно нижележащей области изображения.

В использовании этой конфигурации, если предсказание движения непосредственно нижележащей области изображения выполнялось в малых единицах области, которые меньше непосредственно нижележащей области изображения, вычислительное устройство может вычислять DC компонент для каждой малой области, чтобы получить релевантный DC компонент, и на основании таковых вычисленных DC компонентов и областей для соответственных малых областей может вычислять DC компонент, рассматриваемый в качестве релевантного DC компонента.

Способ масштабируемого кодирования видеоинформации по изобретению, реализуемый посредством функций устройств обработки, описанных выше, может также осуществляться посредством компьютерной программы. Компьютерная программа хранится в надлежащем машиночитаемом носителе записи или поставляется по сети, и, при реализации изобретения, программа устанавливается и приводится в действие в устройстве управления, таком как центральный процессор (ЦП, CPU), посредством чего изобретение реализуется.

(2) Конфигурация устройства масштабируемого декодирования видеоинформации по изобретению

Для достижения вышеупомянутых целей устройство масштабируемого декодирования видеоинформации по изобретению использует конфигурацию, которая вычисляет весовой коэффициент, включающий пропорциональный коэффициент и коэффициент смещения, и указывает изменение яркости между декодируемой целевой областью изображения и областью опорного изображения, указываемую декодированным вектором движения в вышележащем слое, и выполняет компенсацию движения путем применения весового коэффициента к декодированному сигналу области опорного изображения, указываемую декодированным вектором движения, и таким образом формирует сигнал предсказания. Устройство масштабируемого декодирования видеоинформации включает в состав:

(i) устройство определения, которое на основании информации кодирования для непосредственно нижележащей области изображения в непосредственно нижележащем слое, которая присутствует пространственно в той же позиции, что и кодируемая целевая область изображения, определяет структуру данных для весового коэффициента, и

(ii) вычислительное устройство, которое, если непосредственно нижележащая область изображения выполняла межкадровое предсказание в непосредственно нижележащем слое, идентифицирует область опорного изображения непосредственно нижележащего слоя, которая использовалась непосредственно нижележащей областью изображения в качестве ссылки при предсказании для предсказания движения, и вычисляет весовой коэффициент путем применения весового коэффициента, который использовался непосредственно нижележащей областью изображения во взвешенном предсказании движения по отношению к DC (прямой текущий) компоненту области изображения в вышележащем слое, которая присутствует пространственно в той же позиции, что и область опорного изображения непосредственно нижележащего слоя, и принимая результат применения в качестве DC компонента непосредственно нижележащей области изображения.

Если имеется одна область опорного изображения и устройство определения применяет способ вычисления весового коэффициента, используя коррекцию с пропорциональным коэффициентом, имеются случаи, где устройство определения принимает решение использовать отношение между DC компонентом области опорного изображения и DC компонентом непосредственно нижележащей области изображения в качестве пропорционального коэффициента, и принимает решение использовать нуль в качестве коэффициента смещения, и определяет структуру данных для весового коэффициента таким образом.

Кроме того, если имеется одна область опорного изображения и устройство определения применяет способ вычисления весового коэффициента с использованием коррекции с коэффициентом смещения, имеются случаи, где устройство определения принимает решение использовать разность между DC компонентом области опорного изображения и DC компонентом непосредственно нижележащей области изображения в качестве коэффициента смещения, и принимает решение использовать 1 в качестве пропорционального коэффициента, и определяет структуру данных для весового коэффициента таким образом.

Кроме того, если имеются две области опорного изображения, имеются случаи, где устройство определения принимает решение использовать значение, вычисленное в качестве пропорционального коэффициента в соответствии с межкадровым расстоянием между кодируемой целевой областью изображения и каждой областью опорного изображения, принимает решение использовать значение, вычисленное в виде коэффициента смещения, вычитая значение, которое получено умножением каждого DC компонента двух областей опорного изображения на соответствующий пропорциональный коэффициент, из DC компонента непосредственно нижележащей области изображения, и определяет структуру данных для весового коэффициента таким образом.

В использовании этой конфигурации, при попытке повысить точность путем учета остаточного сигнала предсказания относительно предсказания движения, формируемого в непосредственно нижележащей области изображения, вычислительное устройство может (i) суммировать DC компонент остаточного сигнала предсказания относительно предсказания движения, формируемого в непосредственно нижележащей области изображения, со значением, полученным путем применения весового коэффициента, который использовался непосредственно нижележащей областью изображения во взвешенном предсказании движения, к DC компоненту области изображения в вышележащем слое, которая присутствует пространственно в той же позиции, что и область опорного изображения непосредственно нижележащего слоя, и (ii) принимает результат суммирования в качестве DC компонента непосредственно нижележащей области изображения.

В использовании этой конфигурации, если предсказание движения непосредственно нижележащей области изображения выполнялось в малых единицах области, которые меньше непосредственно нижележащей области изображения, вычислительное устройство может вычислять DC компонент для каждой малой области, чтобы получить релевантный DC компонент, и на основании таких вычисленных DC компонентов и областей для соответственных малых областей может вычислять DC компонент, рассматриваемый в качестве релевантного DC компонента.

Способ масштабируемого декодирования видеоинформации по изобретению, реализуемый посредством функций устройств обработки, описанных выше, может также осуществляться посредством компьютерной программы. Компьютерная программа хранится в надлежащем машиночитаемом носителе записи или поставляется по сети, и, при реализации изобретения, программа устанавливается и приводится в действие в устройстве управления, таком как ЦП, посредством чего изобретение реализуется.

Результаты изобретения

В соответствии с настоящим изобретением, даже когда яркость изменяется в части изображения из-за тени движущегося объекта или подобного, становится возможным уменьшить машинную память и время вычисления, требуемые для процесса декодирования, при этом выполняя высокоточное взвешенное предсказание движения в неявном режиме, который не осуществляет передачу весового коэффициента.

Также в соответствии с настоящим изобретением, даже в однонаправленном предсказании, таком как предсказания L0/L1 в P-серии макроблоков и B-серии макроблоков, которое до настоящего времени допускало только явный режим, затем становится возможным уменьшить машинную память и время вычисления, требуемые для процесса декодирования, выполняя при этом высокоточное взвешенное предсказание движения в неявном режиме, который не передает весовой коэффициент.

Также в соответствии с настоящим изобретением, даже в изображениях, имеющих нелинейное изменение яркости между кодируемым/декодируемым целевым кадром и множеством опорных кадров предсказания, таких как изображения, включающие в себя флеш-анимацию и нелинейно изменяющиеся изображения, тогда становится возможным уменьшить машинную память и время вычисления, требуемые для процесса декодирования, выполняя при этом высокоточное взвешенное предсказание движения в неявном режиме, который не передает весовой коэффициент.

Вследствие таких улучшений в параметрах взвешенного предсказания движения, согласно изобретению, ожидается повышенная эффективность кодирования.

КРАТКИЙ ПЕРЕЧЕНЬ ФИГУР ЧЕРТЕЖЕЙ

Фиг.1A - пояснительная схема изменения яркости между кадрами.

Фиг.1B - схема примера ухудшающихся параметров предсказания.

Фиг.1C - пояснительное схематическое представление изобретения.

Фиг.2 - пояснительная схема целевого кадра коррекции и скорректированного кадра.

Фиг.3 - пояснительная схема способа вычисления весового коэффициента в изобретении по заявке на патент Японии за номером 2007-174161.

Фиг.4A - пояснительная схема способа вычисления весового коэффициента в изобретении по заявке на патент Японии за номером 2007-174161.

Фиг.4B - аналогичным образом, пояснительная схема способа вычисления весового коэффициента в изобретении по заявке на патент Японии за номером 2007-174161.

Фиг.4C - аналогичным образом, пояснительная схема способа вычисления весового коэффициента в изобретении по заявке на патент Японии за номером 2007-174161.

Фиг.5 - пояснительное схематическое представление изобретения.

Фиг.6 - аналогичным образом, пояснительное схематическое представление изобретения.

Фиг.7 - пояснительная схема результатов испытаний относительно испытания, выполненного для проверки эффективности изобретения.

Фиг.8 - блок-схема варианта осуществления процесса кодирования согласно изобретению.

Фиг.9 - блок-схема варианта осуществления процесса декодирования согласно изобретению.

Фиг.10 - блок-схема варианта осуществления процесса взвешенного оценивания движения согласно изобретению.

Фиг.11 - блок-схема варианта осуществления процесса взвешенной компенсации движения согласно изобретению.

Фиг.12 - блок-схема варианта осуществления процесса вычисления весового коэффициента согласно изобретению.

Фиг.13 - блок-схема варианта осуществления процесса оценивания DC компонента непосредственно нижележащего блока согласно изобретению.

Фиг.14 - схема конфигурации для варианта осуществления устройства кодирования согласно изобретению.

Фиг.15 - схема конфигурации для варианта осуществления устройства декодирования согласно изобретению.

Фиг.16 - схема конфигурации для варианта осуществления блока взвешенной оценки движения согласно изобретению.

Фиг.17 - схема конфигурации для варианта осуществления компенсатора движения с взвешиванием согласно изобретению.

Фиг.18 - схема конфигурации для варианта осуществления вычислителя весового коэффициента согласно изобретению.

Фиг.19 - схема конфигурации для варианта осуществления блока оценки DC компонента непосредственно нижележащего блока согласно изобретению.

Фиг.20 - пояснительная схема взвешенного предсказания движения в стандарте H.264/AVC.

Позиционные обозначения

101 - блок определения способа предсказания

102 - внутренний предсказатель

103 - предсказатель движения без взвешивания

104 - межслойный предсказатель

105 - блок взвешенной оценки движения

106 - компенсатор движения с взвешиванием

107 - формирователь остаточного сигнала предсказания

108 - кодер остаточного сигнала предсказания

109 - декодер

110 - блок хранения декодированного сигнала релевантного слоя расширения

111 - блок хранения информации кодирования непосредственно нижележащего слоя

201 - декодер режима предсказания

202 - блок хранения режима предсказания

203 - блок определения способа предсказания

204 - внутренний предсказатель

205 - предсказатель движения без взвешивания

206 - межслойный предсказатель

207 - декодер информации вектора движения

208 - блок хранения информации вектора движения

209 - компенсатор движения с взвешиванием

210 - блок хранения информации кодирования непосредственно нижележащего слоя

211 - декодер остаточного сигнала

212 - блок хранения остаточного сигнала

213 - формирователь декодированного сигнала

214 - блок хранения декодированного сигнала релевантного слоя расширения

НАИЛУЧШИЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Во-первых, будет пояснено краткое описание настоящего изобретения.

В этом пояснении, для удобства, области изображения обозначены в виде прямоугольников и DC (прямой текущей) компоненты областей изображения обозначены средними значениями.

Неявный режим является способом неявного вычисления весового коэффициента, требуемого во взвешенном предсказании движения, без передачи дополнительной информации кодирования. При условии, что вычисленный весовой коэффициент адекватно представляет изменчивость яркости, он является замечательно эффективным способом. Однако, если вычисленный весовой коэффициент отклоняется от изменчивости яркости, параметры предсказания ухудшаются.

Как показано на Фиг.1A, в случае изображений с нелинейным плавным изменением или изображений флеш-анимации, изменчивость яркости между кадрами является нелинейной.

В таких случаях, если линейное предсказание выполняется с использованием только весового коэффициента для опорного сигнала предсказания, как показано на Фиг.1B, параметры предсказания будут ухудшаться.

Соответственно, во взвешенном предсказании движения в двунаправленном предсказании обеспечивается коэффициент смещения d, тогда как в неявном режиме JVSC, поскольку этот коэффициент смещения установлен в нуль, сама величина расхождения выражается в виде остаточного сигнала предсказания.

С другой стороны, если s^mn представляет исходный сигнал с координатами (m,n) в кодируемом целевом блоке размером M·N, то y₀ ^mn и y₁ ^mn представляют декодированные сигналы с координатами (m,n) в двух опорных блоках в двунаправленном предсказании, и кодируемому целевому блоку назначается весовой коэффициент (w₀,w₁,d), разностью «e» между сигналом взвешенного предсказания движения, вычисленным с использованием весового коэффициента (w₀,w₁,d), и исходным сигналом является:

e^mn=s^mn-(w₀y₀ ^mn+w₁y₁ ^mn+d),

и таким образом полной энергией E для разности предсказания e^mn в кодируемом целевом блоке является:

E=Σ_mΣ_n(s^mn-(w₀y₀ ^mn+w₁y₁ ^mn+d))².

Если w₀ и w₁ применяются таким же образом, как на Фиг.20, коэффициент смещения d, чтобы минимизировать полную энергию E, может быть определен посредством решения «E/d=0» и определения:

d=<s>-w₀<y₀>-w₁<y₁>

<s>: среднее значение исходного сигнала кодируемого целевого блока

<y₀>: среднее значение декодированного сигнала опорного блока

<y₁>: среднее значение декодированного сигнала опорного блока.

Однако декодер не может осуществлять ссылку на исходный сигнал. Соответственно, настоящее изобретение сосредоточивается на возможности сохранения межслойного среднего значения. Как показано на Фиг.1C, вместо среднего значения <s> исходного сигнала изобретение использует среднее значение <x> декодированного сигнала для блока (непосредственно нижележащего блока), который присутствует пространственно в той же позиции, как таковая для кодируемого целевого блока в непосредственно нижележащем слое, и определяет коэффициент смещения d в виде:

d≈<x>-w₀<y₀>-w₁<y₁>

Однако, чтобы определить среднее значение <x> декодированного сигнала непосредственно нижележащего блока, присутствующего пространственно в той же позиции, как и таковая кодируемого целевого блока в непосредственно нижележащем слое, должны декодироваться все декодированные сигналы непосредственно нижележащего слоя. Это требует большого объема машинной памяти и длительного времени вычислений.

В настоящем изобретении, во взвешенном предсказании движения в двунаправленном предсказании, при определении величины смещения в соответствии с уравнением вычисления

d≈<x>-w₀<y₀>-w₁<y₁>

идентифицируется опорный блок непосредственно нижележащего слоя, который является непосредственно нижележащим блоком, используемым в качестве ссылки при предсказании для предсказания движения, и <x> определяется путем получения результата применения весового коэффициента, который непосредственно нижележащий блок использовал во взвешенном предсказании движения, к среднему значению декодированных сигналов для блока в вышележащем слое, присутствующим пространственно в той же позиции, как таковая для опорного блока непосредственно нижележащего слоя, и принятия в качестве результата среднего значения декодированных сигналов непосредственно нижележащего блока.

Опорный блок непосредственно нижележащего слоя, который непосредственно нижележащий блок использовал при предсказании в качестве адресата ссылки для предсказания движения, может быть идентифицирован без декодирования всех сигналов непосредственно нижележащего слоя, путем декодирования части информации, такой как вектор движения или подобное. Следовательно, в соответствии с настоящим изобретением, нет проблемы необходимости машинной памяти большой емкости и длительного времени вычислений.

Весовые коэффициенты w₀ и w₁ могут быть определены на стороне декодирования путем их вычисления в соответствии с межкадровым расстоянием между кодируемым целевым блоком и каждым опорным блоком. Кроме того, коэффициент d смещения также может определяться на стороне декодирования путем его вычисления, исходя из декодированного сигнала. Следовательно, согласно изобретению, нет необходимости передавать весовые коэффициенты на сторону декодирования.

Следовательно, согласно изобретению, во взвешенном предсказании движения в двунаправленном предсказании, даже когда яркость между кадрами изменяется нелинейно при выполнении неявного режима, высокоточное взвешенное предсказание движения может достигаться при небольшой машинной памяти и за короткое время.

Техническая идея изобретения может также применяться во взвешенном предсказании движения в однонаправленном предсказании.

То есть, во взвешенном предсказании движения в однонаправленном предсказании:

(i) в качестве пропорционального коэффициента используется отношение между средним значением для декодированного сигнала опорного блока и средним значением исходного сигнала для кодируемого целевого блока, и используется нулевой коэффициент смещения; или

(ii) в качестве коэффициента смещения используется разность между средним значением декодированного сигнала опорного блока и средним значением декодированного сигнала для кодируемого целевого блока, и в качестве пропорционального коэффициента используется 1.

Однако декодер не может осуществлять ссылку на исходный сигнал. Соответственно, настоящее изобретение рассматривает возможность сохранения межслойного среднего значения и, вместо среднего значения исходного сигнала для кодируемого целевого блока, использует среднее значение декодированного сигнала непосредственно нижележащего блока, чтобы определять отношение и разность, упомянутые выше.

Однако, чтобы определить среднее значение декодированного сигнала непосредственно нижележащего блока, должны декодироваться все декодированные сигналы непосредственно нижележащего слоя. Это требует машинной памяти большой емкости и длительного времени вычислений.

Соответственно в изобретении, в однонаправленном взвешенном предсказании движения, идентифицируется опорный блок непосредственно нижележащего слоя, каковой непосредственно нижележащий блок использовался в качестве опорного объекта предсказания для предсказания движения, и вычисляются вышеупомянутое отношение и разность путем получения результата применения весового коэффициента, который непосредственно нижележащий блок использовал во взвешенном предсказании движения, к среднему значению декодированных сигналов для блока в вышележащем слое, присутствующему пространственно в той же позиции, как таковой опорный блок непосредственно нижележащего слоя, и принятия в качестве результата среднего значения декодированных сигналов непосредственно нижележащего блока.

Опорный блок непосредственно нижележащего слоя, который непосредственно нижележащий блок использовал в качестве опорного объекта предсказания для предсказания движения, может быть идентифицирован без декодирования всех сигналов непосредственно нижележащего слоя путем декодирования части информации, такой как вектор движения. Следовательно, согласно изобретению, отсутствуют проблемы необходимости машинной памяти большой емкости и длительного времени вычислений.

Это дает возможность определения весовых коэффициентов на стороне декодирования, путем их вычисления, исходя из декодированного сигнала, и следовательно, согласно изобретению, нет необходимости передавать весовые коэффициенты на сторону декодирования.

Следовательно, согласно изобретению, во взвешенном предсказании движения в одн