Способ оценки вектора движения, способ кодирования многовидового видеосигнала, способ декодирования многовидового видеосигнала, устройство оценки вектора движения, устройство кодирования многовидового видеосигнала, устройство декодирования многовидового видеосигнала. программа оценки вектора движения, программа кодирования многовидового видеосигнала и программа декодирования многовидового видеосигнала

Иллюстрации

Показать все

Изобретение относится к способу оценки вектора движения, способу кодирования и декодирования многовидового видеосигнала. Технический результат - точная оценка вектора движения и реализация эффективного кодирования многовидового видеосигнала. Способ оценки вектора движения содержит: этап генерирования изображения синтезированного вида для генерирования из видео опорной камеры, изображения синтезированного вида в момент времени, когда изображение обработки было получено; и этап оценки соответствующей области для оценки вектора движения путем поиска соответствующей области в опорном изображении, полученном камерой обработки, с использованием сигнала изображения на изображении синтезированного вида, соответствующем области обработки на изображении обработки, без использования изображения обработки, полученного в момент времени, в который должен быть оценен вектор движения. 12 н. и 10 з.п. ф-лы, 20 ил.

Реферат

ОБЛАСТЬ ТЕХНИКИ

[0001] Настоящее изобретение относится к способу оценки вектора движения, способу кодирования многовидового видеосигнала, способу декодирования многовидового видеосигнала, устройству оценки вектора движения, устройству кодирования многовидового видеосигнала, устройству декодирования многовидового видеосигнала, программе оценки вектора движения, программе кодирования многовидового видеосигнала и программе декодирования многовидового видеосигнала.

Приоритет испрашивается по заявке на патент Японии № 2010-037434, поданной 23 февраля 2010 г., содержание которой включается в этот документ посредством ссылки.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

[0002] Многовидовые киноизображения (многовидовой видеосигнал) являются группой киноизображений, полученных путем фотографирования одного и того же объекта и фона с использованием множества камер. В типичном кодировании киноизображения эффективное кодирование осуществляется с использованием предсказания с компенсацией движения, которое использует высокую корреляцию между кадрами в разные моменты в киноизображениях. Предсказание с компенсацией движения является методикой, принятой в последних международных стандартах схем кодирования киноизображения, представленных H.264. То есть предсказание с компенсацией движения является способом для генерирования изображения путем компенсации движения объекта между целевым кадром кодирования и уже кодированным опорным кадром, вычисления межкадровой разности между сгенерированным изображением и целевым кадром кодирования и кодирования только разностного сигнала.

[0003] При многовидовом кодировании киноизображения высокая корреляция существует не только между кадрами в разные моменты, но также между кадрами в разных видах. Таким образом, используется методика, называемая предсказанием с компенсированной диспаратностью, в которой межкадровая разность вычисляется между целевым кадром кодирования и изображением (кадром), сгенерированным путем компенсации диспаратности между видами, а не движением, и кодируется только разностный сигнал. Предсказание с компенсированной диспаратностью принимается в международных стандартах типа H.264, Приложение H (касательно подробностей H.264 см., например, Непатентный документ 1).

[0004] Диспаратность, используемая в этом документе, является разностью между положениями, в которых объект проецируется на плоскости изображений камер, размещенных в разных положениях. В предсказании с компенсированной диспаратностью кодирование выполняется путем представления этого в качестве двумерного вектора. Так как диспаратность является информацией, сгенерированной в зависимости от камер и положения (глубины) объекта относительно камер, как проиллюстрировано на фиг. 20, имеется схема, использующая этот принцип, называемая предсказанием с синтезом вида (предсказанием с интерполяцией вида).

[0005] Предсказание с синтезом вида (предсказание с интерполяцией вида) является схемой, которая в качестве предсказанного изображения использует изображение, полученное путем синтезирования (интерполирования) кадра в другом виде, который подвергается процессу кодирования или декодирования, использующему часть многовидового видеосигнала, которая уже обработана и для которой получается результат декодирования, на основе трехмерного взаимного расположения между камерами и объектом (например, см. Непатентный документ 2).

[0006] Обычно, чтобы представить трехмерное положение объекта, используется карта глубин (также называемая изображением диапазона, изображением диспаратности или картой диспаратности), которая представляет расстояния (глубину) от камер до объекта для каждого пикселя. В дополнение к карте глубин также может использоваться информация о многоугольниках объекта или информация о вокселях пространства объекта.

[0007] Нужно отметить, что способы для получения карты глубин грубо классифицируются на способ для генерирования карты глубин путем измерения, использующего инфракрасные импульсы или т.п., и способ для генерирования карты глубин путем оценивания глубины из точек в многовидовом видеосигнале, в которых один и тот же объект фотографируется, используя принцип триангуляции. В предсказании с синтезом вида не является серьезной проблемой то, какая из карт глубин, полученная этими способами, используется. К тому же также не является серьезной проблемой то, где выполняется оценка, при условии, что можно получить карту глубин.

[0008] Однако обычно, когда выполняется кодирование с предсказанием, если карта глубин, используемая на кодирующей стороне, не идентична карте глубин, используемой на декодирующей стороне, возникает искажение кодирования, называемое сдвигом. Таким образом, карта глубин, используемая на кодирующей стороны, передается декодирующей стороны, либо используется способ, в котором кодирующая сторона и декодирующая сторона оценивают карты глубин с использованием полностью одинаковых данных и методики.

Документы предшествующего уровня техники

Непатентные документы

[0009] Непатентный документ 1: Rec. ITU-T H.264 "Advanced video coding for generic audiovisual services", март 2009 г.

Непатентный документ 2: S. Shimizu, M. Kitahara, H. Kimata, K. Kamikura и Y. Yashima, "View Scalable Multiview Video Coding Using 3-D Warping with Depth Map", Протоколы IEEE по схемам и системе для видеотехники, том 17, № 11, стр. 1485-1495, ноябрь 2007 г.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Проблемы, которые должны быть решены изобретением

[0010] В вышеописанном традиционном способе избыточность в видеосигналах между камерами можно устранить путем использования предсказания с компенсированной диспаратностью или предсказания с синтезом вида. Таким образом, можно выполнять кодирование со сжатием многовидового видеосигнала с высокой эффективностью по сравнению со случаем, в котором видеосигналы, полученные соответствующими камерами, кодируются независимо.

[0011] Однако в многовидовом видеосигнале корреляция между камерами и временная корреляция существуют одновременно. Таким образом, когда используется только предсказание с компенсированной диспаратностью или предсказание с синтезом вида, временную избыточность нельзя устранить с использованием временной корреляции, и соответственно невозможно осуществить эффективное кодирование.

[0012] Непатентный документ 1 пытается использовать как корреляцию между камерами, так и временную корреляцию путем представления адаптивного выбора между предсказанием с компенсацией движения и предсказанием с компенсированной диспаратностью для каждого блока. С помощью этого способа можно осуществить эффективное кодирование по сравнению со случаем, в котором используется только одна из корреляций.

[0013] Однако выбор любой из них для каждого блока всего лишь уменьшает большую степень избыточности, используя более сильную корреляцию для каждого блока, и невозможно уменьшить избыточность, существующую одновременно между камерами и между кадрами, снятыми в разные моменты.

[0014] В качестве решения этой проблемы можно легко вывести способ, использующий среднее взвешенное между предсказанным изображением, сгенерированным по методике, использующей временную корреляцию, например предсказание с компенсацией движения, и предсказанным изображением, сгенерированным по методике, использующей корреляцию между камерами, например предсказание с компенсированной диспаратностью или предсказание с синтезом вида. С помощью этой методики можно получить полезный результат, что в известной мере повышается эффективность кодирования.

[0015] Однако генерирование предсказанного изображения с использованием среднего взвешенного всего лишь распределяет коэффициенты, с которыми используются корреляции, между временной корреляцией и корреляцией между камерами. То есть, поскольку оно всего лишь гибче использует любую из корреляций вместо одновременного использования двух корреляций, нельзя уменьшить одновременно существующую избыточность.

[0016] Настоящее изобретение создано с учетом таких обстоятельств, и его цель - предоставить способ оценки вектора движения, способ кодирования многовидового видеосигнала, способ декодирования многовидового видеосигнала, устройство оценки вектора движения, устройство кодирования многовидового видеосигнала, устройство декодирования многовидового видеосигнала, программу оценки вектора движения, программу кодирования многовидового видеосигнала и программу декодирования многовидового видеосигнала, которые могут точно оценивать вектор движения даже в ситуации, в которой нельзя получить изображение обработки, и которые могут реализовать эффективное кодирование многовидового видеосигнала, использующее две корреляции одновременно путем использования временной корреляции при предсказании видеосигнала.

Средство для решения проблем

[0017] Чтобы решить вышеописанные проблемы, первым аспектом настоящего изобретения является способ оценки вектора движения, включающий в себя: этап генерирования изображения синтезированного вида, на котором генерируют из видеосигнала опорной камеры, полученного камерой, отличной от камеры обработки, которая получила изображение обработки, включенное в многовидовой видеосигнал, изображения синтезированного вида в момент, когда изображение обработки получено на основе такой же установки, что и установка камеры обработки; и этап оценки соответствующей области, на котором оценивают вектор движения путем поиска соответствующей области в опорном изображении, полученном камерой обработки, с использованием сигнала изображения на изображении синтезированного вида, соответствующем области обработки на изображении обработки, не используя изображение обработки, полученное в момент, в который должен быть оценен вектор движения.

[0018] В первом аспекте настоящего изобретения может дополнительно включаться этап установки степени надежности, на котором устанавливают степень надежности, указывающую достоверность изображения синтезированного вида для каждого пикселя изображения синтезированного вида, и на этапе оценки соответствующей области вес может назначаться стоимости соответствия на основе степени надежности, когда ищется соответствующая область.

[0019] К тому же, чтобы решить вышеописанные проблемы, вторым аспектом настоящего изобретения является способ кодирования многовидового видеосигнала для выполнения кодирования многовидового видеосигнала с предсказанием, и способ включает в себя: этап генерирования изображения синтезированного вида, на котором генерируют из уже кодированного кадра опорного вида, полученного одновременно с целевым кадром кодирования в опорном виде, отличном от целевого вида кодирования многовидового видеосигнала, изображения синтезированного вида в целевом виде кодирования; этап оценки вектора движения, на котором оценивают вектор движения путем поиска соответствующей области на уже кодированном опорном кадре в целевом виде кодирования для каждого единичного блока для кодирования изображения синтезированного вида; этап генерирования изображения предсказания с компенсацией движения, на котором генерируют изображение предсказания с компенсацией движения для целевого кадра кодирования с использованием оцененного вектора движения и опорного кадра; и этап кодирования остатка, на котором кодируют разностной сигнал между целевым кадром кодирования и изображением предсказания с компенсацией движения.

[0020] Во второй аспект настоящего изобретения может дополнительно включаться этап установки степени надежности, на котором устанавливают степень надежности, указывающую достоверность изображения синтезированного вида для каждого пикселя изображения синтезированного вида, и на этапе оценки вектора движения вес может назначаться стоимости соответствия каждого пикселя на основе степени надежности, когда ищется соответствующая область.

[0021] Во второй аспект настоящего изобретения может дополнительно включаться этап поиска движения, на котором генерируют оптимальный вектор движения путем поиска соответствующей области между опорным кадром и каждым единичным блоком для кодирования целевого кадра кодирования; и этап кодирования вектора разности, на котором кодируют вектор разности между вектором движения и оптимальным вектором движения, и на этапе генерирования изображения предсказания с компенсацией движения может генерироваться изображение предсказания с компенсацией движения, используя оптимальный вектор движения и опорный кадр.

[0022] Во второй аспект настоящего изобретения может дополнительно включаться этап генерирования вектора предсказания, на котором генерируют вектор предсказания с использованием вектора движения и группы оптимальных векторов движения, используемой в областях, соседствующих с целевой областью кодирования, и на этапе кодирования вектора разности может кодироваться вектор разности между вектором предсказания и оптимальным вектором движения.

[0023] К тому же, чтобы решить вышеописанные проблемы, третьим аспектом настоящего изобретения является способ декодирования многовидового видеосигнала для декодирования видеосигнала для вида многовидового видеосигнала из кодированных данных, и способ включает в себя: этап генерирования изображения синтезированного вида, на котором генерируют из кадра опорного вида, полученного одновременно с целевым кадром декодирования в опорном виде, отличном от целевого вида декодирования, изображения синтезированного вида на целевом виде декодирования; этап оценки вектора движения, на котором оценивают вектор движения путем поиска соответствующей области на уже декодированном опорном кадре в целевом виде декодирования для каждого единичного блока для декодирования изображения синтезированного вида; этап генерирования изображения предсказания с компенсацией движения, на котором генерируют изображение предсказания с компенсацией движения для целевого кадра декодирования с использованием оцененного вектора движения и опорного кадра; и этап декодирования изображения, на котором декодируют целевой кадр декодирования, который подвергнут кодированию с предсказанием, из кодированных данных с использованием изображения предсказания с компенсацией движения в качестве сигнала предсказания.

[0024] В третий аспект настоящего изобретения может дополнительно включаться этап установки степени надежности, на котором устанавливают степень надежности, указывающую достоверность изображения синтезированного вида для каждого пикселя изображения синтезированного вида, и на этапе оценки вектора движения вес может назначаться стоимости соответствия каждого пикселя на основе степени надежности, когда ищется соответствующая область.

[0025] В третий аспект настоящего изобретения может дополнительно включаться этап декодирования вектора, на котором декодируют оптимальный вектор движения, который подвергнут кодированию с предсказанием, из кодированных данных с использованием вектора движения в качестве вектора предсказания, и на этапе генерирования изображения предсказания с компенсацией движения можно генерировать изображение предсказания с компенсацией движения, используя оптимальный вектор движения и опорный кадр.

[0026] В третий аспект настоящего изобретения может дополнительно включаться этап генерирования вектора предсказания, на котором генерируют оцененный вектор предсказания с использованием вектора движения и группы оптимальных векторов движения, используемой в областях, соседствующих с целевой областью декодирования, и на этапе декодирования вектора можно декодировать оптимальный вектор движения, используя оцененный вектор предсказания в качестве вектора предсказания.

[0027] К тому же, чтобы решить вышеописанные проблемы, четвертым аспектом настоящего изобретения является устройство оценки вектора движения, включающее в себя: средство генерирования изображения синтезированного вида для генерирования из видеосигнала опорной камеры, полученного камерой, отличной от камеры обработки, которая получила изображение обработки, включенное в многовидовой видеосигнал, изображения синтезированного вида в момент, когда изображение обработки получено на основе такой же установки, что и установка камеры обработки; и средство оценки соответствующей области для оценивания вектора движения путем поиска соответствующей области в опорном изображении, полученном камерой обработки, с использованием сигнала изображения на изображении синтезированного вида, соответствующем области обработки на изображении обработки, не используя изображение обработки, полученное в момент, в который должен быть оценен вектор движения.

[0028] В четвертый аспект настоящего изобретения может дополнительно включаться средство установки степени надежности для установки степени надежности, указывающей достоверность изображения синтезированного вида для каждого пикселя изображения синтезированного вида, и средство оценки соответствующей области может назначать вес стоимости соответствия на основе степени надежности, когда ищется соответствующая область.

[0029] К тому же, чтобы решить вышеописанные проблемы, пятым аспектом настоящего изобретения является устройство кодирования многовидового видеосигнала для выполнения кодирования многовидового видеосигнала с предсказанием, и устройство включает в себя: средство генерирования изображения синтезированного вида для генерирования из уже кодированного кадра опорного вида, полученного одновременно с целевым кадром кодирования в опорном виде, отличном от целевого вида кодирования многовидового видеосигнала, изображения синтезированного вида в целевом виде кодирования; средство оценки вектора движения для оценивания вектора движения путем поиска соответствующей области на уже кодированном опорном кадре в целевом виде кодирования для каждого единичного блока для кодирования изображения синтезированного вида; средство генерирования изображения предсказания с компенсацией движения для генерирования изображения предсказания с компенсацией движения для целевого кадра кодирования с использованием оцененного вектора движения и опорного кадра; и средство кодирования остатка для кодирования разностного сигнала между целевым кадром кодирования и изображением предсказания с компенсацией движения.

[0030] В пятый аспект настоящего изобретения может дополнительно включаться средство установки степени надежности для установки степени надежности, указывающей достоверность изображения синтезированного вида для каждого пикселя изображения синтезированного вида, и средство оценки вектора движения на основе степени надежности может назначать вес стоимости соответствия каждого пикселя, когда ищется соответствующая область.

[0031] К тому же, чтобы решить вышеописанные проблемы, шестым аспектом настоящего изобретения является устройство декодирования многовидового видеосигнала для декодирования видеосигнала для вида многовидового видеосигнала из кодированных данных, и устройство включает в себя: средство генерирования изображения синтезированного вида для генерирования из кадра опорного вида, полученного одновременно с целевым кадром декодирования в опорном виде, отличном от целевого вида декодирования, изображения синтезированного вида в целевом виде декодирования; средство оценки вектора движения для оценивания вектора движения путем поиска соответствующей области на уже декодированном опорном кадре в целевом виде декодирования для каждого единичного блока для декодирования изображения синтезированного вида; средство генерирования изображения предсказания с компенсацией движения для генерирования изображения предсказания с компенсацией движения для целевого кадра декодирования с использованием оцененного вектора движения и опорного кадра; и средство декодирования изображения для декодирования целевого кадра декодирования, который подвергнут кодированию с предсказанием, из кодированных данных с использованием изображения предсказания с компенсацией движения в качестве сигнала предсказания.

[0032] В шестом аспекте настоящего изобретения может дополнительно включаться средство установки степени надежности для установки степени надежности, указывающей достоверность изображения синтезированного вида для каждого пикселя изображения синтезированного вида, и средство оценки вектора движения на основе степени надежности может назначать вес стоимости соответствия каждого пикселя, когда ищется соответствующая область.

[0033] К тому же, чтобы решить вышеописанные проблемы, седьмым аспектом настоящего изобретения является программа оценки вектора движения для побуждения компьютера устройства оценки вектора движения исполнять: функцию генерирования изображения синтезированного вида, состоящую в генерировании из видеосигнала опорной камеры, полученного камерой, отличной от камеры обработки, которая получила изображение обработки, включенное в многовидовой видеосигнал, изображения синтезированного вида в момент, когда изображение обработки получено на основе такой же установки, что и установка камеры обработки; и функцию оценки соответствующей области, состоящую в оценивании вектора движения путем поиска соответствующей области в опорном изображении, полученном камерой обработки, с использованием сигнала изображения на изображении синтезированного вида, соответствующем области обработки на изображении обработки, не используя изображение обработки, полученное в момент, в который должен быть оценен вектор движения.

[0034] К тому же, чтобы решить вышеописанные проблемы, восьмым аспектом настоящего изобретения является программа кодирования многовидового видеосигнала для побуждения компьютера устройства кодирования многовидового видеосигнала для выполнения кодирования многовидового видеосигнала с предсказанием исполнять: функцию генерирования изображения синтезированного вида, состоящую в генерировании из уже кодированного кадра опорного вида, полученного одновременно с целевым кадром кодирования в опорном виде, отличном от целевого вида кодирования многовидового видеосигнала, изображения синтезированного вида в целевом виде кодирования; функцию оценки вектора движения, состоящую в оценивании вектора движения путем поиска соответствующей области на уже кодированном опорном кадре в целевом виде кодирования для каждого единичного блока для кодирования изображения синтезированного вида; функцию генерирования изображения предсказания с компенсацией движения, состоящую в генерировании изображения предсказания с компенсацией движения для целевого кадра кодирования с использованием оцененного вектора движения и опорного кадра; и функцию кодирования остатка, состоящую в кодировании разностного сигнала между целевым кадром кодирования и изображением предсказания с компенсацией движения.

[0035] К тому же, чтобы решить вышеописанные проблемы, девятым аспектом настоящего изобретения является программа декодирования многовидового видеосигнала для побуждения компьютера устройства декодирования многовидового видеосигнала для декодирования видеосигнала для вида многовидового видеосигнала из кодированных данных исполнять: функцию генерирования изображения синтезированного вида, состоящую в генерировании из кадра опорного вида, полученного одновременно с целевым кадром декодирования в опорном виде, отличном от целевого вида декодирования, изображения синтезированного вида в целевом виде декодирования; функцию оценки вектора движения, состоящую в оценивании вектора движения путем поиска соответствующей области на уже декодированном опорном кадре в целевом виде декодирования для каждого единичного блока для декодирования изображения синтезированного вида; функцию генерирования изображения предсказания с компенсацией движения, состоящую в генерировании изображения предсказания с компенсацией движения для целевого кадра декодирования с использованием оцененного вектора движения и опорного кадра; и функцию декодирования изображения, состоящую в декодировании целевого кадра декодирования, который подвергнут кодированию с предсказанием, из кодированных данных с использованием изображения предсказания с компенсацией движения в качестве сигнала предсказания.

К тому же десятым аспектом настоящего изобретения является способ оценки вектора движения, включающий в себя: этап генерирования изображения синтезированного вида, на котором генерируют из видеосигнала опорной камеры, полученного камерой, отличной от камеры обработки, которая получила изображение обработки, включенное в многовидовой видеосигнал, первого изображения синтезированного вида в момент, когда получено изображение обработки, и второго изображения синтезированного вида в момент, когда опорное изображение получено камерой обработки, на основе такой же установки, что и установка камеры обработки, где вектор движения должен быть получен между опорным изображением и изображением обработки; и этап оценки соответствующей области, на котором оценивают вектор движения путем поиска соответствующей области во втором изображении синтезированного вида, соответствующем опорному изображению, с использованием сигнала изображения на первом изображении синтезированного вида, соответствующем области обработки на изображении обработки, не используя изображение, полученное камерой обработки.

К тому же одиннадцатым аспектом настоящего изобретения является устройство оценки вектора движения, включающее в себя: средство генерирования изображения синтезированного вида для генерирования из видеосигнала опорной камеры, полученного камерой, отличной от камеры обработки, которая получила изображение обработки, включенное в многовидовой видеосигнал, первого изображения синтезированного вида в момент, когда получено изображение обработки, и второго изображения синтезированного вида в момент, когда опорное изображение получено камерой обработки, на основе такой же установки, что и установка камеры обработки, где вектор движения должен быть получен между опорным изображением и изображением обработки; и средство оценки соответствующей области для оценивания вектора движения путем поиска соответствующей области во втором изображении синтезированного вида, соответствующем опорному изображению, с использованием сигнала изображения на первом изображении синтезированного вида, соответствующем области обработки на изображении обработки, не используя изображение, полученное камерой обработки.

К тому же двенадцатым аспектом настоящего изобретения является программа оценки вектора движения для побуждения компьютера устройства оценки вектора движения исполнять: функцию генерирования изображения синтезированного вида, состоящую в генерировании из видеосигнала опорной камеры, полученного камерой, отличной от камеры обработки, которая получила изображение обработки, включенное в многовидовой видеосигнал, первого изображения синтезированного вида в момент, когда получено изображение обработки, и второго изображения синтезированного вида в момент, когда опорное изображение получено камерой обработки, на основе такой же установки, что и установка камеры обработки, где вектор движения должен быть получен между опорным изображением и изображением обработки; и функцию оценки соответствующей области, состоящую в оценивании вектора движения путем поиска соответствующей области во втором изображении синтезированного вида, соответствующем опорному изображению, с использованием сигнала изображения на первом изображении синтезированного вида, соответствующем области обработки на изображении обработки, не используя изображение, полученное камерой обработки.

Полезные результаты изобретения

[0036] Настоящее изобретение может точно оценивать вектор движения даже в ситуации, в которой нельзя получить изображение обработки, и может осуществлять эффективное кодирование многовидового видеосигнала с использованием двух корреляций одновременно (то есть корреляцию между камерами и временную корреляцию) путем использования временной корреляции при предсказании видеосигнала.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0037] Фиг. 1 - блок-схема, иллюстрирующая конфигурацию устройства кодирования многовидового видеосигнала в первом варианте осуществления настоящего изобретения.

Фиг. 2 - блок-схема последовательности операций, описывающая работу устройства кодирования многовидового видеосигнала в первом варианте осуществления.

Фиг. 3 - блок-схема, иллюстрирующая конфигурацию устройства кодирования многовидового видеосигнала во втором варианте осуществления настоящего изобретения.

Фиг. 4 - блок-схема последовательности операций, описывающая работу устройства кодирования многовидового видеосигнала во втором варианте осуществления.

Фиг. 5 - блок-схема, иллюстрирующая конфигурацию устройства декодирования многовидового видеосигнала в третьем варианте осуществления настоящего изобретения.

Фиг. 6 - блок-схема последовательности операций, описывающая работу устройства декодирования многовидового видеосигнала в третьем варианте осуществления.

Фиг. 7 - блок-схема, иллюстрирующая конфигурацию устройства декодирования многовидового видеосигнала в четвертом варианте осуществления настоящего изобретения.

Фиг. 8 - блок-схема последовательности операций, описывающая работу устройства декодирования многовидового видеосигнала в четвертом варианте осуществления.

Фиг. 9 - блок-схема, иллюстрирующая конфигурацию устройства оценки вектора движения в пятом варианте осуществления настоящего изобретения.

Фиг. 10 - блок-схема последовательности операций, описывающая работу устройства оценки вектора движения в пятом варианте осуществления.

Фиг. 11 - блок-схема, иллюстрирующая другой пример конфигурации устройства оценки вектора движения в пятом варианте осуществления.

Фиг. 12 - блок-схема, иллюстрирующая конфигурацию устройства кодирования многовидового видеосигнала в шестом варианте осуществления настоящего изобретения.

Фиг. 13 - блок-схема последовательности операций, описывающая работу устройства кодирования многовидового видеосигнала в шестом варианте осуществления.

Фиг. 14 - блок-схема, иллюстрирующая конфигурацию устройства кодирования многовидового видеосигнала в седьмом варианте осуществления настоящего изобретения.

Фиг. 15 - блок-схема последовательности операций, описывающая работу устройства кодирования многовидового видеосигнала в седьмом варианте осуществления.

Фиг. 16 - блок-схема, иллюстрирующая конфигурацию устройства декодирования многовидового видеосигнала в восьмом варианте осуществления настоящего изобретения.

Фиг. 17 - блок-схема последовательности операций, описывающая работу устройства декодирования многовидового видеосигнала в восьмом варианте осуществления.

Фиг. 18 - блок-схема, иллюстрирующая конфигурацию устройства декодирования многовидового видеосигнала в девятом варианте осуществления настоящего изобретения.

Фиг. 19 - блок-схема последовательности операций, описывающая работу устройства декодирования многовидового видеосигнала в девятом варианте осуществления.

Фиг. 20 - концептуальная диаграмма, иллюстрирующая связь между расстояниями (глубинами) от камер до объектов и диспаратностью.

ВАРИАНТЫ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

[0038] Ниже по тексту будут описываться варианты осуществления настоящего изобретения со ссылкой на чертежи.

[0039] В традиционном способе предсказание с компенсацией движения осуществляется путем получения соответствующей области на опорном изображении, используя сигнал изображения входного целевого изображения кодирования. В этом случае, поскольку входное изображение нельзя получить на декодирующей стороне, необходимо кодировать информацию о векторе движения, представляющую соответствующую область. В вариантах осуществления настоящего изобретения синтезированное изображение, соответствующее целевому изображению кодирования, генерируется с использованием видеосигнала, полученного другой камерой (описанный ниже этап Sa2), и соответствующая область на опорном изображении получается с использованием сигнала изображения синтезированного изображения (описанный ниже этап Sa5). Так как можно сгенерировать такое же синтезированное изображение на декодирующей стороне, вектор движения получается путем выполнения такого же поиска на декодирующей стороне, как на кодирующей стороне. В результате варианты осуществления настоящего изобретения предоставляют полезный результат в том, что не нужно кодировать вектор движения, несмотря на то, что выполняется предсказание с компенсацией движения, так что можно уменьшить соответствующую частоту следования битов.

[0040] Нужно отметить, что в нижеследующем описании информация (значение координаты, индекс, допускающий ассоциацию со значением координаты, область и индекс, допускающий ассоциацию с областью), допускающая указание положения, которая вставляется между символами [], добавляется к видеосигналу (кадру), посредством этого представляя пиксель в положении или видеосигнал, соответствующий области.

[0041] А. Первый вариант осуществления

Сначала будет описываться первый вариант осуществления настоящего изобретения.

Фиг. 1 - блок-схема, иллюстрирующая конфигурацию устройства кодирования многовидового видеосигнала в первом варианте осуществления. Как проиллюстрировано на фиг. 1, устройство 100 кодирования многовидового видеосигнала снабжается модулем 101 ввода целевого кадра кодирования, запоминающим устройством 102 целевого изображения кодирования, модулем 103 ввода кадра опорного вида, запоминающим устройством 104 изображения опорного вида, модулем 105 синтеза вида, запоминающим устройством 106 изображения синтезированного вида, модулем 107 установки степени надежности, модулем 108 поиска соответствующей области, модулем 109 предсказания с компенсацией движения, модулем 110 кодирования остатка предсказания, модулем 111 декодирования остатка предсказания, запоминающим устройством 112 декодированного изображения, модулем 113 вычисления остатка предсказания и модулем 114 вычисления декодированного изображения.

[0042] Модуль 101 ввода целевого кадра кодирования вводит видеокадр (целевой кадр кодирования), служащий в качестве целевого объекта кодирования. Запоминающее устройство 102 целевого изображения кодирования сохраняет входной целевой кадр кодирования. Модуль 103 ввода кадра опорного вида вводит видеокадр (кадр опорного вида) для некоторого вида (опорного вида), отличного от вида целевого кадра кодирования. Запоминающее устройство 104 изображения опорного вида сохраняет входной кадр опорного вида. Модуль 105 синтеза вида генерирует изображение синтезированного вида, соответствующее целевому кадру кодирования, используя кадр опорного вида.

[0043] Запоминающее устройство 106 изображения синтезированного вида сохраняет сгенерированное изображение синтезированного вида. Модуль 107 установки степени надежности задает степень надежности для каждого пикселя сгенерированного изображения синтезированного вида. Модуль 108 поиска соответствующей области ищет вектор движения, представляющий соответствующий блок в уже кодированном кадре, который служит в качестве опорного кадра в предсказании с компенсацией движения и получен в том же виде, что и целевой кадр кодирования, используя степени надежности для каждого единичного блока для кодирования изображения синтезированного вида. То есть путем назначения веса для стоимости соответствия на основе степени надежности, когда ищется соответствующая область, точно синтезированный пиксель рассматривается как важный, и осуществляется высокоточная оценка вектора движения, не подвергаясь влиянию ошибки при синтезе вида.

[0044] Модуль 109 предсказания с компенсацией движения генерирует изображение предсказания с ко