Способ кодирования многопроекционного видео, способ декодирования многопроекционного видео, устройство кодирования многопроекционного видео, устройство декодирования многопроекционного видео, и программа

Способ кодирования многопроекционного видео, способ декодирования многопроекционного видео, устройство кодирования многопроекционного видео, устройство декодирования многопроекционного видео, и программа

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к способу кодирования многопроекционного видео и к устройству кодирования многопроекционного видео для кодирования многопроекционного изображения или многопроекционных видеофильмов; к способу декодирования многопроекционного видео и к устройству декодирования многопроекционного видео для декодирования многопроекционного изображения или многопроекционных видеофильмов; и к программе.

Испрашивается приоритет японской патентной заявки № 2010-038680, поданной 24 февраля 2010 г., содержание которой включено в настоящий документ путем ссылки.

Предшествующий уровень техники

Многопроекционные изображения являются множеством изображений, полученных путем фотографирования одного и того же объекта и его фона с помощью множества камер, а многопроекционные видеофильмы являются соответствующими им видеофильмами. При обычном кодировании видео эффективное кодирование осуществляется с помощью прогнозирования с компенсацией движения, которое использует высокую корреляцию между кадрами в разные моменты фотографирования в видео. Прогнозирование с компенсацией движения является техникой, принятой в последних международных стандартах схем кодирования видео, представленных Н.264. То есть прогнозирование с компенсацией движения является способом генерирования изображения путем компенсации движения объекта между целевым кадром кодирования и уже закодированным базовым кадром, вычисления межкадровой разницы между генерированным изображением и закодированным целевым кадром и кодирования сигнала разницы и вектора движения.

При кодировании многопроекционного видео высокая корреляция существует не только между кадрами в различные моменты фотографирования, но также и между кадрами с разных проекций. Таким образом, используется техника, называемая как прогнозирование с компенсацией расхождения, в которой вычисляется межкадровая разница между закодированным целевым кадром и изображением (кадром), генерированным путем компенсации расхождения между проекциями, а не движения, и кодируются сигнал разницы и вектор расхождения. Прогнозирование с компенсацией расхождения принято в международном стандарте как Приложение Н к Н.264 (см., например, непатентный документ 1).

Расхождение, используемое в настоящем документе, является разницей между местоположениями, в которых одно и то же местоположение объекта проецируется на плоскости изображения камер, установленных в различных местоположениях и направлениях. При прогнозировании с компенсацией расхождения кодирование выполняется путем представления его в качестве двухмерного вектора. Так как расхождение является информацией, генерированной в зависимости от местоположений проекции камер и расстояний (глубин) от камер до объекта, как изображено на фиг.7, то есть схема, использующая этот принцип, называемый как прогнозирование с синтезированием проекций (прогнозирование с интерполяцией проекций).

Прогнозирование с синтезированием проекций (прогнозирование интерполяцией проекций) является схемой, которая в качестве спрогнозированного изображения использует изображение, полученное путем синтезирования (интерполяции) кадра в другой проекции, которая подлежит процессу кодирования или декодирования с использованием части многопроекционного видео, которое уже было обработано и для которого получен результат декодирования, на основании трехмерного соотношения местоположения между камерами и объектом (например, см. непатентный документ 2). Обычно, чтобы представить трехмерное местоположение объекта, используется карта глубин (также называемая как образ дальностей, образ расхождений или карта расхождений), которая представляет расстояния (глубины) от камер до объекта для каждого пиксела. Дополнительно информация полигонов к карте глубин может быть использована соответствующая объекту, либо информация вокселов, соответствующая пространству объекта.

Необходимо отметить, что способы получения карты глубин приблизительно классифицированы как способ генерирования карты глубин путем измерения с помощью инфракрасных импульсов или тому подобного и способ генерирования карты глубин путем расчета глубины исходя из точек на многопроекционном видео, в которых сфотографирован один и тот же объект, с помощью принципа триангуляции. При прогнозировании с синтезированием проекций не является серьезной проблемой, какая именно из карт глубин, полученная этими способами, используется. Дополнительно, также не является серьезной проблемой, где был выполнен расчет, если при этом можно получить карту глубин.

Однако, в общем, когда выполняется предиктивное кодирование, если карта глубин, используемая на стороне кодирования, не равна карте глубин, используемой на стороне декодирования, происходит искажение кодирования, называемое отклонением. Таким образом, карта глубин, используемая на стороне кодирования, передается на сторону декодирования, либо используется способ, при котором сторона кодирования и сторона декодирования рассчитывают карты глубин с помощью полностью одних и тех же данных и методов.

При прогнозировании с компенсацией расхождения и прогнозировании с синтезированием проекций, если есть индивидуальная разница между откликами устройств формирования изображений из состава камер, если для каждой камеры выполняется регулировка усиления и/или коррекция градации яркости (гамма-корреляция), или если есть зависящий от направления эффект освещения в сцене, то эффективность кодирования снижается. Это происходит из-за того, что прогнозирование выполняется в предположении о том, что цвет объекта в закодированном целевом кадре совпадает с его цветом в базовом кадре.

В качестве схем, изученных для работы с такими изменениями в освещении и цвете объекта, используются компенсация освещения и коррекция цвета. Они являются схемами сохранения остатка прогнозирования, который должен быть закодирован, на низком уровне путем определения кадра, полученного путем коррекции освещения и цвета базового кадра в качестве кадра, используемого для прогнозирования. Н.264, раскрытый в непатентном документе 1, применяет взвешенное прогнозирование для выполнения коррекции с помощью линейной функции. Более того, также предложена другая схема для выполнения коррекции с помощью цветовой таблицы (например, см. непатентный документ 3).

Дополнительно, так как несоответствия в освещении и цвете объекта между камерами являются локальными и зависят от объекта, то существенно предпочтительно выполнять коррекцию с помощью локально различных параметров коррекции (параметров для коррекции). Более того, эти несоответствия генерируются вследствие не только одной лишь разницы в усилении или тому подобном, но также и более сложной модели, такой как разница в фокусе. Таким образом, предпочтительно использовать сложную модель коррекции, полученную путем моделирования процесса проекции или тому подобного, а не простую модель коррекции.

Дополнительно, чтобы справиться с локальными изменениями, необходимо подготовить множество наборов параметров коррекции. В общем, сложная модель коррекции представлена в качестве модели, имеющей большое число параметров. Таким образом, при подходе к передаваемым параметрам коррекции, хотя и возможно будет улучшить несоответствия, невозможно будет достигнуть высокой эффективности кодирования, потому что требуется высокий расход передачи битов (битрейт).

В качестве способа разрешения проблемы местного и сложного несоответствия без увеличения битрейта параметров коррекции существует техника расчета и применения параметров коррекции на стороне декодирования. Например, существует техника, которая предполагает, что один и тот же объект фотографируется в участке, соседнем с целевым блоком обработки, оцениваются параметры коррекции, которые минимизируют разницу между синтезированным из проекций изображением в соседнем участке и декодированным изображении, и используются рассчитанные параметры коррекции в качестве параметров коррекции для блока (например, см. непатентный документ 4). При такой схеме, так как не требуется передавать никакие параметры коррекции, даже когда общее число параметров коррекции увеличено, формируемый битрейт не увеличивается, если несоответствие можно сократить.

Документы уровня техники

Непатентные документы

Непатентный документ 1: Записан ITU-T H.264 "Advanced video coding for generic audiovisual services", Март 2009.

Непатентный документ 2: S. Shimizu, M. Kitahara, H. Kimata, K. Kamikura, и Y. Yashima, "View Scalable Multiview Video Coding Using 3-D Warping with Depth Map", Работа Института Инженеров по Электротехнике и Радиоэлектронике США по Интегральным схемам и Системе Видео Технологий, изд. 17, № 11, стр. 1485-1495, Ноябрь, 2007.

Непатентный документ 3: K. Yamamoto, M. Kitahara, H. Kimata, T. Yendo, T. Fujii, M. Tanimoto, S. Shimizu, K. Kamikura, и Y. Yashima, "Multiview Video Coding Using View Interpolation and Color Correction", Работа Института Инженеров по Электротехнике и Радиоэлектронике США по Интегральным схемам и Системе Видео Технологий, изд. 17, № 11, стр. 1436-1449, Ноябрь, 2007.

Непатентный документ 4: S. Shimizu, H. Kimata, и Y. Ohtani, "Adaptive Appearance Compensated View Synthesis Prediction for Multiview Video Coding", Труды Международной Конференции по обработке информации ICIP2009, стр. 2949-2952, Ноябрь 2009.

Раскрытие изобретения

Проблемы, решаемые с помощью изобретения

При вышеописанном уровне техники возможно корректировать несоответствие между камерами без кодирования параметров коррекции путем расчета параметров коррекции с помощью информации о соседнем блоке, на который можно ссылаться во время декодирования. Таким образом, возможно реализовать эффективное кодирование со сжатием многопроекционного видео.

Однако существует проблема, состоящая в том, что когда объект, отличный от такового в целевом блоке обработки, фотографируется в соседнем блоке, невозможно правильно скорректировать несоответствие для объекта, сфотографированного в целевом блоке обработки с помощью полученных параметров коррекции. Более того, дополнительно к проблеме, состоящей в том, что несоответствие не может быть скорректировано правильно, также существует вероятность того, что несоответствие, наоборот, увеличивается, а эффективность кодирования уменьшается.

В качестве решения этой проблемы, возможно легко придумать способ кодирования флагового индикатора, указывающего, следует ли выполнять коррекцию для каждого блока. Однако, хотя этот способ может предотвратить увеличение в несоответствии, невозможно значительно улучшить эффективность кодирования, так как необходимо кодировать флаговый индикатор.

Настоящее изобретение было создано с учетом этих обстоятельств и его задачей является обеспечение способа кодирования многопроекционного видео, способа декодирования многопроекционного видео, устройства кодирования многопроекционного видео, устройства декодирования многопроекционного видео и программы, которые могут реализовать эффективное кодирование/декодирование многопроекционного изображения и многопроекционного видеофильма без дополнительного кодирования/декодирования параметров коррекции даже для многопроекционного видео, имеющего локальные несоответствия в освещении и цвете между камерами.

Средство решения проблемы

Чтобы решить вышеописанные проблемы, первым аспектом настоящего изобретения является способ кодирования многопроекционного видео для кодирования многопроекционного видео, который включает в себя: этап генерирования синтезированного из проекций изображения для синтезирования из уже закодированного базового проекционного кадра, снятого с базовой проекции, отличной от целевой проекции кодирования многопроекционного видео, одновременно с целевым кадром кодирования в целевой проекции кодирования, синтезированного из проекций изображения, соответствующего целевому кадру кодирования в целевой проекции кодирования; этап расчета базового участка для поиска базового участка на уже закодированном базовом кадре в целевой проекции кодирования, соответствующего синтезированному из проекций изображению, для каждого участка элемента обработки, имеющего заранее определенный размер; этап расчета параметра коррекции для расчета параметра коррекции для коррекции несоответствия между камерами исходя из синтезированного из проекций изображения для участка элемента обработки и базового кадра для базового участка; этап коррекции синтезированного из проекций изображения для коррекции синтезированного из проекций изображения для участка элемента обработки с помощью рассчитанного параметра коррекции; и этап кодирования изображения для выполнения предиктивного кодирования видео в целевой проекции кодирования с помощью скорректированного синтезированного из проекций изображения.

Дополнительно, чтобы решить вышеописанные проблемы, вторым аспектом настоящего изобретения является способ кодирования многопроекционного видео для выполнения прогнозируемого кодирования, когда кодируется видео в целевой проекции кодирования многопроекционного видео, с помощью уже закодированного базового проекционного кадра, снятого в базовой проекции, отличной от целевой проекции кодирования, одновременно с целевым кадром кодирования в целевой проекции кодирования, и уже закодированного базового кадра в целевой проекции кодирования, при этом способ включает в себя: этап генерирования синтезированного из проекций изображения для синтезирования из базового проекционного кадра синтезированного из проекций изображения для целевого кадра кодирования в целевой проекции кодирования синтезированного из проекций изображения для базового кадра; этап расчета базового участка для поиска базового участка на синтезированном из проекций изображении для базового кадра, соответствующего синтезированному из проекций изображению для целевого кадра кодирования, для каждого участка элемента обработки, имеющего заранее определенный размер; этап расчета параметра коррекции для расчета параметра коррекции для коррекции несоответствия между камерами исходя из синтезированного из проекций изображения для участка элемента обработки и базового кадра в той же позиции, что и базовый участок; этап коррекции синтезированного из проекций изображения для коррекции синтезированного из проекций изображения для участка элемента обработки с помощью рассчитанного параметра коррекции; и этап кодирования изображения для выполнения предиктивного кодирования видео в целевой проекции кодирования с помощью скорректированного синтезированного из проекций изображения.

Первый или второй аспект настоящего изобретения может дополнительно включать в себя этап настройки степени надежности для настройки степени надежности, указывающей определенность синтезированного из проекций изображения для каждого пиксела синтезированного из проекций изображения, и этап расчета базового участка может назначать вес затрате соответствия каждого пиксела, когда ищется базовый участок на базовом кадре, соответствующем синтезированному из проекций изображению, на основании степени надежности.

В первом или во втором аспекте настоящего изобретения, этап расчета параметра коррекции может назначать вес затрате соответствия каждого пиксела, когда рассчитывается параметр коррекции, на основании степени надежности.

Первый или второй аспект настоящего изобретения может дополнительно включать в себя этап настройки точности расчета для настройки точности расчета, указывающей, правильно ли был рассчитан базовый участок для каждого пиксела синтезированного из проекций изображения, и этап расчета параметра коррекции может назначать вес затрате соответствия каждого пиксела, когда рассчитывается параметр коррекции, на основании точности расчета и/или степени надежности.

Дополнительно, чтобы решить вышеописанные проблемы, третьим аспектом настоящего изобретения является способ декодирования многопроекционного видео для декодирования многопроекционного видео, который включает в себя: этап генерирования синтезированного из проекций изображения для синтезирования, из базового проекционного кадра, снятого в базовой проекции, отличной от целевой проекции декодирования многопроекционного видео, одновременно с целевым кадром декодирования в целевой проекции декодирования, синтезированного из проекций изображения, соответствующего целевому кадру декодирования в целевой проекции декодирования; этап расчета базового участка для поиска базового участка на уже декодированном базовом кадре в целевой проекции декодирования, соответствующего синтезированному из проекций изображению, для каждого участка элемента обработки, имеющего заранее определенный размер; этап расчета параметра коррекции для расчета параметра коррекции для коррекции несоответствия между камерами исходя из синтезированного из проекций изображения для участка элемента обработки и базового кадра для базового участка; этап коррекции синтезированного из проекций изображения для коррекции синтезированного из проекций изображения для участка элемента обработки с помощью рассчитанного параметра коррекции; и этап декодирования изображения для декодирования целевого кадра, который подлежал предиктивному кодированию в целевой проекции декодирования, из закодированных данных видео в целевой проекции декодирования, с использованием скорректированного синтезированного из проекций изображения в качестве сигнала прогнозирования.

Дополнительно, чтобы решить вышеописанные проблемы, четвертым аспектом настоящего изобретения является способ декодирования многопроекционного видео для декодирования многопроекционного видео, когда декодируется видео в целевой проекции декодирования многопроекционного видео, с помощью уже декодированного базового проекционного кадра, снятого в базовой проекции, отличной от целевой позиции декодирования, одновременно с целевым кадром декодирования в целевой проекции декодирования, и уже декодированного базового кадра в целевой проекции декодирования; при этом способ включает в себя: этап генерирования синтезированного из проекций изображения для синтезирования из базового проекционного кадра синтезированного из проекций изображения для целевого кадра декодирования в целевой проекции декодирования и синтезированного из проекций изображения для базового кадра; этап расчета базового участка для поиска базового участка на синтезированном из проекций изображении для базового кадра, соответствующего синтезированному из проекций изображению для целевого кадра декодирования, для каждого участка элемента обработки, имеющего заранее определенный размер; этап расчета параметра коррекции для расчета параметра коррекции для коррекции несоответствия между камерами исходя из синтезированного из проекций изображения для участка элемента обработки и базового кадра в той же позиции, что и базовый участок; этап коррекции синтезированного из проекций изображения для коррекции синтезированного из проекций изображения для участка элемента обработки с помощью рассчитанного параметра коррекции; и этап декодирования изображения для декодирования целевого кадра, который подлежал предиктивному кодированию в целевой проекции декодирования, из закодированных данных видео в целевой проекции декодирования, с использованием скорректированного синтезированного из проекций изображения в качестве сигнала прогнозирования.

Третий или четвертый аспект настоящего изобретения может дополнительно включать в себя этап настройки степени надежности для настройки степени надежности, указывающей определенность синтезированного из проекций изображения для каждого пиксела синтезированного из проекций изображения, а этап расчета базового участка может назначать вес затрате соответствия каждого пиксела, когда ищется базовый участок на базовом кадре, соответствующем синтезированному из проекций изображению, на основании степени надежности.

В третьем или четвертом аспекте настоящего изобретения, этап расчета параметра коррекции может назначать вес затрате соответствия каждого пиксела, когда рассчитывается параметр коррекции, на основании степени надежности.

Третий или четвертый аспект настоящего изобретения может дополнительно включать в себя этап настройки точности расчета для настройки точности расчета, указывающей, правильно ли был рассчитан базовый участок для каждого пиксела синтезированного из проекций изображения, а этап расчета параметра коррекции может назначать вес затрате соответствия каждого пиксела, когда рассчитывается параметр коррекции, на основании точности расчета и/или степени надежности.

Чтобы решить вышеописанные проблемы, пятым аспектом настоящего изобретения является устройство кодирования многопроекционного видео для кодирования многопроекционного видео, которое включает в себя: средство генерирования синтезированного из проекций изображения для синтезирования из уже закодированного базового проекционного кадра, снятого в базовой проекции, отличной от целевой проекции кодирования многопроекционного видео, одновременно с целевым кадром кодирования в целевой проекции кодирования, синтезированного из проекций изображения, соответствующего целевому кадру кодирования в целевой проекции кодирования; средство расчета базового участка для поиска базового участка на уже закодированном базовом кадре в целевой проекции кодирования, соответствующего синтезированному из проекций изображению, синтезированному средством генерирования синтезированного из проекций изображения для каждого участка элемента обработки, имеющего заранее определенный размер; средство расчета параметра коррекции для расчета параметра коррекции для коррекции несоответствия между камерами исходя из синтезированного из проекций изображения для участка элемента обработки и базового кадра для базового участка, который искало средство расчета базового участка; средство коррекции синтезированного из проекций изображения для коррекции синтезированного из проекций изображения для участка элемента обработки с помощью рассчитанного параметра коррекции, рассчитанного средством расчета параметра коррекции; и средство кодирования изображения для выполнения предиктивного кодирования видео в целевой проекции кодирования с помощью синтезированного из проекций изображения, скорректированного средством коррекции синтезированного из проекций изображения.

Пятый аспект настоящего изобретения может дополнительно включать в себя средство настройки степени надежности для настройки степени надежности, указывающей определенность синтезированного из проекций изображения для каждого пиксела синтезированного из проекций изображения, синтезированного средством генерирования синтезированного из проекций изображения, а средство расчета базового участка может назначать вес затрате соответствия каждого пиксела, когда ищется базовый участок на базовом кадре, соответствующем синтезированному из проекций изображению, на основании степени надежности, настроенной средством настройки степени надежности.

В пятом аспекте настоящего изобретения, средство расчета параметра коррекции может назначать вес затрате соответствия каждого пиксела, когда рассчитан параметр коррекции, на основании степени надежности, настроенной средством настройки степени надежности.

Пятый аспект настоящего изобретения может дополнительно включать в себя средство настройки точности расчета для настройки точности расчета, указывающей, правильно ли был рассчитан базовый участок для каждого пиксела синтезированного из проекций изображения, синтезированного средством генерирования синтезированного из проекций изображения, а средство расчета параметра коррекции может назначать вес затрате соответствия каждого пиксела, когда рассчитан параметр коррекции, на основании точности расчета, настроенной средством настройки точности расчета, и/или степени надежности, настроенной средством настройки степени надежности.

Чтобы решить вышеописанные проблемы, шестым аспектом настоящего изобретения является устройство декодирования многопроекционного видео для декодирования многопроекционного видео, которое включает в себя: средство генерирования синтезированного из проекций изображения для синтезирования из базового проекционного кадра, снятого в базовой проекции, отличной от целевой проекции декодирования многопроекционного видео, одновременно с целевым кадром декодирования в целевой проекции декодирования, синтезированного из проекций изображения, соответствующего целевому кадру декодирования в целевой проекции декодирования; средство расчета базового участка для поиска базового участка на уже декодированном базовом кадре в целевой проекции кодирования, соответствующего синтезированному из проекций изображению, синтезированному средством генерирования синтезированного из проекций изображения, для каждого участка элемента обработки, имеющего заранее определенный размер; средство расчета параметра коррекции для расчета параметра коррекции для коррекции несоответствия между камерами исходя из синтезированного из проекций изображения для участка элемента обработки и базового кадра для базового участка, который искало средство расчета базового участка; средство коррекции синтезированного из проекций изображения для коррекции синтезированного из проекций изображения для участка элемента обработки с помощью рассчитанного параметра коррекции, рассчитанного средством расчета параметра коррекции; и средство декодирования изображения для декодирования целевого кадра декодирования, который подлежал предиктивному кодированию в целевой проекции декодирования, с использованием синтезированного из проекций изображения, скорректированного средством коррекции синтезированного из проекций изображения, в качестве сигнала прогнозирования.

Чтобы решить вышеописанные проблемы, седьмым аспектом настоящего изобретения является программа, побуждающая компьютер устройства кодирования многопроекционного видео для кодирования многопроекционного видео выполнять: функцию генерирования синтезированного из проекций изображения для синтезирования из уже закодированного базового проекционного кадра, снятого в базовой проекции, отличной от целевой проекции кодирования многопроекционного видео, одновременно с целевым кадром кодирования в целевой проекции кодирования, синтезированного из проекций изображения, соответствующего целевому кадру кодирования в целевой проекции кодирования; функцию расчета базового участка для поиска базового участка на уже закодированном базовом кадре в целевой проекции кодирования, соответствующего синтезированному из проекций изображению для каждого участка элемента обработки, имеющего заранее определенный размер; функцию расчета параметра коррекции для расчета параметра коррекции для коррекции несоответствия между камерами исходя из синтезированного из проекций изображения для участка элемента обработки и базового кадра для базового участка; функцию коррекции синтезированного из проекций изображения для коррекции синтезированного из проекций изображения для участка элемента обработки с помощью рассчитанного параметра коррекции; и функцию кодирования изображения для выполнения предиктивного кодирования видео в целевой проекции кодирования с помощью скорректированного синтезированного из проекций изображения.

Чтобы решить вышеописанные проблемы, восьмым аспектом настоящего изобретения является программа, побуждающая компьютер устройства декодирования многопроекционного видео для декодирования многопроекционного видео выполнять: функцию генерирования синтезированного из проекций изображения для синтезирования, из базового проекционного кадра, снятого в базовой проекции, отличной от целевой проекции декодирования многопроекционного видео, одновременно с целевым кадром декодирования в целевой проекции декодирования, синтезированного из проекций изображения, соответствующего целевому кадру декодирования в целевой проекции декодирования; функцию расчета базового участка для поиска базового участка на уже декодированном базовом кадре в целевой проекции декодирования, соответствующего синтезированному из проекций изображению для каждого участка элемента обработки, имеющего заранее определенный размер; функцию расчета параметра коррекции для расчета параметра коррекции для коррекции несоответствия между камерами исходя из синтезированного из проекций изображения для участка элемента обработки и базового кадра для базового участка; функцию коррекции синтезированного из проекций изображения для коррекции синтезированного из проекций изображения для участка элемента обработки с помощью рассчитанного параметра коррекции; и функцию декодирования изображения для декодирования целевого кадра декодирования, который подлежал прогнозируемому кодированию в целевой проекции декодирования, из уже закодированных данных видео в целевой проекции декодирования с использованием скорректированного синтезированного из проекций изображения в качестве сигнала прогнозирования.

Преимущественные эффекты настоящего изобретения

Благодаря настоящему изобретению возможно осуществить эффективное кодирование/декодирование многопроекционного изображения и многопроекционного видеофильма без дополнительного кодирования/декодирования параметров коррекции, даже когда локально образуются несоответствия в освещении и/или цвете между камерами.

Краткое описание чертежей

Фиг.1 является структурной схемой, изображающей конфигурацию устройства кодирования многопроекционного видео в первом воплощении настоящего изобретения.

Фиг.2 является структурной схемой, изображающей конфигурацию модуля 108 коррекции синтезированного из проекций изображения из состава устройства 100 кодирования многопроекционного видео в первом воплощении.

Фиг.3 является логической блок-схемой, описывающей работу устройства 100 кодирования многопроекционного видео в первом воплощении.

Фиг.4 является структурной схемой, изображающей конфигурацию устройства декодирования многопроекционного видео во втором воплощении настоящего изобретения.

Фиг.5 является структурной схемой, изображающей конфигурацию модуля 208 коррекции синтезированного из проекций изображения из способа устройства 200 декодирования многопроекционного видео во втором воплощении.

Фиг.6 является логической блок-схемой, описывающей работу устройства 200 декодирования многопроекционного видео во втором воплощении.

Фиг.7 является концептуальной диаграммой, изображающей расхождение, образованное между камерами согласно предшествующему уровню техники.

Осуществление изобретения

В воплощениях настоящего изобретения, соответствующий участок на уже закодированном кадре, соответствующий обрабатываемому в данный момент участку, получают с помощью сгенерированного синтезированного из проекций изображения, и яркость и/или цвет синтезированного из проекций изображения корректируют, используя в качестве эталона видеосигнал соответствующего участка в закодированном кадре. В воплощениях настоящего изобретения, параметр коррекции получают исходя из предположения, что несоответствия в цвете и яркости, которые зависят от объекта, не имеют большого изменения во времени, а не из используемого в предшествующем уровне техники предположения о том, что один и тот же объект фотографируется в соседнем участке. В общем, обязательно есть участок, где традиционное предположение не работает, так как кадр включает в себя множество объектов. Наоборот, воплощения настоящего изобретения эффективно работают, так как несоответствие не изменяется со временем до тех пор, пока сцена внезапно не изменится вследствие смены сцены или тому подобного. То есть, возможно выполнять коррекцию по сокращению несоответствия даже для участка, для которого традиционная методика не может выполнить коррекцию, и возможно осуществить эффективное кодирование многопроекционного видео.

Здесь и далее, воплощения настоящего изобретения будут описаны со ссылкой на чертежи.

Необходимо отметить, что в последующем описании информация (значение координаты или индекс, который можно отнести к значению координаты) которая может задавать положение, и которая вставлена между символами [], прикрепляется к видео (кадру), тем самым представляя видеосигнал, дискретизованный по отношению к пикселу в этом положении.

А. Первое воплощение

Во-первых, будет описано первое воплощение настоящего изобретения.

Фиг.1 является структурной схемой, изображающей конфигурацию устройства кодирования многопроекционного видео в первом воплощении настоящего изобретения. На фиг.1 устройство 100 кодирования многопроекционного видео оснащено модулем 101 ввода целевого кадра кодирования, устройством 102 хранения (памятью) целевого изображения кодирования, модулем 103 ввода базового проекционного изображения, устройством 104 хранения базового проекционного изображения, модулем 105 синтезирования проекций, устройством 106 хранения синтезированного из проекций изображения, модулем 107 настройки степени надежности, модулем 108 коррекции синтезированного из проекций изображения, модулем 109 кодирования остатка прогнозирования, модулем 110 декодирования остатка прогнозирования, устройством 111 хранения декодированного изображения, модулем 112 вычисления остатка прогнозирования и модулем 113 вычисления декодированного изображения.

Модуль 101 ввода целевого кадра кодирования вводит видео кадр (целевой кадр кодирования), служащий в качестве цели (т.е. целевого объекта) кодирования. Устройство 102 хранения целевого изображения кодирования хранит введенный целевой кадр кодирования. Модуль 103 ввода базового проекционного изображения вводит базовый видео кадр (базовый проекционный кадр) для проекции (базовой проекции), отличной от проекции целевого кадра кодирования. Устройство 104 хранения базового проекционного изображения хранит введенный базовый проекционный кадр. Модуль 105 синтезирования проекций генерирует синтезированное из проекций изображение, соответствующее целевому кадру кодирования, с использованием базового проекционного кадра. Устройство 106 хранения синтезированного из проекций изображения хранит сгенерированное синтезированное из проекций изображение.

Модуль 107 настройки степени надежности настраивает степень надежности каждого пиксела сгенерированного синтезированного из проекций изображения. Модуль 108 коррекции синтезированного из проекций изображения корректирует несоответствие между камерами синтезированного из проекций изображения и выводит скорректированное синтезированное из проекций изображение. Модуль 112 вычисления остатка прогнозирования генерирует разницу (сигнал остатка прогнозирования) между целевым кадром кодирования и скорректированным синтезированным из проекций изображением. Модуль 109 кодирования остатка прогнозирования кодирует сгенерированный сигнал остатка прогнозирования и выводит закодированные данные. Модуль 110 декодирования остатка прогнозирования выполняет декодирование закодированных данных сигнала остатка прогнозирования. Модуль 113 вычисления декодированного изображения генерирует декодированное изображение целевого кадра кодирования путем сложения декодированного сигнала остатка прогнозирования и скорректированного синтезированного из проекций изображения. Устройство 111 хранения декодированного изображения сохраняя сгенерированное декодированное изображение.

Фиг.2 является структурной схемой, изображающей конфигурацию модуля 108 коррекции синтезированного из проекций изображения из состава устройства 100 кодирования многопроекционного видео в первом воплощении. На фиг.2 модуль