Способ кодирования видеосигнала и способ декодирования, устройства для этого и носители хранения информации, которые хранят программы для этого

Способ кодирования видеосигнала и способ декодирования, устройства для этого и носители хранения информации, которые хранят программы для этого

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение относится к устройству кодирования видеосигнала, используемому для кодирования видеоизображения с несколькими точками съемки, и соответствующему способу, устройству декодирования видеосигнала, используемому для декодирования данных, кодированных по соответствующей методике кодирования видеосигнала, и соответствующему способу, программе кодирования видеосигнала для реализации устройства кодирования видеосигнала и машиночитаемому носителю информации, который хранит программу, и программе декодирования видеосигнала для реализации устройства декодирования видеосигнала и машиночитаемому носителю информации, который хранит программу.

Приоритет заявляется по Заявке на патент Японии №2007-165828, зарегистрированной 25 июня 2007 г., содержимое которой включается в этот документ путем отсылки.

УРОВЕНЬ ТЕХНИКИ

Изображения с несколькими точками съемки являются множеством изображений, полученных путем фотографирования одного и того же объекта и его фона с использованием множества камер, и видеоизображения с несколькими точками съемки являются видеоизображениями для изображений с несколькими точками съемки. Ниже видеоизображение, полученное с помощью одиночной камеры, называется "двумерным видеоизображением", а набор из нескольких двумерных видеоизображений, полученный с помощью фотографирования одного и того же объекта и его фона, называется "видеоизображением с несколькими точками съемки".

Существует сильная временная корреляция в двумерном видеоизображении, и его эффективность кодирования повышается с использованием временной корреляции. К тому же для видеоизображения с несколькими точками съемки, когда камеры синхронизируются друг с другом, изображения (снятые камерами) одновременно фиксируют объект и его фон в совершенно одинаковом состоянии из разных положений, так что имеется сильная корреляция между камерами. Эффективность кодирования для кодирования видеоизображения с несколькими точками съемки может быть повышена с использованием этой корреляции.

Сначала будут показаны традиционные методики, относящиеся к кодированию двумерных видеоизображений.

Во многих известных способах кодирования двумерных видеоизображений, например H. 264, MPEG-2, MPEG-4 (которые являются международными стандартами кодирования) и т.п., высокоэффективное кодирование выполняется посредством компенсации движения, ортогонального преобразования, квантования, энтропийного кодирования или аналогичных. В методике, называемой "компенсацией движения", используется временная корреляция между кадрами.

Непатентный документ 1 раскрывает подробные методики компенсации движения, используемые в H. 264. Их общие объяснения следуют ниже.

В соответствии с компенсацией движения в H. 264 целевой кадр кодирования разделяется на блоки любого размера, и каждый блок может иметь индивидуальный вектор движения, посредством этого достигая высокого уровня эффективности кодирования даже для местного изменения в видеоизображении. К тому же, для целевого кадра кодирования в качестве кандидатов на контрольный кадр могут быть подготовлены прошлые или будущие кадры (относительно данного кадра), которые уже кодированы, чтобы каждый блок мог использовать отдельный контрольный кадр, посредством этого реализуя высокий уровень эффективности кодирования даже для видеоизображения, в котором возникает сокрытие из-за временного изменения.

Далее будут объясняться традиционные способы кодирования изображений с несколькими точками съемки или видеоизображений с несколькими точками съемки.

Так как кодирование видеоизображений с несколькими точками съемки использует корреляцию между камерами, видеоизображения с несколькими точками съемки очень эффективно кодируются в известном способе, который использует "компенсацию дисбаланса", в которой компенсация движения применяется одновременно к изображениям, полученным разными камерами, которые имеют разные точки съемки. Здесь дисбаланс является разницей между положениями, в которые проецируется одна и та же точка на изображаемом объекте, на плоскостях изображения у камер, которые расположены в разных положениях.

Фиг.12 - схематичный чертеж, показывающий принцип дисбаланса, образованного между такими камерами. То есть фиг.12 показывает состояние, в котором наблюдатель смотрит вниз на плоскости изображения камер, чьи оптические оси параллельны друг другу, с верхней стороны плоскостей изображения. Как правило, такие точки, в которые проецируется одна и та же точка на изображаемом объекте, на плоскости изображения у разных камер называются "соответствующими точками". В компенсации дисбаланса на основе вышеприведенного соответствующего отношения каждое значение пикселя у целевого кадра кодирования предсказывается с использованием контрольного кадра, и кодируются остаток предсказания и информация о дисбалансе, которая указывает соответствующее отношение.

Для каждого кадра в видеоизображении с несколькими точками съемки одновременно присутствуют временная избыточность и избыточность между камерами. Патентный документ 1 раскрывает способ для устранения обеих избыточностей одновременно.

В соответствующем способе разностное изображение между входным изображением и соответствующим изображением с компенсированным дисбалансом формируется в каждый определенный момент, и сформированные изображения рассматриваются как двумерное видеоизображение, чтобы выполнять кодирование вместе с компенсацией движения. В соответствии с таким способом временная избыточность, которая не может быть устранена с помощью компенсации дисбаланса для устранения избыточности между камерами, может быть устранена с использованием компенсации движения. Поэтому уменьшается остаток предсказания, который кодируется в финальном процессе, чтобы можно было достичь высокого уровня эффективности кодирования.

Непатентный документ 1: ITU-T Rec.H.264/ISO/IEC 11496-10, "Editor's Proposed Draft Text Modifications for Joint Video Specification (ITU-T Rec. H.264 / ISO/IEC 14496-10 AVC), Draft 7", Документ JVT-E022d7, стр.10-13 и 62-73, сентябрь 2002.

Патентный документ 1: Нерассмотренная патентная заявка Японии, первая публикация №2007-036800.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Проблема, которая должна быть решена изобретением

В соответствии с традиционным способом кодирования видеосигнала с несколькими точками съемки, выполняющим компенсацию движения наряду с рассмотрением остаточного изображения с компенсацией дисбаланса (то есть разностного изображения между входным изображением и соответствующим изображением с компенсированным дисбалансом) в качестве видеоизображения, можно уменьшить остаток предсказания в части, имеющей как временную избыточность, так и избыточность между камерами, чтобы кодирование видеосигнала с несколькими точками съемки могло выполняться эффективно.

Однако битовая глубина (то есть скорость квантования в битах) для разностного сигнала видео (изображения) на 1 разряд больше, чем порядковый видеосигнал. Поэтому кодер и декодер для реализации вышеупомянутого способа имеют более крупные размеры, чем для кодирования исходного видеоизображения. То есть, в примерном случае 8-разрядного изображения, имеющего минимальное значение 0 и максимальное значение 255, соответствующее разностное изображение имеет минимальное значение -255 и максимальное значение +255. Поэтому битовая глубина разностного видеосигнала больше порядкового видеосигнала на 1 разряд.

К тому же, существует также камера, для которой само обычное изображение кодируется и декодируется, например камера, соответствующая базовой точке съемки (то есть камера, выбранная в качестве имеющей базовую точку съемки). Поэтому совокупная система кодера и декодера видеосигнала с несколькими точками съемки обязана обладать механизмом для обработки двух разных битовых глубин, что увеличивает размер схемы или оборудования.

Более того, в области, где изображение кодирующей и декодирующей целевой камеры не может быть предсказано с использованием изображения другой камеры, вследствие сокрытия или т.п., кодирование и декодирование с использованием разностного изображения может ухудшить эффективность кодирования по сравнению с кодированием и декодированием без использования разностного изображения. Поэтому эффективность кодирования может быть повышена путем адаптивного переключения между кодированием и декодированием с использованием разностного изображения и кодированием и декодированием без использования разностного изображения.

Однако поскольку битовая глубина отличается между использованием и неиспользованием разностного изображения, система с одиночным кодером и декодером не может обработать оба случая. Поэтому при выполнении такой операции адаптивного переключения система кодера и декодера должна обработать только два типа сигналов для кодирования и декодирования видеоизображения в одной точке съемки, что увеличивает размер схемы или оборудования.

В дополнение к такой проблеме размера схемы или оборудования при применении компенсации движения к разностному видеоизображению может быть кодирован бесполезный сигнал в области, где значение пикселя у исходного видеоизображения является максимальным или минимальным значением в разрешаемом диапазоне.

В примере 8-разрядного видеоизображения предполагается, что пиксель исходного изображения имеет значение пикселя в 255, и что значение пикселя в соответствующем положении соответствующего синтетического изображения (то есть изображения с компенсированным дисбалансом) равно 250. В этом случае соответствующий пиксель в разностном изображении имеет значение пикселя, равное 5. Если значение пикселя у соответствующего пикселя предсказывается с использованием разностного изображения в разное время, и предсказанное значение равно 10, то кодируется "-5" в качестве разницы между 5 и 10.

Однако максимальное значение пикселя у исходного видеоизображения равно 255, и любое значение больше 255 преобразуется в 255 путем отсечения. Поэтому значение "260", которое получается путем прибавления предсказанного значения "10" (вследствие компенсации движения у разностного изображения) к значению пикселя "250" у синтетического изображения (то есть при кодировании "0" вместо "-5"), также может указывать значение "255" входного видеоизображения. То есть, в этом случае кодирование "-5" в качестве остатка предсказания между разностными изображениями является бесполезным, и это вызывает увеличение объема сформированного кода.

Как описано выше, при применении компенсации движения к разностному изображению может быть кодирован бесполезный сигнал в области, где значение пикселя у исходного видеоизображения является максимальным или минимальным значением в разрешаемом диапазоне.

В свете вышеприведенных обстоятельств цель настоящего изобретения - предоставить новые методики кодирования и декодирования видеосигнала, использующие предсказание разностного видеоизображения между входным видеоизображением и синтетическим видеоизображением, с помощью которых при кодировании видеоизображения с несколькими точками съемки для кодера и декодера не нужно обрабатывать разные битовые глубины путем создания предсказанного изображения для входного изображения с помощью прибавления значения пикселя синтетического изображения к соответствующему предсказанному значению, полученному с использованием разностного изображения.

Средство для решения проблемы

Чтобы решить вышеупомянутые проблемы, настоящее изобретение предоставляет устройство кодирования видеосигнала, используемое в кодировании изображения с несколькими точками съемки, полученного с помощью камер, имеющих разные точки съемки, где устройство формирует синтетическое изображение для камеры, используемой для получения целевого изображения кодирования, с использованием по меньшей мере одного уже кодированного контрольного изображения камеры, имеющего точку съемки, отличную от точки съемки камеры, используемой для получения целевого изображения кодирования, и информации о дисбалансе между контрольным изображением камеры и целевым изображением кодирования, кодирует целевое изображение кодирования с использованием синтетического изображения и содержит:

устройство предсказания разностного изображения, которое формирует предсказанное изображение для разностного изображения между входным изображением целевой области кодирования, которую нужно кодировать, и сформированным для нее синтетическим изображением;

устройство формирования предсказанного изображения, которое формирует предсказанное изображение для целевой области кодирования, где предсказанное изображение представляется суммой предсказанного разностного изображения, сформированного устройством предсказания разностного изображения, и синтетического изображения для целевой области кодирования; и

устройство кодирования остатка предсказания, которое кодирует остаток предсказания, представленный разницей между предсказанным изображением для целевой области кодирования, сформированным устройством формирования предсказанного изображения, и целевым изображением кодирования в целевой области кодирования.

В типичном примере устройство предсказания разностного изображения формирует предсказанное изображение для разностного изображения относительно целевой области кодирования, используя разностное изображение в момент, который является тем же, что и момент, когда было получено целевое изображение кодирования, где используемое разностное изображение представляется разницей между декодированным изображением уже кодированной области в целевом изображении кодирования и синтетическим изображением для уже кодированной области.

В другом типичном примере устройство предсказания разностного изображения формирует предсказанное изображение для разностного изображения относительно целевой области кодирования, используя разностное изображение в момент, отличный от момента, когда было получено целевое изображение кодирования, где используемое разностное изображение представляется разницей между декодированным изображением уже кодированного изображения, которое было получено в точке съемки, использованной для получения целевого изображения кодирования, и синтетическим изображением одновременно с декодированным изображением.

В другом типичном примере устройство кодирования видеосигнала дополнительно содержит:

устройство декодирования изображения, которое формирует декодированное изображение целевого изображения кодирования путем декодирования кодированных данных целевого изображения кодирования; и

устройство формирования и хранения декодированного разностного изображения, которое формирует декодированное разностное изображение, представленное разницей между декодированным изображением, сформированным устройством декодирования изображения, и синтетическим изображением, и сохраняет сформированное декодированное разностное изображение в запоминающем устройстве,

где устройство предсказания разностного изображения формирует предсказанное изображение для разностного изображения относительно целевой области кодирования, используя декодированное разностное изображение, сохраненное в запоминающем устройстве.

В другом типичном примере устройство кодирования видеосигнала дополнительно содержит:

устройство декодирования остатка предсказания, которое декодирует остаток предсказания, кодированный устройством кодирования остатка предсказания; и

устройство формирования и хранения декодированного разностного изображения, которое формирует декодированное разностное изображение, представленное суммой декодированного остатка предсказания, сформированного устройством декодирования остатка предсказания, и предсказанного разностного изображения, и сохраняет сформированное декодированное разностное изображение в запоминающем устройстве,

где устройство предсказания разностного изображения формирует предсказанное изображение для разностного изображения относительно целевой области кодирования, используя декодированное разностное изображение, сохраненное в запоминающем устройстве.

В предпочтительном примере для этого случая устройство формирования и хранения декодированного разностного изображения выполняет отсечение, чтобы каждый пиксель декодированного разностного изображения имел значение пикселя в пределах заранее установленного рабочего диапазона.

В другом типичном примере устройство кодирования видеосигнала дополнительно содержит:

устройство предсказания исходного изображения, которое формирует предсказанное изображение для целевого изображения кодирования, используя любое из декодированного изображения уже кодированной области в целевом изображении кодирования и декодированного изображения уже кодированного изображения, которое было получено в той же точке съемки, которая использована для получения целевого изображения кодирования, и в момент, отличный от момента целевого изображения кодирования,

где устройство формирования предсказанного изображения выборочно выполняет одно из формирования предсказанного изображения для целевого изображения кодирования на основе предсказанного разностного изображения и синтетического изображения и формирования предсказанного изображения для целевого изображения кодирования путем непосредственного использования предсказанного изображения, сформированного устройством предсказания исходного изображения.

В предпочтительном примере устройство формирования предсказанного изображения выполняет отсечение, чтобы каждый пиксель предсказанного изображения имел значение пикселя в пределах заранее установленного рабочего диапазона.

Настоящее изобретение также предоставляет устройство декодирования видеосигнала, используемое в декодировании кодированных данных изображения с несколькими точками съемки, полученного с помощью камер, имеющих разные точки съемки, где устройство формирует синтетическое изображение для камеры, используемой для получения целевого изображения декодирования, с использованием по меньшей мере одного уже декодированного контрольного изображения камеры, имеющего точку съемки, отличную от точки съемки камеры, используемой для получения целевого изображения кодирования, и информации о дисбалансе между контрольным изображением камеры и целевым изображением декодирования, декодирует кодированные данные целевого изображения декодирования с использованием синтетического изображения и содержит:

устройство декодирования остатка предсказания, которое декодирует остаток предсказания в целевом изображении декодирования, где остаток предсказания включается в кодированные данные;

устройство предсказания разностного изображения, которое формирует предсказанное изображение для разностного изображения между целевым изображением декодирования целевой области декодирования, которую нужно декодировать, и сформированным для нее синтетическим изображением; и

устройство декодирования изображения, которое декодирует целевое изображение декодирования путем сложения предсказанного разностного изображения, сформированного устройством предсказания разностного изображения, остатка предсказания, декодированного устройством декодирования остатка предсказания, и синтетического изображения.

В типичном примере устройство предсказания разностного изображения формирует предсказанное изображение для разностного изображения относительно целевой области декодирования, используя разностное изображение в момент, который является тем же, что и момент, когда было получено целевое изображение декодирования, где используемое разностное изображение представляется разницей между декодированным изображением уже декодированной области в целевом изображении декодирования и синтетическим изображением для уже декодированной области.

В другом типичном примере устройство предсказания разностного изображения формирует предсказанное изображение для разностного изображения относительно целевой области декодирования, используя разностное изображение в момент, отличный от момента, когда было получено целевое изображение декодирования, где используемое разностное изображение представляется разницей между уже декодированным контрольным изображением, которое было получено в точке съемки, использованной для получения целевого изображения декодирования, и синтетическим изображением одновременно с контрольным изображением.

В другом типичном примере устройство декодирования видеосигнала дополнительно содержит:

устройство формирования и хранения декодированного разностного изображения, которое формирует декодированное разностное изображение, представленное разницей между декодированным изображением, сформированным устройством декодирования изображения, и синтетическим изображением, и сохраняет сформированное декодированное разностное изображение в запоминающем устройстве,

где устройство предсказания разностного изображения формирует предсказанное изображение для разностного изображения относительно целевой области декодирования, используя декодированное разностное изображение, сохраненное в запоминающем устройстве.

В другом типичном примере устройство декодирования видеосигнала дополнительно содержит:

устройство формирования и хранения декодированного разностного изображения, которое формирует декодированное разностное изображение, представленное суммой декодированного остатка предсказания, сформированного устройством декодирования остатка предсказания, и предсказанного разностного изображения, и сохраняет сформированное декодированное разностное изображение в запоминающем устройстве,

где устройство предсказания разностного изображения формирует предсказанное изображение для разностного изображения относительно целевой области декодирования, используя декодированное разностное изображение, сохраненное в запоминающем устройстве.

В предпочтительном примере для этого случая устройство формирования и хранения декодированного разностного изображения выполняет отсечение, чтобы каждый пиксель декодированного разностного изображения имел значение пикселя в пределах заранее установленного рабочего диапазона.

В другом типичном примере устройство декодирования видеосигнала дополнительно содержит:

устройство предсказания исходного изображения, которое формирует предсказанное изображение для целевого изображения декодирования, используя любое из уже декодированного изображения целевого изображения декодирования и уже декодированного изображения, которое было получено в той же точке съемки, которая использовалась для получения целевого изображения декодирования, и в момент, отличный от момента целевого изображения декодирования,

где для целевой области декодирования устройство декодирования изображения выборочно выполняет одно из декодирования целевого изображения декодирования путем сложения предсказанного разностного изображения, сформированного устройством предсказания разностного изображения, остатка предсказания, декодированного устройством декодирования остатка предсказания, и синтетического изображения, и декодирования целевого изображения декодирования путем прибавления предсказанного изображения, сформированного устройством предсказания исходного изображения, к остатку предсказания, декодированному устройством декодирования остатка предсказания.

Настоящее изобретение также предоставляет способ кодирования видеосигнала, используемый в кодировании изображения с несколькими точками съемки, полученного с помощью камер, имеющих разные точки съемки, где способ формирует синтетическое изображение для камеры, используемой для получения целевого изображения кодирования, с использованием по меньшей мере одного уже кодированного контрольного изображения камеры, имеющего точку съемки, отличную от точки съемки камеры, используемой для получения целевого изображения кодирования, и информации о дисбалансе между контрольным изображением камеры и целевым изображением кодирования, кодирует целевое изображение кодирования с использованием синтетического изображения и содержит:

этап предсказания разностного изображения, который формирует предсказанное изображение для разностного изображения между входным изображением целевой области кодирования, которую нужно кодировать, и сформированным для нее синтетическим изображением;

этап формирования предсказанного изображения, который формирует предсказанное изображение для целевой области кодирования, где предсказанное изображение представляется суммой предсказанного разностного изображения, сформированного этапом предсказания разностного изображения, и синтетического изображения для целевой области кодирования; и

этап кодирования остатка предсказания, который кодирует остаток предсказания, представленный разницей между предсказанным изображением для целевой области кодирования, сформированным этапом формирования предсказанного изображения, и целевым изображением кодирования в целевой области кодирования.

В типичном примере этап предсказания разностного изображения формирует предсказанное изображение для разностного изображения относительно целевой области кодирования, используя разностное изображение в момент, который является тем же, что и момент, когда было получено целевое изображение кодирования, где используемое разностное изображение представляется разницей между декодированным изображением уже кодированной области в целевом изображении кодирования и синтетическим изображением для уже кодированной области.

В другом типичном примере этап предсказания разностного изображения формирует предсказанное изображение для разностного изображения относительно целевой области кодирования, используя разностное изображение в момент, отличный от момента, когда было получено целевое изображение кодирования, где используемое разностное изображение представляется разницей между декодированным изображением уже кодированного изображения, которое было получено в точке съемки, использованной для получения целевого изображения кодирования, и синтетическим изображением одновременно с декодированным изображением.

В другом типичном примере способ кодирования видеосигнала дополнительно содержит:

этап декодирования остатка предсказания, который декодирует остаток предсказания, кодированный этапом кодирования остатка предсказания; и

этап формирования и хранения декодированного разностного изображения, который формирует декодированное разностное изображение, представленное суммой декодированного остатка предсказания, сформированного этапом декодирования остатка предсказания, и предсказанного разностного изображения, и сохраняет сформированное декодированное разностное изображение в запоминающем устройстве,

где этап предсказания разностного изображения формирует предсказанное изображение для разностного изображения относительно целевой области кодирования, используя декодированное разностное изображение, сохраненное в запоминающем устройстве.

В другом типичном примере способ кодирования видеосигнала дополнительно содержит:

этап предсказания исходного изображения, который формирует предсказанное изображение для целевого изображения кодирования, используя любое из декодированного изображения уже кодированной области в целевом изображении кодирования и декодированного изображения уже кодированного изображения, которое было получено в той же точке съемки, которая использована для получения целевого изображения кодирования, и в момент, отличный от момента целевого изображения кодирования,

где этап формирования предсказанного изображения выборочно выполняет одно из формирования предсказанного изображения для целевого изображения кодирования на основе предсказанного разностного изображения и синтетического изображения и формирования предсказанного изображения для целевого изображения кодирования путем непосредственного использования предсказанного изображения, сформированного этапом предсказания исходного изображения.

Настоящее изобретение также предоставляет способ декодирования видеосигнала, используемый в декодировании кодированных данных изображения с несколькими точками съемки, полученного с помощью камер, имеющих разные точки съемки, где способ формирует синтетическое изображение для камеры, используемой для получения целевого изображения декодирования, с использованием по меньшей мере одного уже декодированного контрольного изображения камеры, имеющего точку съемки, отличную от точки съемки камеры, используемой для получения целевого изображения кодирования, и информации о дисбалансе между контрольным изображением камеры и целевым изображением декодирования, декодирует кодированные данные целевого изображения декодирования с использованием синтетического изображения и содержит:

этап декодирования остатка предсказания, который декодирует остаток предсказания в целевом изображении декодирования, где остаток предсказания включается в кодированные данные;

этап предсказания разностного изображения, который формирует предсказанное изображение для разностного изображения между целевым изображением декодирования целевой области декодирования, которую нужно декодировать, и сформированным для нее синтетическим изображением; и

этап декодирования изображения, который декодирует целевое изображение декодирования путем сложения предсказанного разностного изображения, сформированного этапом предсказания разностного изображения, остатка предсказания, декодированного этапом декодирования остатка предсказания, и синтетического изображения.

В типичном примере этап предсказания разностного изображения формирует предсказанное изображение для разностного изображения относительно целевой области декодирования, используя разностное изображение в момент, который является тем же, что и момент, когда было получено целевое изображение декодирования, где используемое разностное изображение представляется разницей между декодированным изображением уже декодированной области в целевом изображении декодирования и синтетическим изображением для уже декодированной области.

В другом типичном примере этап предсказания разностного изображения формирует предсказанное изображение для разностного изображения относительно целевой области декодирования, используя разностное изображение в момент, отличный от момента, когда было получено целевое изображение декодирования, где используемое разностное изображение представляется разницей между уже декодированным контрольным изображением, которое было получено в точке съемки, использованной для получения целевого изображения декодирования, и синтетическим изображением одновременно с контрольным изображением.

В другом типичном примере способ декодирования видеосигнала дополнительно содержит:

этап формирования и хранения декодированного разностного изображения, который формирует декодированное разностное изображение, представленное суммой декодированного остатка предсказания, сформированного этапом декодирования остатка предсказания, и предсказанного разностного изображения, и сохраняет сформированное декодированное разностное изображение в запоминающем устройстве,

где этап предсказания разностного изображения формирует предсказанное изображение для разностного изображения относительно целевой области декодирования, используя декодированное разностное изображение, сохраненное в запоминающем устройстве.

В этом случае предпочтительно, чтобы этап формирования и хранения декодированного разностного изображения выполнял отсечение, чтобы каждый пиксель декодированного разностного изображения имел значение пикселя в пределах заранее установленного рабочего диапазона.

В другом типичном примере способ декодирования видеосигнала дополнительно содержит:

этап предсказания исходного изображения, который формирует предсказанное изображение для целевого изображения декодирования, используя любое из уже декодированного изображения целевого изображения декодирования и уже декодированного изображения, которое было получено в той же точке съемки, которая использовалась для получения целевого изображения декодирования, и в момент, отличный от момента целевого изображения декодирования,

где для целевой области декодирования этап декодирования изображения выборочно выполняет одно из декодирования целевого изображения декодирования путем сложения предсказанного разностного изображения, сформированного этапом предсказания разностного изображения, остатка предсказания, декодированного этапом декодирования остатка предсказания, и синтетического изображения, и декодирования целевого изображения декодирования путем прибавления предсказанного изображения, сформированного этапом предсказания исходного изображения, к остатку предсказания, декодированному этапом декодирования остатка предсказания.

Устройства для формирования вышеописанного устройства кодирования видеосигнала или устройства декодирования видеосигнала из настоящего изобретения также могут быть реализованы с помощью компьютерной программы. Такая компьютерная программа может предоставляться путем сохранения ее на подходящем машиночитаемом носителе информации, или посредством сети, и может устанавливаться и работать на управляющем устройстве, например CPU, чтобы реализовать настоящее изобретение.

Как описано выше, в настоящем изобретении разностное видеоизображение между входным видеоизображением и синтетическим видеоизображением в уже кодированной области используется для предсказания разницы между входным изображением и синтетическим видеоизображением в целевой области кодирования. Синтетическое видеоизображение в целевой области кодирования добавляется к предсказанной разнице, посредством этого формируя предсказанное видеоизображение для соответствующего входного изображения.

Поэтому при кодировании остатка предсказания, аналогично обычным способам кодирования видеосигнала, кодируется остаток предсказания между входным видеоизображением и предсказанным видеоизображением. То есть не возникает никакого увеличения в битовой глубине сигнала, обработанного на этапе кодирования остатка, хотя такое увеличение происходит в традиционных способах. К тому же, поскольку само предсказание применяется к разнице между входным видеоизображением и синтетическим видеоизображением для него, то одновременно может использоваться корреляция между камерами и пространственная корреляция в кадре, посредством этого реализуя высокую степень эффективности кодирования.

В соответствующем способе синтетическое видеоизображение может формироваться (i) с использованием контрольного изображения и информации о глубине целевой сцены (как выполнялось в Патентном документе 1), (ii) с использованием множества контрольных изображений наряду с поиском соответствующих точек (как выполнялось в следующем Справочном документе), или (iii) с использованием любого другого способа. То есть можно использовать любой способ, который может синтезировать изображение, полученное в точке съемки целевой камеры кодирования.

Справочный документ: M.Kitahara, H.Kimata, M.Tanimoto, T.Fujii и K.Yamamoto, "Report of Core Experiment on View Interpolation (Multi-view Video Coding CE3)", Документ JVT-T119, стр.1-8, июль, 2006.

К тому же, аналогично многим известным способам кодирования двумерных видеоизображений, например H. 264, MPEG-2, MPEG-4 (которые являются международными стандартами кодирования) и т.п., кодирование остатка может выполняться любым