Способ кодирования и способ декодирования изображений, устройство для этого, программы для него и носитель информации для хранения программ

Способ кодирования и способ декодирования изображений, устройство для этого, программы для него и носитель информации для хранения программ

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение относится к методам кодирования и декодирования изображений с несколькими точками зрения и видеоизображений с несколькими точками зрения.

Данная заявка притязает на приоритет японской патентной заявки № 2006-254023, поданной 20 сентября 2006 г., содержание которой включено сюда посредством ссылки.

УРОВЕНЬ ТЕХНИКИ

Изображения с несколькими точками зрения это изображения, полученные путем фотографирования одного и того же объекта и его фона с использованием совокупности камер, и видеоизображения с несколькими точками зрения это видеоизображения, состоящие из изображений с несколькими точками зрения. Ниже, видеоизображение, полученное одной камерой, называется "двухмерным видеоизображением", и набор из нескольких двухмерных видеоизображений, полученных путем фотографирования одного и того же объекта и его фона, называется "видеоизображением с несколькими точками зрения".

Поскольку существует сильная корреляция между двухмерными видеоизображениями, эффективность их кодирования повышается с использованием такой корреляции. С другой стороны, когда камеры для получения изображений с несколькими точками зрения или видеоизображений с несколькими точками зрения синхронизированы друг с другом, изображения (камер), соответствующие одному и тому же времени, запечатлевают объект и его фон в совершенно одинаковом состоянии с разных позиций, поэтому между камерами существует сильная корреляция. Эффективность кодирования изображений с несколькими точками зрения или видеоизображений с несколькими точками зрения можно повысить с использованием этой корреляции.

Сначала представим традиционные подходы к кодированию двухмерных видеоизображений.

Во многих известных способах кодирования двухмерных видеоизображений, например, H.264, MPEG-2, MPEG-4 (которые являются международными стандартами кодирования) и пр., весьма эффективное кодирование осуществляется посредством компенсации движения, ортогонального преобразования, квантования, энтропийного кодирования и пр. Метод, именуемый "компенсацией движения", это метод, в котором используется корреляция по времени между кадрами.

В непатентном документе 1 подробно раскрыты методы компенсации движения, используемые в H.264. Общие пояснения в их отношении приведены ниже.

В соответствии с компенсацией движения в H.264, целевой кадр для кодирования делится на блоки произвольного размера. Для каждого блока выбирается ранее кодированный блок, именуемый "опорным кадром", и изображение прогнозируется с использованием векторных данных (именуемых "вектором движения"), которые указывают соответствующую точку. Релевантное разбиение на блоки имеет 7 возможных форм, например, 16×16 (пикселей), 16×8, 8×16, 8×8, 8×4, 4×8 и 4×4, поэтому прогнозирование изображения можно осуществлять с учетом отличительного признака в позиции и размера изображаемого объекта с использованием конечного блока. Поэтому остаток цели кодирования, который представлен разностью между предсказанным изображением и исходным изображением, уменьшается, что позволяет реализовать высокий уровень эффективности кодирования.

Теперь объясним традиционный способ кодирования изображений с несколькими точками зрения или видеоизображений с несколькими точками зрения.

Различие между кодированием изображений с несколькими точками зрения и кодированием видеоизображений с несколькими точками зрения состоит в том, что видеоизображения с несколькими точками зрения имеют не только корреляцию между камерами, но и корреляцию по времени. Однако тот же способ с использованием корреляции между камерами можно применять как к изображениям с несколькими точками зрения, так и к видеоизображениям с несколькими точками зрения. Поэтому способы, используемые при кодировании видеоизображений с несколькими точками зрения, будут объяснены ниже.

Поскольку при кодировании видеоизображений с несколькими точками зрения используется корреляция между камерами, видеоизображения с несколькими точками зрения весьма эффективно кодируются известным способом, который предусматривает использование "компенсации параллакса (или диспаратности)", согласно которому компенсация движения применяется к изображениям, полученным разными камерами в одно и то же время. Здесь, "параллакс" (или диспаратность) это разность между позициями, в которые проецируется одна и та же точка изображаемого объекта, на плоскостях изображения камер, которые расположены в разных позициях.

На Фиг.21 показана схема, демонстрирующая понятие параллакса, возникающего между такими камерами. В схеме, показанной на Фиг.21, плоскости изображения камер, оптические оси которых параллельны друг другу, располагаются сверху вниз (по вертикали) с верхней стороны. В общем случае, такие точки, в которые проецируется одна и та же точка изображаемого объекта, на плоскостях изображения разных камер называются "корреспондирующими точками".

При компенсации параллакса, на основании вышеупомянутого соответствующего соотношения, каждое пиксельное значение целевого кадра для кодирования прогнозируется с использованием опорного кадра, и релевантные остаток предсказания и данные параллакса, которые указывают соответствующее соотношение, кодируются.

Во многих способах параллакс представляется вектором в плоскости изображения. Например, в непатентном документе 2 раскрыт способ осуществления компенсации параллакса для каждого блока, где параллакс для каждого блока представлен двухмерным вектором, т.е. двумя параметрами (компонентами x и y). Согласно этому способу, данные параллакса, имеющие два параметра, и остаток предсказания кодируются.

В непатентном документе 3 параметры камеры используются для кодирования, и вектор параллакса представлен одномерными данными на основании ограничения эпиполярной геометрии, что позволяет эффективно кодировать предсказанные данные. На Фиг.22 показана схема, демонстрирующая понятие ограничения эпиполярной геометрии.

В соответствии с ограничением эпиполярной геометрии, для двух камер (камеры A и камеры B), точка на одном из изображений, которая соответствует другой точке в другом изображении, ограничивается на прямой линии, именуемой "эпиполярной линией". Согласно способу, раскрытому в непатентном документе 3, для указания позиции на эпиполярной линии параллакс со всеми целевыми кадрами для кодирования представлен одним параметром, например расстоянием от камеры, посредством которой получен опорный кадр, до изображаемого объекта.

Непатентный документ 1: ITU-T Rec.H.264/ISO/IEC 11496-10, "Editor's Proposed Draft Text Modifications for Joint Video Specification (ITU-T Rec. H.264/ISO/IEC 14496-10 AVC), Draft 7", Final Committee Draft, Документ JVT-E022, стр. 10-13, и 62-68, сентябрь 2002.

Непатентный документ 2: Hideaki Kimata и Masaki Kitahara, "Preliminary results on multiple view video coding (3DAV)", документ M10976 MPEG Redmond Meeting, июль 2004.

Непатентный документ 3: Shinya SHIMIZU, Masaki KITAHARA, Kazuto KAMIKURA и Yoshiyuki YASHIMA, "Multi-view Video Coding based on 3-D Warping with Depth Map", в Proceedings of Picture Coding Symposium 2006, SS3-6, апрель 2006.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Задача изобретения

В традиционных способах кодирования видеоизображений с несколькими точками зрения, когда параметры камеры известны, компенсацию параллакса со всеми целевыми кадрами для кодирования можно реализовать посредством ограничения эпиполярной геометрии, т.е. только путем кодирования одномерных данных, например расстояния от камеры до изображаемого объекта для опорного кадра, независимо от количества камер. Соответственно, можно эффективно кодировать данные параллакса.

Однако, поскольку трудно точно измерить параметры камеры, они имеют некоторые ошибки. Соответственно, когда данные параллакса на основании ограничения эпиполярной геометрии для опорного кадра вычисляются для наиболее эффективного осуществления компенсации параллакса всех целевых кадров (для кодирования), полученных в одно и то же время, вычисленные данные параллакса включают в себя ошибки в параметрах камеры для всех камер.

Поэтому ошибка предсказания для компенсации параллакса, которая образуется при выборе одного целевого кадра, находится в зависимости от ошибки для другой камеры и, таким образом, ухудшается по сравнению с ошибкой предсказания, образующейся при использовании данных параллакса, полученных для набора из релевантного целевого кадра и опорного кадра.

Исходя из вышесказанного, задача настоящего изобретения, относящегося к кодированию видеоизображений с несколькими точками зрения, состоит в реализации точной компенсации параллакса с использованием меньших данных параллакса, даже когда существует искажение кодирования опорного кадра или ошибка измерения параметров камеры, и, таким образом, в обеспечении более высокой эффективности кодирования, чем та, которая получена традиционными способами.

Средство решения задачи

Способ кодирования изображений согласно первому аспекту настоящего изобретения содержит (i) этап определения и кодирования глобальных данных параллакса, которые, вероятно, являются верными данными параллакса с учетом ограничения эпиполярной геометрии между камерой стандартной точки зрения, которая выбирается из всех изображений с несколькими точками зрения, и изображений, полученных со всех остальных точек зрения; (ii) этап генерации базовых данных параллакса для каждой камеры в качестве точки зрения, отличной от стандартной точки зрения, где базовые данные параллакса, вероятно, являются верными данными параллакса с учетом ограничения эпиполярной геометрии между изображением релевантной камеры и изображениями всех остальных камер на основании глобальных данных параллакса и параметров камеры; (iii) этап определения и кодирования корректировочных данных параллакса, используемых для коррекции базовых данных параллакса, для представления данных параллакса между изображением релевантной камеры и ранее кодированным изображением опорной точки зрения, используемым для компенсации параллакса; и (iv) кодирование изображения релевантной камеры с использованием данных параллакса, полученных путем коррекции базовых данных параллакса посредством корректировочных данных параллакса.

Соответственно, корректировочные данные параллакса назначаются целевому изображению для кодирования только с учетом изображения (т.е. изображения опорной точки зрения), на основании которого осуществляется компенсация параллакса. Поэтому влияние на глобальные данные параллакса со стороны ошибок во всех параметрах камеры или со стороны искажения кодирования опорного кадра можно устранить для каждой камеры, что позволяет реализовать высокий уровень эффективности.

Кроме того, поскольку глобальные данные параллакса указывают общие данные параллакса как данные общего применения, величина коррекции, применяемой к базовым данным параллакса, мала, и, таким образом, объем кода, необходимый для корректировочных данных параллакса, мал.

Таким образом, по сравнению со случаем определения и кодирования данных параллакса для каждого целевого изображения для кодирования объем кода, необходимый для общей части, можно снизить, что позволяет снизить полный объем кода.

Способ кодирования изображений согласно второму аспекту настоящего изобретения содержит (i) этап определения и кодирования глобальных данных параллакса, которые, вероятно, являются верными данными параллакса с учетом ограничения эпиполярной геометрии между камерой стандартной точки зрения, которая выбирается из всех изображений с несколькими точками зрения, и изображений, полученных со всех остальных точек зрения; (ii) этап генерации базовых данных параллакса для каждой камеры в качестве точки зрения, отличной от стандартной точки зрения, где базовые данные параллакса, вероятно, являются верными данными параллакса с учетом ограничения эпиполярной геометрии между изображением релевантной камеры и изображениями всех остальных камер на основании глобальных данных параллакса и параметров камеры; (iii) этап определения и кодирования корректировочного вектора параллакса, используемого для коррекции соответствующей точки, обеспеченной с использованием базовых данных параллакса, для указания, для изображения релевантной камеры, оптимальной соответствующей точки (для компенсации параллакса) в ранее кодированном изображении опорной точки зрения, используемом для компенсации параллакса; и (iv) кодирование изображения релевантной камеры при выполнении компенсации параллакса путем коррекции соответствующей точки (обеспеченной с использованием базовых данных параллакса) посредством корректировочного вектора параллакса.

Соответственно, корректировочный вектор параллакса назначается целевому изображению для кодирования только с учетом изображения (т.е. изображения опорной точки зрения), на основании которого осуществляется компенсация параллакса. Поэтому влияние на глобальные данные параллакса со стороны ошибок во всех параметрах камеры или со стороны искажения кодирования опорного кадра можно устранить для каждой камеры, что позволяет реализовать высокий уровень эффективности.

Кроме того, поскольку глобальные данные параллакса указывают общие данные параллакса как данные общего применения, величина коррекции, применяемой к соответствующему соотношению, заданному базовыми данными параллакса, мала, и, таким образом, объем кода, необходимый для корректировочных данных параллакса, мал.

Таким образом, по сравнению со случаем определения и кодирования данных параллакса для каждого целевого изображения для кодирования, объем кода, необходимый для общей части, можно снизить, что позволяет снизить полный объем кода.

Согласно первому аспекту, для дополнительной коррекции данных корреспондирующей точки (т.е. вектора корреспондирующей точки), которые указаны данными параллакса, полученными с использованием базовых данных параллакса и корректировочных данных параллакса, дополнительно обеспечивается этап определения и кодирования двухмерного вектора коррекции.

Соответственно, можно скорректировать небольшое расхождение между корреспондирующими точками, которое обусловлено ошибкой в параметрах камеры или дисторсией объектива камеры, используемой для получения целевого изображения для кодирования, и не может быть представлено на основании ограничения эпиполярной геометрии. Это позволяет повысить эффективность предсказания компенсации параллакса, что позволяет реализовать высокий уровень эффективности.

В отличие от традиционного способа осуществления релевантной коррекции с использованием только двухмерного вектора, ошибка, обусловленная геометрическим ограничением, устраняется с использованием корректировочных данных параллакса. Поэтому вектор, используемый для коррекции, имеет очень малый размер, и высокоточное предсказание можно осуществлять с использованием меньшего объема кода.

Для каждого из вышеописанных аспектов можно обеспечить этап задания разбиения на области на изображении камеры стандартной точки зрения и этап, на котором кодируют данные, которые указывают разбиение на области, где глобальные данные параллакса можно определить и кодировать для каждой области разбиения.

Соответственно, данные параллакса, которые изменяются в соответствии с объектом, захваченным в изображении, можно точно указывать, что позволяет повысить точность глобальных данных параллакса. Это позволяет снизить объем кода, необходимый для данных, используемых для коррекции базовых данных параллакса, и, таким образом, реализовать высокий уровень эффективности.

Если все изображение стандартной точки зрения подвергается разбиению на области и каждая область разбиения обрабатывается и кодируется, то разбиение на области, заданное для кодирования изображения стандартной точки зрения, может совпадать с разбиением на области, которое указывает блок, используемый для определения глобальных данных параллакса, поэтому данные, которые указывают разбиение на области, заданное на изображении камеры стандартной точки зрения, повторно не кодируются.

Кроме того, поскольку само видеоизображение и данные параллакса не имеют полностью соответствующие характеристики, области, имеющие одинаковые характеристики для видеоизображения, могут не совпадать с соответствующими областями, имеющими одинаковые характеристики для данных параллакса. В таком случае, может быть предпочтительно немного изменить разбиение на области для определения глобальных данных параллакса, чтобы оно не полностью совпадало с разбиением на области, заданным для кодирования изображения стандартной точки зрения.

В этом случае можно кодировать только разность между разбиениями на области, чтобы снизить релевантный объем кода.

Кроме того, этап задания разбиения на области на изображении камеры в качестве целевой точки зрения для кодирования и этап, на котором кодируют данные, которые указывают разбиение на области, можно обеспечить, где корректировочные данные параллакса, корректировочный вектор параллакса или вектор коррекции можно определить и кодировать для каждой области разбиения.

Соответственно, данные корреспондирующей точки, которые используются при компенсации параллакса и изменяются в соответствии с объектом, захваченным в изображении, можно точно указывать, что позволяет повысить точность прогнозирования изображения, когда осуществляется компенсация параллакса. Это позволяет реализовать высокий уровень эффективности.

Если все изображение целевой точки зрения подвергается разбиению на области и каждая область разбиения обрабатывается и кодируется, то разбиение на области для кодирования релевантного изображения может совпадать с разбиением на области, которое указывает блок, используемый для определения данных параллакса, что позволяет упразднить кодирование данных, которые указывают блок для определения данных параллакса.

Кроме того, поскольку само видеоизображение и данные параллакса не имеют полностью соответствующие характеристики, области, имеющие одинаковые характеристики для видеоизображения, могут не совпадать с соответствующими областями, имеющими одинаковые характеристики для данных параллакса. В таком случае, может быть предпочтительно, чтобы разбиение на области, заданное для кодирования изображения, не полностью совпадало с разбиением на области, которое указывает блок для задания данных параллакса, поэтому они немного отличаются друг от друга. В этом случае можно кодировать только разность между разбиениями на области, чтобы снизить релевантный объем кода.

Для каждого из вышеописанных аспектов, можно обеспечить этап выбора камеры, на основании которой осуществляется компенсация параллакса, и этап кодирования индекса, который указывает выбранную камеру, где корректировочным данным параллакса, корректировочному вектору параллакса или вектору коррекции, который определяется для каждого целевого изображения для кодирования, можно придать значение, наиболее подходящее для компенсации параллакса, с использованием заранее кодированного изображения камеры, указанной вышеупомянутым индексом.

Соответственно, изображение не только камеры стандартной точки зрения, но и камеры, близкой к камере, используемой для получения целевого изображения для кодирования, может быть опорным изображением. Поэтому область, где нельзя задать корреспондирующую точку вследствие перекрытия и пр., мала, что позволяет реализовать точное предсказание. Таким образом, можно снизить остаток (подлежащий кодированию) компенсации параллакса и, таким образом, реализовать эффективное кодирование.

Кроме того, глобальные данные параллакса и базовые данные параллакса настоящего изобретения не зависят от опорного объекта, на которое осуществляется ссылка. Поэтому объем кода, необходимый для кодирования корректировочных данных параллакса или вектора коррекции, можно снизить для любого опорного объекта.

Если разбиение на области задается при определении данных параллакса для целевого изображения для кодирования, то можно выбрать опорную цель, наиболее пригодную для каждой области разбиения, для осуществления более точного предсказания и реализации эффективного кодирования.

Для каждого из вышеописанных аспектов можно обеспечить (i) этап определения локальных данных параллакса на основании ограничения эпиполярной геометрии до определения глобальных данных параллакса, где локальные данные параллакса являются данными параллакса для каждой камеры, и (ii) этап генерации кандидатов в глобальные данные параллакса с использованием локальных данных параллакса, определенных для каждой камеры, и на основании ограничения эпиполярной геометрии, где на этапе определения глобальных данных параллакса среднее кандидатов в глобальные данные параллакса, полученное для одной области, можно определить как глобальные данные параллакса, назначенные области.

Соответственно, сначала вычисляются локальные данные параллакса, которые должны представлять собой данные параллакса, наиболее пригодные для каждой камеры при компенсации параллакса, и глобальные данные параллакса генерируются с использованием локальных данных параллакса.

Это позволяет определить глобальные данные параллакса для минимизации данных параллакса, которые подлежат коррекции, в процессе, осуществляемом позже. Таким образом, бесполезные данные не кодируется, что позволяет реализовать эффективное кодирование.

При определении глобальных данных параллакса из кандидатов в глобальные данные параллакса можно выбрать кандидата в глобальные данные параллакса, которые чаще всего появляются в целевой области (вместо вычисления среднего), чтобы сократить данные параллакса, которые подлежат коррекции в процессе, осуществляемом позже.

Дополнительно, можно обеспечить этап определения разностных данных параллакса в соответствии с разностью между локальными данными параллакса и базовыми данными параллакса, где на этапе задания разбиения на области на изображении камеры целевой точки зрения для кодирования можно задать максимальное разбиение на области, благодаря которому разностные данные параллакса почти постоянны в каждой области разбиения, и на этапе определения корректировочных данных параллакса корректировочные данные параллакса можно определить с использованием разностных данных параллакса в релевантной области.

Соответственно, глобальные данные параллакса и корректировочные данные параллакса можно вычислить в одной операции. Поэтому, по сравнению со случаем вычисления их по отдельности (что требует большого объема вычислений), объем вычислений можно снизить.

Кроме того, если тип разбиения на области ограничен, дисперсию разностных данных параллакса можно вычислить для каждой области разбиения, и разбиение на области можно выбрать на основании значения дисперсии для осуществления высокоскоростного вычисления для задания разбиения на области.

Для каждого из вышеописанных аспектов на этапе определения базовых данных параллакса или на этапе определения глобальных данных параллакса непрерывность на изображении до преобразования, которому обеспечиваются данные параллакса, можно использовать для определения непрерывных данных параллакса на изображении после преобразования.

Например, в случае определения данных параллакса для пикселей, которые не соседствуют друг с другом, но соседствовали друг с другом до преобразования, данные параллакса, назначенные пикселю между вышеупомянутыми двумя пикселями, можно генерировать посредством интерполяции с использованием данных параллакса (определенных после преобразования) для двух пикселей.

В таком случае, количество областей, для которых обеспечены базовые данные параллакса и кандидаты в глобальные данные параллакса, возрастает, и данные, подлежащие коррекции, можно снизить. Это позволяет снизить релевантный объем кода и, таким образом, реализовать высокий уровень эффективности.

Кроме того, непрерывность можно очень точно определить с использованием не только отношения соседства, но и данных параллакса, которые указывают трехмерные данные. Это позволяет предотвратить увеличение данных, подлежащих коррекции, где такое увеличение может быть вызвано генерацией ошибочных базовых данных параллакса или кандидатов в глобальные данные параллакса.

В вышеописанном изображении (включая видеоизображение) кодирование и соответствующее декодирование изображения согласно настоящему изобретению различные типы данных параллакса, данных для коррекции данных параллакса или данных разбиения на области можно кодировать с учетом изменения в пространстве или времени.

Поскольку различные типы данных параллакса, данных для коррекции данных параллакса или данных разбиения на области зависят от захваченного изображения, корреляция в изображении или корреляция по времени очень высока.

Поэтому с использованием таких характеристик кодирование можно осуществлять путем устранения избыточности для различных типов данных параллакса, данных для коррекции данных параллакса или данных разбиения на области. Это позволяет сократить релевантный объем кода и реализовать высокий уровень эффективности.

Кроме того, можно обеспечить этап уменьшения заранее кодированного изображения стандартной точки зрения, где, при определении глобальных данных параллакса, можно вычислить расстояние от камеры в качестве стандартной точки зрения до изображаемого объекта для генерируемого уменьшенного изображения.

В таком случае, точные данные для релевантного изображения можно удалить благодаря уменьшению изображения. Это позволяет устранить ошибку или небольшую вариацию в данных параллакса, которая может быть обусловлена ошибками в параметрах камеры. В соответствии с глобальными данными параллакса, имеющими такие характеристики, можно получить соответствующее общее соотношение между камерами, не подверженное влиянию, например, ошибок в параметрах камеры.

Это позволяет сократить данные параллакса, подлежащие двойной коррекции с использованием корректировочных данных параллакса или вектора коррекции, который кодируется для каждой камеры, что позволяет повысить общую эффективность кодирования. Кроме того, использование уменьшенного изображения позволяет уменьшить количество пикселей, к которым применяется вычисление для определения релевантных данных параллакса, и, таким образом, также сократить объем вычислений.

При кодировании (или декодировании) видеоизображений с несколькими точками зрения набор кадров, принадлежащих одному и тому же времени, можно рассматривать как изображения с несколькими точками зрения, к которым можно применять способ кодирования (или декодирования) изображений согласно настоящему изобретению.

Дополнительно, для видеоизображений с несколькими точками зрения, все изображение можно кодировать без использования способа настоящего изобретения, но путем выбора, например, другого способа, например, компенсации движения, который предусматривает использование корреляции по времени для каждой цели кодирования, что позволяет повысить эффективность кодирования.

Преимущества изобретения

Согласно настоящему изобретению высокоэффективное кодирование полных изображений с несколькими точками зрения или видеоизображений с несколькими точками зрения можно осуществлять путем реализации компенсации параллакса, имеющей высокую точность предсказания с учетом влияния ошибок оценивания параметров камеры, одновременно препятствуя значительному увеличению объема данных, используемых для компенсации параллакса.

Краткое описание чертежей

Фиг.1 - схема, демонстрирующая каждый элемент данных, который определен в настоящем изобретении и используется для компенсации параллакса.

Фиг.2 - схема, демонстрирующая размещение камер, используемых согласно вариантам осуществления.

Фиг.3 - схема, демонстрирующая устройство кодирования видео согласно первому варианту осуществления настоящего изобретения.

Фиг.4 - схема, демонстрирующая подробную структуру блока определения глобальных данных компенсации параллакса, показанного на Фиг.3.

Фиг.5 - схема, демонстрирующая подробную структуру блока определения данных компенсации параллакса, показанного на Фиг.3.

Фиг.6 - логическая блок-схема кодирования изображения в первом варианте осуществления.

Фиг.7 - подробная логическая блок-схема этапа S2 на Фиг.6.

Фиг.8 - схема, демонстрирующая примеры разбиения на блоки, применяемого к макроблоку.

Фиг.9 - подробная логическая блок-схема этапа S4 на Фиг.6.

Фиг.10 - подробная логическая блок-схема этапа S5 на Фиг.6.

Фиг.11 - схема, демонстрирующая устройство кодирования видео согласно второму варианту осуществления настоящего изобретения.

Фиг.12 - схема, демонстрирующая подробную структуру блока определения локальных данных компенсации параллакса, показанного на Фиг.11.

Фиг.13 - схема, демонстрирующая подробную структуру блока определения глобальных данных компенсации параллакса, показанного на Фиг.11.

Фиг.14 - схема, демонстрирующая подробную структуру блока определения данных компенсации параллакса, показанного на Фиг.11.

Фиг.15 - логическая блок-схема кодирования изображения во втором варианте осуществления.

Фиг.16 - подробная логическая блок-схема этапа S402 на Фиг.15.

Фиг.17 - подробная логическая блок-схема этапа S403 на Фиг.15.

Фиг.18 - подробная логическая блок-схема этапа S406 на Фиг.15.

Фиг.19 - схема, демонстрирующая устройство декодирования видео согласно третьему варианту осуществления настоящего изобретения.

Фиг.20 - логическая блок-схема декодирования изображения согласно третьему варианту осуществления.

Фиг.21 - схема, демонстрирующая понятие параллакса, возникающего между камерами.

Фиг.22 - схема, демонстрирующая понятие ограничения эпиполярной геометрии.

Условные обозначения

100, 200 устройство кодирования изображений

101, 201 блок ввода изображения

102, 202 память изображений

103, 203 блок ввода изображения стандартной точки зрения

104, 204 память изображений стандартной точки зрения

105, 206 блок определения глобальных данных компенсации параллакса

106, 207 блок определения базовых данных параллакса

107, 208 блок определения данных компенсации параллакса

108, 209 блок кодирования изображений

109, 210 память декодированных изображений

205 блок определения локальных данных компенсации параллакса

1051 блок задания разбиения на блоки изображения стандартной точки зрения

1052 блок кодирования данных разбиения на блоки

1053 блок оценки глобальных данных параллакса

1054 блок кодирования глобальных данных параллакса

1071, 2081 блок задания разбиения на блоки целевого изображения

1072, 2082 блок кодирования данных разбиения на блоки

1073, 2085 блок задания индекса опорной точки зрения

1074, 2086 блок кодирования индекса точки зрения

1075, 2083 блок определения корректировочных данных параллакса

1076, 2084 блок кодирования корректировочных данных параллакса

1077, 2087 блок определения вектора коррекции

1078, 2088 блок кодирования вектора коррекции

1079, 2089 блок оценки эффективности компенсации параллакса

2051 блок задания разбиения на блоки локальных данных параллакса

2052 блок задания индекса опорной точки зрения

2053 блок определения локальных данных параллакса

2054 блок оценки эффективности компенсации параллакса

2061 блок задания разбиения на блоки изображения стандартной точки зрения

2062 блок кодирования данных разбиения на блоки

2063 блок оценки глобальных данных параллакса

2064 блок кодирования глобальных данных параллакса

300 устройство декодирования видео

301 блок ввода кодированных данных

302 блок ввода изображения стандартной точки зрения

303 память изображений

304 блок декодирования глобальных данных компенсации параллакса

305 блок определения базовых данных параллакса

306 блок декодирования данных компенсации параллакса

307 блок генерации изображений с компенсацией параллакса

308 блок декодирования изображений

Предпочтительные варианты осуществления изобретения

Один из наиболее отличительных признаков настоящего изобретения по сравнению с известными способами состоит в задании стандартной точки зрения; вычислении глобальных данных параллакса на основании ограничения эпиполярной геометрии для заранее кодированного изображения на стандартной точке зрения, для осуществления компенсации параллакса в отношении всех остальных целевых изображений (для кодирования), полученных в то же время; преобразования глобальных данных параллакса в базовые данные параллакса на основании ограничения эпиполярной геометрии для каждого целевого изображения; и кодировании данных параллакса, которые используются для коррекции базовых данных параллакса, для каждого целевого изображения в соответствии с признаком целевого изображения и ошибками в параметрах камеры.

Данные параллакса на основании ограничения эпиполярной геометрии можно представить расстоянием от точки зрения релевантного изображения до изображаемого объекта, причем расстояние измеряется от опорной точки на эпиполярной линии, и значения индекса соответствуют таким расстояниям.

Ниже "данные параллакса" указывают вышеупомянутые данные параллакса на основании ограничения эпиполярной геометрии. Будут объяснены понятия глобальных данных параллакса и базовых данных параллакса, используемые в настоящем изобретении.

Глобальные данные параллакса

Глобальные данные параллакса это данные параллакса, обеспечиваемые для изображения стандартной точки зрения. В нижеследующем объяснении, данные параллакса обеспечиваются для каждой области.

Если область A имеет данные параллакса "d", соответствующие области R_A(d,i) в изображениях, полученных в других точках зрения (i = 1, 2, 3,..., N) в то же время, вычисляются на основании ограничения эпиполярной геометрии. В таком случае, степень различия в изображениях соответствующих областей можно оценить с использованием, например, суммы абсолютных значений разностей, суммы квадратов разностей, дисперсии разностей или суммы взвешенных значений, относящихся к совокупности стандартов.

Для всех комбинаций {A, R_A(d, i)|i = 1, 2, …, N}, когда сумма вышеупомянутых степеней различия называется оценочным значением данных параллакса "d" для области A, данные параллакса, которые обеспечивают наименьшее оценочное значение, называются "глобальными данными параллакса D".

Кроме того, чтобы снизить влияние ошибки, оценочное значение можно вычислить после прибавления члена коррекции к данным параллакса "d", исходя из непрерывности объекта в фактическом пространстве.

При использовании ограничения эпиполярной геометрии для вычисления вышеупомянутых соответствующих областей происходят ошибки в релевантном вычислении и параметрах камеры. Поэтому, для конкретной точки зрения i=k, данные параллакса "d" для минимизации объема кода (Rate (A, d, k)) могут не совпадать с глобальными данными параллакса D.

Поэтому глобальные данные параллакса D представляют собой данные параллакса, которые обеспечивают наибольшее подобие между целевой областью и соответствующими (с целевой областью) областями из всех остальных точек зрения. В принципе, глобальные данные параллакса D указывают расстояние с низким уровнем точности, например приближенное расстояние от камеры до изображаемого объекта для целевой области.

Базовые данные параллакса

Базовые данные параллакса указывают ту же цель, что и глобальные данные параллакса. Однако они отличаются друг от друга только для одной точки, поэтому глобальные данные параллакса имеют в качестве стандарта стандартную точку зрения, тогда как базовые данные параллакса имеют в качестве стандарта другую точку зрения.

Глобальные данные параллакса и базовые данные параллакса в соответствующей области представляют собой все данные, указывающие одну и ту же трехмерную позицию. Однако, в общем случае, данные параллакса предс