Устройство и способ для формирования изображения, программа для его реализации и носитель информации, который хранит программу

Устройство и способ для формирования изображения, программа для его реализации и носитель информации, который хранит программу

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001]

Изобретение относится к технологии формирования изображения с высоким разрешением путем использования множества изображений.

Испрашивается Приоритет по заявке на Патент Японии №2007-267927, которая была подана 15 октября 2007, содержание которой включено в настоящее описание посредством ссылки.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

[0002]

Применительно к системам создания изображения в нескольких проекциях фиг.11 является схемой, отражающей пример расположения камер, имеющих расположение вдоль прямой линии; фиг.12 является схемой, отражающей еще один пример расположения камер, имеющих расположение в плоскости; фиг.13 является схемой, отражающей еще один пример расположения камер, имеющих расположение по дуге; и фиг.14 является схемой, отражающей еще один пример расположения камер, имеющих расположение по сферической поверхности.

[0003]

Для создания изображения сцены с различных направлений были разработаны системы создания изображения в нескольких проекциях. В системах создания изображения в нескольких проекциях расположение камер имеет разнообразные формы, такие как: одномерное расположение вдоль прямой линии, как показано на фиг.11; двумерное расположение в плоскости, как показано на фиг.12; расположение по дуге, как показано на фиг.13; или расположение по сферической поверхности, как показано на фиг.14. Использование таких систем создания изображения в нескольких проекциях позволяет получить видеосцены c многих направлений.

[0004]

В добавление, существует технология под названием «синтез изображения» для формирования данных изображения в местоположении воображаемой камеры (в котором не происходит создание изображения) путем использования изображений с камер, полученных созданием изображения в нескольких проекциях. В синтезе изображения принято, что известен параметр камеры, отражающий пространственное положение, в котором было получено исходное видеоизображение. Синтез изображения может быть выполнен различными способами.

Например, существует способ выполнения синтеза путем оценки данных глубины. Вначале получают данные несоответствия путем поиска соответствующих точек между исходными видеоизображениями, а данные глубины релевантной сцены оценивают на основании данных несоответствия. Затем оцениваются данные глубины для местоположения воображаемой камеры и формируются соответствующие данные изображения, используя данные изображения исходных камер (смотри Непатентный Документ 1).

[0005]

В другом примере способов не производится оценка данных глубины, а данные изображения в местоположении воображаемой камеры формируются, используя данные несоответствия исходных изображений (смотри Непатентный Документ 2).

[0006]

В другом примере, используется множество изображений с камеры для оценки данных трехмерной модели объекта, представленного в релевантной сцене, и формируется изображение модели, спроецированное с местоположения воображаемой камеры (смотри Непатентный Документ 3).

[0007]

В вышеописанных системах создания изображения, как правило, используются камеры, имеющие одно и то же разрешение, тем не менее, могут быть использованы камеры с разным разрешением. Путем использования сочетания камеры, имеющей высокое разрешение, и камеры, имеющей низкое разрешение, существует возможность уменьшить размер получаемых данных изображения. В добавление, камеры могут иметь разное местоположение фокусировки или угол обзора. В таком случае, даже когда каждый получаемый сигнал изображения имеет одно и то же разрешение, каждая зона, которая фактически отображается, имеет индивидуальное разрешение.

[0008]

Для получения изображения с высоким разрешением на основе изображения с низким разрешением известны: способ увеличения путем применения к каждому сигналу изображения в изображении с низким разрешением фильтра повышающей передискретизации или способ сверхвысокого разрешения.

[0009]

В этом способе увеличения сигнал изображения получается применением подходящего фильтра к сигналам изображения в окружающей области. В способе сверхвысокого разрешения, в основном, используются данные множества изображений, имеющих одно и то же разрешение, которые были получены последовательно (смотри Непатентный Документ 4). Сначала изображение, имеющее разрешение выше, чем полученное изображение, назначается в качестве целевого изображения. То есть каждое местоположение пикселя, которое должно быть сформировано в целевом изображении, определяется заранее. Затем устанавливается соответствующая взаимосвязь между полученными изображениями, и каждый сигнал изображения, полученный при формировании изображения, назначается соответствующему целевому местоположению пикселя, тем самым получая данные изображения, имеющие высокое разрешение.

Непатентный документ 1: Keita Takahashi and Takeshi Naemura,“Layered Light-Field

Rendering with Focus Measurement”, EURASIP Signal Processing: Image Communication, том 21, №6, стр.519-530 (июль 2006).

Непатентный документ 2: M. Droese, T. Fujii, and M. Tanimoto,“Ray-Space Interpolation Constraining Smooth Disparities Based On Loopy Belief Propagation”, Proc. of IWSSIP2004, стр.247-250, Познань, Польша, Сентябрь 2004.

Непатентный документ 3: Takashi Matsuyama, Takeshi Takai, Xiaojunn Wu, and Shohei Nobuhara, "Generation, Editing, and Visualization of 3D Video", Proceedings of The Virtual Reality Society of Japan, том 7, №4, стр. 521-532, декабрь 2002.

Непатентный документ 4: Masayuki Tanaka and Masatoshi Okutomi, "A Fast Algorithm for Reconstruction-Based Super-Resolution and Its Accuracy Evaluation", Протоколы IEICE, D-II, том J88-D-II, №11, стр. 2200-2209, 2005.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Задача, решаемая изобретением

[0010]

Для предлагаемой авторами настоящего изобретения новой технологии обработки изображения в нескольких проекциях, имеющего разные разрешения, выявленной изобретателями настоящего изобретения, задачей является восстановление высокочастотных данных, которых нет в изображении с низким разрешением, тем самым увеличивая разрешение изображения, которое было получено с низким разрешением и имеет субъективное качество изображения ниже, чем у изображения с высоким разрешением, при этом также обеспечивая желаемое качество изображения релевантного изображения.

Средства для решения задачи

[0011]

В обычных технологиях видеоизображение в нескольких проекциях, имеющее разные разрешения, не применяется. Таким образом, задача настоящего изобретения формируется из новой технической идеи применения видеоизображения в нескольких проекциях, имеющего разные разрешения.

При использовании камер с разными разрешениями в системе создания изображения в нескольких проекциях представлены как изображение, имеющее высокое разрешение, так и изображение, имеющее низкое разрешение. Даже в случае использования камер с одинаковым разрешением количество данных может быть снижено путем снижения разрешения части камер, что является предпочтительным для сжатия изображения в нескольких проекциях. Также в этом случае, представлены как изображение, имеющее высокое разрешение, так и изображение, имеющее низкое разрешение.

[0012]

В вышеописанных случаях данные изображения, относящиеся к низкому разрешению, не содержат высокочастотной составляющей. Следовательно, в сравнении с данными изображения с местоположения камеры, на котором создание изображения производилось с высоким разрешением, данные изображения с местоположения камеры, на котором создание изображения производилось с низким разрешением, имеют более низкое субъективное качество изображения.

[0013]

Настоящее изобретение решает такую проблему и восстанавливает высокочастотные данные, которые изображение с низким разрешением утеряло, тем самым увеличивая разрешение изображения, которое было получено с низким разрешением и которое имеет субъективное качество изображения ниже, чем у изображения, имеющего высокое разрешение, при этом также обеспечивая желаемое качество изображения для релевантного изображения.

[0014]

Настоящее изобретение будет объяснено в целом. Например, совокупный объем обрабатываемых данных изображения может быть снижен путем создания изображения сцены, используя множество камер с разным разрешением. Следовательно, в этом случае объем кода видеоизображения в нескольких проекциях может быть значительно снижен. Тем не менее, изображение с камеры, полученное с низким разрешением, имеет низкое субъективное качество изображения в сравнении с изображением, имеющим высокое разрешение.

Настоящее изобретение решает вышеописанную проблему путем увеличения разрешения такого изображения, полученного с низким разрешением, при этом также обеспечивая желаемое качество изображения для релевантного изображения. В обычных технологиях видеоизображение в нескольких проекциях, имеющее разные разрешения, не используется. Задача настоящего изобретения формируется из новой технической идеи применения видеоизображения в нескольких проекциях, имеющего разные разрешения.

В особенности, как показано в вариантах осуществления, описанных далее, настоящее изобретение может быть применено не только к видеоизображению в нескольких проекциях, имеющему разные разрешения, но также к видеоизображению, имеющему различные разрешения между кадрами, введенными одной камерой.

[0015]

В своей основе настоящее изобретение предоставляет метод для восстановления высокочастотных данных, которые потеряло изображение, имеющее низкое разрешение, тем самым снижая общий объем обрабатываемых сигналов изображения при применении видеоизображения в нескольких проекциях, имеющего различные разрешения. Таким образом, существует возможность значительно снизить объем кода видеоизображения в нескольких проекциях.

[0016]

Как описано выше, для увеличения числа пикселей в изображении, имеющем низкое разрешение, то есть увеличения разрешения изображения, для создания изображения с высоким разрешением, используя сигнал изображения другого изображения известны: способ увеличения сигнала изображения путем использования фильтра повышающей передискретизации и способ сверхвысокого разрешения. Среди них способ увеличения сигнала изображения не может получить потерянные высокочастотные данные. Способ сверхвысокого разрешения может получить потерянные высокочастотные данные, но его особый подход и целевой объект отличаются от тех, что отвечают настоящему изобретению.

[0017]

Для способа сверхвысокого разрешения должно существовать множество элементов данных изображения, имеющих низкое разрешение. В целевом изображении, имеющем высокое разрешение, определяется каждое местоположение пикселя, и данные изображения, имеющие низкое разрешение, назначаются этому местоположению пикселя. По этой причине способ сверхвысокого разрешения является технологией формирования изображения, которое исходно не было представлено, посредствам синтеза.

[0018]

В противоположность, настоящее изобретение имеет, по существу, другую задачу для решения, в сравнении со способом сверхвысокого разрешения, и цель изобретения заключается в том, чтобы восстановить высокочастотный компонент, который данные изображения с низким разрешением исходно имели. Релевантное формирование производится, используя соответствующие данные изображения в другом изображении, имеющем высокое разрешение, при этом исходные данные изображения с низким разрешением используются только для поиска каждой соответствующей точки. К изображению, полученному путем увеличения изображения, имеющего низкое разрешение, применяются данные изображения из соответствующего изображения с высоким разрешением. Такой технический способ в своей основе отличается от концепции способа сверхвысокого разрешения.

[0019]

Для того чтобы решить вышеописанную задачу настоящее изобретение предоставляет способ формирования изображения для формирования изображения C путем использования изображения A и изображения B, имеющего разрешение выше, чем у изображения A, причем способ содержит:

этап увеличения изображения, на котором формируют изображение C, имеющее такое же разрешение, как у изображения B, путем увеличения изображения A;

этап оценки соответствующих точек, на котором оценивают наличие или отсутствие точки в изображении B, соответствующей каждому местоположению пикселя в изображении C, а также оценивают местоположение релевантной соответствующей точки; и

этап назначения соответствующего изображения, на котором каждому местоположению пикселя в изображении C, для которого на этапе оценки соответствующих точек было оценено, что соответствующая точка существует, назначают данные изображения из соответствующего местоположения в изображении B.

[0020]

В соответствии с вышеописанным способом формирования изображения обеспечивается возможность формировать изображение с высоким разрешением, соответствующее выбранному изображению, имеющему низкое разрешение, путем использования высокочастотных данных, входящих в состав другого изображения. Если для формирования изображения другое изображение не имеет сигнала изображения, соответствующего целевому местоположению пикселя, то для предотвращения отсутствия данных изображения могут быть использованы данные изображения, имеющие разрешение, увеличенное из исходных данных с низким разрешением.

[0021]

При оценке соответствующей точки данные соответствующей точки могут быть предоставлены как входные данные или каждая соответствующая точка может быть найдена путем поиска, используя данные изображения. При предоставлении данных соответствующей точки в качестве входных данных данные глубины или геометрические данные релевантной сцены могут быть оценены заранее, а затем могут быть оценены соответствующие точки между изображениями.

[0022]

Во время поиска каждой соответствующей точки может быть вычислено абсолютное значение каждого расхождения между соответствующими пикселями (то есть между каждым пикселем изображения C и одним или более кандидатами пикселя в изображении B). Когда минимальное абсолютное значение меньше либо равно заранее определенному порогу, точка, которая привела к получению минимального значения, может быть оценена как соответствующая точка. Когда минимальное абсолютное значение больше порога, может быть оценено, что соответствующей точки не существует.

Также предпочтительно посредством записи в файл хранить порог совместно с релевантными данными изображения, имеющими низкое разрешение. При формировании данных изображения, имеющих высокое разрешение, используя хранящиеся данные изображения, имеющие низкое разрешение, точно такое же изображение может быть всегда сформировано путем использования порога, включенного в релевантный файл.

[0023]

При создании изображения сцены с множества направлений, используя камеры с разным разрешением, изображение с высоким разрешением, соответствующее изображению с камеры с низким разрешением, может быть сформировано, используя изображение с другой камеры, имеющее высокое разрешение. Этот способ может быть применен не только для изображения в нескольких проекциях, но также для видеоизображения, полученного с единственной камеры. Таким образом, когда кадры видеоизображения имеют разное разрешение, изображение, имеющее высокое разрешение, соответствующее изображению кадра с низким разрешением, может быть сформировано, используя изображение другого кадра, имеющего высокое разрешение.

[0024]

Вышеописанный способ может дополнительно включать в себя этап интерполяции изображения, на котором формируют данные изображения для каждого местоположения пикселя в изображении C, для которого на этапе оценки соответствующих точек оценено, что соответствующей точки не существует, посредством интерполяции с использованием данных изображения, назначенных на этапе назначения соответствующего изображения.

[0025]

В этом случае, когда для формирования изображения релевантное другое изображение не имеет сигнала изображения, соответствующего целевому местоположению пикселя, тогда целевые данные изображения формируются посредством интерполяции, используя уже сформированный сигнал изображения на прилегающем местоположении, который имеет высокое разрешение, таким образом предотвращая возможность отсутствия данных изображения.

[0026]

Настоящее изобретение также предоставляет способ формирования изображения для формирования данных изображения для изображения C путем использования изображения A и изображения B, имеющего разрешение выше, чем у изображения A, при этом способ содержит:

этап увеличения изображения, на котором формируют изображение D, имеющее такое же разрешение, как у изображения B, путем увеличения изображения A;

этап оценки соответствующих точек, на котором оценивают наличие или отсутствие точки в изображении B, соответствующей каждому местоположению пикселя в изображении D, а также оценивают местоположение релевантной соответствующей точки;

этап назначения соответствующего изображения, на котором местоположению пикселя в изображении E, равному каждому местоположению пикселя в изображении D, для которого на этапе оценки соответствующих точек оценено, что соответствующая точка существует, назначают данные изображения из соответствующего местоположения в изображении B;

этап интерполяции изображения, на котором в местоположении пикселя в изображении E, равном каждому местоположению пикселя в изображении D, которому на этапе оценки соответствующих точек оценено, что соответствующая точка не существует, формируют данные изображения посредством интерполяции, используя данные изображения, назначенные на этапе назначения соответствующего изображения;

этап уменьшения изображения, на котором формируют изображение F, имеющее такое же разрешение, что и у изображения A, путем уменьшения изображения E;

этап формирования расхождений, на котором вычисляют расхождение между данными изображения в каждом местоположении пикселя в изображении A и данными изображения в точно таком же местоположении пикселя в изображении F; и

этап назначения данных изображения, при этом:

когда расхождение в каждом местоположении пикселя, вычисленное на этапе формирования расхождений, меньше либо равно порогу, на этапе назначения данных назначают данные изображения из изображения E каждому соответствующему местоположению пикселя в изображении C и,

когда расхождение в каждом местоположении пикселя, вычисленное на этапе формирования расхождений, больше упомянутого порога, на этапе назначения данных назначают данные изображения, основывающиеся на данных изображения из изображения D, каждому соответствующему местоположению пикселя в изображении C.

[0027]

В типичном примере, когда расхождение в каждом местоположении пикселя, вычисленное на этапе формирования расхождений, больше порога:

(i) на этапе назначения данных изображения назначают каждому соответствующему местоположению пикселя в изображении C данные изображения из изображения D или

(ii) на этапе назначения данных изображения назначают каждому соответствующему местоположению пикселя в изображении C взвешенное среднее между данными изображения из изображения D и данными изображения из изображения E.

[0028]

В соответствии с вышеописанным способом формирования изображения в случае возникновения ошибки в вычислении соответствующей точки между выбранным изображением и другим изображением вместо того, чтобы использовать изображение, имеющее высокое разрешение, сформированное способом, основанным на вышеописанном изобретении, для снижения ухудшения качества изображения, вызванного ошибкой оценки, могут быть использованы: (i) данные изображения, полученные путем увеличения исходных с низким разрешением до имеющих высокое разрешение, либо (ii) взвешенное среднее между сформированными данными изображения, имеющими высокое разрешение, и данными изображения, полученными путем увеличения исходных с низким разрешением до имеющих высокое разрешение.

[0029]

Настоящее изобретение также предоставляет способ формирования изображения для формирования данных изображения в изображении C путем использования изображения A и изображения B, которые имеют одно и то же разрешение, причем способ содержит:

этап уменьшения опорного изображения, на котором формируют изображение G, имеющее разрешение ниже, чем у изображения A, путем уменьшения изображения A;

этап увеличения изображения, на котором формируют изображение D, имеющее такое же разрешение, что и изображение A, путем увеличения изображения G;

этап оценки соответствующих точек, на котором оценивают наличие или отсутствие точки в изображении B, соответствующей каждому местоположению пикселя в изображении D, а также оценивают местоположение релевантной соответствующей точки;

этап назначения соответствующего изображения, на котором местоположению пикселя в изображении E, равному каждому местоположению пикселя в изображении D, для которого на этапе оценки соответствующих точек было оценено, что соответствующая точка существует, назначают данные изображения из соответствующего местоположения в изображении B;

этап интерполяции изображения, на котором формируют данные изображения в местоположении пикселя в изображении E, равном каждому местоположению пикселя в изображении D, для которого на этапе оценки соответствующих точек было оценено, что соответствующей точки не существует, посредством интерполяции, используя данные изображения, назначенные на этапе назначения соответствующего изображения;

этап уменьшения изображения, на котором формируют изображение F, имеющее такое же разрешение, что и у изображения G, путем уменьшения изображения E;

этап формирования расхождений, на котором вычисляют расхождение между данными изображения в каждом местоположении пикселя в изображении G и данными изображения в том же самом местоположении пикселя в изображении F;

этап установки порога, на котором устанавливают порог;

этап назначения данных изображения, при этом:

когда расхождение в каждом местоположении пикселя, вычисленное на этапе формирования расхождений, меньше либо равно порогу, на этапе назначения данных назначают каждому соответствующему местоположению пикселя в изображении C данные изображения в изображении E и,

когда расхождение в каждом местоположении пикселя, вычисленное на этапе формирования расхождений, больше порога, на этапе назначения данных изображения назначают каждому соответствующему местоположению пикселя в изображении C данные изображения, основывающиеся на данных изображения в изображении D;

этап суммирования сформированных расхождений, на котором вычисляют сумму расхождений в данных изображения в релевантных местоположениях пикселя между изображением C, полученным на этапе выбора изображения, и изображением A; и

этап определения порога, на котором определяют порог, который дает минимальное значение в суммах расхождений, вычисленных на этапе суммирования сформированных расхождений, на основе результата повторения этапа выбора изображения и этапа суммирования сформированных расхождений при изменении порога, установленного на этапе установки порога, в пределах заранее определенного диапазона.

[0030]

В типичном примере, когда расхождение в каждом местоположении пикселя, вычисленное на этапе формирования расхождений, больше порога:

(i) на этапе назначения данных изображения назначают каждому соответствующему местоположению пикселя в изображении C данные изображения из изображения D или

(ii) на этапе назначения данных изображения назначают каждому соответствующему местоположению пикселя в изображении C взвешенное среднее между данными изображения из изображения D и данными изображения из изображения E;

[0031]

В соответствии с вышеописанным способом формирования изображения при преобразовании разрешения изображения к низкому значению, а затем к высокому значению, когда происходит формирование изображения, имеющего высокое разрешение, вышеописанным способом, величина ухудшения качества, вызванная ошибкой в оценке соответствующей точки, измеряется и может быть задан порог для выбора сформированного изображения, имеющего высокое разрешение, что приведет к минимизации ухудшения качества. Величина ухудшения качества может быть измерена, потому что также имеются данные изображения исходного высокого разрешения.

[0032]

Параметр порога может быть использован, как описано ниже. После оценки порога значение добавляется в качестве параметра порога к данным изображения низкого разрешения. Например, параметр порога также хранится в файле, совместно с изображением, имеющим низкое разрешение и другим релевантным изображением. В файл не включаются никакие данные изображения, относящиеся к изображению до момента преобразования к низкому разрешению. По этой причине данные изображения, имеющие разрешение ниже, чем у исходного изображения, подлежат записи в файл, что снижает размер файла. При чтении файла изображение, имеющее высокое разрешение, может быть сформировано на основе изображения с низким разрешением и другого изображения путем использования параметра порога, при этом изображение, имеющее высокое разрешение, имеет минимальное ухудшение субъективного качества изображения.

[0033]

В добавление, когда расхождение в каждом местоположении пикселя, вычисленное на этапе формирования расхождений, больше порога и используется вышеописанный способ (ii), изображение, полученное путем увеличения изображения, имеющего низкое разрешение, не применяется к сигналу формируемого изображения, а применяется взвешенное среднее между увеличенным изображением и изображением, исходно имеющим высокое разрешение. Следовательно, является возможным снизить размывание в изображении благодаря увеличению изображения, имеющего низкое разрешение.

[0034]

Настоящее изобретение также предоставляет устройства формирования изображения, которые формируют изображение в соответствии с вышеописанными способами.

Результат изобретения

[0035]

В соответствии с настоящим изобретением, для данных изображения, полученных с местоположения камеры, имеющей низкое разрешение, могут быть сформированы данные изображения, имеющие высокое разрешение, используя данные изображения, полученные с местоположения камеры, имеющей высокое разрешение, тем самым уменьшая ухудшение субъективного качества изображения.

ПЕРЕЧЕНЬ ФИГУР ЧЕРТЕЖЕЙ

[0036]

Фиг.1 является схемой, отражающей структуру устройства формирования изображения в качестве первого варианта осуществления настоящего изобретения.

Фиг.2 является логической блок-схемой, отражающей работу устройства формирования изображения по данному варианту осуществления.

Фиг.3 является схемой, отражающей работу устройства формирования изображения в качестве второго варианта осуществления настоящего изобретения.

Фиг.4 является логической блок-схемой, отражающей работу устройства формирования изображения по данному варианту осуществления.

Фиг.5 является схемой, отражающей структуру устройства формирования изображения в качестве третьего варианта осуществления настоящего изобретения.

Фиг.6 является логической блок-схемой, отражающей работу устройства формирования изображения по данному варианту осуществления.

Фиг.7 является схемой, отражающей структуру устройства формирования изображения в качестве разновидности данного варианта осуществления.

Фиг.8 является схемой, отражающей структуру устройства формирования изображения в качестве четвертого варианта осуществления настоящего изобретения.

Фиг.9 является логической блок-схемой, отражающей работу устройства формирования изображения по данному варианту осуществления.

Фиг.10 является схемой, отражающей структуру устройства формирования изображения в качестве разновидности данного варианта осуществления.

Фиг.11 является схемой, отражающей систему создания изображения в нескольких проекциях, имеющую расположение вдоль прямой линии.

Фиг.12 является схемой, отражающей систему создания изображения в нескольких проекциях, имеющую расположение в плоскости.

Фиг.13 является схемой, отражающей систему создания изображения в нескольких проекциях, имеющую расположение по дуге.

Фиг.14 является схемой, отражающей систему создания изображения в нескольких проекциях, имеющую расположение по сферической поверхности.

Опорные обозначения

[0037]

101, 201, 301, 401 - модуль увеличения изображения,

102, 202, 302, 402 - средство оценки соответствующих точек,

103, 203, 303, 403 - модуль назначения соответствующего изображения,

204, 304, 404 - средство интерполяции изображения,

305, 405 - модуль уменьшения изображения,

306, 406 - средство формирования расхождений,

307, 407 - средство выбора изображения,

308, 408 - средство формирования изображения,

409 - модуль суммирования сформированных расхождений,

410 - модуль установки порога,

411 - модуль определения порога,

412 - модуль уменьшения опорного изображения.

НАИЛУЧШИЙ СПОСОБ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

[0038]

Вариант осуществления устройства формирования изображения по настоящему изобретению будет показан со ссылкой на чертежи.

[0039]

Первый вариант осуществления

В первом варианте осуществления изображение A, имеющее низкое разрешение, и изображение B, имеющее высокое разрешение, которые были получены разными камерами, используются для формирования изображения C, которое соответствует изображению A, но имеет высокое разрешение (соответствующее тому, что имеет изображение B). В данном случае цвет всех сигналов, получаемых с камер, формируется, используя YUV сигналы (то есть сигнал яркости Y и сигналы цветности U и V). В настоящем варианте осуществления обрабатывается только сигнал Y.

[0040]

Фиг.1 отображает общую структуру устройства. То есть устройство формирования изображения по настоящему варианту осуществления имеет: модуль 101 увеличения изображения для увеличения изображения A таким образом, чтобы сформировать изображение C, имеющее точно такое же разрешение, что и у изображения B; средство 102 оценки соответствующих точек для оценки наличия или отсутствия точки в изображении B, соответствующей каждому местоположению пикселя в изображении C, а также для оценки местоположения релевантной соответствующей точки; и модуль 103 назначения соответствующего изображения для назначения каждому местоположению пикселя в изображении C, для которого средством 102 оценки соответствующих точек оценено, что соответствующая точка существует, данных изображения из соответствующего местоположения в изображении B.

[0041]

Модуль 101 увеличения изображения формирует увеличенное изображение путем получения данных изображения в промежуточных местоположениях посредством билинейной интерполяции.

Средство 102 оценки соответствующих точек использует параметры камеры или известные технологии согласования, для того чтобы сделать допущение в отношении одного или более кандидатов пикселя (в изображении B), соответствующего каждому из пикселей в изображении C, и вычисляет абсолютное значение расхождения между каждой парой соответствующих пикселей. Когда минимальное значение из вычисленного(ых) абсолютного(ых) значения(ий) меньше либо равно заранее определенному порогу, средство 102 оценки соответствующих точек оценивает точку, которая показала минимальное значение, как соответствующую точку. Когда минимальное значение из вычисленного(ых) абсолютного(ых) значения(ий) больше этого заранее определенного порога, средство 102 оценки соответствующих точек оценивает, что точки, соответствующей релевантному пикселю в изображении C, не существует.

[0042]

Основываясь на вышеописанном предположении, устройство формирования изображения на фиг.1 работает, как описано ниже. Фиг.2 является логической блок-схемой, отображающей эту работу.

[0043]

Во-первых, модуль 101 увеличения изображения формирует изображение C путем увеличения изображения A, как описано выше (смотри этап S10). Средство 102 оценки соответствующих точек оценивает наличие или отсутствие соответствующих точек и их местоположения между изображением C и изображением B посредством вышеописанного способа (смотри этап S11). Каждому пикселю изображения C, для которого средство 102 оценки соответствующих точек оценило, что соответствующая точка существует, модуль 103 назначения соответствующего изображения, назначают данные изображения из соответствующей точки в изображении B (смотри этап S12). Вышеописанным процессом формируется изображение C.

[0044]

Модуль 101 увеличения изображения может использовать фильтр, имеющий большое количество отводов или двумерный фильтр либо может использовать одномерный фильтр в горизонтальном направлении, а затем в вертикальном направлении. Модуль 101 увеличения изображения также может использовать фильтр, который сохраняет данные краев. В любом случае процесс увеличения разрешения выполняется, используя данные изображения из изображения A (целевого изображения, которое должно быть увеличено) без использования изображения B.

[0045]

Средство 102 оценки соответствующих точек вычисляет абсолютное значение каждого расхождения между релевантными пикселями в вышеописанном процессе. Тем не менее, оценка может быть произведена, используя блок, состоящий из множества пикселей, где центральный пиксель является целевым пикселем для оценки. Например, для каждого пикселя в изображении C делается допущение касаемо одного или более кандидатов соответствующего пикселя в изображении B и общей суммы абсолютных значений расхождений от множества пикселей, которые образуют блок и чьим центром является каждый кандидат. Местоположение кандидата, который дает минимальное значение общей суммы, может быть оценено как являющееся соответствующей точкой.

[0046]

В вышеописанном примере, изображение A, имеющее низкое разрешение, и изображение B, имеющее высокое разрешение, которые были получены разными камерами, используются для формирования изображения C, имеющего высокое разрешение. Однако для формирования изображения C, имеющего высокое разрешение, могут быть использованы изображение A, имеющее низкое разрешение, и изображение B, имеющее высокое разрешение, которые были получены с общей камеры, но в разные моменты времени.

[0047]

В добавление, несмотря на то, что в вышеприведенном процессе для формирования изображения C использовались изображения A и B, также может быть использовано множество изображений B. Пример использования двух изображений B (B1 и B2) будет показан ниже. Будет объяснена работа устройства формирования изображения для этого случая, при этом структура его такая же, как и у описанного выше.

[0048]

Во-первых, модуль 101 увеличения изображения формирует изображение C путем увеличения изображения A, как описывалось выше. Средство 102 оценки соответствующих точек оценивает наличие или отсутствие соответствующих точек и их местоположение между изображением C и изображением B1 посредством вышеописанного способа. Каждому местоположению в изображении C, для которого средство 102 оценки соответствующей точки оценило, что соответствующая точка существует, модуль 103 назначения соответствующего изображения назначает данные изображения из соответствующего местоположения в изображении B1.

Таким же образом, средство 102 оценки соответствующих точек оценивает наличие или отсутствие соответствующих точек и их местоположения между изображением C и изображением B2. Каждому местоположению изображения C, для которого средство 102 оценки соответствующих точек оценило, что соответствующая точка существует, модуль 103 назначения соответствующего изображения назначает данные изображения из соответствующего местоположения в изображении B2.

Вышеописанным процессом формируется изображение C

[0049]

Если оценено, что соответствующая точка существует как в изображении B1, так и B2, то: (i) приоритет может быть отдан любому из заранее определенных B1 и B2 для назначения его данных изобр