Устройство и способ для формирования изображения, программа для его реализации и носитель информации, который хранит программу

Устройство и способ для формирования изображения, программа для его реализации и носитель информации, который хранит программу

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001]

Настоящее изобретение относится к технологии формирования изображения с высокой битовой глубиной, путем использования множества изображений.

Испрашивается приоритет по заявке на Патент Японии №2007-267613, которая была подана 15 октября 2007, содержание которой включено в настоящее описание посредством ссылки.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

[0002]

Применительно к системам создания изображения в нескольких проекциях, Фиг.11 является схемой, отражающей пример расположения камер, имеющих расположение вдоль прямой линии; Фиг.12 является схемой, отражающей еще один пример расположения камер, имеющих расположение в плоскости; Фиг.13 является схемой, отражающей еще один пример расположения камер, имеющих расположение по дуге; и Фиг.14 является схемой, отражающей еще один пример расположения камер, имеющих расположение по сферической поверхности.

[0003]

Для создания изображения сцены с различных направлений были разработаны системы создания изображения в нескольких проекциях. В системах создания изображения в нескольких проекциях расположение камер имеет разнообразные формы, такие как: одномерное расположение вдоль прямой линии, как показано на Фиг.11; двумерное расположение в плоскости, как показано на Фиг.12; расположение по дуге, как показано на Фиг.13; или расположение по сферической поверхности, как показано на Фиг.14. Использование таких систем создания изображения в нескольких проекциях позволяет получить видеосцены c многих направлений.

[0004]

В добавление, существует технология, под названием «синтез изображения», для формирования данных изображения в местоположении воображаемой камеры (в котором не происходит создание изображения) путем использования изображений с камер, полученных созданием изображения в нескольких проекциях.

В синтезе изображения принято, что известен параметр камеры, отражающий пространственное положение, в котором было получено исходное видеоизображение. Синтез изображения может быть выполнен различными способами.

Например, существует способ выполнения синтеза путем оценки данных глубины. В начале получают данные несоответствия, путем поиска соответствующих точек между исходными видеоизображениями, а данные глубины релевантной сцены оценивают на основании данных несоответствия. Затем оцениваются данные глубины для местоположения воображаемой камеры и формируются соответствующие данные изображения, используя данные изображения исходных камер (см. Непатентный Документ 1).

[0005]

В другом примере способов не производится оценка данных глубины, а данные изображения в местоположении воображаемой камеры формируются, используя данные несоответствия исходных изображений (см. Непатентный Документ 2).

[0006]

В другом примере используется множество изображений с камеры для оценки данных трехмерной модели объекта, представленного в релевантной сцене, и формируется изображение модели, спроецированное с местоположения воображаемой камеры (см. Непатентный Документ 3).

[0007]

В вышеописанных системах создания изображения, как правило, используются камеры, имеющие одну и ту же битовую глубину (то есть ухудшение качества), тем не менее, могут быть использованы камеры с разной битовой глубиной. Путем использования сочетания камеры, имеющей высокую битовую глубину, и камеры, имеющей низкую битовую глубину, существует возможность уменьшить размер получаемых данных изображения.

[0008]

Способ совмещения карт оттенков является способом получения изображения с высокой битовой глубиной на основе изображения с низкой битовой глубиной (см. Непатентный Документ 4). Это способ для преобразования дискретных значений в сигнал, имеющий больший динамический диапазон, посредством совмещения карт.

Непатентный документ 1: Keita Takahashi and Takeshi Naemura. “Layered Light-Field

Rendering with Focus Measurement”, EURASIP Signal Processing: Image Communication, том 21, №6, стр.519-530 (июль 2006).

Непатентный документ 2: M. Droese, T. Fujii and M. Tanimoto. “Ray-Space Interpolation Constraining Smooth Disparities Based On Loopy Belief Propagation”, Proc. of IWSSIP2004, стр.247-250, Познань, Польша, сентябрь 2004.

Непатентный документ 3: Takashi Matsuyama, Takeshi Takai, Xiaojunn Wu and Shohei Nobuhara. "Generation, Editing, and Visualization of 3D Video", Proceedings of The Virtual Reality Society of Japan, том 7, №4, стр. 521-532, декабрь 2002.

Непатентный документ 4: E. Reinhard, M. Stark, P. Shirley and J. Ferwerda. “Photographic Tone Reproduction for Digital Images”, представленный на SIGGRAPH, 2002.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Задача, решаемая изобретением

[0009]

Для предлагаемой авторами настоящего изобретения новой технологии обработки изображения в нескольких проекциях, имеющего разные битовые глубины, задачей настоящего изобретения является восстановление отсутствующих в изображении с низкой битовой глубиной данных, которые представлены широким динамическим диапазоном, тем самым улучшая субъективное качество изображения для изображения с низкой битовой глубиной.

Средства для решения задачи

[0010]

В обычных технологиях видеоизображение в нескольких проекциях, имеющее разные битовые глубины, не применяется. Таким образом, задача настоящего изобретения формируется из новой технической идеи применения видеоизображения в нескольких проекциях, имеющего разные битовые глубины.

При использовании камер с разной битовой глубиной в системе создания изображения в нескольких проекциях представлены как изображение, имеющее высокую битовую глубину, так и изображение, имеющее низкую битовую глубину. Даже в случае использования камер с одинаковой битовой глубиной количество данных может быть снижено путем снижения битовой глубины части камер, что является предпочтительным для сжатия изображения в нескольких проекциях. Также в этом случае представлены как изображение, имеющее высокую битовую глубину, так и изображение, имеющее низкую битовую глубину.

[0011]

В вышеописанных случаях данные изображения, относящиеся к низкой битовой глубине, не содержат данные, представленные широким динамическим диапазоном. Следовательно, в сравнении с данными изображения с местоположения камеры, на котором создание изображения производилось с высокой битовой глубиной, данные изображения с местоположения камеры, на котором создание изображения производилось с низкой битовой глубиной, имеют более низкое субъективное качество изображения.

[0012]

Следовательно, настоящее изобретение решает такую проблему и восстанавливает данные, представленные широким динамическим диапазоном, которые изображение с низкой битовой глубиной утеряло, тем самым улучшая субъективное качество изображения для изображения с низкой битовой глубиной.

[0013]

Настоящее изобретение будет объяснено в целом. Например, совокупный объем обрабатываемых данных изображения может быть снижен путем создания изображения сцены, используя множество камер с различной битовой глубиной. Следовательно, в этом случае, объем кода видеоизображения в нескольких проекциях может быть значительно снижен.

Битовая глубина отражает динамический диапазон сигнала, например 8 бит или 10 бит. Когда существует диапазон, в котором не производилось создание изображения (то есть, когда динамический диапазон низкий), данные, относящиеся к релевантной части, теряются, что снижает субъективное качество изображения и приводит к проблеме, заключающейся в снижении объема кода видеоизображения в нескольких проекциях.

[0014]

Настоящее изобретение решает вышеописанную задачу путем восстановления таких потерянных данных, релевантного диапазона. В обычных технологиях видеоизображение в нескольких проекциях, имеющее разные битовые глубины, не используется. Задача настоящего изобретения формируется из новой технической идеи применения видеоизображения в нескольких проекциях, имеющее разные битовые глубины.

[0015]

В целях решения данной задачи настоящее изобретение применяет технический способ восстановления в целевом изображении данных, имеющих высокую битовую глубину путем использования данных другой камеры, имеющих высокую битовую глубину. Соответственно, при использовании видеоизображения в нескольких проекциях, полученного с использованием множества камер с разной битовой глубиной, имеется возможность уменьшить общий объем обрабатываемых данных изображения без ухудшения субъективного качества изображения.

[0016]

Настоящее изобретение предоставляет способ формирования изображения для формирования данных изображения для изображения C путем использования изображения A и изображения B, имеющего битовую глубину выше, чем у изображения A, при этом способ содержит:

этап увеличения битовой глубины изображения, на котором формируют изображение C, имеющее такую же битовую глубину, как у изображения B, путем увеличения битовой глубины изображения A посредством совмещения карт оттенков;

этап оценки соответствующих точек, на котором оценивают наличие или отсутствие точки в изображении B, соответствующей каждому местоположению пикселя в изображении C, а также оценивают местоположение релевантной соответствующей точки; и

этап назначения соответствующего изображения, на котором каждому местоположению пикселя в изображении C, для которого на этапе оценки соответствующих точек было оценено, что соответствующая точка существует, назначают данные изображения из соответствующего местоположения в изображении B.

[0017]

В соответствии с вышеописанным способом формирования изображения обеспечивается возможность формировать изображение с высокой битовой глубиной, соответствующее выбранному изображению, путем использования данных широкого динамического диапазона, входящих в состав другого изображения. Если для формирования изображения другое изображение не имеет сигнала изображения, соответствующего целевому местоположению пикселя, то для предотвращения отсутствия данных изображения могут быть использованы данные изображения, имеющие битовую глубину, увеличенную по отношению к исходным данным с низкой битовой глубиной посредством совмещения карт оттенков.

[0018]

При оценке соответствующих точек данные соответствующей точки могут быть предоставлены как входные данные, либо каждая соответствующая точка может быть найдена путем использования данных изображения. В случае предоставления данных соответствующей точки в качестве входных данных, данные глубины или геометрические данные релевантной сцены могут быть оценены заранее, а затем могут быть оценены соответствующие точки между изображениями.

[0019]

Во время поиска каждой соответствующей точки может быть вычислено абсолютное значение каждого расхождения между соответствующими пикселями (то есть между каждым пикселем изображения C и одним или более кандидатами пикселя в изображении B). Когда минимальное абсолютное значение меньше либо равно заранее определенному порогу, точка, которая привела к получению минимального значения, может быть оценена как соответствующая точка. Когда минимальное абсолютное значение больше порога, может быть оценено, что соответствующей точки не существует.

Также предпочтительно, посредством записи в файл, хранить порог совместно с релевантными данными изображения, имеющими низкую битовую глубину. При формировании данных изображения, имеющих высокую битовую глубину, используя хранящиеся данные изображения, имеющие низкую битовую глубину, точно такое же изображение может быть всегда сформировано путем использования порога, включенного в релевантный файл.

[0020]

При создании изображения сцены с множества направлений, используя камеры с различной битовой глубиной, изображение с высокой битовой глубиной, соответствующее изображению с камеры с низкой битовой глубиной, может быть сформировано, используя изображение с другой камеры, имеющее высокую битовую глубину. Этот способ может быть применен не только для изображения в нескольких проекциях, но так же для видеоизображения полученного с единственной камеры. Таким образом, когда кадры видеоизображения имеют разную битовую глубину, изображение, имеющее высокую битовую глубину, соответствующее изображению кадра с низкой битовой глубиной, может быть сформировано, используя изображение другого кадра, имеющего высокую битовую глубину.

[0021]

Вышеописанный способ может дополнительно включать в себя этап интерполяции, на котором формируют данные изображения для каждого местоположения пикселя в изображении C, для которого на этапе оценки соответствующих точек оценено, что соответствующей точки не существует, посредством интерполяции, используя данные изображения, назначенные на этапе назначения соответствующего изображения.

[0022]

Когда для формирования изображения релевантное другое изображение не имеет сигнала, соответствующего целевому местоположению пикселя, тогда целевые данные изображения формируются посредством интерполяции, используя уже сформированный сигнал изображения на прилегающем местоположении, который имеет высокую битовую глубину, таким образом предотвращая возможность отсутствия данных изображения.

[0023]

Настоящее изобретение также предоставляет способ формирования изображения для формирования данных изображения для изображения C путем использования изображения A и изображения B, имеющего битовую глубину выше, чем у изображения A, при этом способ содержит:

этап увеличения битовой глубины изображения, на котором формируют изображение D, имеющее такую же битовую глубину как у изображения B, путем увеличения битовой глубины изображения A посредством совмещения карт оттенков;

этап оценки соответствующих точек, на котором оценивают наличие или отсутствие точки в изображении B, соответствующей каждому местоположению пикселя в изображении D, а также оценивают местоположение релевантной соответствующей точки;

этап назначения соответствующего изображения, на котором местоположению пикселя в изображении E, равному каждому местоположению пикселя в изображении D, для которого на этапе оценки соответствующих точек оценено, что соответствующая точка существует, назначают данные изображения из соответствующего местоположения в изображении B;

этап интерполяции изображения, на котором в местоположении пикселя в изображении E, равном каждому местоположению пикселя в изображении D, для которого на этапе оценки соответствующих точек оценено, что соответствующая точка не существует, формируют данные изображения посредством интерполяции, используя данные изображения, назначенные на этапе назначения соответствующего изображения;

этап уменьшения битовой глубины изображения, на котором формируют изображение F, имеющее такую же битовую глубину, что и у изображения A, путем снижения битовой глубины изображения E посредством совмещения карт оттенков;

этап формирования расхождений, на котором вычисляет расхождение между данными изображения в каждом местоположении пикселя в изображении A и данными изображения в таком же местоположении пикселя в изображении F; и

этап назначения данных изображения, при этом:

когда расхождение в каждом местоположении пикселя, вычисленное на этапе формирования расхождений, меньше либо равно порогу, этап назначения данных назначают данные изображения из изображения E каждому соответствующему местоположению пикселя в изображении C и,

когда расхождение в каждом местоположении пикселя, вычисленное на этапе формирования расхождений, больше этого порога, на этапе назначения данных назначают данные изображения, основывающиеся на данных изображения из изображения D, каждому соответствующему местоположению пикселя в изображении C.

[0024]

В типичном примере, когда расхождение в каждом местоположении пикселя, вычисленное на этапе формирования расхождений, больше порога:

(i) на этапе назначения данных изображения назначают каждому соответствующему местоположению пикселя в изображении C данные изображения из изображения D, или

(ii) на этапе назначения данных изображения назначают каждому соответствующему местоположению пикселя в изображении C взвешенное среднее между данными изображения из изображения D и данными изображения из изображения E.

[0025]

В соответствии с вышеописанным способом формирования изображения, в случае возникновения ошибки в оценке соответствующей точки между выбранным изображением и другим изображением, вместо того, чтобы использовать изображение, имеющее высокую битовую глубину, сформированное способом, основанным на вышеописанном изобретении, для снижения ухудшения качества изображения вызванного ошибкой оценки могут быть использованы: (i) данные изображения, полученные путем увеличения исходных с низкой битовой глубиной посредством совмещения карт оттенков, или (ii) взвешенное среднее между сформированными данными изображения, имеющими высокую битовую глубину, и данными изображения, полученными путем увеличения исходной низкой битовой глубины посредством совмещения карт оттенков.

[0026]

Настоящее изобретение также предоставляет способ формирования изображения для формирования данных изображения для изображения C путем использования изображения A и изображения B, которые имеет одну и ту же битовую глубину, при этом способ содержит:

этап уменьшения битовой глубины опорного изображения, на котором формируют изображение G, имеющее битовую глубину ниже, чем у изображения A, путем уменьшения битовой глубины изображения A посредством совмещения карт оттенков;

этап увеличения битовой глубины изображения, на котором формируют изображение D, имеющее такую же битовую глубину, что и изображение A, путем увеличения битовой глубины изображения G посредством совмещения карт оттенков;

этап оценки соответствующих точек, на котором оценивают наличие или отсутствие точки в изображении B, соответствующей каждому местоположению пикселя в изображении D, а также оценивают местоположение релевантной соответствующей точки;

этап назначения соответствующего изображения, на котором местоположению пикселя в изображении E, равному каждому местоположению пикселя в изображении D, для которого на этапе оценки соответствующих точек оценено, что соответствующая точка существует, назначают данные изображения из соответствующего местоположения в изображении B;

этап интерполяции изображения, на котором формируют данные изображения в местоположении пикселя изображения E, равном каждому местоположению пикселя в изображении D, для которого на этапе оценки соответствующих точек оценено, что соответствующей точки не существует, посредством интерполяции, используя данные изображения, назначенные на этапе назначения соответствующего изображения;

этап уменьшения битовой глубины изображения, на котором формируют изображение F, имеющее такую же битовую глубину, что и у изображения G, путем уменьшения битовой глубины изображения E посредством совмещения карт оттенков;

этап формирования расхождений, на котором вычисляют расхождение между данными изображения в каждом местоположении пикселя у изображения G и данными изображения в том же самом местоположении пикселя в изображении F;

этап установки порога, на котором устанавливают порог;

этап назначения данных изображения, при этом:

когда расхождение в каждом местоположении пикселя, вычисленное на этапе формирования расхождений, меньше либо равно порогу, на этапе назначения данных назначают каждому соответствующему местоположению пикселя в изображении C данные изображения в изображении E и,

когда расхождение в каждом местоположении пикселя, вычисленное на этапе формирования расхождений, больше порога, на этапе назначения данных изображения назначают каждому соответствующему местоположению пикселя в изображении C данные изображения, основывающиеся на данных изображения в изображении D;

этап суммирования сформированных расхождений, на котором вычисляют сумму расхождений в данных изображения в релевантных местоположениях пикселя между изображением C, полученным на этапе выбора изображения, и изображением A; и

этап определения порога, на котором определяют порог, который дает минимальное значение в суммах расхождений, вычисленных на этапе суммирования сформированных расхождений, на основе результата повторения этапа выбора изображения и этапа суммирования сформированных расхождений при изменении порога, установленного на этапе установки порога, в пределах заранее определенного диапазона.

[0027]

В типичном примере, когда расхождение в каждом местоположении пикселя, вычисленное в этапе формирования расхождений, больше порога:

(i) на этапе назначения данных изображения назначают каждому соответствующему местоположению пикселя в изображении C данные изображения из изображения D, или

(ii) на этапе назначения данных изображения назначают каждому соответствующему местоположению пикселя в изображении C взвешенное среднее между данными изображения из изображения D и данными изображение из изображения E.

[0028]

В соответствии с вышеописанным способом формирования изображения, при преобразовании битовой глубины изображения к низкому значению, а затем к высокому значению, когда происходит формирование изображения, имеющего высокую битовую глубину, вышеописанным способом, величина ухудшения качества, вызванная ошибкой оценки соответствующей точки, измеряется, и может быть задан порог для выбора сформированного описанным выше способом изображения, имеющего высокую битовую глубину, что приведет к минимизации ухудшения качества. Величина ухудшения качества может быть измерена, потому что также имеются данные изображения исходной битовой глубины.

[0029]

Параметр порога может быть использован, как описано ниже. После оценки порога значение добавляется в качестве параметра порога к данным изображения, имеющего низкую битовую глубину. Например, параметр порога также хранится в файле, совместно с изображением, имеющим низкую битовую глубину, и другим релевантным изображением. В файл не включаются никакие данные изображения, относящиеся к изображению до момента преобразования к низкой битовой глубине. По этой причине данные изображения, имеющие битовую глубину ниже, чем у исходного изображения, подлежат записи в файл, что снижает размер файла. При чтении файла изображение, имеющее высокую битовую глубину, может быть сформировано на основе изображения с низкой битовой глубиной и другого изображения путем использования параметра порога, при этом изображение, имеющее высокую битовую глубину, имеет минимальное ухудшение субъективного качества изображения.

[0030]

В добавление, когда расхождение в каждом местоположении пикселя, вычисленное на этапе формирования расхождений, больше порога и используется вышеописанный способ (ii), изображение, имеющее битовую глубину, увеличенную с использованием изображения, имеющего низкую битовую глубину, посредством совмещения карт оттенков, не применяется к сигналу формируемого изображения, а применяется взвешенное среднее между изображением, имеющим увеличенную битовую глубину, и изображением, исходно имеющего высокую битовую глубину. Следовательно, является возможным снизить размывание в изображении благодаря увеличению битовой глубины (от изображения с низкой битовой глубиной) путем совмещения карт оттенков.

[0031]

Настоящее изобретение так же предоставляет устройства формирования изображения, которые формирует изображение в соответствии с вышеописанными способами.

Результат изобретения

[0032]

В соответствии с настоящим изобретением для данных изображения, полученных с местоположения камеры, имеющей низкую битовую глубину, могут быть сформированы данные изображения, имеющие высокую битовую глубину, используя данные изображения, полученные с местоположения камеры, имеющей высокую битовую глубину, тем самым уменьшая ухудшение субъективного качества изображения.

ПЕРЕЧЕНЬ ЧЕРТЕЖЕЙ

[0033]

Фиг.1 является схемой, отражающей структуру устройства формирования изображения в качестве первого варианта осуществления настоящего изобретения.

Фиг.2 является логической блок-схемой, отражающей работу устройства формирования изображения по данному варианту варианта осуществления.

Фиг.3 является схемой, отражающей работу устройства формирования изображения в качестве второго варианта осуществления настоящего изобретения.

Фиг.4 является логической блок-схемой, отражающей работу устройства формирования изображения по данному варианту осуществления.

Фиг.5 является схемой, отражающей структуру устройства формирования изображения в качестве третьего варианта осуществления настоящего изобретения.

Фиг.6 является логической блок-схемой, отражающей работу устройства формирования изображения по данному варианту осуществления.

Фиг.7 является схемой, отражающей структуру устройства формирования изображения в качестве разновидности данного варианта осуществления.

Фиг.8 является схемой, отражающей структуру устройства формирования изображения в качестве четвертого варианта осуществления настоящего изобретения.

Фиг.9 является логической блок-схемой, отражающей работу устройства формирования изображения по данному варианту осуществления.

Фиг.10 является схемой, отражающей структуру устройства формирования изображения в качестве разновидности данного варианта осуществления.

Фиг.11 является схемой, отражающей систему создания изображения в нескольких проекциях, имеющую расположение вдоль прямой линии.

Фиг.12 является схемой, отражающей систему создания изображения в нескольких проекциях, имеющую расположение в плоскости.

Фиг.13 является схемой, отражающей систему создания изображения в нескольких проекциях, имеющую расположение по дуге.

Фиг.14 является схемой, отражающей систему создания изображения в нескольких проекциях, имеющую расположение по сферической поверхности.

Ссылочные обозначения

[0034]

101, 201, 301, 401 - модуль увеличения битовой глубины изображения

102, 202, 302, 402 - средство оценки соответствующих точек

103, 203, 303, 403 - модуль назначения соответствующего изображения

204, 304, 404 - средство интерполяции изображения

305, 405 - модуль уменьшения битовой глубины изображения

306, 406 - средство формирования расхождений

307, 407 - средство выбора изображения

308, 408 - средство формирования изображения

409 - модуль суммирования сформированных расхождений

410 - модуль установки порога

411 - модуль определения порога

412 - модуль снижения битовой глубины опорного изображения

НАИЛУЧШИЙ СПОСОБ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

[0035]

Вариант осуществления устройства формирования изображения настоящего изобретения будет показан со ссылкой на чертежи.

[0036]

Первый вариант осуществления

В первом варианте осуществления, изображение A, имеющее низкую битовую глубину, и изображение B, имеющее высокую битовую глубину, которые были получены разными камерами, используются для формирования изображения C, которое соответствует изображению A, но имеет высокую битовую глубину (соответствующую той, что имеет изображение B). В данном случае цвет всех сигналов, получаемых с камер, формируется, используя YUV сигналы (то есть сигнал яркости Y и сигналы цветности U и V). В настоящем варианте осуществления обрабатывается только сигнал Y.

[0037]

Фиг.1 отображает общую структуру устройства. То есть устройство формирования изображения по настоящему варианту осуществления имеет: модуль 101 увеличения битовой глубины изображения для увеличения битовой глубины изображения A таким образом, чтобы сформировать изображение C, имеющее такую же битовую глубину, что и у изображения B; средство 102 оценки соответствующих точек для оценки наличия или отсутствия точки в изображении B, соответствующей каждому местоположению пикселя в изображении C, а также для оценки местоположения релевантной соответствующей точки; и модуль 103 назначения соответствующего изображения для назначения каждому местоположению пикселя в изображении C, для которого средство 102 оценки соответствующих точек оценило, что соответствующая точка существует, данных изображения из соответствующего местоположения в изображении B.

[0038]

Модуль 101 увеличения битовой глубины изображения увеличивает битовую глубину релевантного изображения, используя способ (совмещение карт оттенков), раскрытый в Непатентном Документе 4, таким образом, чтобы сформировать изображение C.

Средство 102 оценки соответствующих точек использует параметры камеры или известные технологии согласования, для того чтобы сделать допущение в отношении одного или более кандидатов пикселя (в изображении B), соответствующего каждому из пикселей в изображении C, и вычисляет абсолютное значение расхождения между каждой парой соответствующих пикселей. Когда минимальное значение из вычисленного(ых) абсолютного(ых) значения(ий) меньше либо равно заранее определенному порогу, средство 102 оценки соответствующих точек, оценивает точку, которая показала наименьшее значение, как соответствующую точку. Когда минимальное значение из вычисленного(ых) абсолютного(ых) значения(ий) больше этого заранее определенного порога, средство 102 оценки соответствующих точек, оценивает, что точки, соответствующей релевантному пикселю в изображении C, не существует.

[0039]

Основываясь на вышеописанном предположении, устройство формирования изображения на Фиг.1 работает, как описано ниже. Фиг.2 является логической блок-схемой, отображающей эту работу.

[0040]

Во-первых, модуль 101 увеличения битовой глубины изображения формирует изображение C путем увеличения битовой глубины изображения A с помощью совмещения карт оттенков (см. этап S10). Средство 102 оценки соответствующих точек оценивает наличие или отсутствие соответствующих точек и их местоположения между изображением C и изображением B посредством вышеописанного способа (см. этап S11). Каждому пикселю изображения C, для которого средство 102 оценки соответствующих точек оценило, что соответствующая точка существует, модуль 103 назначения соответствующего изображения назначает данные изображения из соответствующей точки в изображении B (см. этап S12). Вышеописанным процессом формируется изображение C.

Модуль 101 увеличения битовой глубины изображения может использовать другой способ совмещения карт оттенков.

[0041]

Средство 102 оценки соответствующих точек вычисляет абсолютное значение каждого расхождения между релевантными пикселями в вышеописанном процессе. Тем не менее, оценка может быть произведена, используя блок, состоящий из множества пикселей, где центральный пиксель является целевым пикселем для оценки. Например, для каждого пикселя в изображении C делается допущение касаемо одного или более кандидатов соответствующего пикселя в изображении B, и общая сумма абсолютных значений расхождений от множества пикселей, которые образуют блок и чьим центром является каждый кандидат. Местоположение кандидата, который дает минимальное значение общей суммы, может быть оценено как соответствующая точка.

[0042]

В вышеописанном примере изображение A, имеющее низкую битовую глубину, и изображение B, имеющее высокую битовую глубину, которые были получены разными камерами, используются для формирования изображения C, имеющего высокую битовую глубину. Однако для формирования изображения C, имеющего высокую битовую глубину, могут быть использованы изображение A, имеющее низкую битовую глубину, и изображение B, имеющее высокую битовую глубину, которые были получены с общей камеры, но в разные моменты времени.

[0043]

В добавление, несмотря на то, что в вышеприведенном процессе для формирования изображения C использовались изображения A и B, так же может быть использовано множество изображений B. Пример использования двух изображений B (B1 и B2) будет показан ниже. Будет объяснен процесс для этого случая, при этом структура его такая же, как и у описанного выше.

[0044]

Во-первых, модуль 101 увеличения битовой глубины изображения формирует изображение C путем увеличения битовой глубины изображения A посредством совмещения карт оттенков.

Средство 102 оценки соответствующих точек оценивает наличие или отсутствие соответствующих точек и их местоположения между изображением C и изображением B1 посредством вышеописанного способа. Каждому местоположению в изображении C, для которого средство 102 оценки соответствующих точек оценило, что соответствующая точка существует, модуль 103 назначения соответствующего изображения назначает данные изображения из соответствующего местоположения в изображении B1.

Таким же образом, средство 102 оценки соответствующих точек, оценивает наличие или отсутствие соответствующих точек и их местоположения между изображением C и изображением B2. Каждому местоположению изображения C, для которого средство 102 оценки соответствующих точек оценило, что соответствующая точка существует, модуль 103 назначения соответствующего изображения назначает данные изображения из соответствующего местоположения в изображении B2.

Вышеописанным процессом формируется изображение C.

[0045]

Если оценено, что соответствующая точка существует как в изображении B1, так и B2, то: (i) приоритет может быть отдан любому из заранее определенных B1 и B2 для назначения их данных изображения изображению C; (ii) изображению C могут быть назначены данные изображения B1 или B2, которые имеют наименьшее расхождение от соответствующего пикселя в изображении C; или (iii) изображению C может быть назначено среднее от данных изображения изображений B1 и B2.

Таким же образом может быть сформировано изображение C, имеющее высокую битовую глубину, когда имеются три и более изображений B.

В других вариантах осуществления ниже по тесту, когда существует множество изображений B, процессы могут быть реализованы точно таким же образом.

[0046]

Второй вариант осуществления

Подобно первому варианту осуществления, во втором варианте осуществления для формирования изображения C, которое соответствует изображению A, но имеет высокую битовую глубину, используются полученные разными камерами изображение A, имеющее низкую битовую глубину, и изображение B, имеющее высокую битовую глубину. При этом, если не было найдено соответствующей точки, формирование изображения производится посредством интерполяции, используя данные изображения окружающих пикселей, имеющих высокую битовую глубину.

[0047]

Фиг.3 представляет общую структуру устройства. То есть устройство формирования изображения по настоящему варианту осуществления имеет: модуль 201 увеличения битовой глубины изображения для увеличения битовой глубины изображения A таким образом, чтобы сформировать изображение C; средство 202 оценки соответствующих точек для оценки наличия или отсутствия точки в изображении B, соответствующей каждому местоположению пикселя в изображении C, а также для оценки местоположения релевантной соответствующей точки; модуль 203 назначения соответствующего изображения, для назначения каждому местоположению пикселя в изображении C, для которого средство 202 оценки соответствующих точек оценило, что соответствующая точка существует, данных изображения из соответствующего местоположения в изображении B; и средство 204 интерполяции для формирования данных изображения в каждом местоположении пикселя в изображении C, для которого средство 202 оценки соответствующих точек оценило, что соответствующей точки не существует, используя данные изображения, назначенные модулем 203 назначения изображения.

[0048]

Средство 204 интерполяции изображения формирует данные изображения в каждом местоположении пикселя в изображении C, для которого было оценено, что соответствующей точки не существует, путем использования данных изображения в местоположениях пикселя в изображении B, которые были назначены на основании результатов оценки, подтверждающих существование соответствующих точек. Более конкретно, производится линейная интерполяция в соответствии с расстояниями, измеренными от местоположений пикселей, которым были назначены данные изо