Устройство обнаружения трехмерного объекта и способ обнаружения трехмерного объекта

Устройство обнаружения трехмерного объекта и способ обнаружения трехмерного объекта

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение относится к устройству обнаружения трехмерного объекта и способу обнаружения трехмерного объекта.

УРОВЕНЬ ТЕХНИКИ

Традиционно было предложено устройство обнаружения трехмерного объекта, которое обнаруживает горизонтальные края или вертикальные края в реальном пространстве исходя из вида с высоты птичьего полета, полученного подверганием захваченного изображения преобразованию точки обзора в точку обзора с высоты птичьего полета, а затем обнаруживает трехмерный объект, такой как транспортное средство, используя количество этих краев. В этом устройстве обнаружения трехмерного объекта вертикальные края в реальном пространстве проецируются и появляются на виде с высоты птичьего полета в качестве группы радиальных прямых линий, пересекающих точку обзора камеры. На основе этих сведений устройство обнаружения трехмерного объекта обнаруживает трехмерный объект, обнаруживая вертикальные края, а затем используя количество вертикальных краев (см. патентный документ 1).

ДОКУМЕНТ ПРЕДШЕСТВУЮЩЕГО УРОВНЯ ТЕХНИКИ

ПАТЕНТНЫЙ ДОКУМЕНТ

Патентный документ 1: Публикация № Hei 4-163249 заявки на патент Японии

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ПРОБЛЕМА

Однако трехмерный объект на виде с высоты птичьего полета, полученном подверганием захваченного изображения преобразованию точки обзора в точку обзора с высоты птичьего полета, растягивается в зависимости от его высоты. Соответственно, на виде с высоты птичьего полета край, появляющийся в верхнем положении трехмерного объекта (край в верхнем положении в реальном пространстве), имеет более низкое разрешение, чем край в нижнем положении трехмерного объекта (край в нижнем положении в реальном пространстве). Между тем ширина края в нижнем положении трехмерного объекта становится меньшей.

Отсюда возникает проблема, когда края обнаруживаются посредством использования дифференциального фильтра три пикселя на три пикселя, как в технологии, описанной в патентном документе 1. Что касается края в верхнем положении трехмерного объекта, край, который присутствует фактически, может не обнаруживаться вследствие своего низкого разрешения. Что касается края в нижнем положении трехмерного объекта, край может определяться в качестве шума и не обнаруживаться в качестве края вследствие своей малой ширины. Вследствие этих причин устройство обнаружения трехмерного объекта, описанное в патентном документе 1, имеет такую проблему, что ухудшается точность обнаружения трехмерного объекта.

Настоящее изобретение было сделано, чтобы решить такую проблему предшествующего уровня техники, и его цель состоит в том, чтобы предоставить устройство обнаружения трехмерного объекта и способ обнаружения трехмерного объекта, допускающие улучшение точности обнаружения трехмерного объекта.

РЕШЕНИЕ ПРОБЛЕМЫ

Для решения вышеупомянутой проблемы настоящее изобретение создает изображение вида с высоты птичьего полета, выполняя обработку преобразования точки обзора над изображением, захваченным средством захвата изображений, затем вычисляет для каждого из множества положений вдоль вертикальной воображаемой линии, тянущейся в вертикальном направлении в реальном пространстве, яркостное различие между двумя пикселями возле положения и обнаруживает трехмерный объект на основе непрерывностей вычисленных яркостных различий соответственных положений.

ЭФФЕКТ ИЗОБРЕТЕНИЯ

В настоящем изобретении, когда изображение предопределенной зоны осматривается из точки обзора с высоты птичьего полета, устанавливается вертикальная воображаемая линия, тянущаяся в вертикальном направлении в реальном пространстве, и трехмерный объект обнаруживается на основании непрерывностей яркостных различий вдоль вертикальной воображаемой линии. Более точно, в настоящем изобретении, когда яркостные различия высоки, край трехмерного объекта вероятно должен существовать на участке с высоким яркостным контрастом. Таким образом, трехмерный объект может обнаруживаться на основании непрерывных яркостных различий. В частности, поскольку два пикселя вдоль вертикальной воображаемой линии, тянущейся в вертикальном направлении в реальном пространстве, сравниваются друг с другом, обнаружение не находится под влиянием явления, при котором трехмерный объект растягивается в зависимости от высоты от поверхности дороги, это явление вызвано преобразованием точки обзора для преобразования захваченного изображения в изображение вида с высоты птичьего полета. Соответственно, в настоящем изобретении может быть улучшена точность обнаружения трехмерного объекта.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг.1 - схема конфигурации устройства обнаружения трехмерного объекта по варианту осуществления, которая является структурной схемой, показывающей пример, где устройство обнаружения трехмерного объекта установлено на транспортном средстве.

Фиг.2 - вид, показывающий зону захвата изображения камеры в устройстве обнаружения трехмерного объекта, показанном в качестве первого варианта осуществления, на котором часть (a) - вид сверху, показывающий взаимное расположение между зонами обнаружения и т.п., и часть (b) - вид в перспективе, показывающий взаимное расположение между зонами обнаружения и т.п. в реальном пространстве.

Фиг.3 - структурная схема, показывающая функциональную конфигурацию устройства обнаружения трехмерного объекта, показанного в качестве первого варианта осуществления.

Фиг.4 - вид, показывающий операции части вычисления яркостного различия в устройстве обнаружения трехмерного объекта, показанном в качестве первого варианта осуществления, на котором часть (a) - вид, показывающий взаимное расположение между линией внимания, опорной линией, точкой внимания и опорной точкой на изображении вида с высоты птичьего полета, и часть (b) - вид, показывающий взаимное расположение между линией внимания, опорной линией, точкой внимания и опорной точкой в реальном пространстве.

Фиг.5 - вид, показывающий подробные операции части вычисления яркостного различия в устройстве обнаружения трехмерного объекта, показанном в качестве первого варианта осуществления, на котором часть (a) показывает зону обнаружения на изображении вида с высоты птичьего полета, и часть (b) - вид, показывающий взаимное расположение между линией внимания, опорной линией, точками внимания и опорными точками на изображении вида с высоты птичьего полета.

Фиг.6 - вид, показывающий краевые линии и распределение яркости на каждой из краевых линий, на котором часть (a) показывает краевую линию и распределение яркости на краевой линии в случае, где трехмерный объект (транспортное средство) существует в зоне обнаружения, и часть (b) показывает краевую линию и распределение яркости на краевой линии в случае, где трехмерный объект существует в зоне обнаружения.

Фиг.7 - блок-схема последовательности операций способа, показывающая рабочие процедуры, выполняемые устройством обнаружения трехмерного объекта, показанным в качестве первого варианта осуществления.

Фиг.8 - блок-схема последовательности операций способа, показывающая рабочие процедуры, выполняемые устройством обнаружения трехмерного объекта, показанным в качестве первого варианта осуществления.

Фиг.9 - вид, показывающий пример изображения для пояснения операции обнаружения краев в устройстве обнаружения трехмерного объекта, показанном в качестве первого варианта осуществления.

Фиг.10 - вид, показывающий подробные операции части вычисления яркостного различия в устройстве обнаружения трехмерного объекта, показанном в качестве второго варианта осуществления, на котором часть (a) показывает зону обнаружения на изображении вида с высоты птичьего полета, и часть (b) - вид, показывающий взаимное расположение между вертикальной воображаемой линией L, первыми опорными точками и вторыми опорными точками на изображении вида с высоты птичьего полета.

Фиг.11 - блок-схема последовательности операций способа, показывающая общую работу в устройстве обнаружения трехмерного объекта, показанном в качестве второго варианта осуществления.

Фиг.12 - блок-схема последовательности операций способа, показывающая операцию обнаружения для вертикального края, которая выполняется устройством обнаружения трехмерного объекта, показанным в качестве второго варианта осуществления.

Фиг.13 - другой вид, показывающий подробные операции части вычисления яркостного различия в устройстве обнаружения трехмерного объекта, показанном в качестве второго варианта осуществления, на котором часть (a) показывает зону обнаружения на изображении вида с высоты птичьего полета, и часть (b) - вид, показывающий взаимное расположение между вертикальной воображаемой линией L, первыми опорными точками и вторыми опорными точками на изображении вида с высоты птичьего полета.

Фиг.14 - пояснительная схема изменения порогового значения в зависимости от взаимного расположения между вертикальной воображаемой линией, первыми опорными точками и вторыми опорными точками, в устройстве обнаружения трехмерного объекта, показанном в качестве второго варианта осуществления.

Фиг.15 - блок-схема последовательности операций способа, показывающая другую операцию обнаружения вертикального края, которая выполняется устройством обнаружения трехмерного объекта, показанным в качестве второго варианта осуществления.

Фиг.16 - структурная схема, показывающая функциональную конфигурацию устройства обнаружения трехмерного объекта, показанного в качестве третьего варианта осуществления.

Фиг.17 - вид, показывающий операции части вычисления интенсивности края в устройстве обнаружения трехмерного объекта, показанном в качестве третьего варианта осуществления, на котором часть (a) - вид, показывающий зависимость между зоной обнаружения, линией L_a внимания и интенсивностью края в изображении вида с высоты птичьего полета, в котором существует трехмерный объект, и часть (b) - вид, показывающий зависимость между зоной обнаружения, линией L_a внимания и интенсивностью края в изображении вида с высоты птичьего полета, в котором не существует трехмерный объект.

Фиг.18 - блок-схема последовательности операций способа, показывающая рабочие процедуры, выполняемые устройством обнаружения трехмерного объекта, показанным в качестве третьего варианта осуществления.

ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Варианты осуществления настоящего изобретения описаны ниже на основании чертежей. Фиг.1 - схема конфигурации устройства 1 обнаружения трехмерного объекта по вариантам осуществления. В вариантах осуществления показаны примеры, в которых устройство 1 обнаружения трехмерного объекта установлено на транспортном средстве V1. Как показано на фиг.1, устройство 1 обнаружения трехмерного объекта включает в себя камеру 10 (средство захвата изображения) и вычислитель 20.

Камера 10 прикреплена к задней оконечной части транспортного средства V1 в положении на высоте h. Камера 10 прикреплена таким образом, чтобы ее оптическая ось была наклонена вниз от горизонтальной линии на угол θ. Камера 10 захватывает изображение предопределенной зоны из этого положения прикрепления. Камера 10 подает захваченное изображение на вычислитель 20. Вычислитель 20 обнаруживает присутствие и отсутствие трехмерного объекта по диагонали сзади транспортного средства V1, используя изображение, подаваемое из камеры 10.

Фиг.2 - вид, показывающий диапазон захвата изображения и т.п. камеры 10, показанной на фиг.1. Часть (a) по фиг.2 показывает вид сверху. Часть (b) по фиг.2 показывает вид в перспективе реального пространства по диагонали сзади транспортного средства V1. Как показано в части (a) по фиг.2, камера 10 имеет предопределенный угол a обзора. Камера 10 захватывает изображение зоны по диагонали сзади транспортного средства V1 в пределах предопределенного угла a обзора. Угол a обзора камеры 10 установлен таким образом, чтобы не только полоса движения, в которой движется транспортное средство V1, но также полосы движения, прилегающие к ней, были включены в диапазон захвата изображения камеры 10.

Вычислитель 20 выполняет различные типы обработки для участков в зонах A₁, A₂ обнаружения трехмерного объекта, который должен быть обнаружен, в захваченном изображении, захваченном камерой 10. Вычислитель 20, в силу этого, определяет, существует ли трехмерный объект (в частности, другое транспортное средство V2) в зонах A₁, A₂ обнаружения. Зоны A₁, A₂ обнаружения каждая имеет трапецеидальную форму на виде сверху. Положение, размер и форма каждой из зон A₁, A₂ обнаружения определяются на основании расстояний с d₁ по d₄.

Расстояние d₁ является расстоянием от транспортного средства V1 до линии L₁ или L₂ контакта с землей. Линия L₁ или L₂ контакта с землей является линией, где трехмерный объект, существующий в полосе движения, прилегающей к полосе, в которой движется транспортное средство V1, входит в контакт с поверхностью земли. Цель варианта осуществления состоит в том, чтобы обнаруживать другое транспортное средство V2 и т.п. (включая двухколесные транспортные средства и т.п.), которое расположено по диагонали сзади транспортного средства V1 и движется в смежной полосе движения по левую или правую сторону от полосы движения транспортного средства V1. Соответственно, расстояние d₁, которое является расстоянием до положения линии L₁ или L₂ контакта с землей другого транспортного средства V2, может по существу неизменно определяться расстоянием d₁₁ от транспортного средства V1 до белой линии (дорожная разметка) W и расстоянием d₁₂ от белой линии W до положения, где ожидается, что должно двигаться другое транспортное средство V2.

Расстояние d₁ необязательно определяется неизменно и может быть переменным. В этом случае вычислитель 20 распознает положение белой линии W относительно транспортного средства V1, используя технологию распознавания белой линии и т.п., и определяет расстояние d₁₁ на основе распознанного положения белой линии W. Расстояние d₁, таким образом, устанавливается переменным образом посредством использования определенного расстояния d₁₁.

В варианте осуществления, поскольку положение, где движется другое транспортное средство V2 (расстояние d₁₂ от белой линии W), и положение, где движется транспортное средство V1 (расстояние d₁₁ от белой линии W), приблизительно постоянны, предполагается, что расстояние d₁ определяется неизменно.

Расстояние d₂ является расстоянием в направлении движения транспортного средства от задней оконечной части транспортного средства V1. Расстояние d₂ определяется таким образом, чтобы по меньшей мере зоны A₁, A₂ обнаружения были включены в угол a обзора камеры 10. В частности, в варианте осуществления расстояние d₂ устанавливается таким образом, чтобы каждая из зон A₁, A₂ обнаружения прилегала к зоне, определенной углом a обзора.

Расстояние d₃ является расстоянием, показывающим длину каждой из зон A₁, A₂ обнаружения в направлении движения транспортного средства. Расстояние d₃ определяется на основании размера трехмерного объекта, который должен быть обнаружен. В варианте обнаружения, поскольку другое транспортное средство V2 и т.п. должны быть обнаружены, расстояние d₃ устанавливается равным длине, при которой может быть включено другое транспортное средство V2.

Как показано в части (b) по фиг.2, расстояние d₄ является расстоянием, указывающим высоту, установленную, чтобы включать в себя шины другого транспортного средства V2 и т.п. в реальном пространстве. Расстояние d₄ устанавливается в такую длину, как показано в части (a) по фиг.2, в изображении вида с высоты птичьего полета. Предпочтительно, чтобы расстояние d₄ устанавливалось равным длине, не включающей в себя полосы движения (то есть полосы движения, которые на две полосы движения отдалены от полосы движения транспортного средства V1), прилегающие к правой и левой соседним полосам движения на изображении вида с высоты птичьего полета. Это обусловлено следующей причиной. Когда учитываются полосы движения, которые расположены за две полосы движения от полосы движения транспортного средства V1, невозможно определить, находится ли другое транспортное средство V2 в прилегающей полосе движения по правую или левую сторону от полосы движения, в которой движется транспортное средство V1, или другое транспортное средство V2 находится в полосе движения, которая расположена за две полосы от нее.

Расстояния d₁-d₄ определяются, как описано выше. Положение, размер и форма каждой из зон A₁, A₂ обнаружения определяются следующим образом. Чтобы быть точными, положение верхнего края b₁ каждой из зон A₁, A₂ обнаружения, имеющих трапециевидные формы, определяется из расстояния d₁. Положение C₁ начальной точки верхнего края b₁ определяется из расстояния d₂. Положение C₂ конечной точки верхнего края b₁ определяется из расстояния d₃. Боковой край b₂ каждой из зон A₁, A₂ обнаружения, имеющих трапециевидные формы, определяется из прямой линии L₃, тянущейся от камеры 10 по направлению к положению C₁ начальной точки. Подобным образом боковой край b₃ каждой из зон A₁, A₂ обнаружения, имеющих трапециевидные формы, определяется из прямой линии L₄, тянущейся от камеры 10 по направлению к положению C₂ конечной точки. Нижняя граница b₄ каждой из зон A₁, A₂ обнаружения, имеющих трапециевидные формы, определяется из расстояния d₁. Зоны, окруженные краями b₁-b₄, указываются ссылкой как зоны A₁, A₂ обнаружения. Как показано в части (b) по фиг.2, зоны A₁, A₂ обнаружения имеют квадратные формы (прямоугольные формы) в реальном пространстве по диагонали сзади транспортного средства V1.

В варианте осуществления зоны A₁, A₂ обнаружения имеют трапецеидальные формы в точке обзора с высоты птичьего полета. Однако зоны A₁, A₂ обнаружения не ограничены вышеизложенным и могут иметь другие формы, такие как квадратные формы в точке обзора с высоты птичьего полета.

Фиг.3 - структурная схема, показывающая подробности вычислителя 20, показанного на фиг.1. На фиг.3 камера 10 также проиллюстрирована для прояснения взаимосвязи соединений.

Как показано на фиг.3, вычислитель 20 включает в себя часть 21 преобразования точки обзора (средство преобразования точки обзора), часть 22 вычисления яркостного различия (средство вычисления яркостного различия), часть 23 обнаружения краевых линий (средство обнаружения краевых линий) и часть 24 обнаружения трехмерного объекта (средство обнаружения трехмерного объекта). Вычислитель 20 является компьютером, включающим в себя ЦПУ (центральное процессорное устройство, CPU), ОЗУ (оперативное запоминающее устройство, RAM), ПЗУ (постоянное запоминающее устройство, ROM) и т.п. Вычислитель 20 реализует функции части 21 преобразования точки обзора, части 22 вычисления яркостного различия, части 23 обнаружения краевых линий и части 24 обнаружения трехмерного объекта посредством выполнения обработки изображений и т.п. согласно предустановленной программе.

Часть 21 преобразования точки обзора принимает данные захваченного изображения предопределенной зоны, которые получены посредством изображения, захваченного камерой 10. Часть 21 преобразования точки обзора выполняет обработку преобразования точки обзора над принятыми данными захваченного изображения, в которой данные захваченного изображения преобразуются в данные изображения вида с высоты птичьего полета в состоянии вида с высоты птичьего полета. Состояние изображения вида с высоты птичьего полета является состоянием, где изображение получается как будто из точки обзора виртуальной камеры, например, обозревающей транспортное средство вертикально вниз (или слегка наклонно вниз) сверху. Обработка преобразования точки обзора, например, осуществляется посредством технологии, описанной в публикации № 2008-219063 заявки на выдачу патента Японии.

Часть 22 вычисления яркостного различия вычисляет яркостное различие в данных изображения вида с высоты птичьего полета, подвергнутых преобразованию точки обзора частью 21 преобразования точки обзора, чтобы обнаруживать край трехмерного объекта, включенного в изображение вида с высоты птичьего полета. Часть 22 вычисления яркостного различия вычисляет, для каждого из многочисленных положений вдоль вертикальной воображаемой линии, тянущейся в вертикальном направлении в реальном пространстве, яркостное различие между двумя пикселями возле положения.

Часть 22 вычисления яркостного различия вычисляет яркостное различие посредством использования любого одного из способа установки одной вертикальной воображаемой линии, тянущейся в вертикальном направлении в реальном пространстве, и способа установки двух вертикальных воображаемых линий.

Дано описание конкретного способа установки двух вертикальных воображаемых линий. Исходя из изображения вида с высоты птичьего полета, подвергнутого преобразованию точки обзора, часть 22 вычисления яркостного различия устанавливает первую вертикальную воображаемую линию, которая соответствует линейному сегменту, тянущемуся в вертикальном направлении в реальном пространстве, и вторую вертикальную воображаемую линию, которая отлична от первой вертикальной воображаемой линии и которая соответствует линейному сегменту, тянущемуся в вертикальном направлении в реальном пространстве. Часть 22 вычисления яркостного различия получает яркостное различие между точками на первой вертикальной воображаемой линии и точками на второй вертикальной воображаемой линии, непрерывно вдоль первой вертикальной воображаемой линии и второй вертикальной воображаемой линии. Эта операция части 22 вычисления яркостного различия подробно описана ниже.

Как показано в части (a) по фиг.4, часть 22 вычисления яркостного различия устанавливает первую вертикальную воображаемую линию L_a (в дальнейшем указываемую ссылкой как линия L_a внимания), которая соответствует линейному сегменту, тянущемуся в вертикальном направлении в реальном пространстве, и которая проходит через зону A₁ обнаружения. Часть 22 вычисления яркостного различия устанавливает вторую вертикальную воображаемую линию L_r (в дальнейшем указываемую ссылкой как опорная линия L_r), которая отлична от линии L_a внимания и соответствует линейному сегменту, тянущемуся в вертикальном направлении в реальном пространстве, и которая проходит через зону A₁ обнаружения. Опорная линия L_r устанавливается в положении, удаленном от линии L_a внимания на предопределенное расстояние в реальном пространстве. Линии, соответствующие линейным сегментам, тянущимся в вертикальном направлении в реальном пространстве, являются линиями, тянущимися радиально от положения P_s камеры 10 в изображении вида с высоты птичьего полета.

Часть 22 вычисления яркостного различия устанавливает точку P_a внимания на линии L_a внимания (точку на первой вертикальной воображаемой линии). Часть 22 вычисления яркостного различия устанавливает опорную точку P_r на опорной линии L_r (точку на второй вертикальной воображаемой линии).

Зависимость между линией L_a внимания, точкой P_a внимания, опорной линией L_r и опорной точкой P_r в реальном пространстве является такой, как показанная в части (b) по фиг.4. Как очевидно из части (b) по фиг.4, линия L_a внимания и опорная линия L_r тянутся в вертикальном направлении в реальном пространстве. Точка P_a внимания и опорная точка P_r установлены на почти одной и той же высоте в реальном пространстве. Нет необходимости устанавливать точку P_a внимания и опорную точку P_r строго на одной и той же высоте, и, естественно, есть допуск до такой степени, что точка P_a внимания и опорная точка P_r считаются находящимися по существу на одной и той же высоте.

Часть 22 вычисления яркостного различия получает яркостное различие между точкой P_a внимания и опорной точкой P_r. Когда яркостное различие между точкой P_a внимания и опорной точкой P_r велико, край вероятно существует между точкой P_a внимания и опорной точкой P_r. Отсюда, часть 23 обнаружения краевых линий, показанная на фиг.3, обнаруживает краевую линию на основе яркостного различия между точкой P_a внимания и опорной точкой P_r.

Эта операция описана более подробно. Фиг.5 - второй вид, показывающий подробную работу части 22 вычисления яркостного различия, показанной на фиг.3. Часть (a) по фиг.5 показывает изображение вида с высоты птичьего полета, снятое из точки обзора с высоты птичьего полета, а часть (b) показывает частично увеличенный вид изображения вида с высоты птичьего полета, показанного в части (a) по фиг.5. Хотя только зона A₁ обнаружения проиллюстрирована на фиг.5, яркостное различие может вычисляться подобным образом для зоны A₂ обнаружения.

Когда другое транспортное средство V2 включено в захваченное изображение, захваченное камерой 10, другое транспортное средство V2 появляется в зоне A₁ обнаружения в изображении вида с высоты птичьего полета, как показано в части (a) по фиг.5. Предположим, что линия L_a внимания установлена на резиновом участке шины другого транспортного средства V2 в изображении вида с высоты птичьего полета, как показано в части (b) по фиг.5, которая является увеличенным видом области B1 в части (a) по фиг.5.

В этом состоянии часть 22 вычисления яркостного различия сначала устанавливает опорную линию L_r. Опорная линия L_r устанавливается в вертикальном направлении в положении, удаленном от линии L_a внимания на предопределенное расстояние в реальном пространстве. Более точно, в устройстве 1 обнаружения трехмерного объекта по варианту осуществления опорная линия L_r установлена в положении, удаленном от линии L_a внимания на 10 см в реальном пространстве. Соответственно, на изображении вида с высоты птичьего полета опорная линия L_r, например, установлена на колесе у шины другого транспортного средства V2, которое находится в 10 см в стороне от резинового участка шины другого транспортного средства V2.

Затем часть 22 вычисления яркостного различия устанавливает многочисленные точки P_a1-P_aN внимания на линии L_a внимания. Например, в части (b) по фиг.5 шесть точек P_a1-P_a6 внимания (что касается произвольной точки внимания, точка в дальнейшем указывается ссылкой просто как точка P_ai внимания) установлены для удобства описания. Количество точек P_a внимания, установленных на линии L_a внимания, является любым количеством. В описании, приведенном ниже, описание дано при допущении, что N точек P_a внимания установлено на линии L_a внимания.

Впоследствии, часть 22 вычисления яркостного различия устанавливает опорные точки P_r1-P_rN таким образом, чтобы опорные точки P_r1-P_rN и точки P_a1-P_aN внимания были расположены соответственно на одних и тех же высотах в реальном пространстве.

Затем, часть 22 вычисления яркостного различия вычисляет яркостное различие между точками P_a внимания и опорными точками P_r, расположенными на одной и той же высоте. Часть 22 вычисления яркостного различия, в силу этого, вычисляет яркостное различие между двумя пикселями для каждого из многочисленных положений (1-N) вдоль вертикальной воображаемой линии, тянущейся в вертикальном направлении в реальном пространстве. Например, часть 22 вычисления яркостного различия вычисляет яркостное различие между первой точкой P_a1 внимания и первой опорной точкой P_r1 и вычисляет яркостное различие между второй точкой P_a2 внимания и второй опорной точкой P_r2. Часть 22 вычисления яркостного различия, в силу этого, непрерывно получает яркостные различия вдоль линии L_a внимания и опорной линии L_r. Часть 22 вычисления яркостного различия в таком случае последовательно получает яркостные различия между с третьей по N-ую точками P_a3-P_aN внимания и с третьей по N-ую опорными точками P_r3-P_rN.

Часть 22 вычисления яркостного различия перемещает линию L_a внимания в зоне A₁ обнаружения и повторно выполняет обработку, такую как установка опорной линии L_r, установка точек P_a внимания и опорных точек P_r, и вычисление яркостных различий. Более точно, часть 22 вычисления яркостного различия изменяет соответственные положения линии L_a внимания и опорной линии L_r на одно и то же расстояние в направлении удлинения линии контакта с землей в реальном пространстве и повторно выполняет обработку, описанную выше. Например, часть 22 вычисления яркостного различия устанавливает линию, устанавливавшуюся в качестве опорной линии L_r при предыдущей обработке, заново в качестве линии L_a внимания, устанавливает новую опорную линию L_r для новой линии L_a внимания, а затем последовательно получает яркостные различия.

Вновь со ссылкой на фиг.3, часть 23 обнаружения краевых линий обнаруживает краевую линию по непрерывным яркостным различиям, вычисленным частью 22 вычисления яркостного различия. Например, в случае, показанном в части (b) по фиг.5, поскольку первая точка P_a1 внимания и первая опорная точка P_r1 обе расположены на одном и том же участке шины, яркостное различие между ними невелико. Между тем, со второй по шестую точки P_a2-P_a6 внимания расположены на резиновом участке шины, в то время как со второй по шестую опорные точки P_r2-P_r6 расположены в колесной части шины. Соответственно, яркостные различия между со второй по шестую точками P_a2-P_a6 внимания и со второй по шестую опорными точками P_r2-P_r6 велики. Часть 23 обнаружения краевых линий, таким образом, может обнаруживать существование краевой линии между со второй по шестую точками P_a2-P_a6 внимания и со второй по шестую опорными точками P_r2-P_r6, которые имеют большие яркостные различия между ними.

Более точно, при обнаружении краевой линии часть 23 обнаружения краевых линий сначала добавляет атрибут к i-й точке P_ai внимания из яркостного различия между i-й точкой P_ai внимания (координатами xi, yi)) и i-й опорной точкой P_ri (координатами (xi', yi')), в соответствии с формулой (1), показанной ниже.

[Формула 1]

s(xi, yi)=1

(Когда удовлетворено I(xi, yi)>I(xi', yi')+t)

s(xi, yi)=-1 (1)

(Когда удовлетворено I(xi, yi)<I(xi', yi')-t)

s(xi, yi)=0

(В случаях, иных чем описанные выше)

В формуле (1), показанной выше, t представляет собой пороговое значение. I(xi, yi) представляет собой значение яркости i-й точки P_ai внимания. I(xi', yi') представляет собой значение яркости i-й опорной точки P_ri. В формуле (1), показанной выше, когда значение яркости точки P_ai внимания является более высоким, чем значение яркости, полученное прибавлением порогового значения t к значению яркости опорной точки P_ri, атрибут s(xi, yi) точки P_ai внимания имеет значение «1». Между тем, когда значение яркости точки P_ai внимания находится ниже, чем значение яркости, полученное вычитанием порогового значения t из значения яркости опорной точки P_ri, атрибут s(xi, yi) точки P_ai внимания имеет значение «-1». Когда зависимость между значением яркости точки P_ai внимания и значением яркости опорной точки P_ri является иной, чем описанные выше, атрибут s(xi, yi) точки P_ai внимания имеет значение «0».

Затем часть 23 обнаружения краевых линий определяет, является ли линия L_a внимания краевой линией, из непрерывности c(xi, yi) атрибутов s вдоль линии L_a внимания, на основе формулы (2), показанной ниже.

[Формула 2]

c(xi, yi)=1

(Когда s(xi, yi)=s(xi+1, yi+1) удовлетворено, за исключением случая 0=0)

c(xi, yi)=0 (2)

(В случаях, иных чем описанные выше)

Когда атрибут s(xi, yi) точки P_ai внимания и атрибут s(xi+1, yi+1) точки P_ai+1 внимания, прилегающей к ней, совпадают друг с другом, непрерывность c(xi, yi) имеет значение «1». Когда атрибут s(xi, yi) точки P_ai внимания и атрибут s(xi+1, yi+1) точки P_ai+1 внимания, прилегающей к ней, не совпадают друг с другом, непрерывность c(xi, yi) имеет значение «0».

Впоследствии, часть 23 обнаружения краевых линий получает сумму непрерывностей c(xi, yi) всех точек P_a внимания на линии L_a внимания. Часть 23 обнаружения краевых линий затем нормализует непрерывности c посредством деления полученной суммы непрерывностей c на число N точек P_a внимания. Часть 23 обнаружения краевых линий определяет, что линия L_a внимания является краевой линией, когда нормализованное значение превышает пороговое значение θ. Пороговое значение θ является значением, заранее заданным на основании эксперимента и т.п.

Более точно, часть 23 обнаружения краевых линий определяет, является ли линия L_a внимания краевой линией, на основе формулы (3), показанной ниже.

[Формула 3]

∑c(xi, yi)/N>θ (3)

Часть 23 обнаружения краевых линий выполняет определение краевой линии для всех из линий L_a внимания, начерченных в зоне A₁ обнаружения.

Вновь со ссылкой на фиг.3 часть 24 обнаружения трехмерного объекта обнаруживает трехмерный объект на основе количества краевых линий, обнаруженных частью 23 обнаружения краевых линий. Как описано выше, устройство 1 обнаружения трехмерного объекта по варианту осуществления обнаруживает краевую линию, тянущуюся в вертикальном направлении в реальном пространстве. Обнаружение многих краевых линий, тянущихся в вертикальном направлении, означает, что трехмерный объект вероятно должен существовать в зоне A₁ или A₂ обнаружения. Часть 24 обнаружения трехмерного объекта, таким образом, обнаруживает трехмерный объект на основе количества краевых линий, обнаруженных частью 23 обнаружения краевых линий.

Более того, перед выполнением обнаружения трехмерного объекта часть 24 обнаружения трехмерного объекта определяет, является ли каждая из краевых линий, обнаруженных частью 23 обнаружения краевых линий, надлежащей краевой линией. Часть 24 обнаружения трехмерного объекта определяет, является ли изменение яркости вдоль краевой линии в изображении вида с высоты птичьего полета на краевой линии большим, чем предопределенное пороговое значение. Когда изменение яркости в изображении вида с высоты птичьего полета на краевой линии является большим, чем пороговое значение, краевая линия определяется обнаруженной ошибочным определением. Между тем, когда изменение яркости в изображении вида с высоты птичьего полета на краевой линии не является большим, чем пороговое значение, краевая линия определяется как надлежащая краевая линия. Пороговое значение является значением, заранее заданным на основании эксперимента и т.п.

Фиг.6 - вид, показывающий распределение яркости и краевые линий. Часть (a) по фиг.6 показывает краевую линию и распределение яркости в случае, где другое транспортное средство V2 в качестве трехмерного объекта существует в зоне A₁ обнаружения. Часть (b) по фиг.6 показывает краевую линию и распределение яркости в случае, где никакого трехмерного объекта не существует в зоне A₁ обнаружения.

Предположим, что линия L_a внимания, установленная на резиновой части шины другого транспортного средства V2, определяется краевой линией в изображении вида с высоты птичьего полета, как показано в части (a) по фиг.6. В этом случае изменение яркости в изображении вида с высоты птичьего полета на линии L_a внимания является умеренным. Это происходит потому, что изображение, захваченное камерой 10, подвергается преобразованию точки обзора в изображение вида с высоты птичьего полета (точку обзора с высоты птичьего полета), и, в силу этого, шина другого транспортного средства V2 растягивается в изображении вида