Устройство обнаружения трехмерных объектов

Устройство обнаружения трехмерных объектов

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

[0001] Настоящее изобретение относится к устройству обнаружения трехмерных объектов.

Данная заявка испрашивает приоритет на основе заявки на патент Японии № 2012-046670, поданной 2 марта 2012 года, и заявки на патент Японии, поданной 19 июля 2012 года, и в указанных государствах, которые признают включение документа по ссылке, содержимое, описанное в вышеуказанных заявках, содержится в данном документе по ссылке и считается частью описания настоящей заявки.

Уровень техники

[0002] В известной из уровня техники технологии трехмерный объект обнаруживается из захваченных изображений, захваченных посредством камеры (см. патентный документ 1).

Документы предшествующего уровня техники

Патентные документы

[0003] Патентный документ 1. Выложенная заявка на патент Японии № 2001-273494.

Сущность изобретения

Проблемы, решаемые изобретением

[0004] Тем не менее, в уровне техники четкое захваченное изображение не может быть захвачено, когда объектив камеры полностью загрязняется, и как результат, возникают случаи, в которых другое транспортное средство не может быть обнаружено из захваченного изображения.

[0005] Проблема, которая должна решаться посредством настоящего изобретения, заключается в том, чтобы предоставлять устройство обнаружения трехмерных объектов, способное к точному обнаружению трехмерного объекта, даже когда объектив камеры полностью загрязняется.

Средство для решения указанных проблем

[0006] Настоящее изобретение решает проблему посредством формирования формы разностного сигнала из разности между двумя изображениями вида "с высоты птичьего полета", полученными в различные моменты времени, обнаружения трехмерного объекта на основе формы разностного сигнала, и при этом, задания области изображения в качестве опорной области изображения, в которой прогнозируется обнаружение фиксированного объема информации контуров, вычисления величины четкости изображения в опорной области изображения в качестве опорной резкости, вычисления величины четкости изображения в области обнаружения в качестве резкости объекта и модификации разностного порогового значения для обнаружения разностей между двумя изображениями вида "с высоты птичьего полета" на основе результатов сравнения между опорной резкостью и резкостью объекта.

Полезные эффекты изобретения

[0007] В соответствии с настоящим изобретением, разностное пороговое значение модифицируется в соответствии с четкостью изображения, посредством чего чувствительность обнаружения разностей между изображениями вида "с высоты птичьего полета" может регулироваться в соответствии с четкостью изображения. Следовательно, трехмерный объект может быть надлежащим образом обнаружен, даже когда объектив полностью загрязняется, и изображение не является четким.

Краткое описание чертежей

[0008] Фиг. 1 является структурной схемой транспортного средства, в котором смонтировано устройство обнаружения трехмерных объектов согласно первому варианту осуществления.

Фиг. 2 является видом сверху, иллюстрирующим состояние движения транспортного средства на фиг. 1.

Фиг. 3 является блок-схемой, иллюстрирующей части компьютера согласно первому варианту осуществления.

Фиг. 4 является видом, описывающим общее представление обработки модуля совмещения согласно первому варианту осуществления; фиг. 4(a) является видом сверху, иллюстрирующим состояние движения транспортного средства, а фиг. 4(b) является изображением, иллюстрирующим общее представление совмещения.

Фиг. 5 является видом, иллюстрирующим пример изображения, захватываемого посредством камеры.

Фиг. 6 является видом для описания взаимосвязи между загрязнением объектива и резкостью.

Фиг. 7 является видом для описания способа вычисления опорной резкости на основе опорного значения извлечения.

Фиг. 8 является видом для описания способа сравнения опорной резкости и резкости объекта и вычисления конечной резкости.

Фиг. 9 является графиком для иллюстрации примера взаимосвязи между конечной резкостью и разностным пороговым значением th.

Фиг. 10 является схематичным видом, иллюстрирующим способ, которым форма разностного сигнала формируется посредством модуля обнаружения трехмерных объектов согласно первому варианту осуществления.

Фиг. 11 является видом, описывающим небольшие области, разделенные посредством модуля обнаружения трехмерных объектов согласно первому варианту осуществления.

Фиг. 12 является видом, иллюстрирующим пример гистограммы, получаемой посредством модуля обнаружения трехмерных объектов согласно первому варианту осуществления.

Фиг. 13 является видом, иллюстрирующим взвешивание, используемое посредством модуля обнаружения трехмерных объектов согласно первому варианту осуществления.

Фиг. 14 является видом, иллюстрирующим другой пример гистограммы, получаемой посредством модуля обнаружения трехмерных объектов.

Фиг. 15 является видом, описывающим способ оценки соседнего транспортного средства, присутствующего в соседней полосе движения.

Фиг. 16 является блок-схемой последовательности операций, иллюстрирующей способ обнаружения соседнего транспортного средства согласно первому варианту осуществления (часть 1).

Фиг. 17 является блок-схемой последовательности операций, иллюстрирующей способ обнаружения соседнего транспортного средства согласно первому варианту осуществления (часть 2).

Фиг. 18 является блок-схемой, иллюстрирующей части компьютера согласно второму варианту осуществления.

Фиг. 19 является видом, иллюстрирующим состояние движения транспортного средства; фиг. 19(a) является видом сверху, иллюстрирующим взаимное расположение области обнаружения и т.п., а фиг. 19(b) является видом в перспективе, иллюстрирующим взаимное расположение области обнаружения и т.п. в реальном пространстве.

Фиг. 20 является видом для описания работы модуля вычисления яркостного различия согласно второму варианту осуществления; фиг. 20(a) является видом, иллюстрирующим взаимное расположение линии концентрации внимания, опорной линии, точки концентрации внимания и опорной точки в изображении вида "с высоты птичьего полета", а фиг. 20(b) является видом, иллюстрирующим взаимное расположение линии концентрации внимания, опорной линии, точки концентрации внимания и опорной точки в реальном пространстве.

Фиг. 21 является видом для описания подробной работы модуля вычисления яркостного различия согласно второму варианту осуществления; фиг. 21(a) является видом, иллюстрирующим область обнаружения в изображении вида "с высоты птичьего полета", а фиг. 21(b) является видом, иллюстрирующим взаимное расположение линии концентрации внимания, опорной линии, точки концентрации внимания и опорной точки в изображении вида "с высоты птичьего полета".

Фиг. 22 является видом, иллюстрирующим пример изображения для описания операции обнаружения краев.

Фиг. 23 является видом, иллюстрирующим линию края и распределение яркости на линии края; фиг. 23(a) является видом, иллюстрирующим распределение яркости, когда трехмерный объект (соседнее транспортное средство) присутствует в области обнаружения, а фиг. 23(b) является видом, иллюстрирующим распределение яркости, когда трехмерный объект не присутствует в области обнаружения.

Фиг. 24 является графиком для иллюстрации примера взаимосвязи между конечной резкостью и пороговым значением t края.

Фиг. 25 является блок-схемой последовательности операций, иллюстрирующей способ обнаружения соседнего транспортного средства согласно второму варианту осуществления (часть 1).

Фиг. 26 является блок-схемой последовательности операций, иллюстрирующей способ обнаружения соседнего транспортного средства согласно второму варианту осуществления (часть 2).

Фиг. 27 является видом для описания другого способа сравнения опорной резкости и резкости объекта и вычисления конечной резкости.

Фиг. 28 является видом для описания другого способа сравнения опорной резкости и резкости объекта и вычисления конечной резкости.

Предпочтительные варианты осуществления изобретения

[0009] Вариант 1 осуществления

Фиг. 1 является схематичным видом транспортного средства, в котором смонтировано устройство 1 обнаружения трехмерных объектов согласно первому варианту осуществления. Цель устройства 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления состоит в том, чтобы обнаруживать другое транспортное средство (ниже может называться "соседним транспортным средством"), присутствующее в соседней полосе движения, в которой контакт является возможным, если рассматриваемое транспортное средство V1 собирается сменить полосу движения. Устройство 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления снабжено камерой 10, датчиком 20 скорости и компьютером 30, как проиллюстрировано на фиг. 1.

[0010] Камера 10 крепится к рассматриваемому транспортному средству V1 таким образом, что оптическая ось составляет угол θ вниз от горизонтали в местоположении на высоте h в задней части рассматриваемого транспортного средства V1, как проиллюстрировано на фиг. 1. Из этой позиции, камера 10 захватывает предварительно определенную область окружения рассматриваемого транспортного средства V1. Датчик 20 скорости обнаруживает скорость движения рассматриваемого транспортного средства V1 и вычисляет скорость транспортного средства из скорости вращения колес, обнаруженной, например, посредством датчика скорости вращения колес для обнаружения скорости вращения колеса. Компьютер 30 обнаруживает соседнее транспортное средство, присутствующее в соседней полосе движения позади рассматриваемого транспортного средства.

[0011] Фиг. 2 является видом сверху, иллюстрирующим состояние движения рассматриваемого транспортного средства V1 на фиг. 1. Как проиллюстрировано на чертеже, камера 10 захватывает заднюю сторону относительно транспортного средства под предварительно определенным углом a обзора. В это время, угол a обзора камеры 10 задается равным углу обзора, который дает возможность захвата левой и правой полос движения (соседних полос движения) в дополнение к полосе движения, в которой движется рассматриваемое транспортное средство V1.

[0012] Фиг. 3 является блок-схемой, иллюстрирующей части компьютера 30 на фиг. 1. Камера 10 и датчик 20 скорости также иллюстрируются на фиг. 3, чтобы ясно указывать взаимосвязи соединений.

[0013] Как проиллюстрировано на фиг. 3, компьютер 30 снабжен модулем 31 преобразования точки обзора, модулем 32 совмещения, модулем 33 обнаружения трехмерных объектов, модулем 34 задания разностных пороговых значений и модулем 35 вычисления резкости. Ниже описывается конфигурация этих модулей.

[0014] Захваченные данные изображений предварительно определенной области, полученные посредством захвата, выполняемого посредством камеры 10, вводятся в модуль 31 преобразования точки обзора, и захваченные данные изображений, введенные таким способом, преобразуются в данные изображений вида "с высоты птичьего полета", которые являются состоянием вида "с высоты птичьего полета". Состояние вида "с высоты птичьего полета" является состоянием просмотра с точки зрения воображаемой камеры, которая смотрит сверху вниз, например, вертикально вниз. Преобразование точки обзора может быть выполнено способом, описанным, например, в выложенной заявке на патент Японии № 2008-219063. Причина, по которой захваченные данные изображений преобразуются в данные изображений вида "с высоты птичьего полета", основана на таком принципе, что перпендикулярные края, уникальные для трехмерного объекта, преобразуются в группу прямых линий, которая проходит через конкретную фиксированную точку, посредством преобразования точки обзора в данные изображений вида "с высоты птичьего полета", и использование этого принципа дает возможность различения плоского объекта и трехмерного объекта.

[0015] Данные изображений вида "с высоты птичьего полета", полученные посредством преобразования точки обзора, выполняемого посредством модуля 31 преобразования точки обзора, последовательно вводятся в модуль 32 совмещения, и введенные позиции данных изображений вида "с высоты птичьего полета" в различные моменты времени совмещаются. Фиг. 4 является видом для описания общего представления обработки модуля 32 совмещения, фиг. 4(a) является видом сверху, иллюстрирующим состояние движения рассматриваемого транспортного средства V1, а фиг. 4(b) является изображением, иллюстрирующим общее представление совмещения.

[0016] Как проиллюстрировано на фиг. 4(a), рассматриваемое транспортное средство V1 в данный момент времени размещается в P₁, и рассматриваемое транспортное средство V1 за один момент времени до этого размещается в P₁ʹ. Предполагается, что соседнее транспортное средство V2 размещается в направлении стороны сзади относительно рассматриваемого транспортного средства V1 и движется параллельно рассматриваемому транспортному средству V1, и что соседнее транспортное средство V2 в данный момент времени размещается в P₂, и соседнее транспортное средство V2 за один момент времени до этого размещается в P₂ʹ. Кроме того, предполагается, что рассматриваемое транспортное средство V1 проезжает расстояние d в течение одного момента времени. Фраза "за один момент времени до этого" может быть моментом времени в прошлом, сдвинутым на время, предварительно заданное (например, один цикл управления) с данного момента времени, либо может быть моментом времени в прошлом, сдвинутым на произвольное время.

[0017] В этом состоянии, изображение PB_t вида "с высоты птичьего полета" в текущее время является таким, как показано на фиг. 4(b). Белые линии дорожной разметки, нарисованные на поверхности дороги, являются прямоугольными в этом изображении PB_t вида "с высоты птичьего полета" и являются относительно точными в виде сверху, но соседнее транспортное средство V2 (позиция P₂) сжимается. То же применимо к изображению PB_t-1 вида "с высоты птичьего полета" за один момент времени до этого; белые линии дорожной разметки, нарисованные на поверхности дороги, являются прямоугольными и являются относительно точными в виде сверху, но соседнее транспортное средство V2 (позиция P₂ʹ) сжимается. Как описано выше, перпендикулярные края трехмерного объекта (края, которые расположены вертикально в трехмерном пространстве от поверхности дороги, также включаются в строгий смысл перпендикулярного края) выглядят как группа прямых линий вдоль направления сжатия вследствие процесса преобразования точки обзора в данные изображений вида "с высоты птичьего полета", но поскольку плоское изображение на поверхности дороги не включает в себя перпендикулярные края, такое сжатие не возникает, даже когда точка обзора преобразована.

[0018] Модуль 32 совмещения совмещает изображения PB_t и PB_t-1 вида "с высоты птичьего полета", такие как изображения PB_t и PB_t-1, описанные выше, с точки зрения данных. Когда это выполняется, модуль 32 совмещения смещает изображение PB_t-1 вида "с высоты птичьего полета" за один момент времени до этого и сопоставляет позицию с изображением PB_t вида "с высоты птичьего полета" в данный момент времени. Левое изображение и центральное изображение на фиг. 4(b) иллюстрируют состояние смещения посредством проезжаемого расстояния dʹ. Величина dʹ смещения является величиной перемещения в данных изображений вида "с высоты птичьего полета", которые соответствуют фактическому проезжаемому расстоянию d рассматриваемого транспортного средства V1, проиллюстрированного на фиг. 4(a), и определяется на основе сигнала из датчика 20 скорости и времени от одного момента времени до данного момента времени.

[0019] После совмещения модуль 32 совмещения получает разность между изображениями PB_t и PB_t-1 вида "с высоты птичьего полета" и формирует данные разностного изображения PD_t. В настоящем варианте осуществления, модуль 32 совмещения рассматривает абсолютное значение разности в пиксельных значениях изображений PB_t и PB_t-1 вида "с высоты птичьего полета" таким образом, что оно соответствует варьированию в среде освещения, и когда абсолютное значение равно или превышает предварительно определенное пороговое значение th, пиксельные значения разностного изображения PD_t задаются равными 1, а когда абсолютное значение меньше предварительно определенного порогового значения th, пиксельные значения разностного изображения PD_t задаются равными 0, что дает возможность формирования данных разностного изображения PD_t, к примеру, данных разностного изображения PD_t, проиллюстрированных справа на фиг. 4(b).

[0020] В настоящем варианте осуществления, разностное пороговое значение th, описанное выше, задается посредством модуля 34 задания разностных пороговых значений, показанного на фиг. 3. В настоящем варианте осуществления, модуль 34 задания разностных пороговых значений задает разностное пороговое значение th на основе результатов вычисления нижеописанного модуля 35 вычисления резкости. Ниже описан способ задания разностного порогового значения th, осуществляемый посредством модуля 34 задания разностных пороговых значений и модуля 35 вычисления резкости.

[0021] Модуль 35 вычисления резкости вычисляет величину четкости изображения вида "с высоты птичьего полета" в качестве резкости. Другими словами, модуль 35 вычисления резкости вычисляет резкость как более высокую соразмерно до такой степени, что объект четко отображается в изображении вида "с высоты птичьего полета", и с другой стороны, вычисляет резкость как более низкую соразмерно до такой степени, что объект не отображается четко. Например, когда объектив камеры 10 полностью загрязняется (например, поверхность объектива высыхает после того, как объектив увлажнен посредством дождя, и следы от капель дождя остаются на объективе в форме белой пленки), резкость вычисляется как низкая.

[0022] В настоящем варианте осуществления, модуль 35 вычисления резкости вычисляет два типа резкости, а именно опорную резкость и резкость объекта. При использовании в данном документе, опорная резкость означает резкость в области изображения, в которой прогнозируется то, что предварительно определенный объект присутствует, и резкость объекта означает резкость в областях A1, A2 обнаружения. Ниже описывается способ вычисления опорной резкости и резкости объекта, осуществляемый посредством модуля 35 вычисления резкости. Способ вычисления резкости, описанный ниже, является примером, и ограничения на это не накладываются.

[0023] Сначала описывается способ вычисления опорной резкости. В настоящем варианте осуществления, модуль 35 вычисления резкости сначала задает в качестве опорной области изображения область изображения, в которой может прогнозироваться то, что фиксированное число краев или больше должно быть обнаружено в изображении вида "с высоты птичьего полета". Например, бампер рассматриваемого транспортного средства, корпус камеры 10 для прикрепления камеры 10 к рассматриваемому транспортному средству, номерной знак рассматриваемого транспортного средства и т.п. захватываются в конкретной области изображения в зависимости от позиции установки, угла установки и т.п. камеры 10, как показано на фиг. 5. Такой объект является участком рассматриваемого транспортного средства и присутствует в позиции около камеры 10, смонтированной в рассматриваемом транспортном средстве. Соответственно, когда такой объект захвачен, объект захватывается с относительной ясностью, и может прогнозироваться то, что может быть извлечено фиксированное число краев или больше из захваченного объекта. С учетом вышеизложенного, модуль 35 вычисления резкости задает область изображения, которая соответствует изображению бампера рассматриваемого транспортного средства, корпуса камеры 10, номерного знака рассматриваемого транспортного средства или другого участка рассматриваемого транспортного средства, в качестве опорной области изображения, в которой прогнозируется извлечение фиксированного числа краев. Такое изображение участка рассматриваемого транспортного средства размещается в конкретной области, как проиллюстрировано на фиг. 5, и опорная область изображения может задаваться без обнаружения позиции объекта.

[0024] Способ задания опорной области изображения не ограничивается способом, описанным выше, и опорная область изображения также может задаваться следующим образом. Например, область изображения, которая включает в себя горизонт воды, может задаваться в качестве опорной области изображения. Контрастность легко формируется между небом и океаном в области изображения, содержащей горизонт воды, поскольку прогнозируется то, что может быть извлечено фиксированное число краев или больше. Кроме того, область изображения, содержащая горизонт земли, может задаваться в качестве опорной области изображения, как проиллюстрировано на фиг. 5. Контрастность легко формируется между небом и шоссе в области изображения, содержащей горизонт земли, поскольку прогнозируется то, что может быть извлечено фиксированное число краев или больше. Область изображения, которая соответствует удаленному пейзажу, такому как горизонт воды и горизонт земли, размещается в конкретной области, и, следовательно, можно задавать опорную область изображения без обнаружения позиции объекта, как проиллюстрировано на фиг. 5. Также можно использовать конфигурацию, в которой область изображения, содержащая горизонт воды, задается в качестве опорной области изображения днем, а область изображения, содержащей горизонт земли, задается в качестве опорной области изображения ночью.

[0025] Кроме того, можно использовать конфигурацию, в которой модуль 35 вычисления резкости задает область изображения, содержащую точку схождения шоссе, в качестве опорной области изображения. Это обусловлено тем фактом, что относительная скорость движения объекта в изображении уменьшается в области изображения, содержащей точку схождения шоссе, и, следовательно, края объекта могут быть стабильно обнаружены. Соответственно, задание области изображения около точки схождения, включающей в себя, например, горизонт земли, в качестве опорной области изображения дает возможность модулю 35 вычисления резкости более качественно извлекать фиксированное число краев или больше.

[0026] Дополнительно, модуль 35 вычисления резкости может задавать область изображения, содержащую изображение уличного освещения, передних фар другого транспортного средства или другого источника света, в качестве опорной области изображения. Это обусловлено тем фактом, что контрастность легко формируется между областями с высокой яркостью, такими как уличное освещение и передние фары, и областями с низкой яркостью в их окрестности, и прогнозируется то, что может быть извлечено фиксированное число краев или больше. Способ обнаружения уличного освещения, передних фар и других источников света не ограничен конкретным образом, и модуль 35 вычисления резкости, например, может обнаруживать, в качестве области, соответствующей источнику света, область изображения, имеющую предварительно определенный размер или больше, и в которой разность яркости с окрестностями имеет предварительно определенное значение или выше.

[0027] Модуль 35 вычисления резкости вычисляет величину ясности в изображении в опорной области изображения в качестве опорной резкости. В частности, когда яркостное различие между взаимно соседними пикселами имеет предварительно определенное значение или выше в опорной области изображения, модуль 35 вычисления резкости оценивает то, что край (контур) объекта присутствует между этими взаимно соседними пикселами, и извлекает край объекта из пикселов, имеющих такое яркостное различие. Модуль 35 вычисления резкости вычисляет опорную резкость в опорной области изображения как более высокое значение соразмерно более высокой интенсивности края, извлеченного в опорной области изображения.

[0028] Здесь, фиг. 6 является видом для описания взаимосвязи между загрязнением объектива и резкостью (ясностью изображения). На фиг. 6, вертикальная ось указывает яркость, а горизонтальная ось указывает позицию пикселов. Кроме того, случай, в котором захватываются уличное освещение, передние фары или другой объект, имеющий высокую яркость, предоставляется в качестве примера на фиг. 6. Когда объектив камеры 10 загрязняется, свет, падающий на объектив от объекта, неравномерно отражается посредством грязи, осаждаемой на объективе камеры 10, наклон пика яркости становится постепенным по сравнению с тем, когда объектив не загрязняется, и яркостное различие между пикселами уменьшается, как проиллюстрировано на фиг. 6. Соответственно, модуль 35 вычисления резкости обнаруживает интенсивность контура как низкую, когда объектив камеры 10 загрязнен, и в таком случае вычисляет опорную резкость в качестве низкого значения. С другой стороны, когда объектив не загрязняется, наклон пика яркости является крутым, и яркостное различие между пикселами является существенным, как проиллюстрировано на фиг. 6. Соответственно, модуль 35 вычисления резкости обнаруживает интенсивность контура как высокую, когда объектив камеры 10 не загрязняется, и в таком случае, вычисляет опорную резкость как высокое значение. Таким образом, модуль 35 вычисления резкости вычисляет опорную резкость, указывающую величину ясности изображения, в соответствии с интенсивностью контура.

[0029] Способ вычисления опорной резкости посредством модуля 35 вычисления резкости не ограничивается способом, описанным выше, и опорная резкость может быть вычислена с использованием следующего способа. Другими словами, область, имеющая яркость, равную предварительно определенному значению или выше, может быть обнаружена в качестве области с высокой яркостью, и опорная резкость может быть вычислена на основе наклона яркости около обнаруженной области с высокой яркостью. В частности, модуль 35 вычисления резкости обнаруживает наклон яркости, направленный наружу относительно внешнего края области с высокой яркостью, которая соответствует уличному освещению, передним фарам или другому источнику света, когда область изображения, содержащая изображение уличного освещения, передних фар или другого источника света, задана в качестве опорной области изображения. В этом случае, когда объектив не загрязняется, как проиллюстрировано на фиг. 6, наклон яркости является крутым, и наоборот, когда объектив загрязняется, наклон яркости является постепенным. Соответственно, модуль 35 вычисления резкости обнаруживает крутой наклон яркости, когда объектив камеры 10 не загрязняется, и в этом случае, вычисляет опорную резкость как высокое значение. С другой стороны, когда объектив камеры 10 загрязняется, модуль 35 вычисления резкости обнаруживает постепенный наклон яркости, в этом случае, вычисляет опорную резкость как низкое значение.

[0030] Также можно использовать конфигурацию, в которой опорная резкость вычисляется на основе частотного компонента изображения. Другими словами, частотный компонент объекта извлекается из сигнала изображения, полученного в опорной области изображения, и высокочастотный компонент удаляется посредством обработки извлеченного частотного компонента через фильтр нижних частот. Проводится сравнение частотного компонента с удаленным высокочастотным компонентом и частотного компонента до удаления высокочастотного компонента, и извлекается высокочастотный компонент объекта, чтобы за счет этого вычислять извлеченный высокочастотный компонент в качестве опорной резкости. Высокочастотный компонент объекта, полученного из опорной области изображения, получается из области высокой контрастности опорной области изображения, и более четкое изображение (более высокая контрастность) получается соразмерно большему числу высокочастотных компонентов, и в таком случае, опорная резкость вычисляется как высокое значение.

[0031] Также можно использовать конфигурацию, в которой опорная резкость вычисляется на основе опорного значения извлечения, используемого, когда края извлекаются из опорной области изображения. Здесь, фиг. 7 является видом для описания способа вычисления опорной резкости на основе опорного значения извлечения. Например, в примере, проиллюстрированном на фиг. 7, модуль 35 вычисления резкости извлекает края, имеющие опорное значение ts извлечения или больше, предварительно заданное из опорной области изображения, и оценивает то, извлечено или нет предварительно определенное число краев или больше. Когда предварительно определенное число краев или больше не может быть извлечено, модуль 35 вычисления резкости модифицирует опорное значение ts извлечения до меньшего значения, извлекает края, имеющие модифицированное опорное значение извлечения или больше, и оценивает то, может или нет быть извлечено предварительно определенное число краев или больше в опорной области изображения. Таким образом, модуль 35 вычисления резкости многократно извлекает края при модификации опорного значения извлечения до меньшего значения и указывает опорное значение tsʹ извлечения, при котором может быть извлечено предварительно определенное число краев или больше (наибольшее опорное значение tsʹ извлечения из опорных значений извлечения, в которых может быть извлечено предварительно определенное число краев или больше). В этом случае, когда идентичный объект захвачен, контур размытостей объекта и интенсивность извлеченных краев объекта уменьшаются соразмерно недостаточной ясности изображения вследствие загрязнения объектива, как проиллюстрировано на фиг. 7. Соответственно, когда объектив загрязняется, и ясность изображения является недостаточной, предварительно определенное число краев или больше не может быть извлечено, если опорное значение извлечения не модифицируется до меньшего значения по сравнению с тем, когда объектив не загрязняется, и изображение четко отображается, как проиллюстрировано на фиг. 7. С учетом вышеизложенного, модуль 35 вычисления резкости определяет объектив как загрязненный, и изображение с недостаточной ясностью соразмерно более низкому опорному значению извлечения, при котором может быть извлечено предварительно определенное число краев или больше, и вычисляет опорную резкость как меньшее значение.

[0032] В дополнение к опорной резкости, которая соответствует опорной области изображения, модуль 35 вычисления резкости дополнительно вычисляет величину ясности изображения в областях A1, A2 обнаружения в качестве резкости объекта. За исключением того, что резкость вычисляется в областях A1, A2 обнаружения, способ вычисления резкости объекта является идентичным способу вычисления опорной резкости, и, следовательно, его описание опускается.

[0033] Модуль 35 вычисления резкости затем сравнивает вычисленную опорную резкость и резкость объекта и вычисляет более высокое значение из опорной резкости и резкости объекта в качестве конечной резкости, как проиллюстрировано на фиг. 8. Фиг. 8 является графиком, иллюстрирующим пример конечной резкости, и на фиг. 8, конечная резкость представляется посредством в качестве сплошной линии. Также на фиг. 8, горизонтальная ось указывает время, а вертикальная ось указывает значение резкости.

[0034] Возвращаясь к фиг. 3, модуль 34 задания разностных пороговых значений вычисляет разностное пороговое значение th на основе конечной резкости, вычисленной посредством модуля 35 вычисления резкости. Здесь, фиг. 9 является графиком для иллюстрации взаимосвязи между конечной резкостью и разностным пороговым значением th. Модуль 34 задания разностных пороговых значений задает разностное пороговое значение th более низким соразмерно более низкой конечной резкости и задает разностное пороговое значение th как более высокое значение соразмерно более высокой конечной резкости, как проиллюстрировано на фиг. 9. Разностное пороговое значение th за счет этого задается низким, когда объектив камеры 10 полностью загрязняется, и конечная резкость является низкой.

[0035] Разности между двумя изображениями вида "с высоты птичьего полета", полученными в различные моменты времени, являются местоположениями, в которых изменения возникают в двух изображениях вида "с высоты птичьего полета", полученных в различные моменты времени, т.е. местоположениями, в которых можно истолковать так, что имеется высокая вероятность того, что присутствует трехмерный объект. Соответственно, уменьшение разностного порогового значения th, когда конечная резкость областей обнаружения является низкой, чтобы повышать чувствительность для обнаружения разности между двумя изображениями вида "с высоты птичьего полета", полученными в качестве различных моментов времени, дает возможность простого обнаружения трехмерного объекта в областях обнаружения. Как результат, трехмерный объект может быть надлежащим образом обнаружен в областях обнаружения, даже когда объектив полностью загрязняется, и конечная резкость областей обнаружения является низкой.

[0036] Возвращаясь к фиг. 3, модуль 33 обнаружения трехмерных объектов обнаруживает трехмерный объект на основе данных разностного изображения PD_t, показанных на фиг. 4(b). В этом случае, модуль 33 обнаружения трехмерных объектов вычисляет проезжаемое расстояние трехмерного объекта в фактическом пространстве. Модуль 33 обнаружения трехмерных объектов сначала формирует первую форму разностного сигнала, когда обнаруживается трехмерный объект, и должно быть вычислено проезжаемое расстояние.

[0037] В частности, модуль 33 обнаружения трехмерных объектов формирует форму разностного сигнала в областях обнаружения, заданных посредством нижеописанного модуля 34 задания разностных пороговых значений. Цель устройства 1 обнаружения трехмерных объектов настоящего примера заключается в том, чтобы вычислять проезжаемое расстояние для соседнего транспортного средства, с которым имеется вероятность контакта, если рассматриваемое транспортное средство V1 собирается сменить полосу движения. Соответственно, в настоящем примере, прямоугольные области A1, A2 обнаружения задаются позади рассматриваемого транспортного средства V1, как проиллюстрировано на фиг. 2. Такие области A1, A2 обнаружения могут задаваться из относительной позиции до рассматриваемого транспортного средства V1 или могут задаваться на основе позиции белых линий дорожной разметки. При задании на основе позиции белых линий дорожной разметки, устройство 1 обнаружения трехмерных объектов может использовать, например, известные технологии распознавания белых линий дорожной разметки. Ниже описывается способ задания областей обнаружения, осуществляемый посредством модуля 34 задания разностных пороговых значений.

[0038] Модуль 33 обнаружения трехмерных объектов распознает в качестве линий L1, L2 пересечения с землей границы областей A1, A2 обнаружения, заданных таким способом, на стороне рассматриваемого транспортного средства V1 (стороне вдоль направления движения), как проиллюстрировано на фиг. 2. В общем, линия пересечения с землей означает линию, в которой трехмерный объект контактирует с землей, но в настоящем варианте осуществления, линия пересечения с землей не является линией контакта с землей, в вместо этого задается способом, описанным выше. Даже в таком случае, разность между линией пересечения с землей согласно настоящему варианту осуществления и нормальной линией пересечения с землей, определенной из позиции соседнего транспортного средства V2, не является чрезвычайно большой, как определено посредством опыта, и фактически не представляет собой проблемы.

[0039] Фиг. 10 является схематичным видом, иллюстрирующим способ, которым формируется форма разностного сигнала посредством модуля 33 обнаружения трехмерных объектов. Как проиллюстрировано на фиг. 10, модуль 33 обнаружения трехмерных объектов формирует форму DW_t разностного сигнала из участка, который соответствует областям A1, A2 обнаружения в разностном изображении PD_t (чертеж справа на фиг. 6(b)), вычисленном посредс