Устройство обнаружения трехмерных объектов, способ обнаружения трехмерных объектов

Устройство обнаружения трехмерных объектов, способ обнаружения трехмерных объектов

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Настоящее изобретение относится к устройству обнаружения трехмерных объектов и к способу обнаружения трехмерных объектов.

Данная заявка испрашивает приоритет японской заявки на патент № 2012-166496, поданной 27 июля 2012 года, и в указанных государствах, которые признают включение документа по ссылке, содержимое, описанное в вышеуказанной заявке, содержится в данном документе по ссылке и считается частью описания настоящей заявки.

УРОВЕНЬ ТЕХНИКИ

[0002] С точки зрения использования одной камеры для того, чтобы отслеживать окрестность транспортного средства и обнаруживать капли дождя, известны устройства мониторинга транспортного средства, которые отслеживают окрестность транспортного средства на основе изображений, захваченных посредством камеры, содержащей линзу, допускающую захват изображений с первым фокусным расстоянием для небольших расстояний, с тем чтобы захватывать капли дождя, прилипающие к транспортному средству, и захват изображений со вторым фокусным расстоянием для больших расстояний, с тем чтобы захватывать окрестность транспортного средства (см. патентный документ 1).

ДОКУМЕНТЫ ПРЕДШЕСТВУЮЩЕГО УРОВНЯ ТЕХНИКИ

ПАТЕНТНЫЕ ДОКУМЕНТЫ

[0003] Патентный документ 1. Выложенная японская заявка на патент № 2005-225250

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ПРОБЛЕМЫ, РАЗРЕШАЕМЫЕ ИЗОБРЕТЕНИЕМ

[0004] С точки зрения сокращения затрат в предшествующем уровне техники мониторинг окрестности транспортного средства и обнаружение капель дождя выполняются посредством одной камеры, но, когда фокусное расстояние становится небольшим, и обнаруживаются капли дождя, не может выполняться обнаружение других транспортных средств, присутствующих в окрестности транспортного средства. Это создает такую проблему, что снижается точность обнаружения других транспортных средств.

[0005] Настоящее изобретение разрешает проблему предоставления устройства обнаружения трехмерных объектов, которое может обнаруживать другое транспортное средство, движущееся в смежной полосе движения, с высокой точностью без создания времени необнаружения посредством непрерывного управления обнаружением трехмерных объектов без прерывания в соответствии со окружающей средой, даже во время дождливой погоды в случаях, если струя дождевой воды, которая разбрызгивается посредством рассматриваемого (ведущего) транспортного средства, прилипла к линзе, или в случаях, если свет отражается посредством лужи на поверхности дороги, при обнаружении других транспортных средств, движущихся в смежной полосе движения, рядом с полосой движения рассматриваемого транспортного средства, на основе информации форм разностных сигналов или информации краев.

СРЕДСТВО ДЛЯ РАЗРЕШЕНИЯ УКАЗАННЫХ ПРОБЛЕМ

[0006] Настоящее изобретение разрешает вышеуказанную проблему посредством изменения диапазона настроек, который является пороговым значением скорости движения, применяемым при оценке того, представляет собой или нет трехмерный объект другое транспортное средство, таким образом, чтобы он был более узким, в случае, если обнаруживается состояние дождя, включающее в себя дождь, или в случае, если водяная пленка формируется на поверхности дороги вследствие дождя.

ПРЕИМУЩЕСТВО ИЗОБРЕТЕНИЯ

[0007] В настоящем изобретении во время дождливой погоды, в которой возникает состояние, в котором струя дождевой воды, которая разбрызгивается посредством рассматриваемого транспортного средства, прилипла к линзе, или свет отражается посредством лужи на поверхности дороги, изменяется диапазон настроек, который является пороговым значением скорости движения, применяемым при оценке того, представляет собой или нет трехмерный объект другое транспортное средство, таким образом, чтобы он был более узким, и, следовательно, может предотвращаться ошибочное обнаружение дождевой воды, прилипающей к линзе, или изображения, отражаемого посредством лужи, в качестве изображения другого транспортного средства, движущегося в смежной полосе движения, смежной с полосой движения рассматриваемого транспортного средства. Как результат, может предоставляться устройство обнаружения трехмерных объектов, которое обнаруживает с высокой точностью другое транспортное средство, движущееся в смежной полосе движения, смежной с полосой движения рассматриваемого транспортного средства.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0008] Фиг. 1 является схематичным видом транспортного средства согласно варианту осуществления, к которому применяется устройство обнаружения трехмерных объектов настоящего изобретения.

Фиг. 2 является видом сверху, иллюстрирующим состояние движения транспортного средства на фиг. 1 (обнаружение трехмерных объектов с использованием информации формы разностного сигнала).

Фиг. 3 является блок-схемой, иллюстрирующей подробности компьютера по фиг. 1.

Фиг. 4 является видом для описания общего представления обработки модуля совмещения на фиг. 3 Фиг. 4(a) является видом сверху, иллюстрирующим состояние движения транспортного средства, а фиг. 4(b) является изображением, иллюстрирующим общее представление совмещения.

Фиг. 5 является схематичным видом, иллюстрирующим способ, которым генерируется форма разностного сигнала посредством модуля обнаружения трехмерных объектов по фиг. 3.

Фиг. 6 является видом, иллюстрирующим небольшие области, разделенные посредством модуля обнаружения трехмерных объектов по фиг. 3.

Фиг. 7 является видом, иллюстрирующим пример гистограммы, получаемой посредством модуля обнаружения трехмерных объектов по фиг. 3.

Фиг. 8 является видом, иллюстрирующим взвешивание посредством модуля обнаружения трехмерных объектов по фиг. 3.

Фиг. 9 является видом, иллюстрирующим обработку посредством модуля обнаружения размытостей по фиг. 3 и обработку посредством него для того, чтобы вычислять форму разностного сигнала.

Фиг. 10 является видом, иллюстрирующим другой пример гистограммы, полученной из модуля обнаружения трехмерных объектов по фиг. 3.

Фиг. 11 является блок-схемой последовательности операций способа (часть 1), иллюстрирующей способ обнаружения трехмерных объектов, в котором используется информация формы разностного сигнала, причем способ осуществляется посредством модуля преобразования точки обзора, модуля совмещения и модуля обнаружения размытостей по фиг. 3.

Фиг. 12 является блок-схемой последовательности операций способа (часть 2), иллюстрирующей способ обнаружения трехмерных объектов, в котором используется информация формы разностного сигнала, причем способ осуществляется посредством модуля преобразования точки обзора, модуля совмещения и модуля обнаружения размытостей по фиг. 3.

Фиг. 13 являются видами, иллюстрирующими состояние движения транспортного средства по фиг. 1 (обнаружение трехмерных объектов с использованием информации краев). Фиг. 13(a) является видом сверху, иллюстрирующим позиционную взаимосвязь областей обнаружения и т.п., а фиг. 13(b) является видом в перспективе, иллюстрирующим позиционную взаимосвязь областей обнаружения и т.п. в реальном пространстве.

Фиг. 14 является видом для описания работы модуля вычисления яркостного различия. Фиг. 14(a) является видом, иллюстрирующим позиционную взаимосвязь между линией концентрации внимания, опорной линией, точкой концентрации внимания и опорной точкой в изображении вида «с высоты птичьего полета», а фиг. 14(b) является видом, иллюстрирующим позиционную взаимосвязь между линией концентрации внимания, опорной линией, точкой концентрации внимания и опорной точкой в реальном пространстве.

Фиг. 15 является видом для описания подробной работы модуля вычисления яркостного различия; фиг. 15(a) является видом, иллюстрирующим область обнаружения в изображении вида «с высоты птичьего полета», а фиг. 15(b) является видом, иллюстрирующим позиционную взаимосвязь между линией концентрации внимания, опорной линией, точкой концентрации внимания и опорной точкой в изображении вида «с высоты птичьего полета».

Фиг. 16 является видом, иллюстрирующим линию края и распределение яркости на линии края. Фиг. 16(a) является видом, иллюстрирующим распределение яркости, когда трехмерный объект (транспортное средство) присутствует в области обнаружения, а фиг. 16(b) является видом, иллюстрирующим распределение яркости, когда трехмерный объект не присутствует в области обнаружения.

Фиг. 17 является блок-схемой последовательности операций способа (часть 1), иллюстрирующей способ обнаружения трехмерных объектов, в котором используется информация краев, причем способ осуществляется посредством модуля преобразования точки обзора, модуля вычисления яркостного различия, модуля обнаружения линий краев и модуля обнаружения трехмерных объектов по фиг. 3.

Фиг. 18 является блок-схемой последовательности операций способа (часть 2), иллюстрирующей способ обнаружения трехмерных объектов, в котором используется информация краев, причем способ осуществляется посредством модуля преобразования точки обзора, модуля вычисления яркостного различия, модуля обнаружения линий краев и модуля обнаружения трехмерных объектов по фиг. 3.

Фиг. 19 является видом, иллюстрирующим пример изображения для описания операции обнаружения краев.

Фиг. 20 является видом, иллюстрирующим пример информации изображений, захватываемой во время дождя.

Фиг. 21A является первой блок-схемой последовательности операций способа, иллюстрирующей процедуру управления для оценки трехмерных объектов, которая соответствует результату обнаружения состояния дождя.

Фиг. 21B является видом для описания способа для задания порогового значения скорости движения.

Фиг. 21C является второй блок-схемой последовательности операций способа, иллюстрирующей процедуру управления для оценки трехмерных объектов, которая соответствует результату обнаружения состояния дождя.

Фиг. 21D является видом для описания способа для задания числа обнаружений в течение предварительно определенного времени.

Фиг. 22 является третьей блок-схемой последовательности операций способа, иллюстрирующей процедуру управления для оценки трехмерных объектов, которая соответствует результату обнаружения состояния дождя.

Фиг. 23 является четвертой блок-схемой последовательности операций способа, иллюстрирующей процедуру управления для оценки трехмерных объектов, которая соответствует результату обнаружения состояния дождя.

Фиг. 24 является видом для описания обработки для того, чтобы сужать область обнаружения.

Фиг. 25 является видом, иллюстрирующим пример состояния области обнаружения, когда грязь прилипла к линзе.

Фиг. 26 является видом для описания примера информации краев, когда транспортное средство присутствует в области обнаружения.

Фиг. 27 является видом для описания примера информации краев, когда грязь прилипла к линзе.

Фиг. 28 является первой блок-схемой последовательности операций способа, иллюстрирующей процедуру управления при оценке того, прилипла или нет грязь к линзе.

Фиг. 29A является первым видом для описания способа для оценки того, прилипла или нет грязь к линзе, на основе длин краев.

Фиг. 29B является вторым видом для описания способа для оценки того, прилипла или нет грязь к линзе, на основе длин краев.

Фиг. 30A является первым видом для описания способа для оценки того, прилипла или нет грязь к линзе, на основе числа инверсий краев.

Фиг. 30B является вторым видом для описания способа для оценки того, прилипла или нет грязь к линзе, на основе числа инверсий краев.

Фиг. 31 является второй блок-схемой последовательности операций способа, иллюстрирующей процедуру управления при оценке того, прилипла или нет грязь к линзе.

Фиг. 32A является видом для описания способа для задания порогового значения скорости движения.

Фиг. 32B является видом для описания способа для задания числа обнаружений в течение предварительно определенного времени.

Фиг. 33 является первой блок-схемой последовательности операций способа, иллюстрирующей процедуру управления для оценки трехмерных объектов, когда вещество плотно прилипло к линзе.

ПРЕДПОЧТИТЕЛЬНЫЕ ВАРИАНТЫ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

[0009] Фиг. 1 является схематичным видом транспортного средства согласно варианту осуществления, к которому применяется устройство 1 обнаружения трехмерных объектов согласно настоящему изобретению. Устройство 1 обнаружения трехмерных объектов согласно настоящему примеру представляет собой устройство для обнаружения, в качестве помехи, другого транспортного средства, на которое должен обращать внимание водитель рассматриваемого транспортного средства в процессе вождения, такое как, например, другое транспортное средство, которое может вступать в контакт, когда рассматриваемое транспортное средство V сменяет полосу движения. В частности, устройство 1 обнаружения трехмерных объектов согласно настоящему примеру обнаруживает другое транспортное средство, движущееся в смежной полосе движения, смежной с полосой движения, в которой движется рассматриваемое транспортное средство (далее также просто называемой "смежной полосой движения"). Дополнительно, устройство 1 обнаружения трехмерных объектов согласно настоящему примеру может вычислять проезжаемое расстояние и скорость движения обнаруженного другого транспортного средства. Следовательно, пример, описанный ниже, является примером, в котором устройство 1 обнаружения трехмерных объектов монтируется на рассматриваемом транспортном средстве V, и из числа трехмерных объектов, обнаруженных в окрестности рассматриваемого транспортного средства, обнаруживается другое транспортное средство, движущееся в смежной полосе движения, смежной с полосой движения, в которой движется рассматриваемое транспортное средство V. Как проиллюстрировано на чертеже, устройство 1 обнаружения трехмерных объектов согласно настоящему примеру содержит камеру 10, датчик 20 скорости транспортного средства, компьютер 30, датчик 50 капель дождя, стеклоочиститель 60 и навигационное устройство 70, содержащее устройство 71 связи и GPS-устройство 72.

[0010] Камера 10 присоединена к рассматриваемому транспортному средству V таким образом, что оптическая ось находится под углом θ вниз от горизонтали в местоположении на высоте h в задней части рассматриваемого транспортного средства V, как проиллюстрировано на фиг. 1. Из этой позиции, камера 10 захватывает предварительно определенную область окружения рассматриваемого транспортного средства V. Камера 10 содержит линзу 11 для формирования изображения. В настоящем варианте осуществления, одна камера 10 предоставляется для обнаружения трехмерных объектов в задней части рассматриваемого транспортного средства V, но другие камеры для того, чтобы получать изображения окрестности транспортного средства, например, могут предоставляться для других вариантов применения. Датчик 20 скорости транспортного средства обнаруживает скорость движения рассматриваемого транспортного средства V и, например, вычисляет скорость транспортного средства из скорости вращения колес транспортного средства, обнаруженной посредством датчика скорости вращения колес для обнаружения скорости вращения колес транспортного средства. Компьютер 30 обнаруживает трехмерный объект позади транспортного средства и в настоящем примере вычисляет проезжаемое расстояние и скорость движения трехмерного объекта. Датчик 50 капель дождя, стеклоочиститель 60 и навигационное устройство 70 обнаруживают информацию, связанную с дождем, и отправляют результаты обнаружения в модуль 41 обнаружения состояния дождя, описанный ниже.

[0011] Модуль 41 обнаружения состояния дождя обнаруживает состояние дождя, включающее в себя то, идет или нет дождь, количество дождевых осадков, а также случаи, в которых водяная пленка формируется на поверхности дороги вследствие дождя. Модуль 41 обнаружения состояния дождя обнаруживает присутствие/отсутствие дождя на основе присутствия или отсутствия капель дождя или количества капель дождя, прилипающих к рассматриваемому транспортному средству V, обнаруженного посредством датчика 50 капель дождя, информации приведения в действие для стеклоочистителя 60, информации о погоде на участке движения, полученной через навигационное устройство 70, и т.п. Модуль 41 обнаружения состояния дождя обнаруживает количество дождевых осадков на участке движения рассматриваемого транспортного средства V на основе количества капель дождя, обнаруженных посредством датчика 50 капель дождя, скорости приведения в действие, периода приведения в действие или другой информации приведения в действие стеклоочистителя 60, количества дождевых осадков на участке движения, полученного через навигационное устройство 70, и т.п. Модуль 41 обнаружения состояния дождя может обнаруживать то, "формируется или нет водяная пленка на поверхности дороги вследствие дождя", на основе присутствия или отсутствия дождя и количества дождевых осадков и время от начала дождя. Настоящее обнаружение основано на оценке того, что если количество дождевых осадков равно или превышает предварительно определенное количество, и время, которое прошло с момента, когда закончился дождь, находится в пределах предварительно определенного времени, вероятность того, что водяная пленка формируется на поверхности дороги, является высокой. Например, когда количество капель дождя, обнаруженных посредством датчика 50 капель дождя, равно или превышает предварительно определенное количество, и время, которое прошло с момента, когда датчик 50 капель дождя обнаруживает то, что капли дождя не присутствуют, находится в пределах предварительно определенного времени, стеклоочиститель 60 приводится в действие с частотой, равной или превышающей предварительно определенное значение (период меньше предварительно определенного значения), и когда время, которое прошло с момента, когда завершено приведение в действие стеклоочистителя 60, находится в пределах предварительно определенного времени, и когда время, которое прошло от получения окончания дождя на участке движения посредством навигационного устройства 70, находится в пределах предварительно определенного времени, может обнаруживаться состояние дождя, в котором водяная пленка формируется на поверхности дороги вследствие дождя. Датчик 50 капель дождя, стеклоочиститель 60 и навигационное устройство 70 могут составлять часть модуля 41 обнаружения состояния дождя. Каждое из устройств подробно описывается ниже.

[0012] Фиг. 2 является видом сверху, иллюстрирующим состояние движения рассматриваемого транспортного средства V на фиг. 1. Как проиллюстрировано на чертеже, камера 10 захватывает заднюю часть транспортного средства под предварительно определенным углом a обзора. В это время, угол a обзора камеры 10 задается равным углу обзора, который обеспечивает возможность захвата левой и правой полос движения в дополнение к полосе движения, в которой движется рассматриваемое транспортное средство V. Область, которая может быть захвачена, представляет собой заднюю часть рассматриваемого транспортного средства V и включает в себя области A1, A2, которые должны быть обнаружены, в смежных полосах движения, которые являются смежными справа и слева относительно полосы движения рассматриваемого транспортного средства V. В настоящем варианте осуществления задняя часть транспортного средства включает в себя не только непосредственно заднюю часть транспортного средства, но также и заднюю сторону относительно транспортного средства. Область, захваченная позади транспортного средства, задается согласно углу обзора камеры 10. В качестве одного примера, когда непосредственно задняя часть транспортного средства вдоль направления длины транспортного средства становится равной нуль градусов, настройка может выполняться таким образом, чтобы включать в себя область, которая составляет от 0° до 90° справа и слева от направления непосредственно назад, а предпочтительно, от 0° до 70° и т.п.

[0013] Фиг. 3 является блок-схемой, иллюстрирующей подробности компьютера 30 по фиг. 1. На фиг. 3, камера 10, датчик 20 скорости транспортного средства, датчик 50 капель дождя, стеклоочиститель 60 и навигационное устройство 70 также иллюстрируются, чтобы прояснять взаимосвязи соединений. Датчик 20 скорости транспортного средства, датчик 50 капель дождя, стеклоочиститель 60 и навигационное устройство 70 монтируются на транспортном средстве и могут передавать и принимать информацию в/из компьютера 30 через контроллерную локальную сеть (CAN) или другую бортовую сеть связи.

[0014] Как проиллюстрировано на фиг. 3, компьютер 30 содержит модуль 31 преобразования точки обзора, модуль 32 совмещения, модуль 33 обнаружения трехмерных объектов, модуль 34 оценки трехмерных объектов, модуль 38 обнаружения посторонних веществ, модуль 41 обнаружения состояния дождя, контроллер 39 и модуль 40 обнаружения размытостей. Модуль 30 вычисления настоящего варианта осуществления имеет конфигурацию, связанную с блоком для обнаружения трехмерных объектов с использованием информации формы разностного сигнала. Модуль 30 вычисления настоящего варианта осуществления может иметь конфигурацию, связанную с блоком для обнаружения трехмерных объектов с использованием информации краев. В этом случае для конфигурации, проиллюстрированной на фиг. 3, блочная конфигурация A, сконфигурированная из модуля 32 совмещения и модуля 33 обнаружения трехмерных объектов, может быть заменена блочной конфигурацией B, обведенной посредством штрихпунктирной линии и сконфигурированной из модуля 35 вычисления яркостного различия, модуля 36 обнаружения линий краев и модуля 37 обнаружения трехмерных объектов. Как должно быть очевидным, как блочная конфигурация A, так и блочная конфигурация B могут предоставляться таким образом, что может выполняться как обнаружение трехмерных объектов с использованием информации формы разностного сигнала, так и обнаружение трехмерных объектов с использованием информации краев. Когда предоставляются как блочная конфигурация A, так и блочная конфигурация B, одна из блочной конфигурации A и блочной конфигурации B может быть задана с возможностью работать согласно, например, яркости или другим факторам окружающей среды. Ниже описывается каждая из конфигураций.

[0015] ОБНАРУЖЕНИЕ ТРЕХМЕРНЫХ ОБЪЕКТОВ С ИСПОЛЬЗОВАНИЕМ ИНФОРМАЦИИ ФОРМЫ РАЗНОСТНОГО СИГНАЛА

Устройство 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления обнаруживает трехмерные объекты, присутствующие в правосторонней области обнаружения или в левосторонней области обнаружения позади транспортного средства, на основе информации изображений, полученной посредством однолинзовой камеры 1, которая захватывает заднюю часть транспортного средства.

[0016] Захваченные данные изображений предварительно определенной области, полученные посредством захвата, выполняемого посредством камеры 10, вводятся в модуль 31 преобразования точки обзора, который преобразует точку обзора захваченных данных изображений, введенных таким способом, в данные изображений вида «с высоты птичьего полета», которые представляют собой состояние вида «с высоты птичьего полета». Состояние вида «с высоты птичьего полета» представляет собой состояние просмотра с точки зрения воображаемой камеры, которая смотрит вниз сверху, например, вертикально вниз. Преобразование точки обзора может быть выполнено способом, описанным, например, в выложенной японской заявке на патент № 2008-219063. Причина, по которой точка обзора захваченных данных изображений преобразуется в данные изображений вида «с высоты птичьего полета», основана на таком принципе, что вертикальные края, уникальные для трехмерного объекта, преобразуются в группу прямых линий, которая проходит через конкретную фиксированную точку, посредством преобразования точки обзора в данные изображений вида «с высоты птичьего полета», и использование этого принципа дает возможность различения плоского объекта и трехмерного объекта. Результат обработки преобразования изображений посредством модуля 31 преобразования точки обзора также используется при обнаружении трехмерных объектов с использованием информации краев, описанной ниже.

[0017] Данные изображений вида «с высоты птичьего полета», полученные посредством преобразования точки обзора, выполняемого посредством модуля 31 преобразования точки обзора, последовательно вводятся в модуль 32 совмещения, который совмещает позиции введенных данных изображений вида «с высоты птичьего полета» в различные моменты времени. Фиг. 4 является видом для описания общего представления обработки модуля 32 совмещения, фиг. 4(a) является видом сверху, иллюстрирующим состояние движения рассматриваемого транспортного средства V, а фиг. 4(b) является изображением, иллюстрирующим общее представление совмещения.

[0018] Как проиллюстрировано на фиг. 4(a), рассматриваемое транспортное средство V в данный момент времени размещается в V1, и рассматриваемое транспортное средство V за один момент времени до этого размещается в V2. Предполагается, что другое транспортное средство VX размещается в направлении с задней стороны рассматриваемого транспортного средства V и движется параллельно рассматриваемому транспортному средству V, и что другое транспортное средство VX в текущий момент времени размещается в V3, а другое транспортное средство VX за один момент времени до этого размещается в V4. Кроме того, предполагается, что рассматриваемое транспортное средство V проезжает расстояние d в течение одного момента времени. Фраза "за один момент времени до этого" может быть моментом времени в прошлом на время, определенное заранее (например, один цикл управления) с данного момента времени, либо может быть моментом времени в прошлом на произвольное время.

[0019] В этом состоянии, изображение PBt вида «с высоты птичьего полета» в текущий момент времени является таким, как показано на фиг. 4(b). Белые линии дорожной разметки, нарисованные на поверхности дороги, являются прямоугольными в этом изображении PBt вида «с высоты птичьего полета» и являются относительно точными в виде сверху, но другое транспортное средство VX в позиции V3 сплющивается. То же применимо к изображению PBt-1 вида «с высоты птичьего полета» за один момент времени до этого; белые линии дорожной разметки, нарисованные на поверхности дороги, являются прямоугольными и являются относительно точными в виде сверху, но другое транспортное средство VX в позиции V4 сплющивается. Как описано выше, это обусловлено тем, что вертикальные края трехмерного объекта (также включаются края, которые не располагаются вертикально прямо в трехмерном пространстве от поверхности дороги в строгом смысле вертикального края) выглядят как группа прямых линий вдоль направления сплющивания вследствие процесса для преобразования точки обзора в данные изображений вида «с высоты птичьего полета», но поскольку плоское изображение на поверхности дороги не включает в себя вертикальные края, такое сплющивание не возникает, даже когда точка обзора преобразована.

[0020] Модуль 32 совмещения совмещает изображения PBt и PBt-1 вида «с высоты птичьего полета», такие как изображения PBt и PBt-1, описанные выше, с точки зрения данных. Когда это выполняется, модуль 32 совмещения смещает изображение PBt-1 вида «с высоты птичьего полета» за один момент времени до этого и сопоставляет позицию с изображением PBt вида «с высоты птичьего полета» в данный момент времени. Левое изображение и центральное изображение на фиг. 4(b) иллюстрируют состояние смещения на проезжаемое расстояние d'. Величина d' смещения является величиной перемещения в данных изображений вида «с высоты птичьего полета», которая соответствует фактическому проезжаемому расстоянию d рассматриваемого транспортного средства V, проиллюстрированного на фиг. 4(a), и определяется на основе сигнала из датчика 20 скорости транспортного средства и времени от одного момента времени до этого до данного момента времени.

[0021] После совмещения модуль 32 совмещения получает разность между изображениями PBt и PBt-1 вида «с высоты птичьего полета» и генерирует данные разностного изображения PDt. Пиксельные значения разностного изображения PDt могут быть абсолютными значениями разностей в пиксельных значениях изображений PBt и PBt-1 вида «с высоты птичьего полета» либо, для того чтобы соответствовать среде освещения, могут принимать значение 1, когда абсолютное значение превышает предварительно определенное пороговое значение p, и значение 0 в противном случае. Изображение справа на фиг. 4(b) представляет собой разностное изображение PDt. Пороговое значение p может задаваться заранее или может изменяться согласно команде управления, сгенерированной посредством контроллера 39, описанного ниже.

[0022] Возвращаясь к фиг. 3, модуль 33 обнаружения трехмерных объектов обнаруживает трехмерный объект на основе данных разностного изображения PDt, проиллюстрированных на фиг. 4(b). В этом случае модуль 33 обнаружения трехмерных объектов согласно настоящему примеру вычисляет проезжаемое расстояние трехмерного объекта в реальном пространстве. Модуль 33 обнаружения трехмерных объектов сначала генерирует форму разностного сигнала, когда обнаруживается трехмерный объект, и должно быть вычислено проезжаемое расстояние. Проезжаемое расстояние в единицу времени для трехмерного объекта используется при вычислении скорости движения трехмерного объекта. Скорость движения трехмерного объекта может быть использована при оценке того, представляет собой или нет трехмерный объект транспортное средство.

[0023] При генерировании формы разностного сигнала модуль 33 обнаружения трехмерных объектов согласно настоящему варианту осуществления задает область обнаружения в разностном изображении PDt. Устройство 1 обнаружения трехмерных объектов согласно настоящему примеру обнаруживает, в качестве объекта, который должен быть обнаружен, другое транспортное средство, на которое должен обращать внимание водитель рассматриваемого транспортного средства V, и в частности, другое транспортное средство, движущееся в полосе движения, смежной с полосой движения, в которой движется рассматриваемое транспортное средство V, и с которым может быть возможным контакт, когда рассматриваемое транспортное средство V сменяет полосу движения. Следовательно, в настоящем примере, в котором трехмерные объекты обнаруживаются на основе информации изображений, две области обнаружения задаются на левой стороне и на правой стороне рассматриваемого транспортного средства в изображениях, полученных посредством камеры 1. Более конкретно, в настоящем варианте осуществления прямоугольные области A1, A2 обнаружения задаются на левой стороне и на правой стороне позади рассматриваемого транспортного средства V, как проиллюстрировано на фиг. 2. Другое транспортное средство, обнаруженное в областях A1, A2 обнаружения, обнаруживается в качестве помехи, движущейся в смежной полосе движения, смежной с полосой движения, в которой движется рассматриваемое транспортное средство V. Такие области A1, A2 обнаружения могут задаваться из позиций относительно рассматриваемого транспортного средства V или могут задаваться в отношении позиций белых линий дорожной разметки. Когда задано в отношении позиций белых линий дорожной разметки, устройство 1 обнаружения проезжаемого расстояния, например, может использовать известную технологию распознавания белых линий дорожной разметки.

[0024] Модуль 33 обнаружения трехмерных объектов распознает в качестве линий L1, L2 пересечения с землей (фиг. 2) границы областей A1, A2 обнаружения, заданные таким способом, на стороне рассматриваемого транспортного средства V (на стороне вдоль направления движения). В общем, линия пересечения с землей означает линию, в которой трехмерный объект находится в контакте с землей, но в настоящем варианте осуществления, линия пересечения с землей не представляет собой линию в контакте с землей, а вместо этого задается способом, описанным выше. Даже в таком случае, разность между линией пересечения с землей согласно настоящему варианту осуществления и исходной линией пересечения с землей, определенной из позиции другого транспортного средства VX, не является чрезвычайно большой, как определено посредством опыта, и фактически не представляет собой проблемы.

[0025] Фиг. 5 является схематичным видом, иллюстрирующим способ, которым генерируется форма разностного сигнала посредством модуля 33 обнаружения трехмерных объектов, проиллюстрированного на фиг. 3. Как проиллюстрировано на фиг. 5, модуль 33 обнаружения трехмерных объектов генерирует форму DWt разностного сигнала из части, которая соответствует областям A1, A2 обнаружения в разностном изображении PDt (чертеж справа на фиг. 4(b)), вычисленном посредством модуля 32 совмещения. В этом случае, модуль 33 обнаружения трехмерных объектов генерирует форму DWt разностного сигнала вдоль направления сплющивания трехмерного объекта посредством преобразования точки обзора. В примере, проиллюстрированном на фиг. 5, для удобства описана только область A1 обнаружения, но форма DWt разностного сигнала также генерируется для области A2 обнаружения с использованием идентичной процедуры.

[0026] Более конкретно, модуль 33 обнаружения трехмерных объектов задает линию La в направлении, в котором трехмерный объект сплющивается в данных разностного изображения DWt. Модуль 33 обнаружения трехмерных объектов затем подсчитывает число разностных пикселов DP, указывающих предварительно определенную разность, на линии La. Когда пиксельные значения разностного изображения DWt являются абсолютными значениями разностей пиксельных значений в изображениях PBt, PBt-1 вида «с высоты птичьего полета», разностные пикселы DP, указывающие предварительно определенную разность, являются пикселами, превышающими предварительно определенное пороговое значение, а когда пиксельные значения разностного изображения DWt представляются посредством 0 и 1, разностные пикселы DP, указывающие предварительно определенную разность, являются пикселами, указывающими 1.

[0027] Модуль 33 обнаружения трехмерных объектов подсчитывает число разностных пикселов DP и после этого определяет точку CP пересечения линии La и линии L1 пересечения с землей. Модуль 33 обнаружения трехмерных объектов затем коррелирует точку CP пересечения и подсчитанное число, определяет позицию на горизонтальной оси, т.е. позицию на оси в вертикальном направлении на чертеже справа на фиг. 5, на основе позиции точки CP пересечения, определяет позицию на вертикальной оси, т.е. позицию на оси в поперечном направлении на чертеже справа на фиг. 5, из подсчитанного числа и определяет позиции на графике в качестве подсчитанного числа в точке CP пересечения.

[0028] Аналогично, модуль 33 обнаружения трехмерных объектов задает линии Lb, Lc, ..., в направлении, в котором трехмерный объект сплющивается, подсчитывает число разностных пикселов DP, определяет позицию на горизонтальной оси на основе позиции каждой точки CP пересечения, определяет позицию на вертикальной оси из подсчитанного числа (числа разностных пикселов DP) и определяет позиции на графике. Модуль 33 обнаружения трехмерных объектов повторяет вышеуказанное в последовательности, чтобы формировать частотное распределение и за счет этого генерировать форму DWt разностного сигнала, как проиллюстрировано на чертеже справа на фиг. 5.

[0029] Линии La, Lb в направлении, в котором трехмерный объект сплющивается, имеют различные расстояния, которые перекрывают область A1 обнаружения, как проиллюстрировано на чертеже слева на фиг. 5. Соответственно, число разностных пикселов DP больше на линии La, чем на линии Lb, когда предполагается, что область A1 обнаружения заполнена разностными пикселами DP. По этой причине, модуль 33 обнаружения трехмерных объектов выполняет нормализацию на основе расстояния, на котором перекрываются линии La, Lb в направлении, в котором трехмерный объект сплющивается, и область A1 обнаружения, когда позиция на вертикальной оси определяется из подсчитанного числа разностных пикселов DP. В конкретном примере, предусмотрено