Устройство вычисления собственной позиции и способ вычисления собственной позиции

Устройство вычисления собственной позиции и способ вычисления собственной позиции

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

[0001] Настоящее изобретение относится к устройству вычисления собственной позиции и к способу вычисления собственной позиции.

Уровень техники

[0002] Традиционно известна технология, в которой: камеры, установленные в транспортном средстве, захватывают и получают изображения окрестности транспортного средства; и величина перемещения транспортного средства получается на основе изменений изображений (см., например, патентный документ 1). Патентный документ 1 направлен на точное получение величины перемещения транспортного средства, даже если транспортное средство перемещается незначительно на низкой скорости. С этой целью, характерную точку обнаруживают из каждого изображения; получают позицию характерной точки; и в силу этого получают величину перемещения транспортного средства из направления и расстояния перемещения (величины перемещения) характерной точки.

[0003] Помимо этого, известна технология выполнения трехмерного измерения с использованием лазерного лучевого проектора для проецирования лазерного луча в сетчатом шаблоне (сформированного по шаблону светового луча) (см., например, патентный документ 2). Согласно патентному документу 2, захватывают изображение области проецируемого светового луча с установленным шаблоном с помощью камеры; извлекают световой луч с установленным шаблоном из захваченного изображения; и получают поведение транспортного средства из позиции сформированного по шаблону светового луча.

Список библиографических ссылок

Патентные документы

[0004] Патентный документ 1. Публикация заявки на патент (Япония) номер 2008-175717

Патентный документ 2. Публикация заявки на патент (Япония) номер 2007-278951

Сущность изобретения

Техническая задача

[0005] Тем не менее, в среде вне помещений, когда сформированный по шаблону световой луч проецируется на поверхность дороги, как описано в патентном документе 2, сформированный по шаблону световой луч находится под влиянием окружающего света. По этой причине затруднительно обнаруживать сформированный по шаблону световой луч, проецируемый на поверхность дороги.

Решение задачи

[0006] Настоящее изобретение осуществлено с учетом вышеуказанной проблемы. Задача настоящего изобретения заключается в том, чтобы предоставлять устройство вычисления собственной позиции и способ вычисления собственной позиции, которые допускают: точное обнаружение сформированного по шаблону светового луча, проецируемого на поверхность дороги; и точное вычисление собственной позиции транспортного средства.

[0007] Устройство вычисления собственной позиции согласно аспекту настоящего изобретения вычисляет текущую позицию и текущий угол ориентации транспортного средства посредством: проецирования сформированного по шаблону светового луча на поверхность дороги вокруг транспортного средства из светового проектора; получения изображения поверхности дороги вокруг транспортного средства, включающей в себя область, на которую проецируется сформированный по шаблону световой луч, с помощью модуля захвата изображений; извлечения позиции сформированного по шаблону светового луча из изображения, полученного с помощью модуля захвата изображений; вычисления угла ориентации транспортного средства относительно поверхности дороги из извлеченной позиции сформированного по шаблону светового луча; вычисления величины изменения ориентации транспортного средства на основе временных изменений нескольких характерных точек на поверхности дороги в изображении, полученном с помощью модуля захвата изображений; и суммирования величины изменения ориентации с начальной позицией и начальным углом ориентации транспортного средства. Кроме того, если обнаруженное условие сформированного по шаблону светового луча равно или выше порогового значения, когда позиция сформированного по шаблону светового луча извлекается, наложенное изображение формируется посредством наложения изображений в кадрах, полученных с помощью модуля захвата изображений, и позиция сформированного по шаблону светового луча извлекается из наложенного изображения.

Краткое описание чертежей

[0008] Фиг. 1 является блок-схемой, показывающей общую конфигурацию устройства вычисления собственной позиции по первому варианту осуществления.

Фиг. 2 является внешним видом, показывающим пример того, как световой проектор 11 и камера 12 устанавливаются в транспортном средстве 10.

Фиг. 3(a) является схемой, показывающей то, как позиции высвеченных областей на поверхности 31 дороги вычисляются с использованием базовой длины Lb между световым проектором 11 и камерой 12, а также координат (U_j, V_j) световых пятен в изображении. Фиг. 3(b) является принципиальной схемой, показывающей то, как, направление перемещения камеры 12 получается из временных изменений характерной точки, обнаруженной из области 33, отличающейся от области, на которую проецируется сформированный по шаблону световой луч 32a.

Фиг. 4(a) и 4(b) являются схемой, показывающей изображение сформированного по шаблону светового луча 32a, полученное с помощью камеры 12 и подвергнутое процессу преобразования в двоичную форму. Фиг. 4(a) является схемой, полностью показывающей сформированный по шаблону световой луч 32a. Фиг. 4(b) является увеличенной схемой, показывающей одно световое пятно S_p. Фиг. 4(c) является схемой, показывающей позиции He центра тяжести соответствующих световых пятен S_p, извлеченных посредством модуля 21 извлечения сформированного по шаблону светового луча.

Фиг. 5 является принципиальной схемой для пояснения способа вычисления величины изменения расстояния и величины изменения угла ориентации.

Фиг. 6(a) показывает пример первого кадра 38 (изображения), полученного во время t. Фиг. 6(b) показывает второй кадр 38', полученный во время (t+Δt), которое является продолжительностью Δt после времени t.

Фиг. 7(a) показывает величину перемещения транспортного средства, которая требуется для того, чтобы формировать наложенное изображение, когда внешняя среда является яркой. Фиг. 7(b) показывает то, как формировать наложенное изображение, когда внешняя среда является яркой.

Фиг. 8(a) показывает величину перемещения транспортного средства, которая требуется для того, чтобы формировать наложенное изображение, когда внешняя среда является темной. Фиг. 8(b) показывает то, как формировать наложенное изображение, когда внешняя среда является темной.

Фиг. 9(a)-9(d) являются временными диаграммами, соответственно, показывающими изменение флага сброса, изменение числа изображений, которые должны накладываться, изменение условия, при котором обнаруживаются характерные точки, и изменение числа ассоциированных характерных точек в устройстве вычисления собственной позиции по первому варианту осуществления.

Фиг. 10 является блок-схемой последовательности операций способа, показывающей пример способа вычисления собственной позиции с использованием устройства вычисления собственной позиции, показанного на фиг. 1.

Фиг. 11 является блок-схемой последовательности операций способа, показывающей подробную процедуру для этапа S18, показанного на фиг. 10.

Фиг. 12 является блок-схемой, показывающей общую конфигурацию устройства вычисления собственной позиции по второму варианту осуществления.

Фиг. 13 является схемой для пояснения того, как оценивать величину изменения высоты поверхности дороги из позиции сформированного по шаблону светового луча во втором варианте осуществления.

Фиг. 14(a)-14(e) являются временными диаграммами, соответственно, показывающими изменение флага сброса, предварительно определенный интервал этапа S201, изменение числа изображений, которые должны накладываться, изменение состояния поверхности дороги между хорошим и плохим и изменение размеров ухабов (неровности) поверхности дороги, в устройстве вычисления собственной позиции по второму варианту осуществления.

Фиг. 15 является блок-схемой последовательности операций способа, показывающей технологическую процедуру для процесса вычисления собственной позиции, который должен выполняться посредством устройства вычисления собственной позиции по второму варианту осуществления.

Фиг. 16 является блок-схемой последовательности операций способа, показывающей подробную технологическую процедуру для этапа S28, показанного на фиг. 15, которая должна выполняться посредством устройства вычисления собственной позиции по второму варианту осуществления.

Фиг. 17 является блок-схемой, показывающей общую конфигурацию устройства вычисления собственной позиции по третьему варианту осуществления.

Фиг. 18(a) и 18(b) являются временными диаграммами, соответственно, показывающими изменение яркости и изменение флага обнаружения характерных точек в устройстве вычисления собственной позиции по третьему варианту осуществления.

Фиг. 19(a)-19(c) являются пояснительными схемами, показывающими сформированные по шаблону световые лучи и характерные точки в устройстве вычисления собственной позиции по третьему варианту осуществления.

Фиг. 20(a)-20(d) являются временными диаграммами, соответственно, показывающими изменение флага сброса, изменение времени завершения каждого цикла, изменение числа частот, которые должны накладываться, и изменение мощности проецирования света в устройстве вычисления собственной позиции по третьему варианту осуществления.

Фиг. 21 является блок-схемой последовательности операций способа, показывающей технологическую процедуру, которой должно придерживаться устройство вычисления собственной позиции по третьему варианту осуществления.

Подробное описание вариантов осуществления

[0009] Со ссылкой на чертежи, приводится описание для первого-третьего вариантов осуществления. В описании чертежей, идентичные компоненты обозначаются посредством идентичных ссылок с номерами. Описание таких компонентов опускается.

[0010] Первый вариант осуществления

Аппаратная конфигурация

Для начала, со ссылкой на фиг. 1, ниже приводится описание аппаратной конфигурации устройства вычисления собственной позиции по первому варианту осуществления. Устройство вычисления собственной позиции включает в себя световой проектор 11, камеру 12 и модуль 13 управления двигателем (ECU). Световой проектор 11 устанавливается в транспортном средстве и проецирует сформированный по шаблону световой луч на поверхность дороги вокруг транспортного средства. Камера 12 устанавливается в транспортном средстве и является примером модуля захвата изображений, выполненного с возможностью захватывать и за счет этого получать изображения поверхности дороги вокруг транспортного средства, в том числе и области проецируемого сформированного по шаблону светового луча. ECU 13 является примером контроллера, выполненного с возможностью управлять световым проектором 11 и выполнять последовательность циклов обработки информации для оценки величины перемещения транспортного средства из изображений, полученных с помощью камеры 12.

[0011] Камера 12 представляет собой цифровую камеру с использованием полупроводникового датчика изображений, к примеру, CCD и CMOS, и получает обрабатываемые цифровые изображения. То, что захватывает камера 12, представляет собой поверхность дороги вокруг транспортного средства. Поверхность дороги вокруг транспортного средства включает в себя поверхности дороги впереди, сзади, по бокам и под транспортным средством. Как показано на фиг. 2, камера 12 может устанавливаться в передней секции транспортного средства 10, более конкретно, например, над передним бампером.

[0012] Высота и направление, в которых можно задавать камеру 12, регулируются таким способом, который позволяет камере 12 захватывать изображения характерных точек (текстур) на поверхности 31 дороги перед транспортным средством 10 и сформированного по шаблону светового луча 32b, проецируемого из светового проектора 11. Фокус и диафрагма линзы камеры 12 также регулируются автоматически. Камера 12 многократно захватывает изображения с предварительно определенными временными интервалами и за счет этого получает последовательность групп изображений (кадров). Данные изображений, полученные с помощью камеры 12, передаются в ECU 13 и сохраняются в запоминающем устройстве, включенном в ECU 13.

[0013] Как показано на фиг. 2, световой проектор 11 проецирует сформированный по шаблону световой луч 32b, имеющий предварительно определенную форму, в том числе квадратную или прямоугольную сетчатую форму, на поверхность 31 дороги в диапазоне захвата изображений камеры 12. Камера 12 захватывает изображения сформированного по шаблону светового луча, проецируемого на поверхность 31 дороги. Световой проектор 11 включает в себя, например, лазерный указатель и дифракционную решетку. Дифракционная решетка дифрагирует лазерный луч, проецируемый из указателя. В силу этого, как показано на фиг. 2-4, световой проектор 11 формирует сформированный по шаблону световой луч (32b, 32a), который включает в себя несколько световых пятен S_p, размещаемых в сетчатом или матричном шаблоне. В примерах, показанных на фиг. 3 и 4, световой проектор 11 формирует сформированный по шаблону световой луч 32a, включающий в себя 5*7 световых пятен S_p.

[0014] Возвращаясь к фиг. 1, ECU 13 включает в себя CPU, запоминающее устройство и микроконтроллер, включающий в себя секцию ввода-вывода. Посредством выполнения предварительно установленных компьютерных программ, ECU 13 формирует несколько информационных процессоров, включенных в устройство вычисления собственной позиции. Для каждого изображения (кадра) ECU 13 многократно выполняет последовательность циклов обработки информации для вычисления собственной позиции транспортного средства из изображений, полученных с помощью камеры 12. В этой связи ECU 13 также может использоваться в качестве ECU для управления другими системами, связанными с транспортным средством 10.

[0015] Несколько информационных процессоров включают в себя модуль 21 извлечения сформированного по шаблону светового луча (формирователь наложенных изображений), модуль 22 вычисления угла ориентации, детектор 23 характерных точек, модуль 24 вычисления величины изменения ориентации, секцию 25 определения яркости (секцию определения условий обнаружения сформированного по шаблону светового луча), модуль 26 вычисления собственной позиции, контроллер 27 сформированного по шаблону светового луча, секцию 28 определения условий обнаружения и секцию 29 определения состояний вычисления. Детектор 23 характерных точек может быть включен в модуль 24 вычисления величины изменения ориентации.

[0016] Модуль 21 извлечения сформированного по шаблону светового луча считывает изображение, полученное с помощью камеры 12, из запоминающего устройства и извлекает позицию сформированного по шаблону светового луча из изображения. Например, как показано на фиг. 3(a), световой проектор 11 проецирует сформированный по шаблону световой луч 32a, который включает в себя несколько световых пятен, размещаемых в матричном шаблоне, на поверхность 31 дороги, в то время как камера 12 обнаруживает сформированный по шаблону световой луч 32a, отражаемый от поверхности 31 дороги. Модуль 21 извлечения сформированного по шаблону светового луча применяет процесс преобразования в двоичную форму к изображению, полученному с помощью камеры 12, и за счет этого извлекает только изображение световых пятен S_p, как показано на фиг. 4(a) и 4(b). Как показано на фиг. 4(c), модуль 21 извлечения сформированного по шаблону светового луча извлекает позицию сформированного по шаблону светового луча 32a посредством вычисления позиции He центра тяжести каждого светового пятна S_p, другими словами, координаты (U_j, V_j) каждого светового пятна S_p в изображении. Координаты выражаются с использованием числа, назначаемого соответствующему пикселу в датчике изображений камеры 12. В случае если сформированный по шаблону световой луч включает в себя 5*7 световых пятен S_p, j является целым числом, не меньшим 1, но не большим 35. Запоминающее устройство сохраняет координаты (U_j, V_j) светового пятна S_p в изображении в качестве данных по позиции сформированного по шаблону светового луча 32a.

[0017] Модуль 22 вычисления угла ориентации считывает данные по позиции сформированного по шаблону светового луча 32a из запоминающего устройства и вычисляет расстояние и угол ориентации транспортного средства 10 относительно поверхности 31 дороги из позиции сформированного по шаблону светового луча 32a в изображении, полученном с помощью камеры 12. Например, как показано на фиг. 3(a), с использованием принципа тригонометрических измерений, модуль 22 вычисления угла ориентации вычисляет позицию каждой области световых пятен на поверхности 31 дороги, в качестве позиции каждой области световых пятен относительно камеры 12, из базовой длины Lb между световым проектором 11 и камерой 12, а также координат (U_j, V_j) каждого светового пятна в изображении. После этого модуль 22 вычисления угла ориентации вычисляет уравнение плоскости поверхности 31 дороги, на которую проецируется сформированный по шаблону световой луч 32a, другими словами, расстояние и угол ориентации (вектор нормали) камеры 12 относительно поверхности 31 дороги, из позиции каждого светового пятна относительно камеры 12. Следует отметить, что в варианте осуществления расстояние и угол ориентации камеры 12 относительно поверхности 31 дороги вычисляются в качестве примера расстояния и угла ориентации транспортного средства 10 относительно поверхности 31 дороги, поскольку позиция установки камеры 12 в транспортном средстве 10 и угол для захвата изображений посредством камеры 12 уже известны. В дальнейшем в этом документе расстояние и угол ориентации камеры 12 относительно поверхности 31 дороги сокращенно называются "расстоянием и углом ориентации". Расстояние и угол ориентации, вычисленные посредством модуля 22 вычисления угла ориентации, сохраняются в запоминающем устройстве.

[0018] Более конкретно, поскольку камера 12 и световой проектор 11 закрепляются на транспортном средстве 10, направление, в котором можно проецировать сформированный по шаблону световой луч 32a, и расстояние (базовая длина Lb) между камерой 12 и световым проектором 11 уже известны. По этой причине с использованием принципа тригонометрических измерений модуль 22 вычисления угла ориентации допускает получение позиции каждой области световых пятен на поверхности 31 дороги в качестве позиции (X_j, Y_j, Z_j) каждой области световых пятен относительно камеры 12 из координат (U_j, V_j) каждого светового пятна в изображении.

[0019] Следует отметить, что во многих случаях позиция (X_j, Y_j, Z_j) каждого светового пятна относительно камеры 12 не присутствует на идентичной плоскости. Это обусловлено тем, что относительная позиция каждого светового пятна изменяется согласно неровности асфальта поверхности 31 дороги. По этой причине метод наименьших квадратов может использоваться для того, чтобы получать уравнение плоскости, которое минимизирует сумму квадратов разности расстояния каждого светового пятна.

[0020] Детектор 23 характерных точек считывает изображение, полученное с помощью камеры 12, из запоминающего устройства и обнаруживает характерные точки на поверхности 31 дороги из изображения, считываемого из запоминающего устройства. Чтобы обнаруживать характерные точки на поверхности 31 дороги, детектор 23 характерных точек может использовать способ, описанный в работе D. G. Lowe "Distinctive Image Features from Scale-Invariant Keypoints", Int. J. Comput. Vis., издание 60, № 2, стр. 91-110, ноябрь 2000 года. В противном случае, может использоваться способ, описанный в работе авторов Kanazawa Yasushi, Kanatani Kenichi "Detection of Feature Points for Computer Vision", IEICE Journal, издание 87, № 12, стр. 1043-1048, декабрь 2004 года.

[0021] Более конкретно, например, детектор 23 характерных точек использует оператор Харриса или оператор SUSAN, поскольку эти точки, к примеру, вершины объекта, значения яркости которых существенно отличаются от значений яркости окрестностей точек, обнаруживаются в качестве характерных точек. Тем не менее вместо этого детектор 23 характерных точек может использовать характерную величину по принципу SIFT (масштабно-инвариантного преобразования признаков), так что точки, вокруг которых значения яркости изменяются с определенной регулярностью, обнаруживаются в качестве характерных точек. После обнаружения характерных точек детектор 23 характерных точек подсчитывает общее число N характерных точек, обнаруженных из одного изображения, и назначает идентификационные номера (i (1≤i≤N)) для соответствующих характерных точек. Позиция (U_i, V_i) каждой характерной точки в изображении сохраняется в запоминающем устройстве в ECU 13. Фиг. 6(a) и 6(b) показывают примеры характерных точек T_e, которые обнаруживаются из изображения, полученного с помощью камеры 12. Позиция (U_i, V_i) каждой характерной точки в изображении сохраняется в запоминающем устройстве.

[0022] Следует отметить, что настоящий вариант осуществления трактует смесь частиц асфальта с размером частиц не менее 1 см, но не более 2 см, в качестве характерных точек на поверхности 31 дороги. Камера 12 использует режим VGA-разрешения (приблизительно 300 тысяч пикселов) для того, чтобы обнаруживать характерные точки. Помимо этого расстояние от камеры 12 до поверхности 31 дороги составляет приблизительно 70 см. Кроме того, направление, в котором камера 12 захватывает изображения, наклонено приблизительно под 45 градусами к поверхности 31 дороги от горизонтальной плоскости. Более того, значение яркости каждого изображения, полученного с помощью камеры 12 и после этого отправленного в ECU 13, находится в пределах диапазона от 0 до 255 (0: самое темное, 255: самое яркое).

[0023] Модуль 24 вычисления величины изменения ориентации выбирает предыдущий кадр и текущий кадр из кадров, захваченных в циклах информационного процесса; и считывает позиции (U_i, V_i) нескольких характерных точек в изображении в предыдущем кадре и позиции (U_i, V_i) нескольких характерных точек в изображении в текущем кадре, из запоминающего устройства. После этого на основе изменений позиций нескольких характерных точек в изображении модуль 24 вычисления величины изменения ориентации получает величину изменения ориентации транспортного средства. В этом отношении "величина изменения ориентации транспортного средства" включает в себя как величины изменений "расстояния и угла ориентации" относительно поверхности 31 дороги, так и "величину перемещения транспортного средства (камеры 12)" на поверхности дороги. Ниже приводится описание того, как вычислять величины изменений расстояния и угла ориентации и величину перемещения транспортного средства.

[0024] Фиг. 6(a) показывает пример первого кадра 38 (изображения), полученного во время t. Допустим случай, в котором, как показано на фиг. 5 и 6(a), вычисляются относительные позиции (X_i, Y_i, Z_i) каждой из трех характерных точек T_e1, T_e2, T_e3, например, для первого кадра 38. В этом случае плоскость G, заданная посредством характерных точек T_e1, T_e2, T_e3, может рассматриваться в качестве поверхности дороги. Соответственно, модуль 24 вычисления величины изменения ориентации допускает получение расстояния и угла ориентации (вектора нормали) камеры 12 относительно поверхности дороги (плоскости G) из относительных позиций (X_i, Y_i, Z_i). Кроме того, с использованием уже известных моделей камеры модуль 24 вычисления величины изменения ориентации допускает получение расстояния l₁ между характерными точками T_e1, T_e2, расстояния l₂ между характерными точками T_e2, T_e3 и расстояния l₃ между характерными точками T_e3, T_e1, а также угла между прямой линией, соединяющей характерные точки T_e1, T_e2, и прямой линией, соединяющей характерные точки T_e2, T_e3, угла между прямой линией, соединяющей характерные точки T_e2, T_e3, и прямой линией, соединяющей характерные точки T_e3, T_e1, и угла между прямой линией, соединяющей характерные точки T_e3, T_e1, и прямой линией, соединяющей характерные точки T_e1, T_e2. Камера 12 на фиг. 5 показывает то, где расположена камера, когда камера снимает первый кадр.

[0025] Следует отметить, что трехмерные координаты (X_i, Y_i, Z_i) относительной позиции относительно камеры 12 задаются таким способом, что: ось Z совпадает с направлением, в котором камера 12 захватывает изображение; и оси X и Y, ортогональные друг к другу в плоскости, включающей в себя камеру 12, представляют собой линии, нормальные к направлению, в котором камера 12 захватывает изображение. Между тем, координаты в изображении 38 задаются таким образом, что: ось V совпадает с горизонтальным направлением; и ось U совпадает с вертикальным направлением.

[0026] Фиг. 6(b) показывает второй кадр, полученный во время (t+Δt), в которое продолжительность Δt истекает со времени t. Камера 12' на фиг. 5 показывает то, где расположена камера, когда камера захватывает второй кадр 38'. Как показано на фиг. 5 и 6(b), камера 12' захватывает изображение, включающее в себя характерные точки T_e1, T_e2, T_e3, в качестве второго кадра 38', и детектор 23 характерных точек обнаруживает характерные точки T_e1, T_e2, T_e3 из изображения. В этом случае модуль 24 вычисления величины изменения ориентации допускает вычисление не только величины ΔL перемещения камеры 12 в интервале времени Δt, но также и величин изменений расстояния и угла ориентации из: относительной позиции (X_i, Y_i, Z_i) каждой из характерных точек T_e1, T_e2, T_e3 во время t; позиции P₁(U_i, V_i) каждой характерной точки во втором кадре 38'; и модели камеры для камеры 12. Например, модуль 24 вычисления величины изменения ориентации допускает вычисление величины (ΔL) перемещения камеры 12 (транспортного средства) и величины изменений расстояния и угла ориентации камеры 12 (транспортного средства) посредством решения следующей системы уравнений (1)-(4). В этой связи уравнение (1) основано на камере 12, которая моделируется в качестве идеальной камеры с точечной диафрагмой без деформации и оптического осевого рассогласования, где λi и f, соответственно, обозначают константу и фокусную длину. Параметры модели камеры могут калиброваться заранее.

[0027] уравнение 1

...(1)

[0028] уравнение 2

...(2)

[0029] уравнение 3

...(3)

[0030] уравнение 4

...(4)

[0031] Фиг. 3(b) схематично показывает то, как направление 34 перемещения камеры 12 получается из временных изменений характерной точки, обнаруженной из области 33 в диапазоне захвата изображений камеры 12, которая отличается от области, на которую проецируется сформированный по шаблону световой луч 32a. Фиг. 6(a) и 6(b) показывают векторы D_te, которые, соответственно, представляют направления и величины изменений позиций характерных точек T_e и которые накладываются на изображение. Модуль 24 вычисления величины изменения ориентации допускает вычисление не только величины (ΔL) перемещения камеры 12 за продолжительность Δt, но также и величин изменений расстояния и угла ориентации камеры 12 одновременно. По этим причинам, с учетом величин изменений расстояния и угла ориентации, модуль 24 вычисления величины изменения ориентации допускает точное вычисление величины (ΔL) перемещения с шестью степенями свободы. Другими словами, ошибка в оценке величины (ΔL) перемещения может быть минимизирована, даже если расстояние и угол ориентации изменяются посредством наклона в продольном направлении или крена вследствие поворота, ускорения или замедления транспортного средства 10.

[0032] Следует отметить, что вместо использования всех характерных точек, относительные позиции которых вычисляются, модуль 24 вычисления величины изменения ориентации может выбирать оптимальные характерные точки на основе позиционных взаимосвязей между характерными точками. Пример способа выбора, применимого для этой цели, представляет собой эпиполярную геометрию (геометрию эпиполярных линий, описанную в работе R. I. Hartley "A linear method for reconstruction from lines and points", Proc. 5th International Conference on Computer Vision, Кембридж, штат Массачусетс, стр. 882-887 (1995)).

[0033] Ассоциирование характерных точек в текущем кадре с характерными точками в предыдущем кадре может достигаться, например, посредством: сохранения изображения небольшой области, в том числе и вокруг каждой обнаруженной характерной точки, в запоминающем устройстве; и определения того, могут или нет характерные точки в текущем кадре и характерные точки в предыдущем кадре быть ассоциированы между собой, из подобия в информации яркости и цветовой информации между характерными точками в текущем кадре и характерными точками в предыдущем кадре. Более конкретно, ECU 13 сохраняет 5 (по горизонтали) * 5 (по вертикали)-пикселное изображение для и вокруг каждой обнаруженной характерной точки в запоминающем устройстве. Если в 20 или более пикселах каждого 5 (по горизонтали) * 5 (по вертикали)-пикселного изображения, например, разность информации яркости между соответствующей характерной точкой в текущем кадре и соответствующей характерной точкой в предыдущем кадре равна или меньше 1%, модуль 24 вычисления величины изменения ориентации определяет то, что характерная точка в текущем кадре и характерная точка в предыдущем кадре могут быть ассоциированы между собой.

[0034] Когда, как в этом случае, характерные точки T_e1, T_e2, T_e3, относительные позиции (X_i, Y_i, Z_i) которых вычисляются, также обнаруживаются из кадра 38', полученного в последующее время, модуль 24 вычисления величины изменения ориентации допускает вычисление "величины изменения ориентации транспортного средства" на основе временных изменений нескольких характерных точек на поверхности дороги.

[0035] Модуль 26 вычисления собственной позиции вычисляет текущее расстояние и угол ориентации транспортного средства 10 из "величин изменений расстояния и угла ориентации", вычисленных посредством модуля 24 вычисления величины изменения ориентации. Помимо этого модуль 26 вычисления собственной позиции вычисляет текущую позицию транспортного средства из "величины перемещения транспортного средства", вычисленной посредством модуля 24 вычисления величины изменения ориентации.

[0036] Более конкретно, в случае если расстояние и угол ориентации, вычисленные посредством модуля 22 вычисления угла ориентации (см. фиг. 1), задаются в качестве начальных точек для вычисления посредством модуля 26 вычисления собственной позиции для расстояния и угла ориентации, модуль 26 вычисления собственной позиции обновляет расстояние и угол ориентации с последними числовыми значениями посредством последовательного суммирования (выполнения операции интегрирования) величин изменений расстояния и угла ориентации, вычисленных для каждого кадра посредством модуля 24 вычисления величины изменения ориентации, с начальными точками (расстоянием и углом ориентации). Помимо этого в случае если позиция транспортного средства, которая получается, когда модуль 22 вычисления угла ориентации вычисляет расстояние и угол ориентации, задается в качестве начальной точки (начальной позиции транспортного средства) для вычисления посредством модуля 26 вычисления собственной позиции для текущей позиции транспортного средства, модуль 26 вычисления собственной позиции вычисляет текущую позицию транспортного средства посредством последовательного суммирования (выполнения операции интегрирования) величин перемещения транспортного средства с начальной позицией. Например, когда начальная точка (начальная позиция транспортного средства) задается таким образом, что она совпадает с позицией транспортного средства на карте, модуль 26 вычисления собственной позиции допускает последовательное вычисление текущей позиции транспортного средства на карте.

[0037] В случае если детектор 23 характерных точек может продолжать обнаружение трех или более характерных точек, которые могут быть ассоциированы между предыдущим и текущим кадрами, как пояснено выше, продолжение процесса (операции интегрирования) суммирования величин изменений расстояния и угла ориентации позволяет модулю 26 вычисления собственной позиции продолжать обновлять расстояние и угол ориентации с последними числовыми значениями без использования сформированного по шаблону светового луча 32a. Тем не менее, расстояние и угол ориентации, вычисленные с использованием сформированного по шаблону светового луча 32a или предварительно определенного начального расстояния и определенного начального угла ориентации, могут использоваться для первого цикла обработки информации. Другими словами, расстояние и угол ориентации, которые являются начальными точками для операции интегрирования, могут вычисляться с использованием сформированного по шаблону светового луча 32a либо могут задаваться равными предварительно определенным начальным значениям. Желательно, если предварительно определенное начальное расстояние и предварительно определенный начальный угол ориентации представляют собой расстояние и угол ориентации, определенные, по меньшей мере, с учетом пассажиров и рабочей нагрузки транспортного средства 10. Например, расстояние и угол ориентации, вычисленные с использованием сформированного по шаблону светового луча 32a, который проецируется в то время, когда переключатель зажигания транспортного средства 10 включен, и когда позиция переключения коробки передач перемещается из позиции для парковки в другую позицию, могут использоваться в качестве предварительно определенного начального расстояния и предварительно определенного начального угла ориентации. В силу этого, можно получать расстояние и угол ориентации, которые не затрагиваются посредством крена или наклона в продольном направлении транспортного средства 10 вследствие поворота, ускорения или замедления транспортного средства 10.

[0038] Вариант осуществления обновляет расстояние и угол ориентации с последними числовыми значениями посредством: вычисления величин изменений расстояния и угла ориентации; и последовательного суммирования таких вычисленных величин изменений расстояния и угла ориентации. Тем не менее вместо этого может вычисляться и обновляться величина изменения только угла ориентации камеры 12 относительно поверхности 31 дороги. В этом случае можно предполагать, что расстояние от камеры 12 до поверхности 31 дороги остается постоянным. Это позволяет уменьшать рабочую нагрузку на ECU 13 при минимизации ошибки в оценке величины (ΔL) перемещения с учетом величины изменения угла ориентации и повышать скорость работы ECU 13.

[0039] Секция 28 определения условий обнаружения определяет то, является или нет условие, при котором детектор 23 характерных точек обнаруживает характерные точки T_e, слишком плохим для того, чтобы удовлетворять первому критерию. Например, в случае, к примеру, бетонного покрытия в туннеле, поверхность дороги является менее шаблонной и почти ровной за счет смеси частиц асфальта, уменьшается число характерных точек, обнаруживаемых из изображения поверхности дороги. Сокращенное число обнаруживаемых характерных точек затрудняет непрерывное обнаружение характерных точек, которые ассоциированы между предыдущим и текущим кадрами, и снижает точность, с которой обновляются расстояние и угол ориентации.

[0040] В качестве меры против этой проблемы секция 28 определения условий обнаружения определяет то, что условие, при котором детектор 23 характерных точек обнаруживает характерные точки T_e, является слишком плохим для того, чтобы удовлетворять первому критерию, если, например, число характерных точек, позиции которых относительно камеры 12 вычисляются и могут обнаруживаться из