Устройство вычисления собственного положения и способ вычисления собственного положения

Устройство вычисления собственного положения и способ вычисления собственного положения

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Настоящее изобретение относится к устройству вычисления собственного положения и к способу вычисления собственного положения.

УРОВЕНЬ ТЕХНИКИ

[0002] Известен способ, в котором: камеры, установленные в транспортном средстве, захватывают и получают изображения окружения транспортного средства; и величина перемещения транспортного средства получается на основе изменений в изображениях (см. патентную литературу 1). Патентная литература 1 нацелена на получение величины перемещения транспортного средства точно, даже если транспортное средство перемещается незначительно на медленной скорости. С этой целью, обнаруживается характеристическая точка из каждого изображения, получается положение характеристической точки, и затем, величина перемещения транспортного средства получается из направления и расстояния перемещения (величины перемещения) характеристической точки.

[0003] В дополнение, известен способ выполнения трехмерного измерения с использованием лазерного светового проектора для проецирования лазерного света в решеточной структуре (структурированного светового пучка) (см. патентную литературу 2). Согласно патентной литературе 2, изображение области проецируемого структурированного светового пучка захватывается с помощью камеры; структурированный световой пучок извлекается из захваченного изображения; и поведение транспортного средства получается из положений структурированного светового пучка.

СПИСОК ССЫЛОЧНЫХ МАТЕРИАЛОВ

ПАТЕНТНАЯ ЛИТЕРАТУРА

[0004] Патентная литература 1: Публикация японской патентной заявки, номер 2008-175717

Патентная литература 2: Публикация японской патентной заявки, номер 2007-278951

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0005] В случае, когда, однако, используется способ, описанный в патентной литературе 1, для обнаружения характеристической точки на поверхности дороги в той же области, что и область проецируемого структурированного светового пучка, описанного в патентной литературе 2, является трудным различать между структурированным световым пучком и характеристической точкой. С другой стороны, в случае обнаружения характеристической точки на поверхности дороги в области вдали от области, куда проецируемый структурированный световой пучок проецируется, ошибка в вычислении величины перемещения характеристической точки становится более большой.

[0006] С учетом вышеописанных проблем, задача настоящего изобретения состоит в том, чтобы обеспечить устройство вычисления собственного положения и способ вычисления собственного положения, которые способны легко идентифицировать характеристические точки при различении между характеристическими точками и структурированным световым пучком, и тем самым способны точно вычислять собственное положение транспортного средства.

[0007] Устройство вычисления собственного положения первого аспекта настоящего изобретения проецирует структурированный световой пучок на поверхность дороги около транспортного средства; захватывает и, таким образом, получает изображение поверхности дороги около транспортного средства, охватывающее область, куда проецируемый структурированный световой пучок проецируется; вычисляет угол ориентации транспортного средства по отношению к поверхности дороги из формы структурированного светового пучка на полученном изображении; обнаруживает множество характеристических точек на поверхности дороги из полученного изображения; вычисляет величину изменения в ориентации транспортного средства на основе временных изменений в множестве обнаруженных характеристических точек на поверхности дороги; и вычисляет текущее положение и текущий угол ориентации транспортного средства посредством добавления величины изменения в ориентации к начальному положению и начальному углу ориентации транспортного средства по отношению к поверхности дороги. Проецирование структурированного светового пучка достигается посредством избирательного проецирования структурированного светового пучка на конкретную область проецирования структурированного светового пучка из множества областей проецирования структурированного светового пучка в зависимости от того, как характеристические точки на поверхности дороги обнаруживаются посредством средства обнаружения характеристических точек.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0008] [Фиг. 1] Фиг. 1 является блок-схемой, показывающей полную конфигурацию устройства вычисления собственного положения первого варианта осуществления.

[Фиг. 2] Фиг. 2 является внешним видом, показывающим пример того, как световой проектор и камера установлены в транспортном средстве.

[Фиг. 3] Фиг. 3(a) является диаграммой, показывающей то, как положение областей световых пятен на поверхности дороги вычисляется с использованием светового проектора и камеры. Фиг. 3(b) является диаграммой, показывающей то, как направление перемещения камеры получается из временных изменений в характеристической точке, которая обнаруживается вне области проецируемого структурированного светового пучка.

[Фиг. 4] Фиг. 4 является диаграммой, показывающей изображение структурированного светового пучка, которое получается посредством применения обработки преобразования в двоичную форму к изображению, полученному с помощью камеры. Фиг. 4(a) является диаграммой, показывающей весь структурированный световой пучок. Фиг. 4(b) является увеличенной диаграммой, показывающей одно световое пятно. Фиг. 4(c) является диаграммой, показывающей положение центра масс световых пятен.

[Фиг. 5] Фиг. 5 является схематической диаграммой для описания способа вычисления величин изменений в расстоянии и угле ориентации.

[Фиг. 6] Фиг. 6 является диаграммой, показывающей характеристические точки, обнаруженные на изображении. Фиг. 6(a) является диаграммой, показывающей первый кадр (изображение), полученный в момент времени t. Фиг. 6(b) является диаграммой, показывающей второй кадр, полученный в момент времени t+Δt.

[Фиг. 7] Фиг. 7(a) является диаграммой, показывающей изображение, полученное посредством камеры. Фиг. 7(b) является диаграммой, показывающей изображение структурированного светового пучка, которое получается посредством применения обработки преобразования в двоичную форму к изображению, полученному посредством камеры. Фиг. 7(c) является диаграммой, показывающей результат обнаружения характеристических точек.

[Фиг. 8] Фиг. 8 является схематической диаграммой, показывающей пример областей проецирования структурированного светового пучка, разделенных в вертикальном направлении и направлении слева направо.

[Фиг. 9] Фиг. 9(a) является схематической диаграммой, показывающей пример обнаруженных характеристических точек. Фиг. 9(b) является схематической диаграммой, показывающей пример выбранной области проецирования структурированного светового пучка.

[Фиг. 10] Фиг. 10(a) является графиком, показывающим то, как выбранная область проецирования структурированного светового пучка изменяется от одной к другой с течением времени. Фиг. 10(b) является графиком, показывающим временное изменение в количестве характеристических точек, обнаруженных из каждой области проецирования структурированного светового пучка.

[Фиг. 11] Фиг. 11 является блок-схемой последовательности операций для описания примера способа вычисления собственного положения первого варианта осуществления.

[Фиг. 12] Фиг. 12 является блок-схемой последовательности операций, показывающей подробности этапа S01.

[Фиг. 13] Фиг. 13(a) является схематической диаграммой, показывающей пример обнаруженных характеристических точек. Фиг. 13(b) является схематической диаграммой, показывающей пример выбранных областей проецирования структурированного светового пучка.

[Фиг. 14] Фиг. 14(a) является графиком, показывающим то, как флаг светового проецирования для каждой области проецирования структурированного светового пучка изменяется с течением времени. Фиг. 14(b) является графиком, показывающим временное изменение в количестве характеристических точек, обнаруженных из каждой области проецирования структурированного светового пучка.

[Фиг. 15] Фиг. 15 является схематической диаграммой, показывающей пример областей проецирования структурированного светового пучка, расположенных чередующимся образом одна после другой как продольные полосы.

[Фиг. 16] Фиг. 16(a) является схематической диаграммой, показывающей пример обнаруженных характеристических точек. Фиг. 16(b) является схематической диаграммой, показывающей пример выбранного набора областей проецирования структурированного светового пучка.

[Фиг. 17] Фиг. 17(a) является графиком, показывающим то, как выбранный набор областей проецирования структурированного светового пучка изменяется от одной к другой с течением времени. Фиг. 17(b) является графиком, показывающим временное изменение в количестве характеристических точек, обнаруженных из каждого набора областей проецирования структурированного светового пучка.

[Фиг. 18] Фиг. 18 является схематической диаграммой, показывающей пример двух областей проецирования структурированного светового пучка, разделенных в направлении слева направо.

[Фиг. 19] Фиг. 19(a) является схематической диаграммой, показывающей пример обнаруженных характеристических точек. Фиг. 19(b) является схематической диаграммой, показывающей пример выбранной области проецирования структурированного светового пучка.

[Фиг. 20] Фиг. 20 является схематической диаграммой, показывающей пример областей проецируемых световых пятен.

[Фиг. 21] Фиг. 21(a) является схематической диаграммой, показывающей пример обнаруженных характеристических точек. Фиг. 21(b) является схематической диаграммой, показывающей пример выбранных областей проецирования структурированного светового пучка.

[Фиг. 22] Фиг. 22(a) является графиком, показывающим то, как флаг светового проецирования для каждого светового пятна изменяется с течением времени. Фиг. 22(b) является графиком, показывающим то, как результат определения того, существует ли или нет характеристическая точка в положении каждого светового пятна, изменяется с течением времени.

[Фиг. 23] Фиг. 23 является блок-схемой, показывающей полную конфигурацию устройства вычисления собственного положения второго варианта осуществления.

[Фиг. 24] Фиг. 24(a) является схематической диаграммой, показывающей пример обнаруженных характеристических точек. Фиг. 24(b) является схематической диаграммой, показывающей пример выбранных областей проецирования структурированного светового пучка.

[Фиг. 25] Фиг. 25(a) является графиком, показывающим то, как флаг светового проецирования для каждого светового пятна изменяется с течением времени. Фиг. 25(b) является графиком, показывающим то, как результат оценки того, существует ли или нет характеристическая точка в положении каждого светового пятна, изменяется с течением времени.

[Фиг. 26] Фиг. 26 является блок-схемой последовательности операций, показывающей пример подробностей этапа S01 второго варианта осуществления.

[Фиг. 27] Фиг. 27 является схематической диаграммой, показывающей пример четырех областей проецирования структурированного светового пучка, разделенных в направлении ширины транспортного средства.

[Фиг. 28] Фиг. 28(a) является схематической диаграммой, показывающей способ установки областей предсказания увеличения/уменьшения характеристических точек, и пример обнаруженных характеристических точек. Фиг. 28(b) является схематической диаграммой, показывающей пример выбранных областей проецирования структурированного светового пучка.

[Фиг. 29] Фиг. 29(a) является графиком, показывающим то, как флаг светового проецирования для каждого светового пятна изменяется с течением времени. Фиг. 29(b) является графиком, показывающим то, как результат определения того, существуют ли или нет характеристические точки в каждой области предсказания увеличения/уменьшения характеристических точек, изменяется с течением времени.

[Фиг. 30] Фиг. 30 показывает пример блок-схемы последовательности операций, чтобы следовать, когда определяется, вычислять ли угол и ориентацию по отношению к поверхности дороги.

ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0009] Как показано на чертежах, ниже будут обеспечиваться описания для первого и второго вариантов осуществления, к которым настоящее изобретение применимо.

[0010] [ПЕРВЫЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ]

[АППАРАТНАЯ КОНФИГУРАЦИЯ]

Сначала, как показано на фиг. 1, описания будут обеспечиваться для аппаратной конфигурации устройства вычисления собственного положения первого варианта осуществления. Устройство вычисления собственного положения включает в себя световой проектор 11, камеру 12 и блок 13 управления двигателем (ECU). Световой проектор 11 установлен в транспортном средстве, и проецирует структурированный световой пучок на поверхность дороги около транспортного средства. Камера 12 установлена в транспортном средстве, и является примером блока захвата изображений, выполненного с возможностью захватывать и, таким образом, получать изображения поверхности дороги около транспортного средства, включая сюда область проецируемого структурированного светового пучка. ECU 13 является примером контроллера, выполненного с возможностью управлять световым проектором 11, и выполнять последовательность циклов обработки информации для вычисления собственного положения транспортного средства из изображений, полученных с помощью камеры 12.

[0011] Камера 12 является цифровой камерой с использованием твердотельного датчика изображений, такого как CCD и CMOS, и получает пригодные для обработки цифровые изображения. То, что захватывает камера 12, является поверхностью дороги около транспортного средства. Поверхность дороги около транспортного средства включает в себя поверхности дороги спереди, сзади, сбоку, и под транспортным средством. Как показано на фиг. 2, камера 12 может быть установлена во фронтальной секции транспортного средства 10, более конкретно над фронтальным бампером, например. Высота и направление, в котором устанавливается камера 12, регулируются таким способом, который обеспечивает возможность камере 12 захватывать изображения характеристических точек (текстуры) на поверхности 31 дороги впереди транспортного средства 10 и структурированного светового пучка 32b, проецируемого из светового проектора 11. Фокус и диафрагма объектива камеры 12 также регулируются автоматически. Камера 12 многократно захватывает изображения с предварительно определенными временными интервалами, и тем самым получает последовательность групп изображений (кадров). Каждый раз, когда камера 12 захватывает изображение, данные изображения, полученные с помощью камеры 12, передаются в ECU 13, и сохраняются в памяти, включенной в ECU 13.

[0012] Как показано на фиг. 2, световой проектор 11 проецирует структурированный световой пучок 32b, имеющий предварительно определенную форму, включая сюда квадратную или прямоугольную решеточную форму, на поверхность 31 дороги в пределах диапазона захвата изображений камеры 12. Камера 12 захватывает изображения структурированного светового пучка, проецируемого на поверхность 31 дороги. Световой проектор 11 включает в себя лазерный указатель и дифракционную решетку, например. Дифракционная решетка дифрагирует лазерный луч, проецируемый из указателя. Тем самым, как показано на фиг. 2 по 4, световой проектор 11 генерирует структурированный световой пучок (32b, 32a), который включает в себя множество световых пятен, расположенных в решеточной или матричной структуре. В примерах, показанных на фиг. 3 и 4, световой проектор 11 генерирует структурированный световой пучок 32a, включающий в себя 5×7 световых пятен.

[0013] Возвращаясь к фиг. 1, ECU 13 включает в себя CPU, память, и микроконтроллер, включающий в себя секцию ввода-вывода. Посредством исполнения предварительно установленных компьютерных программ, ECU 13 формирует множество информационных процессоров, которые функционируют как устройство вычисления собственного положения. Для каждого изображения (кадра), ECU 13 многократно выполняет последовательность циклов обработки информации для вычисления собственного положения транспортного средства из изображений, полученных с помощью камеры 12. В этой связи, ECU 13 также может использоваться в качестве ECU для управления другими системами транспортного средства 10.

[0014] В этом отношении, множество информационных процессоров включают в себя средство 21 извлечения структурированного светового пучка, средство 22 вычисления угла ориентации, средство обнаружения 23 характеристических точек, средство 24 вычисления величины изменения ориентации, средство 25 вычисления собственного положения, и контроллер 26 структурированного светового пучка.

[0015] Средство 21 извлечения структурированного светового пучка считывает изображение, полученное с помощью камеры 12, из памяти, и извлекает положение структурированного светового пучка из этого изображения. Например, как показано на фиг. 3(a), световой проектор 11 проецирует структурированный световой пучок 32a, который включает в себя множество световых пятен, расположенных в матричной структуре, на поверхность 31 дороги, в то время как камера 12 обнаруживает структурированный световой пучок 32a, отраженный от поверхности 31 дороги. Средство 21 извлечения структурированного светового пучка применяет обработку преобразования в двоичную форму к изображению, полученному с помощью камеры 12, итем самым извлекает только изображение световых пятен Sp, как показано на фиг. 4(a) и 4(b). После этого, как показано на фиг. 4(c), средство 21 извлечения структурированного светового пучка извлекает положение структурированного светового пучка 32a посредством вычисления положения центра масс He каждого светового пятна Sp, то есть, можно сказать, координат (Uj, Vj) каждого светового пятна Sp на изображении. Координаты выражаются с использованием числа, назначенного соответствующему пикселю в датчике изображений камеры 12. В случае, когда структурированный световой пучок включает в себя 5×7 световых пятен Sp, "j" является целым числом, не меньшим, чем 1, но не большим, чем 35. Память хранит координаты (Uj, Vj) светового пятна Sp на изображении как данные о положении структурированного светового пучка 32a.

[0016] Средство 22 вычисления угла ориентации считывает данные о положении структурированного светового пучка 32a из памяти, и вычисляет расстояние и угол ориентации транспортного средства 10 по отношению к поверхности 31 дороги из положения структурированного светового пучка 32a на изображении, полученном с помощью камеры 12. Например, как показано на фиг. 3(a), с использованием тригонометрического принципа измерения, средство 22 вычисления угла ориентации вычисляет положение каждой области светового пятна на поверхности 31 дороги, как положение области светового пятна по отношению к камере 12, из базовой длины Lb между световым проектором 11 и камерой 12, также как координат (Uj, Vj) каждого светового пятна на изображении. После этого, средство 22 вычисления угла ориентации вычисляет уравнение плоскости поверхности 31 дороги, на которую структурированный световой пучок 32a проецируется, то есть, можно сказать, расстояние и угол ориентации (вектор нормали) камеры 12 по отношению к поверхности 31 дороги, из положения каждого светового пятна по отношению к камере 12.

[0017] Следует отметить, что в варианте осуществления, расстояние и угол ориентации камеры 12 по отношению к поверхности 31 дороги вычисляются в качестве примера расстояния и угла ориентации транспортного средства 10 по отношению к поверхности 31 дороги, так как положение установки камеры 12 в транспортном средстве 10 и угол для камеры 12 для захвата изображений являются уже известными. Другими словами, расстояние между поверхностью 31 дороги и транспортным средством 10, также как угол ориентации транспортного средства 10 по отношению к поверхности 31 дороги могут получаться посредством вычисления расстояния и угла ориентации камеры 12 по отношению к поверхности 31 дороги.

[0018] Выражаясь более конкретно, так как камера 12 и световой проектор 11 фиксированы на транспортном средстве 10, направление, в котором проецируется структурированный световой пучок 32a и расстояние (базовая длина Lb) между камерой 12 и световым проектором 11 являются уже известными. По этой причине, с использованием тригонометрического принципа измерения, средство 22 вычисления угла ориентации способно получать положение каждой области светового пятна на поверхности 31 дороги, как положение (Xj, Yj, Zj) каждого светового пятна по отношению к камере 12, из координат (Uj, Vj) каждого светового пятна на изображении. В дальнейшем, расстояние и угол ориентации камеры 12 по отношению к поверхности 31 дороги будут сокращаться как "расстояние и угол ориентации". Расстояние и угол ориентации, вычисленные посредством средства 22 вычисления угла ориентации, сохраняются в памяти.

[0019] Следует отметить, что описания обеспечиваются для варианта осуществления, в котором расстояние и угол ориентации вычисляются в каждом цикле обработки информации.

[0020] Дополнительно, во многих случаях, положение (Xj, Yj, Zj) каждого светового пятна по отношению к камере 12 не лежит на одной и той же плоскости. Это из-за того, что относительное положение каждого светового пятна изменяется согласно неравномерности асфальта поверхности 31 дороги. По этой причине, может использоваться способ наименьших квадратов, чтобы получать уравнение плоскости, которое минимизирует сумму квадратов разности расстояния каждого светового пятна. Данные о таким образом вычисленных расстоянии и угле ориентации используются средством 25 вычисления собственного положения, показанным на фиг. 1.

[0021] Средство обнаружения 23 характеристических точек считывает изображение, полученное с помощью камеры 12, из памяти, и обнаруживает характеристические точки на поверхности 31 дороги из изображения, считанного из памяти. Чтобы обнаруживать характеристические точки на поверхности 31 дороги, средство обнаружения 23 характеристических точек может использовать способ, описанный в "D. G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints", Int. J. Comput. Vis., vol. 60, no. 2, pp. 91-110, Nov. 200". В ином случае, средство обнаружения 23 характеристических точек может использовать способ, описанный в "Kanazawa Yasushi, Kanatani Kenichi, "Detection of Feature Points for Computer Vision", IEICE Journal, vol. 87, no. 12, pp. 1043-1048, Dec. 2004".

[0022] Выражаясь более конкретно, например, средство обнаружения 23 характеристических точек использует оператор Харриса или оператор SUSAN, так как в качестве характеристических точек обнаруживаются те точки, как, например, вершины объекта, значения освещенности которых в значительной степени отличаются от значений освещенности окрестностей упомянутых точек. Вместо этого, однако, средство обнаружения 23 характеристических точек может использовать величину признаков SIFT (преобразования масштабно инвариантных признаков), чтобы точки около которых значения освещенности изменяются с некоторой регулярностью, обнаруживались в качестве характеристических точек. После обнаружения характеристических точек, средство обнаружения 23 характеристических точек подсчитывает полное количество N характеристических точек, обнаруженных из одного изображения, и назначает идентификационные номера (i (1≤i≤N)) соответствующим характеристическим точкам. Положение (Ui, Vi) каждой характеристической точки на изображении сохраняются в памяти внутри ECU 13. Фиг. 6(a) и 6(b), каждая показывает примеры характеристических точек Te, которые обнаружены из изображения, захваченного с помощью камеры 12. Дополнительно, на фиг. 6(a) и 6(b), направления изменений, и величины изменений в, характеристических точек Te выражены с помощью векторов Dte, соответственно.

[0023] Следует отметить, что настоящий вариант осуществления трактует частицы асфальтовой смеси с размером частицы не меньше, чем 1 см, но не больше, чем 2 см в качестве характеристических точек на поверхности 31 дороги. Камера 12 использует режим разрешения VGA (приблизительно 300 тысяч пикселей), чтобы обнаруживать характеристические точки. В дополнение, расстояние от камеры 12 до поверхности 31 дороги равно приблизительно 70 см. Более того, направление, в котором камера 12 захватывает изображения, наклонено на приблизительно 45 градусов к поверхности 31 дороги от горизонтальной плоскости. Кроме того, значение освещенности каждого изображения, захваченного с помощью камеры 12 и после этого посланного в ECU 13, находится в пределах диапазона от 0 до 255 (0: самый темный, 255: самый яркий).

[0024] Средство 24 вычисления величины изменения ориентации считывает, из памяти, позиционные координаты (Ui, Vi) каждой из множества характеристических точек на изображении, включенных в предыдущий кадр изображения (в момент времени t), который находится среди кадров изображений, захваченных в каждом конкретном цикле обработки информации. Дополнительно, средство 24 вычисления величины изменения ориентации считывает, из памяти, позиционные координаты (Ui, Vi) каждой из множества характеристических точек на изображении, включенных в текущий кадр (в момент времени t+Δt). После этого, на основе временных изменений в положениях множества характеристических точек, средство 24 вычисления величины изменения ориентации получает величину изменения в ориентации транспортного средства. В этом отношении, величина изменения в ориентации транспортного средства включает в себя как "величины изменений в расстоянии и угле ориентации" транспортного средства по отношению к поверхности дороги, так и "величину перемещения транспортного средства" на поверхности дороги. Ниже будут обеспечиваться описания для того, как вычисляются "величины изменений в расстоянии и угле ориентации" и "величина перемещения транспортного средства".

[0025] Величины изменений в расстоянии и угле ориентации могут получаться следующим образом, например. Фиг. 6(a) показывает пример первого кадра (изображения) 38 (на фиг. 5), захваченного в момент времени t. Предположим случай, где, как показано на фиг. 5 и 6(a), относительное положение (Xi, Yi, Zi) каждой из трех характеристических точек Te1, Te2, Te3 вычислены на первом кадре 38, например. В этом случае, плоскость G (см. фиг. 6(a)), идентифицированная посредством характеристических точек Te1, Te2, Te3, может рассматриваться как поверхность дороги. Соответственно, средство 24 вычисления величины изменения ориентации способно получать расстояние и угол ориентации (вектор нормали) камеры 12 по отношению к поверхности дороги (плоскости G), из относительного положения (Xi, Yi, Zi) каждой из характеристических точек. Дополнительно, из уже известной модели камеры, средство 24 вычисления величины изменения ориентации способно получать расстояние l1 между характеристическими точками Te1, Te2, расстояние l2 между характеристическими точками Te2, Te3 и расстояние l3 между характеристическими точками Te3, Te1, также как угол между прямой линией, соединяющей характеристические точки Te1, Te2, и прямой линией, соединяющей характеристические точки Te2, Te3, угол между прямой линией, соединяющей характеристические точки Te2, Te3, и прямой линией, соединяющей характеристические точки Te3, Te1, и угол между прямой линией, соединяющей характеристические точки Te3, Te1, и прямой линией, соединяющей характеристические точки Te1, Te2. Камера 12 на фиг. 5 показывает, где камера располагается, когда камера захватывает первый кадр.

[0026] Следует отметить, что на фиг. 5, трехмерные координаты (Xi, Yi, Zi) относительного положения каждой характеристической точки по отношению к камере 12 установлены таким образом, что: ось Z совпадает с направлением, в котором камера 12 захватывает изображение; и оси X и Y, ортогональные друг к другу в плоскости, включающей в себя камеру 12, являются линиями, нормальными к направлению, в котором камера 12 захватывает изображение. Между тем, координаты на изображении 38 установлены так, что: ось V совпадает с горизонтальным направлением; и ось U совпадает с вертикальным направлением.

[0027] Фиг. 6(b) показывает второй кадр 38', полученный в момент времени (t+Δt), где продолжительность Δt прошла от момента времени t. Камера 12' на фиг. 5 показывает, где камера располагается, когда камера захватывает второй кадр 38'. Как показано на фиг. 5 и 6(b), камера 12' захватывает изображение, включающее в себя характеристические точки Te1, Te2, Te3, в качестве второго кадра 38', и средство обнаружения 23 характеристических точек обнаруживает характеристические точки Te1, Te2, Te3 из изображения. В этом случае, средство 24 вычисления величины изменения ориентации способно вычислять величину ΔL перемещения камеры 12 в интервале времени Δt из: относительного положения (Xi, Yi, Zi) каждой из характеристических точек Te1, Te2, Te3 в момент времени t; положения P1(Ui, Vi) каждой характеристической точки на втором кадре 38'; и модели камеры для камеры 12. Соответственно, средство 24 вычисления величины изменения ориентации способно вычислять величину перемещения транспортного средства. Дополнительно, средство 24 вычисления величины изменения ориентации также способно вычислять величины изменений в расстоянии и угле ориентации. Например, средство 24 вычисления величины изменения ориентации способно вычислять величину (ΔL) перемещения камеры 12 (транспортного средства) и величины изменений в расстоянии и угле ориентации камеры 12 (транспортного средства) посредством решения следующей системы совместных уравнений (1) по (4). В этой связи, уравнение (1), упомянутое ниже, основывается на идеальной камере с точечной диафрагмой, свободной от деформации и оптического осевого рассогласования, которая моделируется в соответствии с камерой 12, где λi и f обозначают константу и фокусную длину. Параметры модели камеры могут калиброваться заранее.

[0028] [Уравнение (1)]

(1)

[0029] [Уравнение (2)]

(2)

[0030] [Уравнение (3)]

(3)

[0031] [Уравнение (4)]

(4)

[0032] Следует отметить, что вместо использования всех характеристических точек, чьи относительные положения вычисляются в изображениях, обнаруженных в момент времени t и момент времени t+Δt, средство 24 вычисления величины изменения ориентации может выбирать оптимальные характеристические точки на основе позиционных соотношений среди характеристических точек. Примером способа выбора, применимого для этой цели, является эпиполярная геометрия (геометрия эпиполярных линий, описанная в R. I. Hartley, "A linear method for reconstruction from lines and points", Proc. 5th International Conference on Computer Vision, Cambridge, Massachusetts, pp. 882-887 (1995)).

[0033] Если как в этом случае, характеристические точки Te1, Te2, Te3, относительные положения, которых на изображении 38 кадра вычислены в момент времени t, также обнаруживаются посредством средства обнаружения 23 характеристических точек из изображения 38' кадра в момент времени t+Δt, средство 24 вычисления величины изменения ориентации способно вычислять "величину изменения в угле ориентации транспортного средства" из временных изменений в относительных положениях (Xi, Yi, Zi) соответствующих характеристических точек на поверхности дороги и временных изменений положений (Ui, Vi) соответствующих характеристических точек на изображении. Дополнительно, средство 24 вычисления величины изменения ориентации способно вычислять величину перемещения транспортного средства.

[0034] Выражаясь более конкретно, если три или более характеристических точек, каждая в соответствии между предыдущим и текущим кадрами, могут обнаруживаться непрерывно из упомянутых двух кадров, продолжение обработки (операции интегрирования) добавления величин изменений в расстоянии и угле ориентации, делает возможным непрерывно обновлять расстояние и угол ориентации без использования структурированного светового пучка 32a. Тем не менее, расстояние и угол ориентации, вычисленные с использованием структурированного светового пучка 32a, или предварительно определенные начальные положение и угол ориентации, могут использоваться для первого цикла обработки информации. Другими словами, расстояние и угол ориентации, которые являются начальными точками операции интегрирования, могут вычисляться с использованием структурированного светового пучка 32a, или могут устанавливаться на предварительно определенные начальные значения. Является желательным, чтобы предварительно определенное начальное положение и предварительно определенный начальный угол ориентации были расстоянием и углом ориентации, определенными с, по меньшей мере, пассажирами и полезной нагрузкой рассматриваемого транспортного средства 10. Например, расстояние и угол ориентации, вычисленные с использованием структурированного светового пучка 32a, который проецируется, пока переключатель зажигания транспортного средства 10 включен и когда положение переключения перемещено из положения парковки в другое положение, могут использоваться в качестве предварительно определенного начального положения и предварительно определенного начального угла ориентации. Тем самым, является возможным получать расстояние и угол ориентации, которые не затрагиваются кренением или галопированием транспортного средства 10 вследствие поворота, ускорения или замедления транспортного средства 10.

[0035] Следует отметить, что ассоциирование характеристических точек в текущем кадре с характеристическими точками в предыдущем кадре может достигаться, например, посредством: сохранения изображения малой области около каждой обнаруженной характеристической точки в памяти; и для каждой характеристической точки, осуществления определения из сходства в информации освещенности и сходства в информации цвета. Выражаясь более конкретно, ECU 13 хранит изображение 5(горизонтальных)×5(вертикальных) пикселей около каждой обнаруженной характеристической точки в памяти. Если, например, различие в информации освещенности среди 20 или более пикселей равно или меньше, чем 1%, средство 24 вычисления величины изменения ориентации определяет, что рассматриваемые характеристические точки находятся в соответствии между текущим и предыдущим кадрами. После этого, величина изменения в ориентации, полученная посредством предшествующей обработки, используется средством 25 вычисления собственного положения в следующем этапе обработки, чтобы вычислять собственное положение транспортного средства 10.

[0036] Средство 25 вычисления собственного положения вычисляет текущие расстояние и угол ориентации транспортного средства 10 из "величин изменений в расстоянии и угле ориентации", вычисленных посредством средства 24 вычисления величины изменения ориентации. В дополнение, средство 25 вычисления собственного положения вычисляет собственное положение транспортного средства 10 из "величины перемещения транспортного средства", вычисленной посредством средства 24 вычисления величины изменения ориентации.

[0037] Описания будут обеспечиваться в отношении того, как выполняются вышеупомянутые вычисления в конкретном случае, когда расстояние и угол ориентации, вычисленные посредством средства 22 вычисления угла ориентации (то есть, можно сказать, расстояние и угол ориентации, вычисленные с использованием структурированного светового пучка), установлены как начальные точки вычислений. В этом случае, средство 25 вычисления собственного положения обновляет расстояние и угол ориентации с использованием наиболее последних числовых значений посредством последовательного добавления (выполнения операции интегрирования над) величин изменений в расстоянии и угле ориентации, вычисленных для каждого кадра посредством средства 24 вычисления величины изменения ориентации, к начальным точкам, то есть, можно сказать, расстоянию и углу ориентации, вычисленным посредством средства 22 вычисления угла ориентации. В дополнение, средство 25 вычисления собственного положения вычисляет собственное положение транспортного средства посредством: установки положения транспортного средства, которое получается, когда средство 22 вычисления угла ориентации вычисляет расстояние и угол ориентации, в качестве начальной точки (начального положения транспортного средства); и посредством последовательного добавления