Система и способ управления системой автоматического вождения сельскохозяйственного транспортного средства

Система и способ управления системой автоматического вождения сельскохозяйственного транспортного средства

Иллюстрации

Показать все

Реферат

Область техники

Изобретение относится к системе управления системой автоматического вождения сельскохозяйственного транспортного средства. Изобретение относится также к сельскохозяйственному транспортному средству, содержащему систему управления системой автоматического вождения и к способу управления системой автоматического вождения сельскохозяйственного транспортного средства.

Уровень техники

Сельскохозяйственное транспортное средство, такое как трактор, комбайн или силосоуборочный комбайн, часто используют таким образом, что в процессе его вождения оператор должен выполнять несколько работ, например загружать зерно в бункер, контролировать настройку опрыскивателя или плуга.

Для разгрузки оператора были разработаны устройства автоматического вождения, например, на основе систем камер. В патентном документе ЕР 2094073 А1 описан способ, которым обнаруживают видеоданные территории перед транспортным средством в направлении движения, и из них генерируют команды управления движением, влияющие на направление и/или на скорость движения, причем с помощью видеоданных выбирают выступающие объекты, определяют расстояния между транспортным средством и выступающими объектами, а команды управления вождением генерируют из видеоданных, соответствующих объектам, и из изменений расстояния между транспортным средством и объектами.

Это устройство имеет недостаток в том, что оператору нужно пристально следить за устройством, так как, например, устройство может работать неправильно из-за ошибочного толкования данных изображения, и в этом случае оператор должен переходить на ручное управление, что повышает рабочую нагрузку на оператора.

Раскрытие изобретения

Соответственно, задачей настоящего изобретения является предоставление системы управления системой автоматического вождения сельскохозяйственного транспортного средства, которая усовершенствует управление системой автоматического вождения путем снижения рабочей нагрузки на оператора. Другой задачей изобретения является предоставление способа управления системой автоматического вождения сельскохозяйственного транспортного средства, который усовершенствует управление системой автоматического вождения.

Решение поставленной задачи достигают в системе управления системой автоматического вождения сельскохозяйственного транспортного средства, обладающей признаками по пункту 1, и в способе интерактивного управления системой автоматического вождения сельскохозяйственного транспортного средства, обладающем признаками по пункту 9 формулы изобретения. Желаемые варианты осуществления, дополнительные возможности, характеристики и преимущества объекта изобретения указанной системы управления и указанного способа раскрыты в зависимых пунктах формулы изобретения.

В общем аспекте изобретения система управления системой автоматического вождения сельскохозяйственного транспортного средства содержит по меньшей мере одно устройство формирования трехмерных изображений для захвата реального объекта и получения массива трехмерных данных для реального объекта и блок сенсорного дисплея для отображения объекта и для приема сенсорного ввода. Согласно изобретению система управления выполнена с возможностью генерирования командных сигналов на основе массива трехмерных данных, соответствующих интерактивному взаимодействию с отображаемым объектом, для управления системой автоматического вождения.

Сельскохозяйственное транспортное средство может быть зерноуборочным комбайном, силосоуборочным комбайном, транспортным средством, трактором и/или приводным или управляемым трейлером. Система управления для управления системой автоматического вождения может быть расположена на сельскохозяйственном транспортном средстве с транспортирующим устройством или на другом сельскохозяйственном транспортном средстве, например на тракторе с прицепом или на управляемом трейлере. Транспортирующее устройство может быть шнеком комбайна или желобом силосоуборочного комбайна. Система автоматического вождения может быть, в частности, автоматической системой рулевого управления на основе устройства формирования трехмерных изображений или автопилотом. Система автоматического вождения может содержать навигационную систему и/или систему планирования маршрута, например, для определения оптимального маршрута для подбора тюков на поле. Сельскохозяйственное транспортное средство может содержать блок управления для управления сельскохозяйственным транспортным средством, в частности исполнительными органами перемещения системы рулевого управления, дросселя и/или тормозов сельскохозяйственного транспортного средства, причем блок управления может быть выполнен с возможностью генерирования сигналов управления для перемещения сельскохозяйственного транспортного средства, например, путем управления системой рулевого управления, дросселем и/или тормозами в желаемое положение.

Система управления содержит по меньшей мере одно устройство формирования трехмерных изображений для захвата реальных объектов в реальном мире для того, чтобы генерировать отображаемое двухмерное изображение для интерактивного взаимодействия с ним. При захвате реального объекта устройство формирования трехмерных изображений, в частности блок процессора устройства формирования трехмерных изображений, может получать массив трехмерных данных и/или трехмерную карту дальностей для захваченного реального объекта, например окружения сельскохозяйственного транспортного средства, в которой может быть вычислено расстояние для каждого пикселя устройства формирования трехмерных изображений, причем информация о расстоянии может относиться к абсолютному расстоянию и/или к относительному расстоянию. Устройство формирования трехмерных изображений может захватывать реальные объекты в реальном времени. Реальный объект может быть также объектом, находящимся в окружении сельскохозяйственного транспортного средства. Реальный объект может быть другим сельскохозяйственным транспортным средством, следами на земле и/или препятствием. Препятствие может быть деревом, изгородью или геологической особенностью, например водоемом, траншеей, мягкой и/или влажной почвой, откосом или уклоном. Полученный массив трехмерных данных может содержать информацию о расстоянии и/или трехмерные координаты реального объекта. Информация о расстоянии может быть относительной по отношению к системе управления и/или к сельскохозяйственному транспортному средству и/или абсолютной, например, в виде трехмерных координат. Информация об абсолютном расстоянии может быть сгенерирована совместно с навигационной системой, например глобальной системой навигации и определения положения (GPS). Навигационная система может обеспечивать получение трехмерных координат, в частности, для системы формирования трехмерных изображений и/или для сельскохозяйственного транспортного средства, на основе которых могут быть вычислены трехмерные координаты реального объекта путем определения положения, например расстояния и азимута, реального объекта по отношению к устройству формирования трехмерных изображений и/или к сельскохозяйственному транспортному средству.

Захваченный реальный объект может быть визуализирован для отображения на блоке дисплея, например, в виде карты дальностей. Визуализация захваченного объекта может иметь вид прямого изображения или вид искусственного видео и/или искусственного изображения, пригодного для визуализации захваченной информации о расстоянии для оператора системы управления. Для каждого визуализированного и, в частности, отображенного на блоке дисплея пикселя может быть вычислена соответствующая информация о расстоянии. Пиксель на устройстве формирования трехмерных изображений может быть наименьшей захватываемой точкой разрешения устройства формирования трехмерных изображений, а пиксель на блоке дисплея может быть наименьшим элементом блока дисплея, к которому может быть привязан адрес. Разрешение устройства формирования трехмерных изображений может быть выше, чем разрешение блока дисплея, при этом массив трехмерных данных может соответствовать более высокому разрешению устройства формирования трехмерных изображений.

Блок дисплея может быть многофункциональным блоком дисплея, выполненным с возможностью принимать сенсорный ввод, в частности множественный сенсорный ввод, например вплоть до и включая множественный сенсорный ввод пятью пальцами. Многофункциональный дисплей может содержать несколько подобластей, например, в виде разделенного экрана для независимого отображения информации и независимого приема сенсорного ввода. Многофункциональный дисплей может содержать дополнительные элементы ввода, такие как кнопки и/или колеса. Блок дисплея может получать данные от устройства формирования трехмерных изображений, например, для отображения захваченного и визуализированного реального объекта и/или виртуального элемента. Объекты, например, в виде реального видео реального объекта в реальном масштабе времени или в виде виртуального элемента, отображаемые на дисплее, являются отображаемыми объектами, причем массив трехмерных данных соответствует каждому, в частности, захваченному и/или визуализированному отображаемому объекту. Отображаемые объекты могут быть увеличены на блоке дисплея, например, выполнением соответствующего жеста ввода.

Блок дисплея отображает захваченные и визуализированные объекты и может принимать и/или обнаруживать обратную связь в виде сенсорного ввода, в частности, относящегося к отображаемому объекту, причем сенсорный ввод может приниматься в виде обнаруживаемых двухмерных координат, относящихся к произведенному сенсорному вводу, в частности к произведенному жесту ввода. Сенсорный ввод может иметь вид нескольких жестов ввода, причем ответная реакция системы управления на различные жесты ввода может быть определена предварительно. С отображаемым объектом можно интерактивно взаимодействовать с помощью жеста ввода. Интерактивное взаимодействие с отображаемым объектом можно производить путем выполнения с ним манипуляций рукой, в частности по меньшей мере одним пальцем, посредством сенсорного ввода. Например, отображаемый объект может быть выбран, перемещен и/или изменен по форме и/или по размеру. Интерактивное взаимодействие может отображаться на блоке дисплея в реальном времени, что позволяет производить интерактивные манипуляции с отображаемым объектом.

Полученный сенсорный ввод, например выбор отображаемого объекта и/или манипуляция с ним, могут передавать на устройство формирования изображений, например, в виде двухмерных координат. Устройство формирования изображений, в частности блок процессора устройства формирования трехмерных изображений, может привязывать полученную обратную связь, например двухмерные координаты сенсорного ввода, к отображаемому объекту, отображенному на этих координатах. Устройство формирования трехмерных изображений может оценивать полученную обратную связь и соотносить обратную связь с соответствующим отображаемым объектом и относящимся к нему массивом трехмерных данных. На основе массива трехмерных данных устройство формирования трехмерных изображений может генерировать командные сигналы, соответствующие полученному двухмерному сенсорному вводу. Командные сигналы могут быть получены блоком управления системы автоматического вождения в качестве входных сигналов для соответствующего управления системы автоматического вождения, например, путем управления системой рулевого управления сельскохозяйственного транспортного средства. Командные сигналы могут содержать информацию о положении реальных объектов, которая может быть необходима в качестве ввода для блока управления для правильного управления, например для рулевого поворота, ускорения и/или замедления движения сельскохозяйственного транспортного средства. С отображаемым объектом можно выполнять интерактивные манипуляции, причем двухмерная манипуляция отображаемого объекта соответствует генерированию команд трехмерного управления. Команды управления могут, например, передавать на блок управления транспортирующим устройством для контроля сельскохозяйственным транспортным средством желаемым образом, например для удержания транспортного средства на линии валка или на пути движения.

Генерирование на основе массива трехмерных данных командных сигналов, соответствующих интерактивному взаимодействию с отображаемым объектом, для управления транспортирующим устройством, имеет преимущество в том, что оператор может вручную взаимодействовать с визуальной информацией, обеспечиваемой устройством формирования трехмерных изображений. Визуальная информация позволяет оператору контролировать систему автоматического вождения, а манипуляции с отображаемыми объектами обеспечивают возможность прямого взаимодействия, например изменения направления отображаемого объекта, указывающего путь движения, если необходима настройка или иной ввод. Таким образом, система управления позволяет легко и эффективно управлять системой автоматического вождения, снижая стресс и рабочую нагрузку на оператора.

В предпочтительном варианте осуществления изобретения система управления дополнительно выполнена с возможностью генерирования командных сигналов в виде управляющих сигналов для прямого управления сельскохозяйственным транспортным средством. Устройство формирования трехмерных изображений может быть непосредственно связано с исполнительными органами привода в действие системы рулевого управления для того, чтобы непосредственно управлять сельскохозяйственным транспортным средством. Командные сигналы, генерируемые устройством формирования изображений, в частности, на основе полученной обратной связи сенсорного ввода, могут быть управляющими сигналами, которые непосредственно управляют исполнительными органами системы рулевого управления, дросселем и/или тормозами сельскохозяйственного транспортного средства. Например, отображаемый объект, указывающий пути, по которым должно следовать сельскохозяйственное транспортное средство, может быть выбран и перемещен или изменен посредством сенсорного ввода, при этом перемещение и/или изменение отображаемого объекта посредством сенсорного ввода может приводить к непосредственному связанному перемещению системы рулевого управления сельскохозяйственного транспортного средства. Преимущество решения состоит в том, что сельскохозяйственное транспортное средство может управляться непосредственно устройством формирования трехмерных изображений, что обеспечивает более быстрое реагирование системы рулевого управления, например, на сенсорный ввод оператором на блоке дисплея. Кроме того, непосредственное интерактивное взаимодействие с отображаемым объектом для управления системой управления дополнительно облегчает обращение с системой.

Предпочтительно система управления дополнительно выполнена с возможностью распознавания захваченного реального объекта. Система управления может содержать блок памяти для хранения справочных данных, соответствующих реальному объекту. Захваченный реальный объект, в частности соответствующий реальному объекту полученный массив трехмерных данных, может быть сравнен с предварительно определенными справочными данными для обеспечения возможности распознавать реальный объект, - например, является ли он тюком и/или является ли он круглым или квадратным тюком. Если захваченный реальный объект распознан, соответствующие данные объекта, например размеры реального объекта, такие как длина, высота и/или ширина, могут быть привязаны к реальному объекту и/или к отображаемому объекту и могут быть предоставлены в распоряжение для системы автоматического вождения. Данные объекта могут содержать информацию, например, о размере водоема или о длине ряда деревьев. Данные объекта могут быть предварительно сохранены в блоке памяти. Преимущество состоит в том, что эффективным образом предоставляются в распоряжение точные данные о реальном объекте, что повышает точность системы автоматического вождения без увеличения рабочей нагрузки на оператора.

В следующем предпочтительном варианте осуществления система управления дополнительно выполнена с возможностью привязки и/или изменения данных, соответствующих отображаемому объекту. Захваченный реальный объект, в частности соответствующий ему полученный массив трехмерных данных, могут сравнивать с предварительно определенными справочными данными для обеспечения возможности распознавать реальный объект, - например, является ли он круглым тюком. В том случае, когда захваченный реальный объект, показанный в качестве отображаемого объекта на блоке дисплея, не был распознан, оператор может привязать данные объекта, например, извлеченные из блока памяти, к отображаемому объекту, соответствующему реальному объекту. Например, размеры и положение известного и сохраненного в памяти водоема могут быть привязаны к отображаемому объекту, то есть к водоему для того, чтобы обеспечить возможность для системы автоматического вождения, в частности навигационной системы в составе системы автоматического вождения, безопасно направлять сельскохозяйственное транспортное средство вокруг этого препятствия. Преимущество состоит в том, что оператор может доверить системе автоматического вождения безопасно направлять сельскохозяйственное транспортное средство с минимумом интерактивного взаимодействия с системой управления. Отображаемый объект может также быть сгенерирован и отображен для реального объекта, положение которого, например, в виде трехмерных координат было передано на систему управления. Положение реального объекта могут передавать вместе с идентификатором для идентификации, например, типа объекта. Положение и, в частности, идентификатор реального объекта могут быть переданы на систему управления другим сельскохозяйственным транспортным средством. Данные объекта, соответствующие реальному объекту, положение и, в частности, идентификатор которого были переданы на систему управления, могут быть извлечены из блока памяти для уменьшения количества данных, которые необходимо передать. Такой реальный объект может быть, например, другим сельскохозяйственным транспортным средством, следами на земле и/или препятствием. Препятствие может быть деревом, изгородью или геологической особенностью, например водоемом, траншеей, мягкой и/или влажной почвой, откосом или уклоном. Отображаемый объект может быть откорректирован оператором посредством интерактивного взаимодействия с объектом, отображенным на сенсорном экране. К любому отображаемому объекту, например к положению в отображаемом окружении сельскохозяйственного транспортного средства, могут быть привязаны данные. Например, оператор путем жеста ввода на блоке дисплея может выбрать точку интереса, например точку возвращения при перерыве в работе. В этом случае двухмерный ввод преобразовывается в трехмерную информацию о положении, которая может использоваться системой автоматического вождения для направления сельскохозяйственного транспортного средства к выбранной точке интереса. Оператор может также выбрать на двухмерном дисплее точку интереса, преобразующуюся в трехмерную информацию о положении или координаты, задающие команду системе автоматического вождения, например, при жесте ввода для автоматического направления сельскохозяйственного транспортного средства к желаемому положению. Данные объекта могут быть изменены, например, в том случае, когда реальный объект распознан ошибочно, или в том случае, когда необходимо изменить, например, размеры препятствия. Привязку и/или изменение данных, соответствующих отображаемому объекту, могут производить посредством сенсорного ввода, в частности посредством жеста ввода на блоке дисплея, в частности посредством изменения отображаемого объекта. Преимущество решения состоит в том, что оператор может легко и более эффективно управлять системой автоматического вождения, что снижает рабочую нагрузку на оператора.

В более предпочтительном варианте осуществления изобретения система управления дополнительно выполнена с возможностью генерирования визуальной и/или акустической обратной связи, в частности от сенсорного ввода. Сенсорный ввод, например, для выбора или выполнения манипуляций с отображаемым объектом может вызывать акустическую и/или визуальную обратную связь для указания оператору о выполнении желаемого действия. Акустическая и/или визуальная обратная связь может быть представлена визуальной индикацией на блоке дисплея, индикаторным светом и/или акустическим сигналом типа звука или сообщения. Преимущество состоит в том, что оператор получает различимую обратную связь на свой ввод.

Предпочтительно система управления дополнительно выполнена с возможностью генерирования по меньшей мере одного виртуального элемента, соответствующего отображаемому объекту. Виртуальный элемент может генерироваться устройством формирования трехмерных изображений и может отображаться на блоке дисплея, например, наложением на отображенный реальный объект. С виртуальным элементом могут производить манипуляции посредством сенсорного ввода. Отображаемый объект может быть отображаемым реальным объектом, например, в виде прямого изображения, и/или видео, и/или виртуального элемента. Виртуальный элемент может генерироваться в соответствии с распознанным и/или отображаемым реальным объектом, например, в виде синтетического изображения реального объекта, символа или графических элементов. Данные объекта, соответствующие отображаемому реальному объекту, могут, например, содержать информацию о размерах реального объекта, например водоема или круглого тюка, и/или информацию, например, о безопасных расстояниях, указывающую, насколько близко к препятствию может подходить сельскохозяйственное транспортное средство. Виртуальный элемент, представляющий безопасные расстояния до прогнозируемой поворотной полосы или вокруг препятствий или границ поля, может быть показан в виде отображаемых объектов, виртуальных элементов, наложенных поверх прямого изображения реального объекта, то есть поля. Данные объекта могут быть изменены, например, в том случае, когда реальный объект распознан ошибочно или когда необходимы изменения данных объекта, посредством интерактивного взаимодействия с виртуальным элементом. Например, безопасные расстояния до прогнозируемой поворотной полосы или вокруг препятствия могут быть изменены путем их выбора и перемещения сенсорным вводом, расширяющим или сужающим безопасное расстояние и тем самым генерированием командных сигналов для блока управления, что позволяет системе автоматического вождения соответствующим образом направлять сельскохозяйственное транспортное средство. Преимущество виртуального элемента состоит в возможности увеличения объема информации, которая может быть показана оператору, без повышения его рабочей нагрузки. Дополнительно в систему управления могут быть включены другие интерактивные действия, расширяющие опции ввода для оператора.

В предпочтительном варианте осуществления устройство формирования трехмерных изображений содержит по меньшей мере одно электрооптическое устройство формирования карты дальностей, в частности, в виде стереокамеры, устройства светового обнаружения и измерения дальности и/или времяпролетной камеры. Электрооптическое устройство формирования карты дальностей может быть активным и/или пассивным устройством формирования карты дальностей для генерирования интерактивного двухмерного изображения захваченного трехмерного реального мира и/или трехмерного реального объекта, показывающего, например, расстояние от электрооптического устройства формирования карты дальностей до индивидуальных точек в месте реального мира. Лазерная система обнаружения и измерения дальности, называемая LIDAR или LADAR (от англ. Laser Imaging Detection and Ranging), является устройством активной оптической технологии определения дальности, которое может измерять расстояние до объекта, такого как земля или реальный объект, посредством освещения мишени лазерным светом и анализа отраженного рассеянного света. Времяпролетная камера в качестве активного устройства формирования карты дальностей может определять расстояние на основе известной скорости света и измерения времени пролета светового сигнала между камерой и реальным объектом для каждой точки изображения. Устройство формирования трехмерных изображений может быть устройством формирования карты дальностей на основе радара или ультразвука. Могут быть скомбинированы различные виды устройств формирования трехмерной карты дальностей. Получаемый в результате массив трехмерных данных может быть визуализирован в виде соответствующей карты дальностей, содержащей величины пикселей, соответствующих расстоянию. Карта дальностей может быть визуализирована из массива трехмерных данных устройством формирования трехмерных изображений для того, чтобы создать изображение, которое может быть отображено для оператора на блоке дисплея, например, в виде прямого изображения и/или видео реального мира и/или объекта. Стереокамера как пассивное устройство формирования карты дальностей может получать массив трехмерных данных и соответствующие величины пикселей для реального объекта непосредственно из захваченного изображения. Карта дальностей может быть смонтирована из отдельных массивов трехмерных данных и/или из карт дальностей, например, в виде панорамной картины, причем индивидуальные карты дальностей могут поставляться от одного или большего числа даже различных устройств формирования трехмерных карт дальностей. Это дает то преимущество, что может быть расширено поле обзора.

Изобретение относится также к сельскохозяйственному транспортному средству, содержащему по меньшей мере одну описанную выше систему управления. Система управления по изобретению позволяет простым и эффективным образом управлять системой автоматического вождения, снижая стресс и рабочую нагрузку на оператора.

Следующим аспектом настоящего изобретения является способ интерактивного управления, в частности, с помощью описанной выше системы управления, системой автоматического вождения сельскохозяйственного транспортного средства, содержащий следующие этапы:

- выводят массив трехмерных данных для реального объекта, захваченного устройством формирования трехмерных изображений,

- отображают объект на блоке сенсорного дисплея,

- получают от блока дисплея обратную связь от интерактивного взаимодействия сенсорного ввода с отображаемым объектом,

- генерируют командные сигналы на основе массива трехмерных данных, соответствующие интерактивному взаимодействию с отображаемым объектом, для управления системой автоматического вождения.

Устройство формирования трехмерных изображений может захватывать изображение реального объекта в реальном мире для получения массива трехмерных данных для захваченного реального объекта. Массив трехмерных данных может содержать информацию, в частности информацию о положении, о расстоянии от реального объекта до устройства формирования изображений и/или до сельскохозяйственного транспортного средства. Система автоматического вождения может быть, в частности основанной на устройстве формирования трехмерных изображений автоматической системой рулевого управления или автопилотом. Система автоматического вождения может содержать навигационную систему и/или систему планирования маршрута, например, для определения маршрута для подбора обнаруженных тюков на поле. Система автоматического вождения может содержать блок управления для управления сельскохозяйственным транспортным средством, в частности исполнительными органами перемещения системы рулевого управления, дросселя и/или тормозов сельскохозяйственного транспортного средства, причем блок управления может быть выполнен с возможностью генерирования сигналов управления для перемещения сельскохозяйственного транспортного средства, например, путем управления системой рулевого управления, дросселем и/или тормозами для их установки в желаемое положение. Каждый пиксель изображения, захваченного устройством формирования изображений, может содержать информацию о расстоянии от реального объекта до устройства формирования изображений. Массив трехмерных данных может содержать информацию относительного и/или абсолютного положения и/или трехмерные координаты. Трехмерные координаты могут генерироваться при поддержке навигационной системы, в частности спутниковой навигационной системы, например глобальной системы навигации и определения положения (GPS). Навигационная система может обеспечивать получение трехмерных координат, в частности, для системы формирования трехмерных изображений и/или для сельскохозяйственного транспортного средства, на основе которых могут быть вычислены трехмерные координаты реального объекта путем определения положения, например расстояния и азимута, реального объекта по отношению к устройству формирования трехмерных изображений и/или к сельскохозяйственному транспортному средству. Визуализация захваченного реального объекта может иметь вид прямого изображения или вид искусственного изображения и/или видео реального объекта. Это обеспечивает возможность представления трехмерной информации, которое может быть легко воспринято оператором сельскохозяйственного транспортного средства, управляющим системой автоматического вождения. Для отображения визуализированного захваченного реального объекта информация может быть передана от устройства формирования изображений на блок сенсорного дисплея. Визуализированный захваченный реальный объект может отображаться на блоке дисплея в виде отображаемого объекта, причем несколько объектов могут отображаться в одной или нескольких подобластях блока дисплея раздельно и/или совместно. Блок дисплея может быть чувствителен к множественному сенсорному вводу, в частности для каждой подобласти и/или для каждого отображаемого объекта.

С отображаемым объектом можно выполнять интерактивное взаимодействие путем касания сенсорного дисплея в области, показывающей отображаемый объект. Интерактивное взаимодействие может иметь вид выбора отображаемого объекта и/или выполнения манипуляций с отображаемым объектом, например, в отношении его формы и/или размеров. Сенсорный ввод регистрируется блоком дисплея в качестве обратной связи в двухмерных координатах. Двухмерные координаты обратной связи и интерактивного взаимодействия с отображаемым объектом передают обратно на устройство формирования трехмерных изображений, причем устройство формирования трехмерных изображений соотносит двухмерные координаты с массивом трехмерных данных, соответствующим отображаемому объекту, например с трехмерными координатами реального объекта, соответствующего отображаемому объекту. На основе интерактивного взаимодействия с отображаемым объектом могут генерироваться основанные на массиве трехмерных данных командные сигналы для управления системой автоматического вождения в соответствии с интерактивным взаимодействием. Командные сигналы могут передавать в качестве входных сигналов на блок управления, управляющий транспортирующим устройством. Генерируемые командные сигналы могут содержать основанную на массиве трехмерных данных информацию, соответствующую сенсорному вводу, например трехмерные координаты выбранного положения или намеченное перемещение сельскохозяйственного транспортного средства к выбранному положению. Далее командные сигналы могут передавать в качестве входных сигналов на блок управления, который управляет системой автоматического вождения, для выполнения перемещения и/или действия сельскохозяйственного транспортного средства, намеченного посредством интерактивного взаимодействия с отображаемым объектом. Например, отображенный на блоке дисплея реальный объект типа круглого тюка может быть отмечен и трехмерные координаты тюка сохранены в памяти или переданы в систему планирования маршрута. Посредством сенсорного ввода может быть также выбран отображаемый объект в виде препятствия, и безопасное расстояние может быть выбрано для того, чтобы система автоматического вождения могла безопасно вести вокруг препятствия, при этом двухмерные координаты сенсорного ввода передаются на устройство формирования изображений, которое соотносит эти двухмерные координаты с трехмерными координатами на основе массива трехмерных данных отображаемого объекта в виде препятствия. Далее трехмерные координаты могут передавать в качестве входных сигналов на блок управления, управляющий транспортирующим устройством, чтобы блок управления мог соответствующим образом направлять сельскохозяйственное транспортное средство.

Генерирование на основе массива трехмерных данных командных сигналов, соответствующих интерактивному взаимодействию с отображаемым объектом, для управления системой автоматического вождения имеет то преимущество, что оператор может вручную взаимодействовать с визуальной информацией, предоставляемой устройством формирования трехмерных изображений, для управления системой автоматического вождения. Визуальная информация позволяет оператору эффективно контролировать следование по пути и, например, автоматически избегать препятствий. Таким образом, система управления позволяет легко и эффективно управлять системой автоматического вождения, снижая стресс и рабочую нагрузку на оператора.

В предпочтительном варианте осуществления изобретения способ дополнительно содержит этап генерирования командных сигналов в виде управляющих сигналов для непосредственного управления сельскохозяйственным транспортным средством. Устройство формирования трехмерных изображений может быть непосредственно связано с исполнительными органами привода в действие системы рулевого управления для того, чтобы непосредственно управлять сельскохозяйственным транспортным средством. Командные сигналы, генерируемые устройством формирования изображений, в частности, на основе полученной обратной связи сенсорного ввода, могут быть управляющими сигналами, которые непосредственно управляют исполнительными органами системы рулевого управления, дросселем и/или тормозами сельскохозяйственного транспортного средства. Таким образом, интерактивное взаимодействие с отображаемым объектом посредством сенсорного ввода может непосредственно преобразовываться в управляющие сигналы для непосредственного управления по меньшей мере одним исполнительным органом сельскохозяйственного транспортного средства. Преимущество решения состоит в том, что сельскохозяйственным транспортным средством могут управлять непосредственно устройством формирования трехмерных изображений, что обеспечивает более быстрое реагирование системы рулевого управления, например, на сенсорный ввод оператором на блоке дисплея. Например, отображаемый объект, указывающий пути, по которым должно следовать сельскохозяйственное транспортное средство, может быть выбран и перемещен или изменен посредством сенсорного ввода, причем перемещение и/или изменение отображаемого объекта посредством сенсорного ввода может приводить к непосредственно связанному с ним перемещению системы рулевого управления сельскохозяйственного транспортного средства. Это имеет то преимущество, что сельскохозяйственное транспортным средством могут управлять непосредственно устройством формирования трехмерных изображений, что обеспечивает более быстрое реагирование системы рулевого управления, например, на сенсорный ввод оператора на блоке дисплея.

В более п