Автоматическая калибровка системы отсчета дополненной реальности

Автоматическая калибровка системы отсчета дополненной реальности

Иллюстрации

Показать все

Реферат

Область техники

Настоящее изобретение относится к дополненной реальности, и в частности к одной или нескольким системам, способам, стандартным процедурам и/или методам для автоматической калибровки системы отсчета дополненной реальности.

Уровень техники

Дополненная реальность дополняет или добавляет восприятие реального поля зрения, например видеопотока в реальном времени, посредством наложения виртуальных объектов или носителя в реальное поле обзора. Дополненная реальность предоставляет возможность наложить на реальное поле обзора искусственную информацию, связанную с реальным миром и его объектами. Дополненная реальность хотя и связана, но отличается от виртуальной реальности, которая заменяет реальное поле обзора искусственным полем обзора. Дополненная реальность применяется в таких областях, как развлечения, видеоигры, спортивные соревнования и сотовый телефон.

Кроме того недостатки традиционных подходов станут очевидны специалистам из сравнения таких систем с некоторыми объектами настоящего изобретения, как указано далее в оставшейся части описания со ссылками на прилагаемые чертежи.

Сущность изобретения

Настоящее изобретение описывает одну или несколько систем, способов, стандартных процедур и/или методов автоматической калибровки системы отсчета для дополненной реальности. Одна или несколько систем, способов, стандартных процедур и/или методов могут предоставить возможность для простой и быстрой калибровки системы дополненной реальности, например, посредством автоматически калибрующейся системы отсчета виртуальных объектов и/или камеры.

Один или несколько вариантов осуществления настоящего изобретения описывают способ дополненной реальности, например, исполненной посредством системы обработки данных, имеющей по меньшей мере один процессор. Способ может включать в себя принимающую или формирующую систему координат следящей системы, связанной со следящей системой объекта. Система координат следящей системы может быть связана с реальным трехмерным пространством. Следящая система может отслеживать позицию и ориентацию в реальном трехмерном пространстве реального объекта и камеры. Способ может включать в себя прием из следящей системы данных о первой системе отсчета реального объекта. Первая система отсчета реального объекта может показывать позицию и ориентацию реального объекта относительно системы координат следящей системы. Способ может включать в себя определение второй системы отсчета реального объекта. Вторая система отсчета реального объекта может показывать позицию и ориентацию реального объекта относительно системы координат следящей системы. Способ может включать в себя прием данных о первой системе отсчета виртуального объекта. Виртуальный объект может быть смоделирован в соответствии с реальным объектом. Первая система отсчета виртуального объекта может быть не связана с системой координат следящей системы. Способ может включать в себя определение второй системы отсчета виртуального объекта. Вторая система отсчета виртуального объекта может показывать позицию и ориентацию виртуального объекта относительно системы координат следящей системы. Способ может включать в себя определение преобразования координат виртуального объекта между первой системой отсчета виртуального объекта и системой координат следящей системы. Способ может включать вывод на экран дополненной сцены, включающей вид реального трехмерного пространства, вид реального объекта и одного или нескольких наложенных виртуальных изделий. Преобразование координат виртуального объекта можно применить для определения положения одного или нескольких наложенных виртуальных элементов в дополненной сцене так, чтобы один или несколько виртуальных элементов были связаны с реальным объектом.

Один или несколько вариантов осуществления настоящего изобретения описывают способ дополненной реальности, например, исполненной посредством системы обработки данных, имеющей по меньшей мере один процессор. Способ может включать в себя принимающую или формирующую систему координат следящей системы, связанной со следящей за объектами системой. Система координат следящей системы может быть связана с реальным трехмерным пространством. Следящая система может отслеживать позицию и ориентацию в реальном трехмерном пространстве камеры, которая захватывает реальное трехмерное пространство и печатный маркер. Способ может включать прием из следящей системы данных о системе отсчета камеры. Система отсчета камеры может показывать позицию и ориентацию камеры относительно системы координат следящей системы. Способ может включать принимающую или формирующую систему координат печатного маркера. Система координат печатного маркера может быть связана с реальным трехмерным пространством. Система координат печатного маркера может быть связана с системой координат следящей системы. Способ может включать определение системы отсчета объектива камеры. Система отсчета камеры может показывать позицию и ориентацию объектива камеры относительно системы координат печатного маркера. Способ может включать определение преобразования координат объектива камеры между системой отсчета камеры и системой отсчета объектива камеры. Способ может включать вывод на экран дополненную сцену, включающую вид реального трехмерного пространства и одного или нескольких виртуальных элементов. Преобразование координат объектива камеры можно использовать для изменения (или искажения) одного или нескольких виртуальных элементов в дополненной сцене.

Один или несколько вариантов осуществления настоящего изобретения описывают некоторую систему. Эта система может включать в себя камеру, которая захватывает вид реального трехмерного пространства, включающего реальный объект. Эта система может включать в себя следящую систему, которая отслеживает позицию и ориентацию в реальном трехмерном пространстве реального объекта и камеры. Следящая система может быть выполнена с возможностью задать систему координат следящей системы, и эта система координат следящей системы может быть связана с реальным трехмерным пространством. Система может включать в себя компьютер, соединенный с камерой и следящей системой, и этот компьютер может включать в себя один или несколько блоков памяти. Компьютер может быть сконфигурирован с разработчиком модели виртуального объекта. Разработчик модели виртуального объекта может быть выполнен с возможностью принимать из следящей системы первую систему отсчета реального объекта, при этом первая система отсчета реального объекта может показывать позицию и ориентацию реального объекта в системе координат следящей системы. Разработчик модели виртуального объекта может быть дополнительно выполнен с возможностью вычисления второй системы отсчета реального объекта, при этом вторая система отсчета реального объекта может показывать позицию и ориентацию реального объекта в системе координат следящей системы. Разработчик модели виртуального объекта может быть дополнительно выполнен с возможностью принимать из одного или нескольких блоков памяти первую систему отсчета виртуального объекта, при этом виртуальный объект может быть смоделирован в соответствии с реальным объектом и первая система отсчета виртуального объекта может быть не связана с системой координат следящей системы. Разработчик модели виртуального объекта может быть дополнительно выполнен с возможностью вычислять вторую систему отсчета виртуального объекта, при этом вторая система отсчета виртуального объекта может показывать позицию и ориентацию виртуального объекта в системе координат следящей системы. Разработчик модели виртуального объекта может быть выполнен с дополнительной возможностью вычисления преобразования координат виртуального объекта между первой системой отсчета виртуального объекта и системой координат следящей системы. Разработчик модели виртуального объекта может быть выполнен с дополнительной возможностью создать и хранить в одном или нескольких блоках памяти дополненную сцену, включающую вид реального трехмерного пространства, вид реального объекта и один или несколько наложенных виртуальных элементов. Преобразование координат виртуального объекта можно использовать для определения положения одного или нескольких наложенных виртуальных элементов в дополненной сцене так, чтобы один или несколько виртуальных элементов были связаны с реальным объектом.

Один или несколько вариантов осуществления настоящего изобретения описывают систему обработки данных, которая включает в себя один или несколько блоков памяти, которые хранят программный код, и один или несколько процессорных блоков, соединенных с одним или несколькими блоками памяти. Один или несколько процессорных блоков могут исполнять программный код, сохраненный в одном или нескольких блоках памяти, которые принимают или задают систему координат следящей системы. Система координат следящей системы может быть связана с реальным трехмерным пространством. Следящая система может отслеживать позицию и ориентацию в реальном трехмерном пространстве камеры, которая захватывает реальное трехмерное пространство и печатный маркер. Один или несколько процессорных блоков могут исполнять программный код, сохраненный в одном или нескольких блоках памяти, чтобы принять из следящей системы систему отсчета камеры. Система отсчета камеры может показывать позицию и ориентацию камеры относительно системы координат следящей системы. Один или несколько процессорных блоков могут исполнять программный код, сохраненный в одном или нескольких блоках памяти, чтобы принять или задать систему координат печатного маркера. Система координат печатного маркера может быть связана с реальным трехмерным пространством и с системой координат следящей системы. Один или несколько процессорных блоков могут исполнять программный код, сохраненный в одном или нескольких блоках памяти, чтобы определить систему отсчета объектива камеры. Система отсчета камеры может показывать позицию и ориентацию объектива камеры относительно системы координат печатного маркера. Один или несколько процессорных блоков могут исполнять программный код, сохраненный в одном или нескольких блоках памяти, чтобы определить преобразование координат объектива камеры между системой отсчета камеры и системой отсчета объектива камеры. Один или несколько процессорных блоков могут исполнять программный код, сохраненный в одном или нескольких блоках памяти, чтобы вывести на экран дополненную сцену, включающую вид реального трехмерного пространства и один или несколько виртуальных элементов. Преобразование координат объектива камеры можно использовать для изменения (или искажения) одного или нескольких виртуальных элементов в дополненной сцене.

Эти и другие преимущества, объекты и новые признаки настоящего изобретения, а также подробности изображенного варианта его осуществления будут более понятны из следующего описания и чертежей. Следует понимать, что вышеизложенное общее описание является лишь иллюстративным и не ограничивает заявленное изобретение.

Краткое описание чертежей

Некоторые признаки и преимущества приведены далее в описании, в котором рассмотрены некоторые варианты осуществления, представленные в качестве примера, посредством следующих чертежей.

На фиг. 1 изображена блок-схема иллюстративных устройств, компонентов, программного обеспечения и взаимодействий системы дополненной реальности в соответствии с одним или несколькими вариантами осуществления настоящего изобретения, при этом автоматические методы калибровки системы отсчета, описанные в данном документе, могут быть полезны в такой системе дополненной реальности.

На фиг. 2 изображена блок-схема иллюстративного метода калибровки в соответствии с одним или несколькими вариантами осуществления настоящего изобретения.

На фиг. 3 изображена иллюстрация оснастки в виде рейсшины, применяемой в следящей системе по ряду соображений в соответствии с одним или несколькими вариантами осуществления настоящего изобретения.

На фиг. 4A изображена иллюстрация примера реального объекта с некоторым числом маркеров отслеживания, прикрепленных или помещенных на реальном объекте в соответствии с одним или несколькими вариантами осуществления настоящего изобретения.

На фиг. 4B изображена иллюстрация того, как следящая система может создать представление реального объекта и определить его положение в соответствии с одним или несколькими вариантами осуществления настоящего изобретения.

На фиг. 5 изображена иллюстрация того, как программное обеспечение виртуального моделирования может задать новую систему отсчета реального объекта в соответствии с одним или несколькими вариантами осуществления настоящего изобретения.

На фиг. 6 изображена иллюстрация того, как программное обеспечение виртуального моделирования может задать новую систему отсчета виртуального объекта в соответствии с одним или несколькими вариантами осуществления настоящего изобретения.

На фиг. 7 изображена блок-схема иллюстративного метода калибровки в соответствии с одним или несколькими вариантами осуществления настоящего изобретения.

На фиг. 8A изображена иллюстрация примера камеры и системы координат камеры в соответствии с одним или несколькими вариантами осуществления настоящего изобретения.

На фиг. 8B изображена иллюстрация того, как следящая система может создать представление камеры и определить его положение в соответствии с одним или несколькими вариантами осуществления настоящего изобретения.

На фиг. 8C изображена иллюстрация примера компьютерного планшета со встроенной камерой в соответствии с одним или несколькими вариантами осуществления настоящего изобретения.

На фиг. 9A и 9B изображена иллюстрация того, как печатный маркер может предоставить возможность определения системы отсчета объектива камеры.

На фиг. 10A изображена иллюстрация примера дополненной сцены, которая может быть создана в соответствии с одним или несколькими вариантами осуществления настоящего изобретения.

На фиг. 10B изображена иллюстрация примера дополненной сцены, которая может быть создана в соответствии с одним или несколькими вариантами осуществления настоящего изобретения.

На фиг. 11 изображена схема последовательности операций, которая показывает примеры шагов способа автоматической калибровки системы отсчета дополненной реальности в соответствии с одним или несколькими вариантами осуществления настоящего изобретения.

На фиг. 12 изображена схема последовательности операций, которая показывает примеры шагов способа автоматической калибровки системы отсчета дополненной реальности в соответствии с одним или несколькими вариантами осуществления настоящего изобретения.

На фиг. 13 изображена блок-схема примера системы обработки данных, которую можно применить для реализации одного или нескольких вариантов осуществления настоящего изобретения.

Подробное описание

В различных системах дополненной реальности для отслеживания позиции и ориентации камеры и различных объектов реального мира в трехмерном пространстве можно применить следящую систему. Например, следящая система может отслеживать камеру и участок оборудования, который камера наблюдает/захватывает. Различные системы дополненной реальности могут попытаться создать дополненную сцену, которая включает в себя реальную сцену, например, захваченную камерой (включающей различные реальные объекты), и наложенный виртуальный носитель и/или объекты. Чтобы создать дополненную сцену, следящая система может установить виртуальную систему координат и может отслеживать представления реальных объектов или "определять их положение" в этой системе координат. Различные системы дополненной реальности могут попытаться "определить положение" различных виртуальных объектов (например, моделей/объектов CAD) в этой же системе координат, для того чтобы создать дополненную сцену. Виртуальные объекты/модели могут иметь свою собственную произвольную систему отсчета (например, позиции и ориентации в трехмерном пространстве) и, таким образом, чтобы определить положение виртуального объекта в системе координат следящей системы, должно быть определено преобразование координат между системой координат следящей системы и системой отсчета виртуального объекта. Кроме того, если камера (например, камера, захватывающая реальную сцену) перемещается, система дополненной реальности может попытаться изменить вид виртуальных объектов. Для того, чтобы сделать это точно, системе дополненной реальности может быть необходимо отслеживать позицию и ориентацию объектива камеры. Однако следящая система может отслеживать только позицию и ориентацию всей камеры. Различные программы из программного обеспечения (например, совместно с другими частями) можно применить для определения системы отсчета для объектива камеры в системе координат, но эти программы отслеживания объектива из программного обеспечения могут отслеживать объектив в системе координат, установленной самой программой отслеживания объектива из программного обеспечения. Таким образом, чтобы определить положение объектива камеры в системе координат следящей системы, должно быть определено преобразование координат между системой координат следящей системы и системы отсчета объектива. Определение этих преобразований координат (например, для виртуальных объектов и/или для объектива камеры) можно назвать калибровкой системы дополненной реальности или калибровкой систем отсчета.

Следует понимать, что термины "система координат", "система отсчета" и "поза" могут быть применены везде в данном описании и быть связанными. Термин "система координат" может относиться к представлению трехмерного пространства, где система координат включает в себя три плоскости или оси (например, ось X, ось Y, ось Z) и начало отсчета (например, точка пересечения трех осей). Термин "система отсчета" или "отсчетная система" может относиться к местоположению и ориентации в трехмерном пространстве объекта или точки, например, в системе координат. Система отсчета объекта может включать в себя начало отсчета (например, аппроксимированный центр масс) для определения положения объекта и ориентации объекта (например, 3 оси, установленные относительно объекта). Термин "поза" это краткая форма для фразы "позиция и ориентация" и может относиться к позиции (например, X, Y, Z координаты) и ориентации (например, поворот относительно продольной оси, поперечной оси, вертикальной оси) объекта в трехмерном пространстве.

Много систем дополненной реальности могут выполнять калибровку системы дополненной реальности вручную или методом последовательного приближения, например, аппроксимируя систему отсчета виртуальной модели и/или объектива камеры относительно системы координат следящей системы и затем тестируя дополненную сцену, чтобы определить, была ли аппроксимация хорошей. Например, специалист может просто посмотреть на наложение виртуальных объектов в дополненной сцене и сделать вывод, относительно того, появились ли они в своих правильных положениях при разных местоположениях и ориентациях камеры. Для этого процесса ручной калибровки может потребоваться оперирование двенадцатью параметрами, например, шестью параметрами виртуального объекта (например, X, Y, Z координаты и крен, тангаж, рыскание) и шестью параметрами объектива камеры (например, X, Y, Z координаты и крен, тангаж, рыскание). Этот процесс может быть дорогим и/или занимающим много времени, например, может занять много часов (точнее, более 8 часов) для завершения. Даже, когда процесс ручной калибровки завершен, он все еще может не привести к точному решению/калибровки. Например, виртуальный объект, положение которого оказывается определенным соответствующим образом при одной позиции камеры, может оказаться не определенным соответствующим образом при других позициях камеры. Малые ошибки в определении положения виртуального объекта могут привести к большим ошибкам на более крупных реальных объектах. Кроме того, каждый раз, когда система дополненной реальности устанавливается в новую окружающую обстановку или для нового реального объекта или камеры, система дополненной реальности должна быть вручную откалибрована.

Настоящее изобретение описывает одну или несколько систем, способов, стандартных процедур и/или методов автоматической калибровки системы отсчета для дополненной реальности. Одна или несколько систем, способов, стандартных процедур и/или методов могут предоставить возможность простой и быстрой калибровки системы дополненной реальности, например, посредством автоматически калибрующейся системы отсчета виртуальных объектов и/или камеры. Одна или несколько систем, способов, стандартных процедур и/или методов могут предоставить возможность установки системы дополненной реальности в новую окружающую обстановку или на новый реальный объект (например, участок оборудования) в относительно короткое время (например, менее 15 минут) и могут предоставить возможность для точного совмещения наложенного виртуального контента с реальной сценой. Точное совмещение виртуального контента может быть критичным, если система дополненной реальности применяется для дачи указания специалисту выполнить точную задачу, например, просверлить малое отверстие в точно заданном месте. Одна или несколько систем, способов, стандартных процедур и/или методов могут определить и/или вычислить преобразования координат между различными системами отсчета (например, системы координат следящей системы, системы отсчета виртуального объекта и системы отсчета объектива камеры). Настоящее изобретение может описать две основные стандартные процедуры и/или методы калибровки. Первая стандартная процедура и/или метод калибровки может определить и/или вычислить преобразование координат между системой отсчета виртуального объекта (например, модели CAD) и системой координат, связанной со следящей системой. Вторая стандартная процедура и/или метод калибровки может определить и/или вычислить преобразование координат между системой отсчета объектива камеры и системой отсчета всей камеры, как это определено следящей системой. Эти стандартные процедуры и/или методы могут калибровать систему дополненной реальности для быстрого, точного совмещения виртуального контента с видом прямой трансляции реальной сцены.

На фиг. 1 изображена блок-схема примеров устройств, компонентов, программного обеспечения и взаимодействий системы 100 дополненной реальности в соответствии с одним или несколькими вариантами осуществления настоящего изобретения, где автоматические методы калибровки системы отсчета, описанные в данном документе, могут быть полезной в указанной системе дополненной реальности. Система 100 дополненной реальности может включать в себя камеру 102, которая может захватывать и/или передавать видеопоток реальной сцены в реальном времени. Реальная сцена может включать в себя один или несколько реальных объектов, например реальный объект 104. Реальный объект 104 может быть одним из различных объектов, например инструментом, участком оборудования, большим искусственным спутником, блоком управления, панелью управления или многими другими объектами. Камера 102 может быть связанной с компьютером 106, при этом компьютер может интерпретировать и/или обрабатывать информацию (например, потоковое видео), отправленную от камеры, связанной с реальными сценами и/или объектами захваченными камерой.

Система 100 дополненной реальности может включать в себя следящую систему 108. Следящая система 108 может отслеживать "позу" (позицию и ориентацию в трехмерном пространстве) реального объекта 104 и камеры 102 и может передавать эту информацию (например, в реальном времени) в компьютер (например, компьютер 106) или другой компонент. Следящая система 108 может включать в себя различные компоненты, например некоторое количество маркеров отслеживания, некоторое количество измерительных устройств для распознавания маркеров отслеживания и базовое вычислительное устройство, которое может прогнать соответствующее программное обеспечение следящей системы. В одном из примеров каждый маркер может представлять собой маленький шарик (например, 10 миллиметровый шарик) с отражающим покрытием, которое предназначено для отражения определенных длин волн света. В этом примере маркеры можно поместить в различных местах и/или на различных объектах в пространстве реального мира так, чтобы следящая система 108 могла отслеживать позицию и/или ориентацию определенных точек и/или объектов в трехмерном пространстве. Например, несколько (т.е. три или более) маркеров отслеживания можно поместить на реальном объекте 104, и несколько (т.е. три или более) маркеров отслеживания можно поместить на камере 102.

Измерительные устройства следящей системы 108 могут представлять собой камеры, которые предназначены для детектирования местоположения в трехмерном пространстве маркеров отслеживания. Например, каждая камера может представлять собой инфракрасную камеру, которая предназначена для детектирования отражений от различных маркеров отслеживания (например, маркеры отслеживания, помещенные на камере 102 и на реальном объекте 104). Различные измерительные устройства (например, инфракрасные камеры) можно поместить и/или смонтировать в различных местах трехмерного пространства, например некоторое количество (т.е. восемь или более) камер можно смонтировать на стенках комнаты или лаборатории, например смонтировать в таком порядке, чтобы интересующее трехмерное пространство в полной мере было покрыто областями видимости различных камер. Различные измерительные устройства следящей системы 108 могут быть связаны (например, посредством линии связи в реальном времени, такой как Ethernet, WiFi или аналогичной им) с базовым вычислительным устройством, при этом базовое вычислительное устройство, может прогонять соответствующее программное обеспечение следящей системы. Программное обеспечение следящей системы может обработать данные от различных измерительных устройств. Следящая система 108 может быть связана (например, посредством линии связи в реальном времени, такой как Ethernet, WiFi или аналогичной им) с компьютером 106. Компьютер может представлять собой компьютер, связанный с камерой 102. В некоторых вариантах осуществления базовое вычислительное устройство следящей системы 108 может быть тем же вычислительным устройством как и компьютер 106.

В некоторых вариантах осуществления камера 102 может быть встроена в компьютер 106. В некоторых примерах компьютер 106 может представлять собой мобильное устройство, например компьютерный планшет, смартфон, КПК или аналогичное им. В качестве одного конкретного примера компьютер 106 может представлять собой компьютерный планшет (см. фиг. 7C для примера) с интегрированной камерой. Мобильное устройство с интегрированной камерой может предоставить гибкость и свободу движения пользователю. Например, пользователь мог бы видеть дополненную сцену, которая включает в себя реальный объект (например, реальный участок оборудования), и пользователь мог бы ходить вокруг реального объекта, наблюдая разные части и/или углы реального объекта. Кроме того, пользователь может видеть виртуальный контент на экране планшета, который содействует пользователю в выполнении задачи, например, виртуальный контент может включать в себя инструкции, стрелки, аппаратное обеспечение, инструменты или аналогичные им, которые могут инструктировать пользователя, как надо работать на реальном объекте или с ним. Компьютерный планшет в этом примере (например, компьютер 106) может включать в себя программное обеспечение 110 для виртуального моделирования. Компьютерный планшет в этом примере мог быть связан (например, посредством линии связи в режиме реального времени, такой как Ethernet, WiFi или аналогичной им) со следящей системой 108 (например, базовым вычислительным устройством следящей системы).

Компьютер 106 может включать в себя программное обеспечение 110 виртуального моделирования. Программное обеспечение виртуального моделирования может предоставить доступ или загрузить различные виртуальные объекты, например виртуальный объект (ВО) 112. Виртуальные объекты (например, ВО 112) могут быть легко созданы одним из известных способов создания виртуальных и/или автоматически спроектированных (CAD) объектов и/или моделей. Виртуальные/CAD объекты/модели могут быть созданы применением программного обеспечения CAD, например программного обеспечения, в котором применяется векторная графика или нечто аналогичное для изображения объекта, например объекта, смоделированного в соответствии с объектом реального мира. Виртуальные/CAD объекты/модели могут представлять собой объекты 3D, которые учитывают, подробно, различные 3D-свойства реального объекта. Виртуальный объект 112 может представлять собой виртуальное представление реального объекта 104. Компьютер 106 может предоставить доступ или загрузить и другие виртуальные объекты кроме истинных виртуальных объектов, которые представляют реальные объекты в реальном пространстве. В качестве примера, реальный объект 104 может быть участком оборудования, а виртуальный объект 112 может быть виртуальным представлением этого же участка оборудования. Кроме того, следующая группа виртуальных объектов может не иметь никаких двойников в реальном пространстве, например виртуальные объекты могут представлять гипотетические винты, инструменты, провода и т.п., с помощью которых специалисту показывают как обращаться с реальным объектом 104.

Программное обеспечение виртуального моделирования может принять данные (например, поток реальных временных данных) от следящей системы 108, например от координатной системы, заданной следящей системой, от системы отсчета камеры 102 и системы отсчета реального объекта 104. Программное обеспечение виртуального моделирования может выполнять различные стандартные процедуры, методы и т.п., описанные в данном документе, чтобы создать дополненную сцену (например, дополненную сцену 114), к примеру обзор в реальном времени реального пространства, захваченного камерой 102 и дополненного виртуальными объектами. Программное обеспечение виртуального моделирования может выполнять различную калибровку стандартных процедур и/или методов, как описано в данном документе, чтобы совместить системы координат и системы отсчета виртуальных объектов и объектива камеры с системой координат, связанной со следящей системой. Как только калибровка выполнена, программное обеспечение виртуального моделирования может поддерживать корреляцию и/или совмещение между различными виртуальными объектами и живой реальной сценой. Компьютер 106 может включать в себя или быть связанным с индикатором 116, который может вывести на экран пользователю дополненную сцену 114. Программное обеспечение виртуального моделирования может создать дополненную сцену 114 (выведенную на экран дисплея 116), которая показывает виртуальные объекты, помещенные на видеопоток в реальном времени. Программное обеспечение виртуального моделирования может соответствующим образом исказить (например, изменяя 3D-местоположение, 3D-ориентацию, и/или 3D-размер) виртуальные объекты в дополненной сцене, например, в зависимости от позы камеры 102, относительно позы реального объекта 104. Например, если камера 102 отходит дальше от реального объекта 104, один или несколько виртуальных объектов в дополненной сцене могут съежиться. В качестве другого примера, если камера 102 приближается к реальному объекту 104, один или несколько виртуальных объектов будут увеличены. В качестве еще одного примера, если камера 102 перемещается под углом относительно реального объекта 104, один или несколько виртуальных объектов будут поворачиваться соответствующим образом.

На фиг. 2 изображена блок-схема примера одного из методов калибровки, в соответствии с одним или несколькими вариантами осуществления настоящего изобретения. В частности, на фиг. 2 показан метод автоматической калибровки системы отсчета, который можно применить для определения и/или вычисления преобразования координат между системой отсчета виртуальных объектов (например, виртуальных объектов, добавленных к дополненной сцене) и системы отсчета, связанной со следящей системой. Как видно из фиг. 2, следящая система 202 (например, аналогичная следящей системе 108 по фиг. 1) может задать систему координат 204, например, как часть инсталляции следящей системы, осуществляемой специалистом. Система координат следящей системы может включать в себя три оси (например, ось X, ось Y, ось Z) и точку отсчета, в которой эти три оси пересекаются. Следящая система может "поместить" или связать точку отсчета системы координат с конкретной точкой в реальном трехмерном пространстве и может ориентировать систему координат относительно реального трехмерного пространства. В следящей системе можно использовать оснастку в виде рейсшины для задания ее системы координат, например, рейсшину, аналогичную рейсшине 300, показанной на фиг. 3. По фиг. 3 рейсшина 300 может походить на букву "Т" и может включать в себя первую удлиненную составляющую (например, составляющая 302), которую можно обозначить как первая ось (например, ось X), и может включать в себя вторую удлиненную составляющую (например, составляющая 304), которую можно обозначить как вторая ось (например, ось Z). На рейсшине 300 можно также обозначить точку отсчета в точке 306, где первая составляющая 302/ось и вторая составляющая 304/ось пересекаются. Третья, воображаемая ось (например, ось Y) может проходить через точку отсчета 306. В качестве примера, рейсшину 300 можно положить на пол комнаты или лаборатории, а следящий механизм может задать систему ее координат посредством обнаружения рейсшины и/или маркеров отслеживания (например, маркеров отслеживания 308, 310, 312, 314, 316), прикрепленных к рейсшине. Следящая система может задать виртуальную точку отсчета и три виртуальные оси, которые связаны с точкой отсчета и осями как они обозначены при помощи рейсшины 300. Как только система координат следящей системы задана, следящая система может отслеживать реальный объект (например, оснащенный тремя или несколькими маркерами отслеживания) в комнате или лаборатории и определяет его положение в системе координат и ориентацию объекта относительно трех осей.

Из фиг. 2 видно, что следящая система 202 может определить систему отсчета 206, связанного с реальным объектом. Другими словами следящая система 202 может отслеживать реальный объект. Реальный объект может быть аналогичным реальному объекту 104 по фиг. 1, например. Реальный объект может быть одним из многих объектов, например инструментом, участком оборудования, большим искусственным спутником, блоком управления, панелью управления или многими другими объектами. На фиг. 4A показан пример реального объекта 400 - бурозаправочный станок. Для того, чтобы следящая система отслеживала (т.е. определяла систему отсчета) реальный объект 400, несколько (например, три или более) маркеров отслеживания (например, маркеров отслеживания 402, 404, 406) могут быть прикреплены или помещены на реальный объект 400. Для соответствующего отслеживания маркеры отслеживания должны быть помещены соответствующим образом на реальном объекте 400, например, в неколлинеарном несимметричном порядке. Говорят, три или несколько точек коллинеарны, если они лежат на одной прямой линии. Таким образом, неколлинеарное упорядочение маркеров отслеживания означает, что маркеры отслеживания упорядочены так, что не все они лежат на прямой линии. Для соответствующего отслеживания по меньшей мере три неколлинеарные маркеры отслеживания можно поместить на реальном объекте. Более трех маркеров отслеживания можно поместить на реальном объекте, например, для повышения надежности и/или точности вычислений, например, на тот случай, когда обзор одного из маркеро