Способ определения направления линии взгляда

Способ определения направления линии взгляда

Иллюстрации

Показать все

Реферат

Изобретение относится к контрольно-измерительной технике и может быть использовано для измерения направления линии взгляда в процессе выполнения человеком когнитивных задач, а также для реализации интерфейсов, чувствительных к вниманию, в интерфейсах глаз-мозг-компьютер, в системах, осуществляющих коммуникацию между людьми с нарушениями моторных функций (печать текста взглядом с использованием интерактивной клавиатуры).

Уровень техники

Техника относится к системам регистрации движений глаз. Обработка визуальной информации изучается в рамках прикладных когнитивных наук многие десятилетия [3, 4, 5, 9]. Одним из результатов исследований стало открытие связи между динамикой движений глаз и параметрами восприятия зрительной информации [4, 5, 6]. Это открыло возможность создания принципиально новых методов измерения зрительного внимания и распознавания намерений пользователя [4, 5, 8, 14]. Практическая значимость заключается в возможности создания уникальных технологий, обеспечивающих интерфейс взаимодействия человека с техническими системами посредством взгляда. Область применения таких систем довольно широка и может включать такие практические приложения, как дистанционное управление автономными робототехническими системами и технологическими процессами при одновременном контроле состояния человека-оператора.

Несмотря на значительное количество накопленных знаний в области когнитивных наук, создание устройств, которые бы в полной мере реализовали описанные выше возможности, представляет сложную техническую задачу. Многолетний опыт использования традиционных методов позволил сформулировать основные требования к подобным системам в целом:

1. Возможность бесконтактной, дистанционной регистрации движения зрачка.

2. Отсутствие ограничений на естественные движения пользователя.

3. Использование пассивных методов регистрации (без специальной подсветки или обучения пользователя).

Последнее требование обусловлено необходимостью в ряде случаев проводить длительные наблюдения за человеком, в то время как наличие подсветки накладывает значительные временные ограничения на подобные измерения (вследствие накопления дозы излучения). Частичное достижение вышеперечисленных требований стало возможным только с появлением относительно дешевых устройств регистрации изображений на базе матричных фотодетекторов (ПЗС, КМОП). Функциональность подобных систем полностью обеспечивается алгоритмами обработки изображений. В состав таких систем входит непосредственно само устройство регистрации изображений (одно или несколько), а также вычислительный модуль (в большинстве коммерческих вариантов это персональный компьютер), обеспечивающий обработку полученных изображений в режиме реального времени. Алгоритмы обработки изображений при этом реализуют сложные многоэтапные математические методы, которые обычно последовательно производят поиск лица и глаз пользователей на изображении, поиск зрачка, его оконтуривание, вычисление пространственного положения пользователя и определение линии взгляда. На сегодняшний день доступны несколько коммерческих систем, имеющих описанную выше архитектуру [7, 8]. Несмотря на значительные преимущества по сравнению с традиционными контактными методами, такие системы по-прежнему обладают рядом значительных недостатков, основными из которых являются:

- Ограниченность пространства, в котором производится регистрация, и, как следствие, ограничение на естественные движения пользователя;

- В ряде случаев наличие засветки для вычисления пространственного положения пользователя, что накладывает ограничения на время измерений (вследствие накопления дозы облучения).

Настоящее решение предлагает пассивный метод регистрации направленности линии взгляда, а также дает возможность увеличения количества устройств регистрации изображений с возможностью их свободной расстановки. При этом калибровка системы может производиться автоматически, в режиме реального времени.

Обзор аналогов

Известно техническое решение [14], в котором осуществляется подсветка объекта несколькими источниками излучения, которые формируют световой паттерн на поверхности объекта. В качестве объекта рассматривается глаз пользователя. Производят регистрацию изображений объекта, содержащих отражение светового паттерна. Производят обнаружение объекта путем обработки полученных изображений, содержащих световой паттерн и образ объекта. По положению паттерна определяют пространственное положение объекта. Основным недостатком системы является наличие активной засветки, а также регистрация изображений в спектральном диапазоне излучателя. В системе необходимо совместить излучатель с полем зрения устройства регистрации изображений. Отличие предлагаемого решения заключается в использовании пассивных методов, основанных на регистрации и обработки изображений, без какого-либо облучения объекта. Вместо обнаружения отраженных световых паттернов предлагаемый метод использует обнаружение локальных особенностей объекта, принадлежащих его конкретным сегментам. Метод основан на обработке изображений без использования дополнительных источников. Также предлагаемая система допускает свободную расстановку компонент, входящих в ее состав (устройства регистрации изображений), в то время как в приведенном выше патенте необходимо строгое положение устройства регистрации и излучателя.

Известно решение [15] для систем регистрации движений глаз, в котором производится подсветка объекта (лицо пользователя) несколькими низкоинтенсивными источниками ближнего ИК-диапазона. Производится регистрация изображений подсвеченного излучением объекта и его сегментов. Производится локализация данного объекта и его сегментов путем пороговой обработки изображений. Вычисляется положение объекта и его сегментов на изображении. В изобретении не описаны методы определения пространственного положения объекта и его сегментов, а также определения линии взгляда. Отличием изобретения [15] от настоящего является метод локализации объекта на изображении. В предлагаемом методе локализация осуществляется путем обнаружения локальных особенностей, присущих объекту и его сегментам. Данный метод является пассивным и не требует дополнительно засветки. Определение пространственного положения объекта и его сегментов с использованием [15] может быть затруднено в связи с отсутствием необходимого числа локальных особенностей (для решения такой задачи необходимо минимум пять локальных особенностей).

Также известно решение [8], в котором производится засветка объекта источниками излучения, где излучение сформировано в паттерн. Производится регистрация изображений объекта с последующей обработкой данных изображений. Целью такой обработки является локализация объекта и его сегментов на изображениях (лицо и глаза), а также локализация на изображениях отраженного от объекта светового паттерна. Вычисление пространственного положения объекта осуществляется путем анализа ориентации и размеров отраженного светового паттерна от объекта и локализованного на изображениях. Производится определение линии взгляда. Отличие предлагаемого метода от [8] состоит в использовании пассивных методов определения направленности линии взгляда. Определение пространственного положения объекта и его сегментов при этом осуществляется методами построения трехмерной модели (в которую входит взаимное пространственное положение локальных особенностей объекта и его сегментов) по серии изображений, полученными под разными ракурсами (с использованием эпиполярной геометрии, методы которой приведены в [8]). При этом, как и в предыдущих изобретениях, методу не требуется четкая фиксация положения устройств регистрации изображений, тогда как в активных системах необходимо фиксированное положение излучателя относительно детектора.

Также известно решение [10], в котором производится регистрация изображений объекта, обработка этих изображений с последующей локализацией объекта на изображениях без использования активных систем, а также определения линии взгляда. К основному недостатку этого решения является регистрация изображений объекта с одного ракурса (используется однокамерная система). Это в значительной степени ограничивает естественные движения пользователя. Использование нескольких регистрирующих устройств с целью расширения области регистрации и снятия ограничений на естественные движения пользователя в данной системе не представляется возможной. Направление линии взгляда приводится в координатах, привязанных непосредственно к каждому устройству регистрации изображений. Область регистрации определена исключительно полем зрения самого регистрирующего устройства. В предлагаемом изобретении возможно использование нескольких устройств, снимающих объект с разных ракурсов. Определение направления линии взгляда производится в системе координат, привязанной ко всем устройствам одновременно. Существует возможность расширения области регистрации путем наращивания количества регистрирующих устройств.

Другим решением для определения направления линии взгляда является способ, предложенный в [1]. В работе производится регистрация изображений объекта и его сегментов (лицо и глаза пользователя), производится поиск локальных особенностей объекта и его сегментов на изображениях и с помощью обнаруженных локальных особенностей производится локализация объекта и его сегментов на каждом изображении. Пространственное положение объекта и его сегментов определяется путем восстановления трехмерной модели объекта по серии обычных двухмерных изображений, снятых с различных ракурсов (методы эпиполярной геометрии) [2].

Трехмерная модель содержит взаимное пространственное положение обнаруженных локальных особенностей друг относительно друга, а также относительно устройств регистрации изображений. Последним шагом определяется направление линии взгляда. Описанный метод имеет один недостаток. Построенная трехмерная модель содержит информацию только о взаимном относительном положении локальных особенностей друг относительно друга и относительно устройств регистрации изображений. Определение реального масштаба взаимного положения особенностей в работе [1] осуществляется заранее известным положением регистрирующих устройств, а также известными данными о внутренних параметрах устройств регистрации изображений (intrinsic parameters). В такой схеме необходима предварительная настройка системы в части расстановки камер. Смещение их положения в процессе работы приведет к невозможности дальнейших вычислений. В предлагаемом изобретении реальный масштаб определяется непосредственно перед или же в процессе самих вычислений с использованием референсного фрагмента, при этом не требуется информации о взаимном положении устройств регистрации изображений, а также данных их внутренних параметров.

Способ определения направления линии взгляда

Наиболее близким к предлагаемому способу определения направления линии взгляда является способ, описанный в [13]. В изобретении линия взгляда определяется с использованием минимум трех устройств регистрации изображений. Аналогично предлагаемому решению производится регистрация объекта и его сегментов, производится локализация сегментов объекта на каждом из изображений. Пространственное положение сегментов осуществляется путем сопоставления положения сегментов объекта минимум на трех изображениях. Определяется направление линии взгляда.

Описанный метод имеет ряд недостатков. Поскольку для построения трехмерной модели используются только две точки (в качестве которых выбираются сегменты объекта), то для определения их пространственного положения необходимо три изображения. При этом необходимым условием является фиксация положения устройств регистрации изображений друг относительно друга. В предлагаемом методе не требуется фиксированного положения устройств регистрации изображений, а их взаимное положение определяется в процессе измерений. Также для определения пространственного положения объекта и сегментов объекта для предлагаемого метода необходимо наличие всего двух устройств регистрации изображений.

Таким образом, решаемая в рамках данного способа техническая задача состоит в том, чтобы обеспечить определение линии взгляда, используя несколько изображений, полученных с нескольких ракурсов, при неизвестном положении самих устройств регистрации изображений. При этом пространство, по которому производится регистрация изображений, может быть неограниченно расширено путем увеличения количества устройств регистрации изображений при полном отсутствии каких-либо требований к их взаимному положению. Калибровка такой системы производится автоматически, без участия оператора, перед или непосредственно в процессе измерений. Все вычисления ведутся в реальных координатах, что обеспечивает точные измерения даже в случае изменения взаимного положения устройств регистрации изображений. Таким образом, это приводит к расширению функциональных возможностей способа и повышению его точности.

Техническая задача решается предложенной совокупностью существенных признаков.

Способ определения направления линии взгляда, состоящий в том, что устанавливают произвольно не менее двух устройств регистрации изображений (УРИ), производят калибровку системы УРИ с использованием референсного фрагмента (РФ), в результате которой определяют коэффициент реального масштаба трехмерной модели, после чего регистрируют объект с разных ракурсов, находят локальные особенности (ЛО) сегментов объекта, на основании полученных ЛО из нескольких изображений строят трехмерную модель, отражающую пространственное положение ЛО сегментов объекта друг относительно друга, а также относительно УРИ и содержащую информацию в относительных координатах, далее с учетом данных калибровки пересчитывают положения указанных ЛО из относительных координат трехмерной модели в реальные координаты, проецируют ЛО сегментов объекта из трехмерной модели на исходные изображения и производят оконтуривание сегментов объекта на этих двумерных изображениях, производят расчет ориентации данных контуров в пространстве и определяют направление линии взгляда путем проведения прямой, проходящей через центр образующего окружность трехмерного контура сегмента объекта и ориентированной вдоль нормали трехмерной плоскости, в которой находится данный контур.

При этом:

- для определения реального масштаба используются ЛО, принадлежащие РФ;

- положение РФ фиксировано в пространстве;

- положение РФ изменяют в процессе измерений;

- РФ расположен в поле зрения ПЗ УРИ в процессе измерений;

- РФ после калибровки располагают в поле зрения ПЗ УРИ периодически;

- при каждом выполненном измерении взаимное положения УРИ запоминают, а в дальнейшие результаты измерений вносят поправку на изменение положений УРИ путем сравнения сохраненного старого положения и нового;

- в качестве РФ используют несколько разных изображений, причем калибровку выполняют по любому из этих изображений;

- в качестве сегментов объекта используют радужки и/или зрачки глаз объекта/

При расчете направленности взгляда человека производят оконтуривание области зрачка и радужки глаз методами [11, 12] и с использованием анализа проекции данного контура производят расчет направленности линии взгляда, например, аналогично [13], либо с использованием методологии, описанной в [19].

Способ раскрыт в подробном описании, приведенном ниже, со ссылкой на сопроводительные фигуры, где принятые сокращения:

УРИ - устройство регистрации изображений;

РФ - референсный фрагмент;

ПЗ - поле зрения;

ЛО - локальные особенности.

Фигура 1 - исходные изображения объекта для случая с двумя УРИ-камерами;

Фигура 2 - обнаружение лица объекта на приведенной паре изображений с выделенными на нем локальными особенностями ЛО лица и сопоставление этих особенностей для приведенной пары изображений;

Фигура 3 - А) пример изображения референсного фрагмента. Б) пример выделения локальных особенностей референсного фрагмента из пары исходных изображений.

Фигура 4 - Пространственное положение локальных неоднородностей друг относительно друга, где круглыми маркерами обозначены неоднородности, принадлежащие объекту, в качестве которого рассматривается лицо пользователя, или сегментам объекта, в качестве которых рассматриваются глаза пользователя (результат обработки, приведенный на Фигуре 2), квадратными маркерами приведены локальные особенности, принадлежащие референсному фрагменту (результат обработки приведен на Фигуре 3). П1 - плоскость в пространстве, в которой находятся локальные особенности лица, П2 - плоскость в пространстве, в которой находятся локальные особенности референсного фрагмента, α, β и µ - углы, характеризующие угловую ориентацию плоскости локальных особенностей, принадлежащих лицу пользователя.

Фигура 4, П1 - плоскость 1, в которой находятся локальные особенности, принадлежащие объекту (лицу пользователя), либо, если такие локальные особенности в пространстве не лежат в одной плоскости, то П1 строится как плоскость, проходящая через трехмерное облако точек, формируемое из локальных особенностей объекта и его сегментов, и проходящая таким образом, что сумма расстояний от каждой точки облака до данной плоскости минимальна. Такая плоскость может быть найдена, например, методами наименьших квадратов или методами факторного анализа;

Фигура 4, П2 - плоскость 2, в которой находятся локальные особенности, принадлежащие референсному объекту.

Описание способа

1. Устанавливаются не менее двух устройств регистрации изображений (УРИ), при этом заранее не известно их взаимное положение. УРИ устанавливаются таким образом, чтобы каждая точка пространства, покрываемая системой УРИ, попадала в поле зрения (ПЗ) минимум двух УРИ одновременно. Внутренние параметры (intrinsic parameters) для каждого УРИ заранее известны.

2. Систему расставленных УРИ калибруют перед началом измерений. Задача калибровки заключается в нахождении коэффициента реального масштаба трехмерной модели. Калибровка осуществляется путем размещения в ПЗ УРИ некоторого референсного фрагмента (РФ), текстура, размеры и форма которого заранее известны. В качестве такого РФ может быть, например, использован любой трехмерный объект или плоское изображение. Пример такого изображения приведен на Фиг.3, А. Изображение РФ может храниться в памяти вычислительного устройства. Также вместо самого изображения РФ, возможно, запоминать ЛО, принадлежащие данному РФ. При этом также запоминаются расстояния в реальных координатах между данными ЛО. Данная информация может вноситься в память каждый раз перед началом, но не во время вычислений. Калибровку осуществляют путем регистрации всеми УРИ части пространства, содержащей РФ, после чего:

2.1. На каждом зарегистрированном изображении выделяют ЛО, принадлежащие РФ. Для этого сначала извлекают все ЛО, принадлежащие данному изображению. Данная операция может производиться методами обнаружения границ Харриса (Harris corner detector) [17], и/или методами, описанными в [16] или [18] (ЛО методами SURF и/или SIFT). Обнаружение ЛО принадлежащих РФ осуществляется путем сравнения каждого ЛО, обнаруженного на изображении, с ЛО РФ, хранящимися в памяти вычислительного устройства. В случае, если в памяти хранится само изображение РФ, извлекают ЛО из данного изображения вышеописанными методами, после чего производят сравнение.

2.2. Из всех обнаруженных ЛО, принадлежащих РФ, находят те, которые присутствуют на всех изображениях одновременно. В качестве метода поиска таких соответствий можно использовать k-мерные деревья (kd-trees) [20]. Пример поиска РФ на изображении приведен на Фигуре 3, где А - это непосредственно сам РФ, а Б - результат его поиска для случая двух изображений.

2.3. Используя данные о нахождении каждой ЛО на каждом изображении, вычисляют взаимное положение УРИ. Вычисление взаимного положения УРИ возможно с помощью восьми, семи и пяти обнаруженных на этапе 2.2 соответствий (8, 7, 5 point algorithms) [2].

2.4. Для устранения ошибок при поиске соответствий этап 2.3 может использоваться совместно с алгоритмами RANSAC, например отдельными его модификациями из [21]. На данном этапе производится фильтрация ложных ЛО (ЛО, первоначально опознанных как принадлежащие РФ, но на самом деле таковыми не являющимися).

2.5. После нахождения взаимного положения УРИ строят трехмерную модель, отображающую пространственное положение ЛО, принадлежащих РФ, относительно УРИ. В такую модель входят только те ЛО, которые были обнаружены на всех изображениях одновременно (так называемая sparse 3D model [2]). Вычисление пространственного положения ЛО возможно методом триангуляции, описанным в [2].

Результатом выполнения шагов 2.2.-2.5. является трехмерная модель, содержащая информацию о взаимном пространственном положении ЛО РФ относительно регистрирующих камер и друг относительно друга, однако не отражающая реальные координаты ЛО (положение ЛО определены с точностью до масштаба). Такая трехмерная модель представлена на Фигуре 4 - квадратные маркеры. Модель представляет собой трехмерное облако точек. Каждая точка в трехмерной модели соответствует ЛО, присутствующей на всех изображениях одновременно. Поскольку в приведенном примере РФ представляет собой плоское изображение, все точки трехмерной модели РФ лежат в плоскости П2. Для случая, когда в качестве РФ используется некоторый трехмерный объект, пространственное положение ЛО повторяет рельеф РФ.

2.6. Вычисление реального масштаба производят следующим методом. Берут любую пару ЛО, присутствующих на всех изображениях (Фигура 3, Б)) и входящих в трехмерную модель. Находят реальное расстояние между этими ЛО, используя информацию о РФ, хранящуюся в памяти (Фигура 3, А)). При этом, если в памяти сохраняется список ЛО РФ, то одновременно с этим для каждой пары ЛО сохраняется и расстояние. Для случая, если в памяти сохраняется изображение РФ, то вычисление расстояния между парой ЛО осуществляется исходя из известных размеров РФ. Выбирают данную пару ЛО в трехмерной модели и вычисляют расстояние между ними в координатах данной модели. Коэффициент пересчета из относительных координат трехмерной модели в реальные координаты приводится как K=M/N, где К - коэффициент пересчета (коэффициент реального масштаба), М - расстояние между парой ЛО в координатах изображения РФ в натуральной величине, N - расстояние между той же самой парой ЛО в координатах трехмерной модели.

3. Систему расставленных УРИ возможно калибровать один раз перед началом измерений. При этом данные калибровки могут быть запомнены, а впоследствии сам РФ можно убрать из поля зрения УРИ.

4. Систему расставленных УРИ возможно калибровать непосредственно в процессе самих измерений через фиксированный промежуток времени. Для этого необходимо держать РФ в поле зрения всех камер в процессе измерений.

5. Производят непосредственно сами измерения. Регистрируют изображения некоторой части пространства УРИ. Для этого для изображения, полученного с каждого УРИ, осуществляют поиск ЛО, относящихся к сегментам объекта (радужке и/или зрачкам глаз человека). Данный поиск ЛО может осуществляться, например, методами Viola-Jones [22]. Метод использует вейвлет-подобные функции, получаемые из интегрального изображения и описывающие ЛО объекта и его отдельных сегментов (лицо и глаза пользователя). Пример результата обработки исходной пары изображений данным алгоритмом приведен на Фигуре 3.

6. Далее находят соответствующие ЛО, присутствующие минимум на двух изображениях. Поиск осуществляется аналогично методам из п.2.2. Примеры исходных изображений пользователя, полученных под разными ракурсами УРИ, приведены на Фигуре 1. Результат обнаружения ЛО, присутствующих на всех изображениях одновременно и вычисляемых в соответствии с алгоритмом, описанным в 2.2, приведен на Фигуре 2.

7. Далее производят вычисление взаимного положения УРИ относительно ЛО, вычисленных на предыдущем этапе. Вычисление производится методами, аналогично 2.4-2.5.

8. На основании результатов из п.7 производят триангуляцию и построение трехмерной модели, в качестве элементов которой выступают ЛО, принадлежащие объекту (лицу) и его отдельным сегментам (глазам). Модель строится методами, аналогичными описанным в 2.5.

9. В результате описанной обработки получают трехмерную модель, в которой отражено взаимное пространственное положение ЛО сегментов объекта (глаз) друг относительно друга и относительно УРИ. Такая модель, аналогично 2.6, представляет собой облако точек. Пример такой модели для пары изображений с Фигуры 1 приведен на Фигуре 4 (отмечено круглыми маркерами).

10. В случае предварительной калибровки, используя коэффициент реального масштаба, пересчитывают положения ЛО сегментов объекта из относительных координат трехмерной модели в реальные. При этом используют результаты соотношений из 2.6.

11. В случае, если калибровка производится в режиме реального времени (или периодически, через равные промежутки времени), то РФ находится в ПЗ УРИ. В процессе обработки из изображений извлекаются ЛО, принадлежащие сегментам объекта (Фигура 2), а также принадлежащие РФ (Фигура 3), и обработка 2.3-2.5 производится для всех ЛО. Это позволяет повысить устойчивость алгоритмов обработки. Трехмерная модель для этого случая включает в себя два облака точек (соответствующих ЛО объекта, его сегментов, а также РФ). Дифференциация точек ЛО может производиться с использованием данных о РФ, хранящихся в памяти вычислительного устройства (как изображения самого РФ, или как списка ЛО, принадлежащих ему). Пример приведен на Фигуре 4 (круглые и квадратные маркеры). Аналогично предварительной калибровке производится расчет коэффициента реального масштаба с последующим вычислением реальных координат ЛО сегментов объекта. На основании этого определяют пространственное положение сегментов объекта (радужки или/и зрачков глаз пользователя).

12. После вычисления реальных пространственных координат ЛО сегментов объекта, находят проекцию данных ЛО на исходные двумерные изображения. Такая проекция может быть легко осуществлена с использованием результатов из п.2.3, 2.4. Производят оконтуривание границ сегментов объекта (радужка и зрачок) на двумерном изображении.

13. Используя проекции сегментов объектов, производят расчет направленности линии взгляда. Это может быть осуществлено путем нахождения центра контура границ сегмента объекта, вычисления его пространственной ориентации [12, 13]. Аналогичным методом может служить метод из [19].

14. Далее после построения трехмерного контура сегмента объекта (радужка и/или зрачки глаз человека) находят направленность линии взгляда как прямую, проходящую через центр трехмерного контура и ориентированную по нормали к плоскости, содержащий контур данного сегмента.

15. Запоминают взаимное текущее расположение УРИ, вычисленное на этапе 6 (с помощью методов, описанных в 2.3) и затем сравнивают его с предыдущим. В случае, если эти положения отличаются, вводят поправку на результаты измерения, добавляя сдвиг или поворот линии взгляда.

Источники информации

1. Патент US 8339459 Zhang Z., Sankaranarayanan A., Zhang Q., Liu Z., Cai Q., Multi camera head pose tracking, Microsoft Corporation (Redmond, WA).

2. Hartley R.I., Zisserman A. Multiple View Geometry in Computer Vision [Текст]. - Cambridge University Press, 2004.

3. Velichkovsky В.М., Cornelissen F., Geusebroek J.-M., Graupner S.-Th., Hari R., Marsman J.В., Shevchik S.A., Pannasch S. Measurement-related issues in investigation of active vision [Текст] // Measurement with persons: Theory and methods / B. Berglund, G.B. Rossi, J. Townsend, L. Pendrill (Eds.). - London-New York: Taylor and Francis, 2012. - P.281-300.

4. Pannasch S., Velichkovsky В.М. Distractor Effect and Saccade Amplitudes: Further Evidence on Different Modes of Processing in Free Exploration of Visual Images [Текст] // Visual Cognition. - 2009. - 17 (6/7). - P.1109-1131.

5. Di Stasi L.L., Renner R., Staehr P., Helmert J.R., Velichkovsky B.М., Canas J.J., Catena A., Pannasch S. Saccadic peak velocity is sensitive to variations in mental workload in complex environments [Текст] // Aviation, Space, and Environmental Medicine. - 2010. - 81(4). - P.413-417.

6. Majaranta P., Raiha K.-J. Twenty Years of Eye Typing: Systems and Design Issues [Текст] // Proceedings of ETRA 2002, Eye Tracking Research and Applications Symposium, 25-27, 2002.

7. SR Research Complete Eye Tracking Solutions [Электронный ресурс] / SR Research. - Электрон, дан. - Ontario, Canada, 2012. - Режим доступа: http://www.sr-research.com/свободный. - Загл. с экрана. - Яз. англ.

8. SMI Senso Motoric Instruments [Электронный ресурс] / SMI SensoMotoric Instruments. - Электрон, дан. - Teltow, Germany, 2013. - Режим доступа: http://www.smivision.com свободный.- Загл. с экрана. - Яз. англ.

9. Velichkovsky B.M., Sprenger A., Pomplun, М., Unema P. Eye movements and encoding manipulations in two visual memory tasks [Текст] // Proceedings of the Psychonomic Society 38th Annual Meeting. November 20th-23rd - Philadelphia, USA. 1997 - P.73.

10. Kapur J.N., Sahoo P.K., Wong A.K. A new method for gray-level picture thresholding using the entropy of the histogram [Текст] // Computer vision, graphics, and image processing - 1985 - 29(3). - P.273-285, 1, 2.5, 2.6.

11. Davies E. Machine Vision: Theory, Algorithms and Practicalities [Текст]. - Academic Press, 1990 - Chap.6.

12. Li D., Winfield D., Parkhurst D.J. Starburst: A hybrid algorithm for video-based eye tracking combining feature-based and model-based approaches [Текст] // Computer Vision and Pattern Recognition - Workshops, 2005. CVPR Workshops, IEEE Computer Society Conference on, 25-25 June 2005 - P.79.

13. Способ и устройство для определения пространственного положения глаз для вычисления линии взгляда [Текст]: патент РФ №2444275 / Шевчик С.А., Величковский Б.М., Величковский Б.Б., Вартанов А.В. - Опубл. 10.09.10.

14. Method and installation for detecting and following an eye and the gaze direction therefore [Текст]: патент 7572008 США.

15. Eye position detecting apparatus [Текст]: патент 5218387 США.

16. Bay H., Ess A., Tuytelaars Т., Van Gool L. SURF: Speeded Up Robust Features // Computer Vision and Image Understanding (CVIU). - 2008 - Vol.110, No.3 - P.346-359.

17. Harris С., Stephens М. A combined comer and edge detector // Proceedings of the 4th Alvey Vision Conference - 1988 - P.147-151.

18. Lowe G.D. Distinctive Image Features from Scale-Invariant Keypoints // International Journal of Computer Vision. - 2004 - Band 60, Nr.2 - P.91-110.

19. Safaee-Rad R., Choukanov I., Crless Smith K., Benhabib B. Three-dimensional location estimation of circular features for machine vision // IEEE transactions of robotics and automation - 1992 - Vol.8, №5 - P.624-640.

20. de Berg М. et al. Computational Geometry: Algorithms and Applications, 3rd Edition. - Springer, 2008 - P.99-101.

21. Chum О., Matas J., Kittler J. Locally optimized RANSAC // Pattern Recognition Lecture Notes in Computer Science / Eds. B. Michaelis, G. Krell. - 2003. - Vol.2781. - P.236-243.

22. Viola P., Jones М.J. Fast multi-view face detection. - Mitsubishi Electric Research Laboratories, TR2003-096 - August 2003.

1. Способ определения направления линии взгляда, состоящий в том, что устанавливают произвольно не менее двух устройств регистрации изображений (УРИ), производят калибровку системы УРИ с использованием референсного фрагмента (РФ), в результате которой определяют коэффициент реального масштаба трехмерной модели, после чего регистрируют объект с разных ракурсов, находят локальные особенности (ЛО) сегментов объекта, на основании полученных ЛО из нескольких изображений строят трехмерную модель, отражающую пространственное положение ЛО сегментов объекта друг относительно друга, а также относительно УРИ, и содержащую информацию в относительных координатах, далее с учетом данных калибровки пересчитывают положения указанных ЛО из относительных координат трехмерной модели в реальные координаты, проецируют ЛО сегментов объекта из трехмерной модели на исходные изображения и производят оконтуривание сегментов объекта на этих двумерных изображениях, производят расчет ориентации данных контуров в пространстве и определяют направление линии взгляда путем проведения прямой, проходящей через центр образующего окружность трехмерного контура сегмента объекта и ориентированной вдоль нормали трехмерной плоскости, в которой находится данный контур.

2. Способ по п.1, отличающийся тем, что для определения реального масштаба используются ЛО, принадлежащие РФ.

3. Способ по п.1, в котором положение РФ фиксировано в пространстве.

4. Способ по п.1, в котором положение РФ изменяют в процессе измерений.

5. Способ по п.1, отличающийся тем, что РФ расположен в поле зрения ПЗ УРИ в процессе измерений.

6. Способ по п.1, отличающийся тем, что РФ после калибровки располагают в поле зрения ПЗ УРИ периодически.

7. Способ по п.1, отличающийся тем, что при каждом выполненном измерении взаимное положения УРИ запоминают, а в дальнейшие результаты измерений вносят поправку на изменение положений УРИ путем сравнения сохраненного старого положения и нового.

8. Способ по п.1, отличающийся тем, что в качестве РФ используют несколько разных изображений, причем калибровку выполняют по любому из этих изображений.

9. Способ по п.1, отличающийся тем, что в качестве сегментов объекта используют радужки и/или зрачки глаз объекта.