Система и способ для отслеживания точки взгляда наблюдателя

Система и способ для отслеживания точки взгляда наблюдателя

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Изобретение относится к системе для отслеживания точки взгляда наблюдателя, наблюдающего объект, при этом система содержит устройство для регистрации изображения глаза наблюдателя, содержит средство для предоставления светящегося маркера на наблюдаемом объекте или связанного с ним и средство для определения на основании изображения положения отражения роговицей маркера и центра зрачка.

Изобретение также относится к способу отслеживания точки взгляда наблюдателя, наблюдающего объект, при этом способ содержит регистрацию изображения глаза наблюдателя, предоставление светящегося маркера на наблюдаемом объекте или связанного с ним и определение на основании изображения положения отражения роговицей маркера и центра зрачка.

Уровень техники

Система и способ типа изложенных выше известны из заявки № 2006/0110008 на патент США.

В соответствии с этим документом представлено некоторое количество маркеров и идентифицирован, по меньшей мере, один маркер, отражение роговицей которого находится в пределах порогового расстояния от центра зрачка, или, по меньшей мере, два маркера, имеющих отражение роговицей, близкое к центру зрачка. Идентифицированный маркер или маркеры показывают точку взгляда наблюдателя на объекте.

Непрерывное измерение направления наблюдения, также называемого взглядом, общеизвестно как отслеживание взгляда (часто используют более неопределенный термин «отслеживание движений глаз»). Имеются различные способы выполнения отслеживания взгляда. Показано, что захват видеоизображения является практичным вариантом дистанционного и действительно ненавязчивого отслеживания взгляда. Однако фактически для всех систем отслеживания взгляда требуется пользовательская калибровка, после которой допускается только небольшое перемещение головы пользователя. Следовательно, эти системы ограничены настольным применением и не пригодны для потребительских применений. В случае потребительских применений пользовательская калибровка не является реалистичным вариантом. Отслеживание взгляда без калибровки широко проводится несколькими исследовательскими центрами, при этом часто выполняется экстраполяция на основе существующих концепций (больше камер, дополнительная обработка). Наблюдатель может быть человеком, взрослым или ребенком, а также животным.

В заявке № US 2006/0110008 сделана попытка разрешить проблему и обеспечить систему и способ без калибровки. В ситуации, когда глаз отслеживается на источнике света, его отражение в роговице возникает в совпадении с центром зрачка. В системе и способе по заявке № 2006/0110008 на объекте предоставляют некоторое количество маркеров. В регистрируемом изображении глаза идентифицируют маркер, имеющий отражение роговицей в пределах порогового расстояния от центра зрачка, или некоторое количество маркеров, имеющих отражение роговицей вблизи центра зрачка. Данные используют для оценивания направления взгляда.

Однако известная система имеет ряд недостатков:

- каждый из маркеров должен помечаться. Для выполнения этого условия требуется проанализировать некоторое количество видеокадров до того, как можно будет выполнять идентификацию маркера. Этим вносится задержка в отслеживание взгляда. С учетом подвижности глаза временная задержка быстро приводит к артефактам движения.

- При использовании одного маркера всегда имеется погрешность точности определяемого направления взгляда, эквивалентная пороговому расстоянию.

- При использовании нескольких маркеров требуется интерполяция. Для этого необходима вычислительная мощность и вносятся погрешности.

Сущность изобретения

Задача изобретения заключается в обеспечении системы и способа, в которых повышены скорость отслеживания взгляда и/или точность.

Для этого система представляет собой систему, содержащую средство для определения разности в положении между отражением роговицей маркера и центром зрачка для предоставления разностного сигнала и средство для изменения положения маркера на наблюдаемом объекте или связанного с ним в зависимости от разностного сигнала, чтобы иметь отражение роговицей маркера и центр зрачка, по существу, совпадающими, для обновления положения маркера до, по существу, совпадения с точкой взгляда.

Способ представляет собой способ, в котором определяют разность между отражением роговицей маркера и центром зрачка для предоставления разностного сигнала и положение маркера на наблюдаемом объекте или связанного с ним изменяют в зависимости от разностного сигнала, чтобы иметь отражение роговицей маркера и центр зрачка, по существу, совпадающими, для обновления положения маркера до, по существу, совпадения с точкой взгляда.

В системе и способе согласно изобретению временная задержка снижена, поскольку маркер не является статическим маркером, а переустанавливается на основании измерений с обратной связью относительных положений отражения роговицей маркера и центра зрачка. Маркер переустанавливается, то есть изменяется положение маркера на наблюдаемом объекте или связанного с ним, для повышения соответствия между отражением роговицей маркера и центром зрачка, предпочтительно для того, чтобы имелось совпадение или почти совпадение отражения роговицей маркера и центра зрачка. Когда отражение роговицей и центр зрачка совпадают, направление взгляда можно определять точно, поскольку в таком случае положение маркера на наблюдаемом объекте или связанного с ним показывает направление взгляда с высокой степенью точности.

Наблюдатель может быть и во многих случаях должен быть человеком, но в рамках способа и системы согласно изобретению наблюдатель также может не быть человеком, например, животным при проведении исследований на животных, например при изучении взгляда таких животных, как собаки или приматы.

По сравнению с предшествующими способами система и способ обеспечивают ряд преимуществ:

- В противоположность многим существующим решениям для системы и способа не требуется зависящая от пользователя калибровка.

- Система и способ основаны на оптическом свойстве глаза, которое почти совершенно не зависит от положения и ориентации головы и фактически сохраняется для различных людей.

- Система и способ обеспечивают свободу перемещения головы, значительно превосходящую свободу перемещения в существующих системах отслеживания взгляда. Это является важным моментом, позволяющим использовать отслеживание взгляда для потребительских применений.

- В отличие от системы и способа по заявке № US 2006/0110008 не требуется помечать отдельные маркеры или группы маркеров однозначными идентификаторами. В известной системе используют временную модуляцию света для кодирования различных идентификаторов, которая вносит временную задержку (выражаемую в количестве кадров), которая пропорциональна длине кода. Система и способ согласно изобретению реагируют намного быстрее, а система с обратной связью сходится быстрее, часто в пределах задержки на один кадр. По сравнению с системой и способом по заявке № US 2006/0110008 соответствие между отражением роговицей маркера и центром зрачка можно намного повысить, при этом погрешности снижаются. При наличии совпадения отражения маркера и центра зрачка любая погрешность, обусловленная пороговым значением в заявке № US 2006/0110008, снижается или минимизируется.

В системе и способе согласно изобретению используется средство для изменения положения маркера в ответ на определяемую разность положения отражения роговицей и центра зрачка в регистрируемом изображении. Хотя адаптивная переустановка маркера делает способ и систему несколько более сложными по сравнению с известными системой и способом, в которых используются фиксированные маркеры, преимущества являются существенными.

В вариантах осуществлениях система содержит дисплейное устройство и положение маркера связано с дисплейным устройством.

Имеются несколько способов связывания положения маркера с дисплейным устройством (например, телевизором или монитором). Один способ заключается в высвечивании маркера на дисплейном экране дисплейного устройства, на прозрачном экране, помещаемом перед дисплейным экраном, или в предпочтительных вариантах осуществления, средство для предоставления маркера и дисплейное устройство объединены в одно устройство.

В вариантах осуществления само дисплейное устройство содержит средство для предоставления маркера в изображении на дисплейном экране дисплейного устройства.

Это можно сделать, например, скрытием маркера в отображаемом видимом изображении. Скрытие, означающее, что маркер является неразличимым для наблюдателя, может быть сделано путем придания маркеру временной, или пространственной, или комбинированной временной и пространственной сигнатуры, и/или спектральной сигнатуры, чтобы камера, настроенная на указанную сигнатуру, могла обнаруживать маркер, тогда как наблюдатель не мог.

Незаметный маркер можно предоставлять путем использования маркера в области оптического спектра за пределами области, видимой человеком. В таком случае маркер является невидимым для глаза человека. Инфракрасные (ИК) маркеры и ультрафиолетовые (УФ) маркеры являются примерами таких маркеров.

Маркер даже в видимом диапазоне может считаться необнаруживаемым наблюдателем, если наблюдатель не может видеть его. Например, маркер можно предоставлять путем формирования последовательности изображений, в которых маркер скрыт для глаза человека или животного, но является различимым для камеры, настроенной на маркер. В таком варианте осуществления маркер имеет временную сигнатуру.

В вариантах осуществления маркер может обнаруживаться глазом человека.

В вариантах осуществления может быть предпочтительно обеспечивать человека-наблюдателя или постороннего человека непосредственно видимой информацией относительно направления взгляда.

Однако для исключения режима колебаний во многих случаях предпочтительно, чтобы маркер был незаметным для наблюдателя. При обнаружении маркера глаза наблюдателя могут пытаться отслеживать маркер, это трудно исключить, поскольку взгляд наблюдателя может быть прикован к маркеру. Поскольку подвижный маркер следует за движением глаза вследствие обратной связи в системе, а глаз может пытаться следовать за маркером, и наблюдатель может не знать об этом, может наступить режим колебаний. Однако при необходимости такой режим колебаний может быть исключен путем введения косвенной связи между измеряемой точкой взгляда (ТВ) и визуально отображаемой точкой взгляда (обычно курсором мыши). Такую косвенную связь можно получать различными способами, известными в области техники управления. Примером линейного решения является использование пропорционально-интегрально-дифференциального (ПИД) элемента в контуре управления. Примером нелинейного решения является использование зоны нечувствительности для создания гистерезиса между измеряемой и отображаемой точками взгляда.

Как указывалось выше, дисплейное устройство и средство для предоставления маркера могут быть объединены в одно устройство. Объединение дисплейного устройства и средства для предоставления маркера в одно устройство обеспечивает преимущество, заключающееся в том, что согласование между видимой информацией и маркером является точно известным.

Предпочтительным примером является система, содержащая жидкокристаллический дисплей (ЖКД), который имеет заднюю подсветку инфракрасным светом и заднюю подсветку видимым светом. В таком случае на дисплейном экране жидкокристаллического дисплея можно получать видимое изображение, а также невидимый инфракрасный маркер. Другим примером является система, содержащая дисплейное устройство с многими основными цветами. В таком устройстве также можно создавать маркер в изображении, отображаемом на дисплейном экране.

В вариантах осуществления дисплейное устройство представляет собой проецирующее изображения устройство.

В качестве альтернативного варианта дисплейное устройство и средство для предоставления маркера могут быть отдельными. Средство для предоставления маркера может быть образовано, например, прозрачным экраном, расположенным перед экраном изображения дисплейного устройства. В пределах экрана маркер генерируется на экране или маркер проецируется проектором. В предпочтительных вариантах осуществления, в которых прозрачный экран используется перед дисплейным экраном, прозрачный экран снабжен средством для определения положения экрана относительно дисплейного экрана дисплейного устройства.

Кроме того, маркер можно проецировать непосредственно на дисплейный экран. Использование отдельных устройств дает преимущество, поскольку стандартное дисплейное устройство можно использовать в системе без многочисленных дополнительных регулировок.

В других вариантах осуществления система содержит средство для предоставления маркера и определения положения маркера, и переустановки маркера непосредственно на сцене или в или на прозрачной пластине перед сценой. В таких осуществлениях система не содержит дисплейного устройства. Такая система является полезной, например, для мониторинга сконцентрированного внимания человека, ведущего легковой автомобиль или грузовой автомобиль. Например, в предпочтительном осуществлении прозрачная пластина представляет собой лобовое стекло транспортного средства и на внутренней стороне лобового стекла генерируется невидимый инфракрасный маркер, в результате чего сохраняется свободный обзор дороги впереди. Взгляд водителя отслеживается и, если отслеживание показывает, что водителю грозит опасность заснуть или утратить внимание, подается оповещающий сигнал для предупреждения водителя.

Проецирование маркера на сцену можно выгодно использовать, например, для отслеживания взгляда наблюдателя через витринное окно магазина на выставленные товары.

В вариантах осуществления система содержит средство для предоставления нескольких маркеров и средство для идентификации маркеров и связи маркеров с одним или несколькими глазами наблюдателей. Преимущество этого осуществления системы заключается в том, что задержка возрастает только тогда, когда увеличивается количество одновременно отслеживаемых наблюдателей.

Краткое описание чертежей

Эти и другие задачи и предпочтительные аспекты станут очевидными из примеров осуществлений, которые будут описаны с использованием сопровождающих чертежей, на которых:

фигура 1 - иллюстрирует эффект зеркального отражения света;

фигура 2 - иллюстрирует стационарное отражение неподвижного источника света при движении глаза;

фигура 3 - иллюстрирует основную конфигурацию отслеживания взгляда;

фигура 4 - иллюстрирует типичный видеокадр в существующей системе отслеживания взгляда;

фигура 5 - иллюстрирует совпадение отражения маркера и центра зрачка в случае, когда наблюдатель смотрит на маркер;

фигура 6 - иллюстрирует различия между способом из заявки №2006/0110008 на патент США и способом согласно изобретению;

фигура 7 - иллюстрирует систему согласно изобретению;

фигура 8 - иллюстрирует основной принцип перемещения маркера на основе обратной связи;

фигура 9 - иллюстрирует способ нахождения центра зрачка;

фигура 10 - иллюстрирует пример системы согласно изобретению;

фигура 11 - иллюстрирует график относительной мощности пропускания Т обычно используемого жидкокристаллического материала в области 101 видимого света и в области 102 инфракрасного света в зависимости от длины волны;

фигура 12 - иллюстрирует дополнительный вариант осуществления, основанный на использовании световодной рассеивающей пластины, помещенной перед дисплеем и освещенной периферийным сегментированным инфракрасным светом;

фигура 13 - иллюстрирует систему, содержащую дисплей с клиновидным световодом-экраном;

фигура 14 - иллюстрирует маркер в виде картины, в этом примере креста, видимого как отражение в глазу;

фигура 15 - иллюстрирует псевдослучайную картину инфракрасного света в качестве маркера;

фигура 16 - иллюстрирует использование двух отдельно регистрируемых инфракрасных мишеней и их видов на роговице в качестве средства для оценивания двух коэффициентов пропорциональности, которые служат (линейным) приближением первого порядка действительной зависимости;

фигура 17 - иллюстрирует способ и систему при многих наблюдателях;

фигура 18 - иллюстрирует вариант осуществления, в котором проектор проецирует инфракрасную мишень на сцену; и

фигура 19 - схематично иллюстрирует использование прозрачной пластины 191 с органическими светоизлучающими диодами (ОСД (OLED)) перед дисплеем 192.

Чертежи выполнены не в масштабе. Как правило, на чертежах идентичные компоненты обозначены одинаковыми позициями.

Подробное описание предпочтительных вариантов осуществления

На фиг.1 показан эффект зеркального отражения света. Глазные веки 1 окружают глазное яблоко 2. Радужная оболочка 4 содержит зрачок 3. Отражение роговицей источника света схематично показано позицией 5.

На фиг.2 показано отражение от роговицы, или «блик», возникающий при неподвижном источнике света, для него характерна тенденция к примерному сохранению фиксированного положения при повороте глазного яблока, изменении направления взгляда. Для отражения неподвижного источника света характерна тенденция к сохранению фиксированного положения при повороте глазного яблока для изменения направления взгляда. Знаком × показан сдвигающийся центр зрачка, когда человек изменяет направление взгляда.

Это относительно устойчивое, инвариантное к повороту положение блика образует основу фактически всех коммерчески доступных систем отслеживания взгляда, в которых используются видеоаппаратура и, например, источник инфракрасного света. На диаграмме из фиг.3 показано, каким образом проекцию блика и центр зрачка можно находить путем построения соответствующих лучей света. Камера обозначена cam, источник света - l, центр роговицы - с, центр зрачка - p, рефракция центра зрачка - r, отражение источника света - q, фокусное расстояние камеры - F, изображение центра зрачка в камере - v, изображение отражения роговицей источника l света в камере cam - u.

Оцененное направление взгляда, в данном случае представленное оптической осью о, основано на оценке захваченного центра зрачка по отношению к одному или нескольким положениям блика. Поскольку зрачок представляет собой, по существу, однородный круговой диск, необходима некоторая обработка изображения для восстановления центра зрачка на основании в общем случае эллиптической проекции диска зрачка. Заметим, что рефракция происходит на границе раздела между воздухом и водной областью в глазу. На фигуре 4 показан кадр изображения глаза, регистрируемый обычной камерой. Четыре блика А, В, С и D на зрачке Р представляют собой отражения четырех инфракрасных светоизлучающих диодов А', В', С' и D' в углу дисплея. На фигуре 4 на мониторе М показано оцененное направление g взгляда.

Точность, с которой направление g взгляда может быть получена этим способом, является относительно высокой. Однако способ имеет большие недостатки:

- Необходима калибровка поступательного перемещения положения центра зрачка относительно каждого положения блика в направлении взгляда или точки взгляда на дисплейном экране.

- Поскольку зависимостью между точкой взгляда и этим относительным положением зрачка источники света предполагаются неподвижными, устройство слежения становится очень чувствительным к изменениям положения головы.

- Чтобы разрешать проблемы, связанные с небольшими различиями в физиологии (включая кривизну поверхности роговицы, местонахождение зрачка вдоль оптической оси), калибровка необходима для каждого нового индивидуума.

Зависимость между проекцией центра зрачка и отражением света обладает примечательным свойством. В ситуации, когда глаз смотрит на источник света, его отражение на роговице оказывается в совпадении с центром зрачка. Эта ситуация схематически изображена на фигуре 5. Заметим, что это буквальное совпадение блика и центра зрачка не является тривиальной ситуацией. Значение показателя рефракции глаза и размещение зрачка позади поверхности роговицы являются причиной этого благоприятного оптического явления.

В некоторой степени оно используется в системе и способе по заявке № 2006/0110008 на патент США. В известной системе используется относительно большое количество маркеров при нахождении маркера, который находится в пределах порогового расстояния от центра зрачка.

Однако известные система и способ имеют ряд недостатков:

В известной системе с использованием временной модуляции света для кодирования различных идентификаторов вносится задержка (выражаемая количеством кадров), которая пропорциональна длине кода.

Точность определяется пороговым расстоянием. Приходится делать пороговое расстояние небольшим для получения высокой точности, и это требует большого количества маркеров и, следовательно, будет большой временная задержка, или принимать относительно большим пороговое расстояние, чтобы уменьшать временную задержку, но при этом точность определения направления взгляда будет снижаться.

На фигуре 6 показаны различия между системой и способом согласно заявке № 2006/0110008 на патент США и системой и способом согласно изобретению, при этом на левой стороне схемы показаны известные система и способ, а на правой стороне схемы показаны система и способ согласно изобретению.

В известных системе и способе маркеры образуют неподвижную картину, охватывающую поле взгляда. В известной системе, схематично показанной на левой стороне фигуры 6, временная модуляция используется для мечения каждого отдельного инфракрасного маркера или группы маркеров в соответствии с использованием временной модуляции, например в соответствии с использованием временного двоичного кодирования. Это означает, что для двоичного кодирования n различных инфракрасных маркеров или групп маркеров необходима длина кода, по меньшей мере, m=log2(n) бит. Следовательно, для идентификации всех кодированных инфракрасных маркеров или групп маркеров необходимо иметь m видеокадров.

Имеются несколько недостатков:

- Для отслеживания взгляда на протяжении, например, 16×16 однозначно помеченных инфракрасных маркеров требуется идентификация 256 различных кодированных меток, так что уже требуется задержка из 8 кадров для относительно грубой оценки взгляда. Чем точнее оценка взгляда, тем больше маркеров необходимо использовать и тем больше становится временная задержка.

- С учетом двигательной активности глаза временная задержка быстро приводит к возникновению артефактов движения.

- В применении для управления направляемым глазом курсора реакция устройства слежения за глазом должна быть мгновенной при минимальной задержке.

Система и способ согласно изобретению, схематично показанные на правой стороне фигуры 6, отличаются от известных системы и устройства, в которых положение источника (источников) света не является фиксированным, а динамически регулируемым. Для установления совпадения блика и зрачка используют подвижный маркер, так что отражение динамичного подвижного маркера поддерживается в центре зрачка управляющим механизмом. Обнаруживают относительные положения центра зрачка и отражений маркера. На основании относительных положений центра зрачка и отражения роговицей маркера вычисляют новое положение маркера. Новое положение вычисляют, чтобы получать отражение роговицей маркера, совпадающее с центром зрачка. Это схематично показано на фигуре 6 с помощью сигнала S переустановки. Используя сигнал S переустановки, маркер переустанавливают. Заметим, что сигнал переустановки может представлять собой любые данные в любой форме, с помощью которых можно переустанавливать маркер. Результат переустановки заключается в том, что направление взгляда всегда будет находиться на линии положения или, по меньшей мере, очень близко к текущему положению маркера. Поскольку положение маркера непрерывно перемещают, чтобы делать его отражение совпадающим с центром зрачка, физическое положение маркера обновляют для совпадения с точкой взгляда. Когда контур обратной связи надлежащим образом замкнут, системой непрерывно выдаются координаты точки взгляда, которые идентичны координатам маркера или, по меньшей мере, очень близки к ним.

На фиг.7 показана система согласно способу. Система содержит камеру 71 (или в более общем случае средство для получения изображения). При работе камерой регистрируется изображение глаза 72 наблюдателя. Система содержит средство 73 для получения подвижного светящегося маркера 74 в поле зрения наблюдателя. Этот источник света функционирует как маркер. Положение маркера в пределах поля зрения наблюдателя может динамически адаптироваться. Для этого система содержит средство (75) для адаптации положения маркера. В рамках концепции изобретения источник света представляет собой любое средство, создающее лучи света, которые могут отражаться глазом. Данные изображения анализируются в анализаторе (76) изображений. Анализатор изображений определяет разность u-v отражения (u) роговицей источника света и центра (v) зрачка, то есть данные об относительных положениях центра зрачка и отражения роговицей маркера. Анализатор непосредственно вычисляет данные для переустановки маркера или анализатор выдает данные об относительном положении отражения маркера и центра зрачка и дополнительный анализатор на основании данных об относительных положениях выдает данные для переустановки маркера. Эти данные (или данные, получаемые из этих данных) могут быть в виде сигнала переустановки, то есть сигнала, который в следующем каскаде системы используется для переустановки маркера. Сигнал передается на средство (75) для адаптации положения маркера (74) для уменьшения расстояния между отражением роговицей и центром зрачка. Анализирующее средство и средство для адаптации можно объединять в управляющий блок С. Сдвиг Δ, то есть переустановка маркера 74, является функцией разности u-v в регистрируемом изображении. Изображение, получаемое после переустановки маркера, еще раз анализируется и при необходимости процесс адаптации положения маркера повторяется до тех пор, пока отражение роговицей маркера не совпадет с центром зрачка с относительно высокой точностью. В этом примере показан один маркер 74; в рамках концепции изобретения можно использовать несколько подвижных маркеров для одновременного отслеживания взгляда нескольких наблюдателей. Отражение роговицей представляет собой отражение на внешней поверхности хрусталика глаза наблюдателя. В случае, когда наблюдатель носит контактные линзы, внешняя поверхность контактной линзы считается образующей внешнюю поверхность линзы наблюдателя.

Изобретение основано на понимании, что предпочтительно устанавливать связь между положением маркера и точкой взгляда с помощью системы управления с обратной связью. Система управления регулирует положение маркера до тех пор, пока его отражение в роговице не будет совпадать или почти совпадать с центром зрачка. Разность между положением отражения роговицей и центром зрачка образует сигнал обратной связи или является основой сигнала обратной связи, который используется для переустановки маркера.

Было обнаружено, что временная задержка системы согласно изобретению намного меньше, чем временная задержка известной системы. Кроме того, она является более точной, поскольку не имеется фиксированного порогового значения. Вместо фиксированных положений маркера положение маркера регулируется в зависимости от сигнала обратной связи, получаемого на основании измерения относительных положений отражения роговицей маркера и центра зрачка.

В системе и способе согласно изобретению задержка уменьшается, поскольку имеется возможность перемещения маркера до совпадения с центром зрачка. Основной принцип перемещения маркера на основе обратной связи показан на фигуре 8. На этой фигуре показаны глаз и инфракрасное отображение в продолжение последовательности событий. Заметим, что отображаемая картина является зеркальной относительно отраженной картины. Центр зрачка дается знаком ×, отражение роговицей маркера дается знаком +.

На части А показан инфракрасный маркер в исходном положении; зрачок также находится в исходном положении.

На части В инфракрасный маркер перемещается до тех пор, пока его отражение роговицей не будет совпадать с центром зрачка (от пунктирного + к сплошному +).

На части С наблюдатель изменяет направление взгляда и зрачок принимает новое положение (от пунктирного × к сплошному ×).

На части D инфракрасный маркер снова перемещается для сохранения согласования его отражения роговицей с центром зрачка, при этом он опять непосредственно показывает направление взгляда.

Изобретение можно использовать в большом разнообразии вариантов осуществления. Ниже даны некоторые, не создающие ограничения примеры.

Ради простоты во многих примерах маркер будет описываться как инфракрасный (ИК) маркер. Хотя использование инфракрасных маркеров образует предпочтительные варианты осуществления, точно установлено, что можно использовать светящиеся маркеры других видов, такие как ультрафиолетовые маркеры или маркеры в видимом диапазоне света.

Система имеет систему управления, которая выполняет:

- операцию сравнения положений (на фигуре 7 представлена анализирующим средством), при которой сравнивается положение отражение роговицей света маркера, например инфракрасного маркера, с кажущимся положением центра зрачка;

- операцию вычисления положения, при которой вычисляется новое положение инфракрасного маркера или разность между текущим положением и идеальным положением с тем, чтобы новое или скорректированное положение обуславливало совпадение отражения инфракрасного маркера и кажущегося положения центра зрачка, за которой следует:

- адаптация положения маркера в соответствии с только что вычисленным положением.

Данные для адаптации положения также называют сигналом переустановки.

Заметим, что в способе и системе используется контур обратной связи, поэтому следствием первоначального, менее чем идеального вычисления положения будет то, что отражение маркера после переустановки будет приближаться к центру зрачка, но не самым эффективным образом. В таком случае для улучшения совпадения используется следующий этап вычисления. В предпочтительных осуществлениях параметры операции вычисления положений являются регулируемыми для точной отладки вычисления для повышения точности с тем, чтобы требовалось по возможности меньше этапов итерации. Этим будет повышаться скорость вычислений и тем самым уменьшаться задержка контура обратной связи. Вычисления могут выполняться поэтапно или в продолжение одной операции.

На фигуре 9 показан способ нахождения центра зрачка. Сегментации зрачка может способствовать использование источников света вблизи камеры, расположенных по возможности ближе к оптической оси камеры. Хотя это решение не является новым и широко применяется при общепринятом отслеживании взгляда, его также можно использовать в новой предложенной системе.

Когда это «коаксиальное освещение» является активным, возникает инфракрасный эффект «красного глаза», который, как показано на фигуре 9, вызывает свечение сетчатки в зрачке. В диске зрачка отслеживается разность между двумя изображениями, одним при коаксиальном освещении и другим без него. На фигуре 9 схематично показаны захваченные изображения глаза совместно с последовательными профилями интенсивности при а) освещении некоаксиальными источниками; b) освещении коаксиальным источником; при этом на с) показано разностное изображение, b минус а. Оценку центра зрачка можно выполнять с помощью большого количества алгоритмов, менее затратный из которых относится к вычислению центра масс проекции диска зрачка.

Изобретение можно реализовывать различными способами в различных системах.

Система может содержать дисплейное устройство и средство для предоставления маркера на экране. Средство для предоставления маркера на экране может быть встроено в дисплейное устройство. Кроме того, средство для предоставления маркера может быть отделено от дисплейного устройства. Примером объединенного устройства является устройство, в котором дисплейное устройство создает изображение, а также маркер. Примером отдельного, создающего маркер средства является устройство, которое проецирует маркер на экран дисплея, или устройство, которое содержит отдельный прозрачный экран, помещенный перед дисплейным экраном, и на этом экране может формироваться инфракрасный маркер.

На фигуре 10 показан пример системы согласно изобретению. Первое осуществление основано на использовании жидкокристаллического дисплея 102, который, как показано на фигуре 10, имеет заднюю подсветку инфракрасным (ИК) светом в дополнение к обычной задней подсветке (красным, зеленым, голубым светом) в видимом диапазоне. Реализация системы и управление с использованием управляющего блока С в принципе аналогичны реализации и управлению систем с жидкокристаллическим дисплеем, имеющим сканирующую заднюю подсветку, и в частности, систем с жидкокристаллическим дисплеем с последовательными цветами. Видеокамера (cam) синхронизирована с системой задней подсветки. Синхронизация обуславливает чередование инфракрасного и видимого света для задней подсветки. Во время фазы видимого света отображается обычное изображение. Во время фазы инфракрасного света жидкокристаллическая дисплейная панель 102 отображает картину, которая служит подвижным инфракрасным маркером 103; в продолжение этой фазы камера (cam) захватывает изображение глаза 101 вместе с отраженным маркером. Центр зрачка можно получать с использованием способа, описанного ранее, то есть в продолжение фазы видимого света. Эксперименты показали, что жидкокристаллический материал способен модулировать свет в ближней инфракрасной области точно так же, как он модулирует видимый свет. На фигуре 11 показана относительная мощность пропускания Т обычно используемого жидкокристаллического материала в диапазоне 111 видимого света и в ближней инфракрасной области 112 в зависимости от длины волны. Кривая Т пропускания для жидкокристаллического материала в отключенном состоянии является такой, что видимый свет, а также свет в ближней инфракрасной области пропускаются. Во включенном состоянии, как показано кривой С, видимый свет, а также инфракрасный свет не пропускаются. Пропускание на фигуре 11 показывает, что жидкокристаллический дисплей способен модулировать инфракрасный свет и следовательно, создавать подвижный инфракрасный маркер. Кроме того, источник инфракрасного света может светить непрерывно, поскольку глаз человека не может видеть много света, во всяком случае в ближней инфракрасной области. Однако синхронизация является предпочтительной, поскольку она обеспечивает возможность легче различать инфракрасный свет от источника инфракрасного маркера и другие фиктивные отражения инфракрасного света.

Камера CAM регистрирует изображение, система С управления (или вычислитель в камере cam) вычисляет разность между отражением роговицей инфракрасного маркера и центром зрачка, вычисляет положение на жидкокристаллическом дисплее, в которое инфракрасный маркер следует переместить для совпадения с центром зрачка, переустанавливает инфракрасный маркер и при необходимости повторяет процесс. В этом примере средство для предоставления маркера с высокой степенью интеграции встроено в дисплейное устройство.

Во втором варианте осуществления наложения инфракрасного маркера пространственно сегментированная задняя подсветка инфракрасным светом используется в дополнение к задней п