Способ управления устройством с помощью глазных жестов в ответ на стимулы

Способ управления устройством с помощью глазных жестов в ответ на стимулы

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Изобретение относится к области когнитивных технологий, а именно к области бесконтактного взаимодействия пользователей с управляемыми устройствами. Оно может быть использовано в системах коммуникации и управления компьютерами, робототехникой и другими техническими устройствами, в частности, предназначенными для людей с нарушениями моторных функций, а также для здоровых людей в ситуациях, когда управление предпочтительнее осуществлять с помощью движений глаз.

Уровень техники

Традиционные способы передачи команд от человека к компьютеру и к технике, управление которой опосредуется компьютерными технологиями, требуют использования движений пальцев и кистей рук. В связи с этим такие способы оказываются недоступными или труднодоступными при ряде заболеваний, в частности, приводящих к нарушению нервно-мышечной передачи, при наличии травматических повреждений проводящих путей спинного мозга или ампутации верхних конечностей, а также при занятости рук другой деятельностью.

Существуют и другие причины, по которым в определенных ситуациях предпочтительной является отдача команд без использования конечностей. Так, отдача команд с помощью рук может быть нежелательна при работе с техническими устройствами, используемыми большим числом людей, например с банкоматами, из гигиенических соображений. Обеспечение возможности отдачи команд компьютеру или смартфону без использования конечностей может повышать занимательность видеоигр. Ввод информации в компьютер или смартфон без использования физических движений частей тела и голосовых команд может помочь затруднить несанкционированный доступ к конфиденциальной информации, например, при вводе пароля или пин-кода.

Одним из основных альтернативных средств, с помощью которых человек может отдавать команды техническому устройству без использования механического воздействия на устройства ввода, являются технологии, основанные на отслеживании направления взгляда.

При использовании этих технологий направление пользователем своего взгляда на позиции на экране, поставленные в соответствие командам (управляющие позиции), приводит к отдаче команд (ввод букв в печатаемый текст, включение или выключение устройства, и т.п.). Недостатками этих технологий являются:

- сложность различения направления взгляда в управляющую позицию с целью отдачи команды и непроизвольного направления взгляда в ту же позицию (проблема «прикосновения Мидаса»);

- необходимость обеспечить значительное угловое расстояние между управляющими позициями в связи со сравнительно низким пространственным разрешением этой технологии (например, в сравнении с точностью позиционирования курсора с помощью компьютерной мыши);

- необходимость высокой точности работы системы отслеживания направления взгляда, для обеспечения которой требуется индивидуальная настройка и может требоваться обеспечение дополнительной подстройки в процессе эксплуатации с использованием калибровочных процедур, создающих для пользователя дополнительную нагрузку и временные затраты.

В данных технологиях нельзя использовать наиболее простые методы слежения за взглядом, не требующие использования дорогих и громоздких устройств и основанные на регистрации и анализе электроокулограммы (ЭОГ) или видеосигнала, регистрируемого простейшими видеокамерами, ввиду невозможности точного определения пространственных координат взгляда на их основе. Обычно используются системы слежения, использующие дорогие видеокамеры. Обеспечение высокой точности отслеживания взгляда, необходимой при использовании данных технологий, сопряжено с введением в методику по крайней мере некоторых из следующих дополнительных элементов, которые могут вызывать дополнительные неудобства для пользователя или ограничивать возможности применения технологии: использование источника инфракрасного излучения для подсветки области зрачка и радужки либо поддержание высокого и стабильного уровня освещенности этой области в видимом диапазоне; фиксация видеокамер и средства подсветки на голове пользователя; частая калибровка.

Кроме того, следует учитывать возможность быстрого утомления пользователя при осуществлении требуемой данными технологиями интенсивно-прецизионной глазодвительной деятельности, не связанной естественным образом с обеспечением функции зрения, для обеспечения которой приспособлена глазодвигательная система человека.

Наконец, технологии, требующие точного позиционирования взгляда относительно позиций в пространстве (например, экранных «кнопок»), могут быть недостаточно удобны или недоступны для пользователей с ослабленным зрением или ослабленным управлением взглядом даже при использовании высокоточных методов регистрации движений глаз.

Для улучшения различения фиксаций взгляда, связанных и не связанных с отдачей команды, в патентах US 4836670, US 4950069, US 4973149 используется критерий «времени остановки» (dwell time): команда отдается только в случае, если взгляд находится в заданной области экрана дольше некоторого заранее заданного времени. Однако этот способ не помогает справиться с остальными из перечисленных выше недостатков технологии детекции команд пользователя на основе определения позиции, в которую направлен взгляд. Кроме того, временная остановка взгляда может быть не связана с отдачей команды: например, она возможна, если пользователь о чем-либо задумывается либо если что-то в данной области экрана непроизвольно привлекло его внимание. В связи с этим избегание ошибочного ввода команд при использовании данного способа требует от пользователя значительных усилий по выполнению инструкций и может быстро приводить к утомлению. Следует также иметь в виду, что и удержание взгляда в заданной позиции в течение заданного времени с целью отдачи команды может быть непроизвольно прервано, если внимание пользователя привлекло что-то в другой позиции, а длительная фиксация взгляда в одной позиции затруднительна и при отсутствии выраженных отвлекающих факторов. В связи с этим увеличение минимально требуемого времени остановки, требующееся для повышения точности различения попыток отдачи команды и непреднамеренных фиксаций, может приводить к еще большему увеличению нагрузки на пользователя и даже к невозможности управления из-за сложности длительное время целенаправленно фиксировать одну и ту же пространственную позицию.

В патенте US 6886137 для определения потребности пользователя замедлить или ускорить скорость перемещения («прокрутки») визуальной информации по экрану используется перемещение взгляда соответственно к краю экрана, где информация уходит с него, и к краю, где появляется новая информация. Вследствие естественного характера таких перемещений взгляда они не создают дополнительную нагрузку на пользователя. Однако данная технология применима лишь к ограниченному кругу задач.

В патенте EP 0634031 предложен способ, заключающийся в регистрации биоэлектромагнитных сигналов, генерируемых при движении глазного яблока, их обработке, обозначении движений глаз символическими лексемами, генерации командных сигналов на основе протокола, связывающего командные сигналы с последовательностями лексем, и выполнение функций коммуникации или управления в ответ на командные сигналы. В качестве биоэлектромагнитных сигналов может использоваться ЭОГ. Недостатком данного способа является искусственный характер использования заданных последовательностей движений глаз для отдачи команд, из-за которого при использовании способа может быстро развиваться утомление. Кроме того, необходимость заучивания последовательностей движений глаз и их соответствия командам ограничивает число используемых команд.

Предпринимались попытки решить отмеченные выше проблемы путем создания комбинированных интерфейсов глаз-мозг-компьютер. Известен способ детекции вводимых пользователем команд, основанный на определении направления взгляда и анализе электрических потенциалов мозга, связанных с фиксацией взгляда, а также на учете изменений диаметра зрачка и характеристик движений глаз (US 5649061). Недостатком известного способа является невозможность обеспечения высокой точности срабатывания интерфейса вследствие низкой амплитуды потенциалов, связанных с фиксацией взгляда, и значительной зависимости диаметра зрачка и характеристик движений глаз от разнообразных факторов, не контролируемых или не полностью контролируемых в рамках данной технологии.

В публикации Kotani et al. (2010) (Kentaro Kotani, Yuji Yamaguchi, Takafumi Asao, Ken Horii (2010): Design of eye-typing interface using saccadic latency of eye movement, International Journal of Human-Computer Interaction, 26:4, 361-376) раскрыт способ, состоящий в сочетании детекции отдаваемой команды с помощью фиксации пользователем своего взгляда в управляющей позиции, соответствующей команде, и детекции ее последующего подтверждения, осуществляемого с помощью дополнительной саккады. В конкретной реализации авторы использовали отдельно расположенные «экранные кнопки подтверждения», в которые пользователь должен был делать подтверждающие саккады, для упрощения идентификации таких саккад. Способ позволяет с большой надежностью регистрировать событие подтверждения даже при низкой пространственной точности подтверждающих саккад, поскольку для детекции управляющей позиции используется латентность подтверждающей саккады, которая определялась как время начала саккады относительно времени попадания взгляда в управляющую позицию.

Благодаря использованию подтверждения каждой вводимой команды легко детектируемой саккадой авторам этой публикации удалось исключить ошибки, связанные с эффектом «прикосновения Мидаса». При использовании их способа нет необходимости ставить в соответствие каждой используемой команде отдельный глазной жест (который нужно выучивать и помнить), как в ЕР 0634031. Поскольку обозначения команд (в их работе - печатаемые буквы слогового алфавита) могут быть показаны прямо в управляющих позициях, пользователь может, в принципе, легко научиться быстро находить позицию, соответствующую нужной команде, даже при использовании разных наборов команд.

Однако детекция отдаваемых команд в способе, предложенном Kotani et al. (2010), требует точного определения попадания взгляда в управляющие позиции и обеспечения значительного углового расстояния между управляющими позициями.

Раскрытие изобретения

Предлагаемый способ детекции команд пользователя, отдаваемых компьютеру с помощью взгляда, существенно отличается от аналогов использованием зрительных стимулов, обеспечивающих связь доступных пользователю команд с известными моментами времени. Пользователь указывает на нужную команду путем подачи глазного жеста: по времени его подачи определяется время появления соответствующего такой команде стимула.

В качестве такого глазного жеста в простейшем случае может использоваться единичная высокоамплитудная саккада. Благодаря тому что латентности саккад в ответ на стимул (средняя величина которых у человека - 200 мс) и их вариативность сравнительно невелики, при появлении стимулов через интервалы времени, достаточно большие в сравнении с вариативностью латентности саккад, по времени начала саккады в ответ на стимул можно определить стимул, реакцией на который была данная саккада. Аналогичным образом возможно использование и более сложных глазных жестов, прежде всего таких, которые начинаются с саккады.

Благодаря ассоциации стимулов с командами обнаружение глазных жестов и моментов их начала позволяет определить отдаваемую пользователем команду. При этом не требуется получение точной информации о положении взгляда относительно управляющих позиций, и благодаря этому становится возможным использовать простые, дешевые и надежные методы регистрации и анализа движений глаз, в т.ч. не требующие калибровки измерительной аппаратуры.

Предлагаемый способ также направлен на исключение необходимости для пользователя с большой точностью фиксировать взгляд в заданных позициях.

Кроме того, предлагаемый способ направлен на исключение необходимости выдерживать значительные размеры управляющих позиций, а также значительные угловые расстояния между ними. Таким образом, предлагаемое изобретение создает возможности более свободного дизайна управляющих позиций и их размещения на экране. Благодаря этому интерфейсы компьютерных приложений, использующих управление с помощью взгляда, в т.ч. интерфейсы систем управления подключенной к компьютеру техникой, могут быть выполнены в большем соответствии задачам, для решения которых они предназначаются, возможна их дополнительная эргономическая оптимизация, и т.п.

Технический результат, достигаемый предлагаемым изобретением, состоит в обеспечении детекции команд пользователя, отдаваемых техническому устройству с помощью взгляда, без необходимости точного определения пространственных координат взгляда и обеспечения значительного углового расстояния между управляющими позициями, а также без необходимости для пользователя точно фиксировать взгляд в заданных позициях.

Технический результат достигается тем, что предложен способ управления устройством с помощью глазных жестов в ответ на стимулы, заключающийся в том, что

- пользователю указывают по меньшей мере одну управляющую позицию,

- с каждой управляющей позицией ассоциируют по меньшей мере один глазной жест,

- с каждой комбинацией управляющей позиции и ассоциированного с нею глазного жеста ассоциируют одну команду,

- создают условия, при которых в управляющих позициях в разное время появляются заданные зрительные стимулы,

- дают инструкцию пользователю для отдачи команды управляемому им устройству перевести взгляд в управляющую позицию, ассоциированную с данной командой, и после появления в ней заданного зрительного стимула подать глазной жест,

- регистрируют движения глаз пользователя,

- анализируют записи движений глаз пользователя с целью выявления глазного жеста и определения времени его подачи,

- и в случае, если выявлен глазной жест, время подачи которого соответствует времени появления стимула в одной из управляющих позиций, детектируют отдачу команды, ассоциированной с комбинацией данного глазного жеста и данной управляющей позиции, и выдают ее на управляемое устройство.

Технический результат достигается также тем, что

- условия, при которых в управляющих позициях в разное время появляются заданные зрительные стимулы, создают путем предъявления заданных зрительных стимулов в этих позициях в известные моменты времени;

- предъявление заданных зрительных стимулов в управляющих позициях организуют циклами, состоящими из предъявления такого стимула по одному разу в каждой из по меньшей мере двух управляющих позиций;

- если моменты времени появления заданных зрительных стимулов заранее неизвестны, ведут регистрацию сигнала, несущего информацию о появлении таких стимулов, и на основе его анализа определяют моменты времени появления каждого такого стимула;

- подают звуковые сигналы, синхронизированные со зрительными стимулами, при этом используют одну и ту же высоту звука при появлении заданного зрительного стимула в одной и той же позиции и разную высоту - при появлении заданных зрительных стимулов в разных позициях;

- создают условия, при которых зрительные стимулы во всех управляющих позициях одинаковые;

- создают условия, при которых зрительные стимулы по меньшей мере в одной из управляющих позиций отличаются от зрительных стимулов в других управляющих позициях;

- пользователю указывают по меньшей мере одну позицию подтверждения, а подтверждающий глазной жест задают в форме саккады в позицию подтверждения;

- после детекции отданной команды ее обозначение показывают в позиции подтверждения;

- пользователю указывают не менее двух позиций подтверждения, а глазной жест задают в форме не менее двух саккад в позиции подтверждения;

- управляющие позиции помещают внутри видимой пользователю особой области, а пользователь получает инструкцию направлять взгляд внутрь этой особой области только тогда, когда он готовится отдать команду;

регистрацию движений глаз пользователя производят путем видеорегистрации изображения глаз;

- регистрацию движений глаз пользователя производят путем регистрации электроокулограммы;

- регистрацию движений глаз пользователя производят путем регистрации сигналов мозгового происхождения;

- при анализе записей движений глаз пользователя определяют координаты взгляда непосредственно перед и после высокоамплитудных движений глаз;

- регистрируют положение головы пользователя и полученные данные используют при анализе записей движений глаз пользователя с целью выявления глазного жеста;

- наряду с регистрацией движений глаз у пользователя регистрируют сигнал мозгового происхождения, а отдаваемую команду устанавливают при использовании совместного анализа движений глаз и сигнала мозгового происхождения;

в качестве сигнала мозгового происхождения используют электроэнцефалограмму;

в качестве сигнала мозгового происхождения используют магнитоэнцефалограмму;

- в качестве сигнала мозгового происхождения используют BOLD-сигнал;

- в качестве сигнала мозгового происхождения используют NIRS-сигнал.

Краткое описание фигур

Фиг.1 представляет пример того, как может выглядеть участок экрана монитора при использовании подтверждающей позиции. Восемь из девяти компактно расположенных управляющих позиций не выделены 1, одна управляющая позиция выделена 2. Позиция подтверждения 3, если она используется, располагается на удалении от остальных позиций.

Фиг.2 показывает, как управляющие позиции могут быть помещены в пределах зрительно выделенной особой области. В дополнение к представленным также на предыдущем рисунке невыделенным 1 и выделенной 2 управляющим позициям и подтверждающей позиции 3 здесь показана граница особой области 4, отделяющая от остальной части экрана 5 особую область 6. Стрелками 7-12 показаны саккады. Направление саккады 7 исключает ее идентификацию как подтверждающего глазного жеста. Саккады 8 и 11 по их направлению и амплитуде могут быть идентифицированы как подтверждающие глазные жесты, хотя они таковыми не являются. Однако пользователь может исключить их, следуя инструкциям, т.к. для их совершения пользователь должен направить взгляд в особую область и сделать затем саккаду в сторону подтверждающей позиции - т.е. дважды подряд нарушить инструкцию. Саккаду 9, действительно являющуюся подтверждающим глазным жестом, отличают от саккады 10 со сходным направлением и амплитудой на основе анализа времени их начала (см. ниже). Возможны саккады 12, для определения отличия которых от подтверждающих глазных жестов нужно использовать, наряду с данными по направлению и амплитуде саккады, также данные по координатам взгляда в начальной и/или конечной позиции, однако такие координаты достаточно определять со сравнительно небольшой точностью.

Осуществление изобретения

В наиболее типичном случае способ осуществляют следующим образом. Пользователь располагается перед управляющими позициями, положение которых ему указывают визуально или вербально. Управляющие позиции ассоциируют с заранее определенными командами. Для отдачи команды пользователь направляет взгляд в управляющую позицию, ассоциированную с этой командой, и ожидает появления стимула в этой позиции.

В управляющих позициях последовательно предъявляют зрительные стимулы. Увидев стимул в управляющей позиции, ассоциированной с отдаваемой командой, пользователь немедленно подает заранее заданный глазной жест.

Регистрируют движения глаз пользователя. Путем анализа зарегистрированного сигнала, содержащего информацию о движениях глаз пользователя, определяют, подал ли пользователь при предъявлении стимула в одной из управляющих позиций заранее заданный глазной жест, и при положительном ответе выдают на управляемое устройство заранее определенную команду, ассоциированную с данной управляющей позицией.

Предъявление стимулов, анализ записей движения глаз и детекцию отдаваемых команд осуществляют в автоматическом режиме с помощью системы, включающей компьютерную программу или программы и необходимые технические средства. С их помощью могут осуществляться и другие операции, в частности показ управляющих позиций.

Далее перечисленные выше действия раскрываются более подробно и с указанием возможных вариантов их реализации.

Управляющие позиции

Управляющая позиция представляет собой место в пространстве, где появляются стимулы, ассоциированные с одной из команд. В качестве управляющих позиций могут быть использованы любые позиции в пространстве при условии, что все они видны пользователю.

Управляющие позиции делают, как правило, хорошо заметными для пользователя любым удобным способом, по возможности одновременно помогающим догадываться об ассоциированных с ними командах или напоминающим о них (см. пример на Фиг.1). Управляющая позиция может быть обозначена и как обширная область, и как область с минимальной протяженностью, при которой она еще может быть видимой. Более того, в самой управляющей позиции может отсутствовать какое-либо зрительно различимое обозначение, если окружающих ориентиров и инструкции, выдаваемой пользователю, достаточно для идентификации ее положения. Например, на управляющую позицию может указывать стрелка. Инструкция может сообщать, что управляющая позиция находится в центре экрана или в его верхнем левом углу, при этом допустимо не использовать никаких специальных указателей для ее обозначения.

Во многих случаях удобно обозначать управляющую позицию областью в виде круглой кнопки диаметром 1° или прямоугольной кнопки близких размеров. Следует иметь в виду, что назначение зрительно заметного выделения - управляющих позиций в пространстве - помочь быстро идентифицировать стимул, ассоциированный с нужной командой. Наиболее точную идентификацию отдаваемой команды можноожидать, в общем случае, при направлении взгляда в управляющую позицию. Однако при необходимости пользователь может следить за управляющей позицией без направления взгляда в управляющую позицию при условии, что она остается в поле зрения - это возможно благодаря механизмам скрытого внимания.

В качестве устройства, обеспечивающего показ управляющих позиций, можно использовать экран монитора персонального компьютера, смартфона и т.п., а также экран, на который их обозначения проецируются отдельно расположенным проектором. Однако управляющие позиции могут быть расположены на любых поверхностях, где их может видеть пользователь. Предпочтительным, как правило, является размещение всех управляющих позиций в одной плоскости, однако допустимо их иное размещение, например, в тех случаях, когда их помещают на управляемом устройстве сложной объемной формы, например на разных «конечностях» антропоморфного робота.

Управляющие позиции могут быть, в принципе, расположены на любом расстоянии друг от друга. Однако при подборе расстояний между ними следует иметь в виду, что при их слишком близком расположении стимулы в позициях, соседних к той, которая ассоциирована с вводимой командой, могут мешать восприятию стимула в этой позиции и способствовать утомлению.

Управляющие позиции при необходимости могут менять положение в пространстве, если их обозначения или ориентиры, необходимые для их нахождения, остаются видимыми и их перемещение не создает значительных неудобств для их нахождения и отслеживания.

Примеры обозначения управляющих позиций: пиктограммы или кнопки с короткими словесными обозначениями на экране монитора персонального компьютера, банкомата или смартфона; светодиоды разного цвета, вмонтированные в оправу очков; цветовая разметка, нанесенная на неподвижные или движущиеся части управляемого робототехнического устройства.

Число управляющих позиций определяется исходя из назначения системы, реализующей способ. Однако оно не должно превышать 100 и, как правило, должно быть значительно ниже этого числа, во многих случаях - меньше 10. В противном случае будет затруднено нахождение нужных позиций и существенно замедлено управление, т.к. время, необходимое на отдачу одной команды, растет с ростом числа позиций (приблизительно пропорционально ему).

Стимулы

В качестве стимула может быть использовано любое зрительно заметное пользователю событие, время которого известно или доступно регистрации в программной системе, реализующей изобретение, и ассоциация которого с одной из управляющих позиций известна пользователю.

Пользователь должен быть поставлен в известность об используемом типе стимулов, т.е. ему должно быть сообщено, на какого рода события он должен реагировать для отдачи команды, если это не становится «интуитивно» ясно сразу же при наблюдении стимулов.

В наиболее типичном случае в качестве стимула используют изменение всей или большей части обозначения управляющей позиции (ср. 1 и 2 на Фиг.1). В качестве стимула можно также использовать хорошо заметное пользователю изменение: области, менее обширной, чем обозначение управляющей позиции, и находящейся в пределах этого обозначения; области, частично перекрывающейся с обозначением управляющей позицией; области, более обширной, чем обозначение управляющей позиции, и включающей его в себя. Допустимо использовать в качестве стимула и изменение области, не перекрывающейся с обозначением управляющей позиции, если ассоциация стимула и управляющей позиции остается понятной пользователю - например, когда расстояния между стимулом и управляющей позициею значительно меньше, чем расстояния между разными управляющими позициями.

В наиболее типичном случае в качестве стимула используют кратковременное изменение яркости и/или цвета. При этом фактически происходят два события, первое из которых состоит в изменении визуальных характеристик в сравнении исходными, т.е. с теми, которые наблюдаются большую часть времени, а второе - в возвращении визуальных характеристик к исходным. Целесообразно использовать в качестве стимула только первое из них, однако принято говорить о «длительности стимула», т.е. о времени, проходящем между такими парными событиями.

Длительность стимула выбирают таким образом, чтобы пользователь мог заметить изменение, но при этом длительность стимула не должна быть слишком большой, иначе следующий стимул потребуется предъявить еще до окончания предыдущего, либо процедуры станет чрезмерно длительной.

В других случаях событие, используемое в качестве стимула, может не сопровождаться возвращением к исходным визуальным характеристикам: например, им может быть изменение цвета, сохраняющееся все время до следующего стимула, или поворот вытянутого прямоугольника на 90° вокруг своего центра. В качестве стимула можно использовать момент начала движения или момент остановки роботизированной руки или виртуального объекта на экране монитора компьютера.

Используемые в качестве стимулов изменения, как правило, носят единообразный характер для одной и той же управляющей позиции при их неоднократном появлении, а также для разных управляющих позиций, в том числе в случае, если управляющие позиции существенно отличаются по своим зрительным характеристикам. Например, в качестве стимулов можно использовать увеличение яркости на одну и ту же величину, увеличение размера и масштаба пиктограммы на одну и ту же величину и т.п.

В определенных случаях, особенно при близком расположении управляющих позиций и при перекрытии областей, зрительное изменение которых используется в качестве стимулов, появляющихся в соседних управляющих позициях, для упрощения идентификации стимула, появляющегося в позиции, ассоциированной с нужной командой, может оказаться целесообразным использовать разное изменение в разных позициях.

Предпочтительно заранее сообщить пользователю, как выглядят стимулы, либо дать ему возможность ознакомиться с тем, как они выглядят, до использования способа.

Для облегчения определения момента стимула, ассоциированного с нужной управляющей командой, можно сопровождать звуковым сигналом с одной и той же высотой подачу стимулов, ассоциированных с одной и той же управляющей позицией, и звуковыми сигналами с разной высотой - стимулов, ассоциированных с разными управляющими позициями. Эта модификация может быть полезной, в частности, для людей с ослабленным зрением.

Как правило, в качестве стимулов используют специально организуемые события, время которых заранее известно в программной системе. Однако событие, о времени которого заранее не могло быть известно, также может быть использовано в качестве стимула, при условии, что его время регистрируется в программной системе, и что пользователь может идентифицировать такое событие как стимул. Примерами таких событий могут служить соприкосновение движущейся роботизированной руки с объектом и совмещение прицела с заранее известной целью в игре. Поскольку в пространстве перед пользователем может происходить большое число разных событий, для использования каких-либо из них в качестве стимулов заранее определяют признаки, которым событие должно соответствовать, чтобы считаться стимулом. Эти признаки сообщают пользователю, а также обеспечивают регистрацию и анализ сигнала для их автоматической идентификации.

Вне зависимости от того, организовано ли предъявление стимулов программой или осуществляется лишь программная регистрация времени появления стимулов, любые два стимула, как правило, не должны перекрываться во времени или сближаться во времени до такой степени, чтобы затруднялось восприятие любого из этих стимулов.

Длительность стимулов и пауз между ними могут быть как постоянными, так и варьирующими во времени. Их предпочтительно устанавливать в процессе тестирования конкретной реализации предлагаемого способа и с учетом ее особенностей, а также особенностей предполагаемых пользователей, добиваясь легкого и безошибочного распознавания стимулов и низкой вариативности латентности глазных жестов в ответ на стимулы. Возможно также использование сведений о восприятии человеком стимулов соответствующего типа и о вариативности латентности саккад в ответ на стимулы, известных из литературы по экспериментальной психологии. Для точного определения отдаваемой команды следует устанавливать суммарную длительность стимула и паузы более высокой, чем разброс (разность между максимальными и минимальными значениями) латентностей глазных жестов в ответ на стимулы.

В частности, для здоровых пользователей в большинстве случаев может оказаться удобным использование длительности стимула, равной 200 мс, и постоянной или минимальной паузы между стимулами длительностью 100 мс. Если предполагается использование системы тяжелыми больными, длительность стимулов и пауз между ними должно быть удлинено.

Порядок предъявления стимулов в управляющих позициях может быть либо случайным, либо заранее заданным, в том числе всегда одним и тем же. Например, если доступные команды - это ввод цифр от 1 до 9, предъявлять стимулы предпочтительно по порядку управляющих позиций с обозначениями 1, 2,... 9, затем снова 1, 2, и т.д. При реализации анализа движений глаз пользователя (обсуждаемой ниже) учитывают, что в этом случае момент предъявления стимула в позиции, связанной с отдаваемой командой, предсказуем для пользователя, и в связи с этим подтверждающий глазной жест может иметь очень низкую и даже отрицательную латентность.

В некоторых случаях, например, если необходимо затруднить несанкционированный доступ посторонних лиц к информации, вводимой пользователем (например, пин-код), а также при использовании, в дополнение к регистрации движений глаз пользователя, также сигналов мозгового происхождения, усиливающихся при повышении неопределенности времени предъявления стимула, может оказаться предпочтительным использование случайного порядка предъявления стимулов.

Возможно исключение предъявления стимулов в некоторых управляющих позициях (исключенные управляющие позиции), например, если ассоциированные с ними команды в данный момент невозможно выполнить.

Предъявление стимулов может быть организовано циклами стимулов - последовательностями, состоящими из предъявления стимулов по одному разу в каждой из используемых (не исключенных) управляющих позиций. Между циклами могут делаться дополнительные паузы.

Может оказаться удобным - особенно при использовании длительных пауз (например, более 3 с) - подавать перед началом каждого цикла звуковой или визуальный сигнал, предупреждающий пользователя о том, что вскоре начнутся стимулы. Такой сигнал - предупредительный сигнал - может подаваться, например, за 500 мс или за 1 с до начала цикла.

Предъявление стимулов, с паузами между ними и при необходимости с паузами между циклами можно производить как в течение всего времени использования предлагаемого способа, так и в пределах ограниченных интервалов времени. Может быть также организовано предъявление заданного числа циклов стимулов.

Возможность запускать предъявление стимулов может быть предоставлена пользователю. Например, через 500 мс после каждого нажатия кнопки на устройстве может запускаться один цикл стимулов, при этом использование ручного ввода сводится к использованию единственной кнопки для обозначения моментов готовности к вводу команды, а собственно выбор из нескольких команд производится с помощью глазных жестов. В других вариантах пользователь может использовать для запуска стимулов отдельно заданный глазной жест, механический жест (например, определенное движение пальцем по сенсорной поверхности или в сенсорном пространстве) или голосовую команду.

Предъявление стимулов может быть прервано сразу после детекции отдачи команды. При необходимости затруднить доступ к вводимой информации предпочтительным является продолжение предъявления стимулов и после детекции отдачи команды, по крайней мере до окончания цикла. Если стимулы, как правило, даются циклами без пауз между ними, после детекции отданной команды можно вести паузу между окончанием текущего цикла и началом следующего цикла. Если стимулы, как правило, даются циклами с небольшими паузами между ними, после детекции отданной команды можно удлинить паузу между окончанием текущего цикла и началом следующего цикла.

Глазные жесты и способы улучшения их распознаваемости для алгоритмов анализа движений глаз

Под глазным жестом понимают движение глаз или последовательность движений глаз, с помощью которых пользователь отмечает время, когда он обнаружил стимул, подаваемый в управляющей позиции, ассоциированной с нужной пользователю командой. По времени начала глазного жеста можно определить, какому стимулу он соответствует. Таким образом, подавая глазной жест, пользователь сообщает, какую именно команду он хочет отдать.

Пользователю предварительно дают инструкцию для отдачи команды направить взгляд на позицию, ассоциированную с той командой, которую он хочет отдать, дождаться стимула в этой позиции и сразу после его появления подать глазной жест. О том, каким должен быть глазной жест, ему также сообщают заранее.

Возможно использование более одного глазного жеста. В этом случае отдельная команда может быть ассоциирована с каждой комбинацией глазного жеста и управляющей позиции, подобно тому, как это сделано с комбинациями обычных жестов и сенсорных областей для обеспечения значительного углового расстояния между управляющими позициями в патенте RU 2455676.

Глазные жесты подбирают с учетом требований к конкретной реализации изобретения: во-первых, требования минимизации ошибки выбора команды, во-вторых, требования минимизации частоты ложных тревог.

Для минимизации частоты ложных тревог необходимо, чтобы глазной жест, намеренно поданый пользов