Способ мониторинга движения глаз и устройство для его реализации

Способ мониторинга движения глаз и устройство для его реализации

Иллюстрации

Показать все

Реферат

Ссылки на патенты и литературу:

1. Ruxin Chen, Ozlem Kalinli patent US 2012/0281181, от 08.11.2012.

2. John Howison Schroeder, Alexander D. Kiderman patent US 2010/0092049, от 15.04.2010.

3. Roel Vertegaal, Changuk Sohn, et al. patent US 7963652, от 21.06.2011.

4. Thomas E. Hutchinson, Ivy Va. patent US 4950069, от 21.08.1990.

5. Kingman Yee. patent US 6283954, от 04.09.2001.

Область техники.

Изобретение относится к мониторингу параметров зрения и может найти применение в различных областях от медицины до управления компьютером, а также сможет решать многие другие задачи, например анализ объектов внимания покупателя при покупках в магазине или при просмотре сайта, управление приборами бытовой техники и др. Главным назначением изобретения является отслеживание направления и характера движения взгляда человека в реальном времени, а также выполнение определенных действий, которое соответствует заданной последовательности направлений взгляда либо фиксация взгляда на заданное время.

Для медицины характер саккад (быстрые движения глаз) и/или направление и время просмотра определенных тестовых изображений несет диагностическую функцию и может объективно свидетельствовать об определенных расстройствах работы мозга, либо об эмоциональном состоянии человека.

Кроме того, уже сегодня реализованы различные «ай трекеры», управляющие, например, компьютером и помогающие в общении обездвиженным людям (пример профессора Стивена Хокинга). Функция управление взглядом тоже может быть реализована в рамках предлагаемого изобретения.

Предшествующий уровень техники.

Объективные методы точного определения направления взгляда имеют давнюю историю и основаны на разных физических принципах. Все способы делятся на контактные методы (электроды вблизи глаз и анализ возникающих потенциалов, датчики на глазном яблоке и т.д.) и бесконтактные (кино или видеосъемка глаза).

Так в патенте [1] предлагается использовать магнитные контактные линзы, а в очковой оправе смонтировать датчики изменения магнитного поля (это контактный способ). Наверное, так можно определять поворот глазного яблока, но скорее всего точность такого устройства будет невелика. Кроме того, метод мало пригоден для лиц с нормальным зрением (без контактных линз).

Подавляющее большинство устройств и способов контроля или отслеживания направления взгляда используют оптические, бесконтактные методы. Например, анализируют изображение глаза, регистрируемое видеокамерой [2], или фиксируют направление отраженного луча [3].

Так в патенте [2] утверждается, что достаточно иметь часть изображения лимба (лимб - это граница радужки и склеры), чтобы рассчитать направление взгляда. Данный способ основан на обработке оцифрованного изображения глаза и требует достаточно серьезных вычислений. Поэтому можно утверждать, что способ имеет существенные ограничения как по точности (поскольку граница лимба имеет некоторую «размытость»), так и по скорости обработки из-за громоздкости вычислений, хотя авторы не приводят конкретных результатов ни по точности, ни по скорости перемещения взгляда.

Кроме того, авторы не обсуждают вопрос, какая минимальная часть лимба необходима для работоспособности метода, но начиная с некоторых длин дуги лимба ошибка может оказаться настолько большой, что мониторинг направления взгляда окажется невозможен, поэтому данный патент очень далек от его практической реализации.

В патенте [3] фиксируется отражение набора маркеров, расположенных на экране (либо «сцене») от роговицы глаза. Это один из немногих патентов, пригодный для мониторинга направления взгляда животных (так утверждается). Данный метод и устройство легко реализовать, что подтверждают расчеты и графики, но при увеличении числа маркеров (в патенте сказано: «один или более») возникает проблема распознавания самих маркеров. Кроме того, математическая модель, которая не обсуждается в патенте, достаточно сложна и требует значительного времени для обработки изображения, поэтому возможная скорость отслеживаемых движений глаза ограничена и не позволит регистрировать саккады, скорость которых может достигать 200-450 градусов в секунду.

Как и в предыдущем патенте, необходимо изображение хотя бы одного глаза и фиксация головы пациента. Кроме того, оба патента предполагают использовать небольшие видеокамеры, но большинство доступных камер работают на частоте всего 30-50 кадров в секунду при скромном разрешении изображения, что ограничивает и точность, и доступные для регистрации скорости движений глаз.

Следующий патент [4] предполагает решить изложенные выше проблемы, а также увеличить скорость и точность метода, хотя и был заявлен много ранее в 1990 г. Для этого глаз освещают мощным инфракрасным диодом. Известно, что сетчатка хорошо отражает излучение в ИК области, поэтому зрачок глаза выглядит ярким пятном. Затем по специальному алгоритму вычисляется центр и др. параметры эллипса, однозначно соответствующего направлению взгляда. Конечно, данный способ частично преодолевает недостатки ранее обсуждаемых патентов, но небольшая частота кадров доступных видеокамер остается непреодолимым барьером на пути повышения скорости.

В качестве прототипа рассмотрим Американский патент [5] «Линейный мониторинг глаза». Главная идея прибора и метода состоит в том, что на основе пар стандартных линейных фотодетекторов (фотолинеек) определяется положение лимба (границы перехода радужки в склеру), поэтому алгоритм расчетов существенно упрощается. Кроме того, скорость работы линейного сенсора (мегагерцы) существенно превышает скорость любой видеокамеры, что существенно повышает быстродействие устройства.

К недостаткам метода следует отнести то, что для определения направления взгляда требуются 4 значения координат лимба (левая, правая, верхняя и нижняя), поскольку в изобретении используются 2 взаимно перпендикулярных линейных сенсора (см. иллюстрации к патенту), хотя в формуле изобретения говорится о линейных сенсорах, расположенных под углом (не ортогональный базис), и лишь во втором пункте речь идет о взаимно ортогональном расположении линейных сенсоров. Суть способа от этого не меняется и требуются 4 точки для вычисления положения и ориентации глаза.

Поскольку данное изобретение и датчик разработаны для лазерных операций на роговице глаза, всегда можно на время операции раздвинуть веки и способ будет успешно реализован. Но для мониторинга направления взгляда данный способ мало пригоден, поскольку у большинства - людей верхняя (а во многих случаях и нижняя, например, азиаты) точка лимба прикрыты веком. Таким образом, предложенный способ имеет узкую область применения, когда виден весь лимб (лазерные операции на глазах), хотя применение линейных датчиков существенно повысило скорость обработки, что и позволяет применить данный способ в устройствах для лазерных операций на глазах.

Таким образом, предложенный в [5] метод и устройство имеют узкую область применения, хотя использование линейных датчиков и более простого алгоритма вычислений значительно повышают скорость обработки изображения лимба глаза, по сравнению с использованием видеокамер.

Сущность изобретения

Целью данного изобретения является разработка простого, надежного способа и устройства для мониторинга движения глаз в реальном времени и отслеживания направления взгляда с характерными временами несколько миллисекунд и менее.

Каждый из рассмотренных выше методов мониторинга взгляда [1-4] обладает своими достоинствами и специфическими недостатками, но общим и основным из которых является небольшая скорость исходной информации - 30-50 кадров в секунду. Однако для изучения саккад и некоторых других медицинских применений (например, исследование патологий работы мозга, оценка эмоционального состояния пациента и др.) требуется фиксировать движения с характерным временем 10-30 мс и менее. Хотя подобные устройства, регистрирующие движения с частотами более 1000 Гц (основанные на принципах видео регистрации), существуют, они очень дорогие и область нескольких сотен герц - это предел современных систем данного класса.

Линейные датчики изображения (фотолинейки) имеют гораздо лучшие временные характеристики и невысокую цену. Характерные частоты считывания информации фотолинеек - несколько мегагерц, они дешевы, просты и надежны, а элементная база достаточно разнообразна (число пикселей в линейке колеблется от 256 до более 5 тысяч, у них разные области спектральной чувствительности) и т.д.

Кроме того, оказалось, что если известен диаметр глазного яблока (радиус R) и радиус лимба (r), то направление взгляда можно совсем легко рассчитать аналитически по двум координатам проекции изображения лимба на одном линейном фотодатчике. Например, в цилиндрической системе координат для фотолинейки, линзы и центра глазного яблока, расположенных на одной оси (см. Фиг. 1), по формуле (1) можно рассчитать проекции на фотолинейку пересечения лимба с плоскостью YX. А по данным проекциям можно почти однозначно восстановить направление взгляда:

Здесь Y min/max - минимальное и максимальное значение проекций лимба на фотолинейку, соответствующее разным знакам в скобках, угол φ - определяет направление взгляда по вертикали, а ψ - соответствует углу по горизонтали.

Также на Фиг. 1 показана простейшая оптическая система (lens - линза) и фотолинейка (Sensor). Формула (1) соответствует случаю, когда центр глазного яблока лежит в плоскости, но поскольку через точку (центр глазного яблока) и линию (фотолинейка) можно провести единственную плоскость (XY), то формула (1) имеет общий характер, хотя в конкретных случаях ее можно уточнить, например, при особой форме лимба или специальной формы линейки.

Формула (1) не дает строго однозначного решения (двузначное решение), поскольку при замене φ на -φ получаются одни и те же проекции. Но в реальных случаях положение глазного яблока асимметрично относительно век и в основном взгляд направлен вниз. Кроме того, расчет скорости изменения угла φ, а также свойство непрерывности функции значений угла позволяют внести уточнения и однозначно определить направление взгляда. В блоке обработки можно программно рассчитывать скорость изменения угла φ, поэтому переход «экватора» с ненулевой скоростью позволит дополнительно уточнить знак угла φ

Радикальным решением проблемы неоднозначности является разработка специальных ПЗС линеек (фотоприемников) с геометрией, отличной от линии («изогнутых»), или использование двух и более таких фотолинеек, включенных последовательно. Их форму можно выбрать такой (по сути почти любой см. Фиг. 2 - линии соответствуют формам фотолинеек), чтобы на фотолинейку проецировалось 3 и более проекций лимба. Тогда решение имеет однозначное соответствие направлению взгляда по совокупности проекций лимба. Выборку значений нескольких фотолинеек можно осуществлять последовательно, тем более, если массив линеек изготовлен на едином кристалле.

Взаимное расположение нескольких фотолинеек не имеет принципиального значения, но при условии, что все фотолинейки расположены в фокусе единой оптической системы, что значительно упрощает конструкцию устройства.

Использование в устройстве двух и более взаимосвязанных фотолинеек (не обязательно последовательных) либо линеек сложной формы существенно повышает точность определения направления взгляда.

Кроме того, для выбора знака решения в формуле (1) и для повышения точности определения углов можно использовать корреляцию значения проекций лимба левого и правого глаза. В силу явления дивергенции (сведение обоих глаз на одном объекте) значения проекций обоих глаз становятся взаимосвязаны, что можно легко учесть в расчетах. Предпочтительным является непараллельное расположение друг относительно друга фотолинейки правого и левого глаза.

С учетом того, что в среднем радиус глазного яблока равен примерно 12 мм, а радиус лимба около 6 мм, получим ограничение для углов по вертикали ±30 градусов. То есть предложенный способ позволяет определять направление взгляда по вертикали в диапазоне примерно 60 градусов, что меньше 125 градусов, доступных глазу. Но поскольку основной диапазон осмысленной информации воспринимается вблизи оптической оси, а диапазон саккад в 85% случаев не превышает 15 градусов, то данные характеристики устройства соответствуют практическим потребностям.

Для углов по горизонтали ситуация еще лучше, поскольку 120 градусов (от 30 до 150 градусов) хорошо соответствует полю зрения каждого глаза 60 градусов к носу и 90 градусов к виску (поле зрения двух глаз около 180 градусов по горизонтали).

Конечно, необходимо чтобы при поворотах глаза обе проекции границ лимба отображались на фотолинейку, что требует большой глубины резкости оптической системы устройства. На практике, увеличение глубины резкости соответствует небольшой апертуре и соответственно требует применения более чувствительных фотоприемников.

Возможно применение и более сложных оптических систем, чем одна линза, представленная на Фиг. 1, например с большим числом оптических элементов, а также призм или зеркал для поворота оптической оси, что важно при конкретной реализации устройства, но не влияет на суть предложенного способа.

При реализации данного способа расчеты по формуле (1) или по аналогичным формулам могут быть выполнены предварительно и загружены в память блока обработки, например, как таблица и определение направление взгляда происходит путем сравнения аппаратных значений проекции лимба в реальном времени и значений из таблицы. В этом случае время определения направления взгляда дополнительно уменьшится, что позволит отслеживать наиболее быстрые движения глаз.

Оценки по точности метода сильно зависят от параметров оптической системы. Для системы с фокусным расстоянием 10 мм и ПЗС линейки, содержащей 2048 пикселей, получена оценка разрешения по углу лучше 0,7 градуса, что вполне приемлемо, хотя плохо то, что самое низкое разрешение соответствует положению взгляда вблизи оптической оси.

Следовательно, хотя предложенный способ и устройства для его реализации не могут определять любые углы во всем поле зрения человека, диапазон доступных способу и устройству углов находится в области наибольшего практического интереса.

Определить радиус лимба можно в режиме самонастройки при помощи самого устройства: достаточно вначале работы выполнить тест, глядя перед собой и перемещая взгляд, например, по вертикали вверх и вниз, а устройство рассчитает и определит максимальную разность проекций, что соответствует диаметру лимба. Дополнительные более сложные тесты «прицеливания» на специально выбранные точки монитора позволят «привязать» координаты устройства к внешней системе координат, что повышает точность способа.

Если используется система мониторинга по двум глазам, то возможно внести поправки на дивергенцию глаз, либо контролировать саму дивергенцию. По характеру движения глаз, например по характеру и скорости саккад, возможно в реальном времени объективно оценивать эмоциональное состояние человека.

Предпочтительно использовать фотолинейки с областью чувствительности, простирающейся в ближнюю ИК область (вблизи 900 нм), что позволяет использовать подсветку лимба мощными арсенид-галиевыми светодиодами с длиной волны излучения вблизи 850-940 нм. Эти длины волны не видимы глазу, поэтому никак не влияют на человека и на измерения, но это не принципиальное условие и возможно использовать светодиоды в другом спектральном диапазоне, соответствующие области спектральной чувствительности линейки.

Если устройство предназначено для связи или управления внешними устройствами, то предпочтительно использовать беспроводное соединение (блютуз или вайфай).

Таким образом, предложены новый способ мониторинга направления взгляда и класс устройств для реализации данного способа

Описание предпочтительной реализации изобретения

Предпочтительно использовать способ мониторинга направления взгляда, разместив устройство в оправе очков (либо в шлеме и т.п.), даже если испытуемый обладает нормальным зрением. Система мониторинга направления взгляда может быть дополнена светодиодом подсветки и внешним интерфейсом для связи с другими устройствами и др.

В Таблице 1 представлен расчет левой и правой проекции границ лимба (одна над другой), выполненный по формуле 1 для набора произвольно выбранных углов φ (строки) и ψ (столбцы) для R=12 и r=6 мм.

Краткое описание чертежей

Фиг. 1 - Схема, поясняющая принцип работы устройства и размещения основных элементов. Sensor - фотоприемник. Lens - линза, Eye - глаз

Фиг. 2 - Пример различной геометрии фотодатчиков (линии на рисунке) в виде их проекции на лимб глаза (на внешний эллипс).

Примеры практической реализации.

В качестве примера реализации можно рассмотреть систему, состоящую из кварцевого объектива с фокусным расстоянием 10 мм, расположенным в оправе очков на равном расстоянии 30 мм от глаза и фотолинейки с 2048 пикселями любой марки, например Sony ILX511. При данных параметрах (с учетом толщины линзы) фокус оптической системы будет находиться на расстоянии 15 мм от линзы и общая длина проекции глаза в фокальной плоскости составит около 12 мм (менее рабочей зоны ПЗС линейки). Согласно паспортным данным частота выборки ПЗС линейки 2 МГц и мониторинг направления взгляда на частотах 10-100 кГц макетировался и оказался вполне осуществим при обращении к предварительно рассчитанным значениям (аналогично Таблице 1). Таким образом, представленный пример доказывает, что реализация заявленных параметров устройства не вызывает технических трудностей.

Таким образом, предложенный способ состоит в том, что используется один или несколько последовательно соединенных линейных фотоприемников, на которые оптической системой проецируется не менее двух проекций границы лимба, а обработка движения и определения направления взгляда происходит по алгоритму в реальном времени по значениям проекций одного или обоих глаз методом прямого расчета и/или с использованием предварительно рассчитанных данных, хранящихся в памяти блока обработки информации.

Промышленная применимость

Способ мониторинга направления взгляда может использоваться: для тестирования пользовательских интерфейсов, анализа эффективности рекламы, для управления бытовыми приборами, для сбора и анализа данных о действиях человека и оценки его эмоционального состояния в реальном времени при управлении различными транспортными средствами, такими как автомобиль, самолет и др., для социальной адаптации больных с боковым амиотрофическим склерозом и др.

1. Способ мониторинга движения глаз и определения направления взгляда по проекции лимба на линейные фотоприемники, содержащий оптическую систему, блок обработки и блок передачи информации внешним приборам, отличающийся тем, что с целью повышения быстродействия способа до скоростей, позволяющих регистрировать изменения направление взгляда за миллисекунды и/или регистрировать саккады, используется один или несколько последовательно соединенных линейных фотоприемников, на которые оптической системой проецируется не менее двух проекций границы лимба Ymin и Ymax, а обработка движения и определение направления взгляда происходит в реальном времени по соответствующим значениям проекций лимба одного или обоих глаз прямым расчетом по приведенной ниже формуле или с использованием предварительно рассчитанных по этой формуле данных, хранящихся в памяти блока обработки: здесь Ymin и Ymax - минимальное и максимальное значения проекций лимба на линейную часть фотоприемника, соответствующие знакам плюс и минус в скобках формулы, где R - радиус глазного яблока и r - радиус лимба, а направление взгляда по вертикали определяет угол φ и по горизонтали угол ψ.

2. Способ по п. 1, отличающийся тем, что для повышения чувствительности метода используется подсветка глаза светодиодами.

3. Способ по п. 1, отличающийся тем, что для повышения точности метода предварительно выполняется самонастройка, заключающаяся в перемещении взгляда по вертикали вверх и вниз.

4. Способ по п. 1, отличающийся тем, что данные о скорости движения глаза и типе саккад используют для оценки в реальном времени психологического состояния человека.

5. Способ по п. 1, отличающийся тем, что связь с внешними устройствами осуществляется по беспроводному каналу.