Способ управления внешними устройствами с использованием технологии нейрокомпьютерного интерфейса

Способ управления внешними устройствами с использованием технологии нейрокомпьютерного интерфейса

Реферат

Изобретение относится к информационным технологиям и нейрофизиологии.

Традиционно, под нейрокомпьютерным интерфейсом (НКИ) подразумевают коммуникационную систему, в которой сообщения или команды, посылаемые индивидуумом во внешний мир, не проходят через обычные нормальные выходные каналы мозга в виде периферийных нервов и мышц [Wolpaw J.R., D.J. McFarland. Control of a two-dimensional movement signal by a noninvasive brain-computer interface in humans/ Proc. Natl. Acad. Sci. USA. - 2004. - V. 101(51)].

В общем случае, взаимодействие человек-компьютер в рамках парадигмы НКИ выглядит следующим образом [US 2012059273, МПК А61 В5/0476; WO 2011123059, МПК А61В 5/04, А61В 5/048, А61В 5/0482, G06F 3/01]:

1. Пользователь, желая достичь определенного результата, изменяет активность своего головного мозга, что проявляется в изменении волновых паттернов электроэнцефалограммы (ЭЭГ).

2. Специализированный прибор регистрирует полученные паттерны и передает их для дальнейшей обработки на компьютер.

3. Компьютер, используя ряд алгоритмов обработки и классификации, определяет, какое именно действие необходимо совершить и реализует его через устройство-эффектор.

В настоящее время точность и скорость НКИ существенно уступают таковым показателям для классических устройств (клавиатуры, джойстика, мыши, тачпэда). И если точность по ряду технологий НКИ достигает от 95% до 99%, то скорость передачи данных весьма невелика, находясь для большинства в пределах 6-10 символов в минуту. Рекордная скорость в 60-70 символов в минуту получена на устройствах, чье отношение к технологии НКИ до сих пор дискутируется [Gao X., D.Xu, M.Cheng. A BCI-Based Environmental Controller for the Motion- Disabled / IEEE Trans. Rehab. - 2003. - V.11(2)]. Таким образом, увеличение скорости работы систем НКИ, при сохранении или незначительном снижении точности, является актуальной задачей, решение которой обеспечит не только фундаментальные результаты, но и серьезно поднимет коммерческую привлекательность данного типа устройств.

Идеологически ближайшим аналогом является широко распространенный метод подстановки текста. Имеются и принципиальные различия. В случае подстановки букв и дополнения до слова используются общие и стандартные правила, которые не модифицируются на длительных промежутках времени. Иными словами и сейчас и 50 лет назад за буквой «Ж» буква «Ы» следовать не могла, тем временам как при построении «грамматик», например, двигательной активности конкретного человека и сами «буквы» и порядок их следования могут широко меняется со временем, например при освоении новых навыков. Еще более сложная ситуация в поведенческих реакциях, связанных не только с моторикой, но и с выбором различных альтернатив.

Задачей изобретения является использование для ускорения функционирования системы НКИ технологии так называемого «опережающего отражения», представляющей собой прогноз развития событий, связанных с определенного рода деятельностью.

Анализ сложившейся проблемы низкой скорости НКИ привел нас к выводу о том, что ключевой точкой всей группы устройств является сама система принятия решения на совершение того или иного действия. Действительно, когда мы произвольно хотим, например, взять со стола карандаш, наш мозг выполняет целый ряд последовательных и параллельных задач, о которых мы не отдаем себе отчет. Одна система обеспечивает собственно сознательную реакцию, другая - загружает модели движения конечностей в исполнительные нейроны, третья - обеспечивает изменение тонуса мышц, четвертая - координацию разных групп мышц и нейронов и т.д. Очевидно, что здоровым человеком осознаются действия только первой системы (в которой в свою очередь есть ряд подсистем). Появление новых каналов коммуникации, к тому же далеких от совершенства, приводит к тому, что все действия человек вынужден осуществлять сознательно (примерно так же, как освоение нового навыка). В итоге системы НКИ по сути формируют ситуацию, когда все управляющие команды вынужден генерировать человек, при этом пользуясь медленными и недостаточно эффективными каналами. Все сказанное выше приводит к идее о том, что ряд функций человеко-машинных интерфейсов должны быть перенесены с пользователя на компьютер, подобно тому, как большая часть команд для движений человека связана с непроизвольными механизмами.

Техническим результатом изобретения является увеличение скорости работы технологий нейрокомпьютерного интерфейса.

Технический результат достигается тем, что в способе управления внешними устройствами с использованием технологии нейрокомпьютерного интерфейса, заключающемся в регистрации данных активности различных отделов головного мозга с использованием как по отдельности, так и в совокупности любой из методик электроэнцефалографической, магнитно-резонансной томографии, транскраниальной оксиметрии, при этом полученный сигнал обрабатывается по известным для каждого типа нейрокомпьютерных интерфейсов формулам, согласно изобретению предварительно проводят обучение классификатора применительно к решаемым пользователем задачам, так что каждой возможной реакции пользователя присваиваются определенные апостериорные вероятности, отражающие индивидуальный характер предпочтений пользователя и которые могут пересматриваться в процессе работы устройства, при этом веса классификатора команд изменяются таким образом, что для более часто встречающихся случаев требуется меньшая итерация процесса для получения команды и, наоборот, для более редко встречающихся - большая.

Решение имеющейся проблемы было достигнуто введением в схему НКИ дополнительного этапа, представляющего собой предварительное обучение специального классификатора, который должен прогнозировать поведение пользователя в конкретной ситуации. Пусть в ходе работы НКИ может появиться ряд несовместных событий: S₁, S₂, S₃, S₄. Например, это могут быть четыре разные команды для движения тележки робота, или выполнение определенных действий биопротезом, или команда при работе с компьютером. Вероятность генерации пользователем одной из этих команд традиционно оценивается как одинаковая:

P₁(S₁)=P₂(S₂)=P₃(S₃)=P₄(S₄) (1),

где P - вероятность наступления события S [Основы психофизиологии: Учебник / Отв. ред. Ю.И.Александров. - М.: ИНФРА-М, 1997]. В ряде случаев это равенство верно, однако в общем случае такое предположение является ошибочным. Действительно, совершая определенные действия (генерируя команды), мы делаем ряд последовательных действий, причем вероятность последующего действия в «цепочке» оказывается значительно выше, чем действия, не входящего в данную последовательность. В физиологии это известно как «динамический стереотип» и на бытовом уровне хорошо демонстрируется например процессом чистки зубов или бритья. Т.о., в общем случае за командой S₁ последующие команды могут быть сгенерированы с разной вероятностью, следовательно, и обеспечивать разную вероятность реализации стратегии пользователя, которую можно рассматривать как эквивалент физиологического термина «квант поведение», введенного Судаковым [Anderson С.Classification of EEG Signals from Four Subjects During Five / C. Anderson, Z. Sijercic]. Вероятности могут быть получены эмпирически исходя из анализа индивидуальных поведенческих реакций пользователя.

Важно отметить, что современные технологии НКИ требуют от пользователя определенных действий, связанных с поддержанием паттернов ЭЭГ, необходимых для принятия компьютером решения о том, что была сгенерирована та или иная команда. Так, в случае, если идет анализ фоновой активности ЭЭГ, то необходимо сохранять паттерн в течение определенного времени [Физиология человека. Под редакцией В.М.Смирнова, Медицина, 2002]. В случае использования технологии вызванных потенциалов (ВП) необходимо несколько (до 100) повторений [Судаков К.В. Общая теория функциональных систем. - М.: Медицина, 1984] для выделения необходимого сигнала, являющегося командой. В случае равенства (1) длительность времени поддержания мозгового паттерна фоновой ЭЭГ и количество повторений стимула для ВП будут постоянными, и, следовательно, время, прошедшее между генерацией пользователем команды и ответной реакцией устройства эффектора, тоже будет относительно постоянным (при условии отсутствия ошибки распознания).

Таким образом, мы сможем значительно сократить время реакции, применив алгоритм, согласно которому количество суммаций (N_s) в случае, если технология НКИ использует ВП, или время (t_s), необходимое для удержания паттерна фоновой активности ЭЭГ, будет тем меньше, чем больше вероятность генерации соответствующей команды пользователем в текущей ситуации. Пусть эмпирически, исходя из индивидуальных поведенческих стратегий пользователя, было получено равенство

P₁=b₂P₁=b₃P₁=b4P₁ (2),

где b_j - эмпирически полученный коэффициент отношения вероятности наступления событий, причем b_jP₁=P_j. Отсюда t_j=t₁/b_j (2), где t_j - время, в течение которого должен сохраняться паттерн мозговой активности для принятия классификатором решения о генерации пользователем определенной команды. Аналогично

N_j=N₁/b_j (3),

где N_j - количество накоплений реализаций ЭЭГ для получения вызванного потенциала и, следовательно, опять же генерации команды. Данная зависимость линейна, но на практике возможна и нелинейная зависимость. Результатом применения подобного подхода является существенное снижение времени, необходимого системе НКИ на принятие решения о выполнение того или иного действия. И, наоборот, событие, вероятность наступление которого невелика, и, следовательно, велик риск ошибки при априорном равенстве вероятностей, требует большего накопление данных для его уменьшения.

В настоящее время нами ведутся работы, направленные на формализацию и автоматическое формирование поведенческих грамматик пользователя на примере его работы с компьютером.

Способ управления внешними устройствами с использованием технологии нейрокомпьютерного интерфейса, заключающийся в том, что регистрируются данные активности различных отделов головного мозга с использованием как по отдельности, так и в совокупности любой из методик электроэнцефалографической, магнитно-резонансной томографии, транскраниальной оксиметрии, при этом полученный сигнал обрабатывается по известным для каждого типа нейрокомпьютерных интерфейсов формулам, отличающийся тем, что предварительно происходит обучение классификатора применительно к решаемым пользователем задачам, так что каждой возможной реакции пользователя присваиваются определенные апостериорные вероятности, отражающие индивидуальный характер предпочтений пользователя и которые могут пересматриваться в процессе работы устройства; при этом веса классификатора команд изменяются таким образом, что для более часто встречающихся случаев требуется меньше итерация процесса для получения команды и, наоборот, для более редко встречающихся - больше.