Способ оптимизации работы нейрокомпьютерного интерфейса

Способ оптимизации работы нейрокомпьютерного интерфейса

Иллюстрации

Показать все

Реферат

Изобретение относится к информационным технологиям и нейрофизиологии.

Традиционно, под нейрокомпьютерным интерфейсом (НКИ, синоним интерфейс мозг компьютер) подразумевают коммуникационную систему, в которой сообщения или команды, посылаемые индивидуумом во внешний мир, не проходят через обычные нормальные выходные каналы мозга в виде периферийных нервов и мышц [1]. Один из основоположников теории и практики НКИ [2].

В общем случае, взаимодействие человек-компьютер в рамках парадигмы НКИ выглядит следующим образом [US 2012059273; WO 2011123059; RU 2415642; [3]:

1. Пользователь, желая достичь определенного результата, изменяет активность своего головного мозга, что проявляется в изменении волновых паттернов электроэнцефалограммы (ЭЭГ), данных магнитоэнцефалограммы, степени оксигенации крови, метаболизма тех или иных отделов мозга.

2. Специализированный прибор регистрирует полученные паттерны и передает их для дальнейшей обработки на компьютер.

3. Компьютер, используя ряд алгоритмов обработки и классификации, определяет, какое именно действие необходимо совершить и реализует его через устройство-эффектор [4].

Для детекции изменения активности мозга требуется определенное время, включающая в себя как накопление необходимого временного отрезка, содержащего требуемую активность, так и время на ее обработку. При этом в рамках классической схемы управления нейрокомпьютерным интерфейсом во время от начала осознанной генерации пользователем команды до собственно вывода этой команды на управляемое устройство пользователь не имеет никакого представления о том, какие собственно команды из возможного алфавита комманд рассматриваются программно-аппаратным комплексом в плане выбора для отправки на устройство-эффектор, как соотносятся вероятности выбора этих команд и т.д. Как результат, пользователь видит какую именно команду реализовал интерфейс только тогда, когда устройство или программа-эффектор выполнили эту команду. Учитывая, что скорость работы нейрокомпьютерных интерфейсов составляет от 1 с (мировой рекорд) до 20-30 с на одну команду, очевидно, что пользователь между выполнениями команд устройством или программой-эффектором не имеет никакой информации о работе нейрокомпьютерного интерфейса, что не позволяет пользователю контролировать и/или изменять свои т.н. «ментальные» состояния, что в свою очередь не позволяет контролировать и/или изменять активность тех или иных отделов головного мозга и, следовательно, влиять на обработку означенных временных рядов.

Технической задачей изобретения является улучшение работы нейрокомпьютерного интерфейса, заключающееся в формировании дополнительного канала обратной связи компьютер-человек и обеспечивающее тем самым непосредственный контроль работы интерфейса мозг-компьютер в ходе обработки последним команд, поступивших из мозга.

Технический результат заключается в создании программно-аппаратными средствами дополнительного канала коммуникации обеспечивающий в режиме реального времени (или с минимальной временной задержкой) пользователя-оператора нейрокомпьютерным интерфейсом информацией о ходе обработки паттернов мозговой активности, что позволяет пользователю динамически менять свое т.н. «ментальное» состояние для улучшения распознания программно аппаратной частью нейрокомпьютерного интерфейса подаваемых пользователем команд.

Технический результат достигается тем, что при управлении устройствами, включая компьютер, на основе нейрокомпьютерного интерфейса (интерфейса мозг-компьютер) происходит регистрация активности головного мозга как по отдельности, так и совместно в любой комбинации любым из следующих методов: электроэнцефалографическим, магнитно-энцефалографическим, магнитно-резонансным томографическим (включая функциональный магнитно-резонансный томографический), транскраниальным оксиметрическим, включая как инвазивные, так и неинвазивные датчики. Полученные данные обрабатываются с целью выделения из зарегистрированных временных последовательностей паттернов, интерпретируемых как команды. В дальнейшем осуществляется передача означенных команд на внешние, по отношению к устройству регистрации и обработки сигнала с мозга, устройства включая, но не ограничиваясь, самоходными шасси, летающими платформами, компьютерами.

Для достижения технического результата в ходе обработки зарегистрированных с мозга временных последовательностей оператору интерфейса сообщаются в доступной для него форме, в период времени между началом обработки временной последовательности для выбора управляющей команды и завершением этой обработки и передачи команды на внешнее устройство, предварительные результаты выбора команды из всех возможных для выбора команд при текущем состоянии функционирования интерфейса. Общее направление потоков информации при стандартной работе нейрокомпьтерного интерфейса (черные стрелки) и дополнительное направление согласно заявке (пунктирная стрелка), (фиг. 1). Данное сообщение осуществляется с использованием как по отдельности, так и в любых комбинациях зрительного, звукового, тактильного канала коммуникации. При этом важно отметить, что в рамках классического подхода, пользователь видит какая именно команда была выбрана нейрокомпьютерным интерфейсом на основе динамики мозговой активности пользователя только после того как команда взывала ту или иную реакцию устройства-эффектора (самоходного шасси, дрона, компьютера). Поскольку команда выдается не мгновенно, а ее расчет занимает некоторое время, включающее в себя накопление мозговой активности, непосредственно обработку этой активности, генерацию команд передачу их на устройство-эффектор (фиг. 2.) то в течение этого времени пользователь не знает, какая именно команда имеет большую вероятность быть выданной на устройство эффектор. Тем временем согласно представленной заявке программно-аппаратная часть нейрокомпьютерного интерфейса сообщает пользователю «промежуточные результаты» обработки его мозговой активности, делая возможным для пользователя коррекцию его т.н. «ментальных состояний» т.е. активности головного мозга порождающую команды для интерфейса. Наличие такой обратной связи существенно улучшает работу нейрокомпьютерного интерфеса.

Пример 1. Синхронный ЭЭГ-интерфейс на анализе потенциала Р300.

Регистрируется, согласно формуле изобретения, электрическая активность мозга методом ЭЭГ (датчики расположены на кожных покровах пользователя в соответствующих позициях). При этом происходит накопление вызванного потенциала и детекция компонента Р300, показывающего, какой именно стимул был выбран пользователем. Регистрация активности головного мозга осуществляется электроэнцефалографическим методом на основе использования неинвазивных датчиков. Обработка полученных данных компьютером на основе нейрокомпьютерного интерфейса включает выделение из зарегистрированных временных последовательностей паттернов, интерпретируемых как команды, и передачу означенных команд на внешние устройства. Однако поскольку для накопления нужна серия стимулов, то, согласно формуле изобретения, после накопления каждого нового ЭЭГ паттерна, содержащего вызванный потенциал, пользователь информируется о текущих результатах расчетов и выделении потенциала Р300 с точки зрения выбора тех или иных символов, например подсвечиванием их другим цветом, отличным от цвета фона, символа и цвета стимула, выделяющего символ или группу символов. По завершении стимульной серии программно-аппаратная часть интерфейса принимает решение о том, какому стимулу соответствует наиболее выраженный потенциал Р300. Т.о. в ходе обработки зарегистрированных временных последовательностей с использованием зрительного канала коммуникации оператору интерфейса в период времени между началом обработки временной последовательности для выбора управляющей команды и завершением этой обработки и передачи команды на внешнее устройство сообщаются в доступной для него форме предварительные результаты выбора команды из всех возможных для выбора команд при текущем состоянии функционирования интерфейса.

Пример 2. Асихнронный интерфейс, основанный, на депрессии мю-ритма.

В этом варианте для выбора одной из двух команд пользователь должен в течение определенного времени представлять мысленные движения той рукой, которая соответствует нужной команде. В этом случае зарегистрированная ЭЭГ в дальнейшем обрабатывается спектральными методами, и, если в течение заданного времени на спектре ЭЭГ видна указанная депрессия ритма, в проекции контрлатерального полушария команда считается сгенерированной. Регистрация активности головного мозга осуществляется электроэнцефалографическим методом на основе использования неинвазивных датчиков. При этом, согласно заявке, возможен многократный расчет спектральных показателей ЭЭГ в ходе накопления сигнала, необходимого для анализа. При этом каждый этап расчета ЭЭГ показывает, какая из двух команд была бы выбрана при текущей эпохе анализа. Полученные промежуточные результаты могут сообщаться в виде тактильного стимула на ту руку пользователя, которая соответствует данной команде. Т.о. в ходе обработки зарегистрированных временных последовательностей с использованием тактильного канала коммуникации оператору интерфейса в период времени между началом обработки временной последовательности для выбора управляющей команды и завершением этой обработки и передачи команды на внешнее устройство сообщаются в доступной для него форме предварительные результаты выбора команды из всех возможных для выбора команд при текущем состоянии функционирования интерфейса.

Пример 3. BOLD фМРТ интерфейс.

Как и в примере 2, пользователю необходимо совершать мысленные действия одной из рук, соответствующей одной из двух команд. Область мозга, в которой зарегистрирован BOLD ответ, позволяет идентифицировать руку, которой пользователь выполняет мысленные движения. Регистрация активности головного мозга осущетвляется магнитно-резонансным методом на основе использования неинвазивных датчиков, с последующей обработкой полученных данных компьютером, на основе нейрокомпьютерного интерфейса. При этом по мере накопления сигнала, согласно заявке, пользователю может демонстрироваться, например, звуковая информация в виде звуков двух тонов, каждый из которых соответствует предварительному решению о выборе той или иной команды. Т.о. в ходе обработки зарегистрированных временных последовательностей с использованием звукового канала коммуникации оператору интерфейса в период времени между началом обработки временной последовательности для выбора управляющей команды и завершением этой обработки и передачи команды на внешнее устройство сообщаются в доступной для него форме предварительные результаты выбора команды из всех возможных для выбора команд при текущем состоянии функционирования интерфейса.

BOLD реакция может быть замечена и с использованием транскраниальной оксиметрии. При этом, имея данные о текущем (промежуточном) решении программно-аппаратной части интерфейса, пользователь может тем, или иным путем (например, большей концентрацией внимания) попытаться изменить решение программно-аппаратной части интерфейса, если оно не соответствует генерируемой пользователем команде.

Источники информации

1. Wolpaw J.R., D.J. McFarland /Control of a two-dimensional movement signal by a noninvasive brain-computer interface in humans/ Proc. Natl. Acad. Sci. USA. - 2004.

2. Jonathan R. Wolpaw, Niels Birbaumer, Dennis J. McFarland, Gert Pfurtscheller, Theresa M. / Brain-computer interfaces for communication and control // Vaughan Clinical Neurophysiology 113, 2002, 767-791.

3. Luis Fernando Nicolas-Alonso Jaime Gomez-Gil /Brain Computer Interfaces/ 2012, 1211-1279.

4. F Lotte, M Congedo, A L'ecuyer, F Lamarche В Arnaldi J. Neural /А review of classification algorithms for EEG-based brain-computer interfaces/ 2007.

Способ оптимизации работы нейрокомпьютерного интерфейса, включающий регистрацию активности головного мозга, как по отдельности, так и совместно в любой комбинации любым из следующих методов на основе использования инвазивных или неинвазивных датчиков: электроэнцефалографическим, магнитно-энцефалографическим, магнитно-резонансным томографическим, включая функциональный магнитно-резонансный томографический, транскраниальным оксиметрическим с последующей обработкой полученных данных компьютером на основе нейрокомпьютерного интерфейса, которая заключается в выделении из зарегистрированных временных последовательностей паттернов, интерпретируемых как команды, и передаче означенных команд на внешние по отношению к устройству регистрации и обработки сигнала с мозга устройства, где под внешними устройствами понимаются самоходные шасси, летающие платформы или компьютеры, отличающийся тем, что в ходе обработки зарегистрированных временных последовательностей оператору интерфейса в период времени между началом обработки временной последовательности для выбора управляющей команды и завершением этой обработки с последующей передачей команды на внешнее устройство сообщаются в доступной для него форме с использованием как по отдельности, так и в любых комбинациях зрительного, звукового, тактильного канала коммуникации предварительные результаты выбора команды из всех возможных для выбора команд при текущем состоянии функционирования интерфейса.