Способ классификации электроэнцефалографических сигналов в интерфейсе мозг - компьютер

Способ классификации электроэнцефалографических сигналов в интерфейсе мозг - компьютер

Иллюстрации

Показать все

Реферат

Изобретение относится к биоинженерии и компьютерной технологии, в частности к области коммуникации мозга человека с компьютером, и предназначено для электроэнцефалографической (ЭЭГ) регистрации, анализа и интерпретации сигналов головного мозга для управления внешними исполнительными устройствами, например курсором «мыши» на экране монитора, инвалидной коляской или специализированными протезами, и может быть использовано в медицинской диагностике, операторской деятельности, в системах безопасности, индустрии развлечений (компьютерные игры).

Аппаратно-программный комплекс мозг - компьютер - интерфейс (Brain-Computer-Interface (BCI)) преобразует электрическую активность мозга - импульсную и суммарную в конкретное действие, в котором тело человека не принимает никакого участия. Посредством компьютера полностью парализованный человек может устанавливать контакт с окружающими, включаться активно в окружающую социальную среду и, возможно, выполнять определенные задания, заниматься полезной и интересной трудовой деятельностью. В BCI системах, основанных на электроэнцефалографии, зарегистрированной от скальпа, измеряют ЭЭГ сигналы и выбирают необходимые участки, в то время как пользователь представляет различные движения, например движения левой или правой рукой. В зависимости от BCI применяются специфическая предварительная обработка и методы извлечения особенности к образцу ЭЭГ определенной длины с целью надежно обнаружить (выделить) ограниченные состояния мозга из ЭЭГ сигналов или паттернов ЭЭГ- фрагментов с определенным уровнем точности. Проблема, которая при этом возникает, основана, по крайней мере, частично на ограниченном понимании человеческого мозга и свойственной ему электрической активности и состоит в том, что точность обнаружения состояния умственной деятельности ухудшается, поскольку число ментальных состояний увеличивается. Например, в настоящее время не возможно распознать слова, о которых пользователь может думать, что могло бы быть желательным, чтобы осуществить задачу диктовки. Однако текущее состояние уровня техники позволяет надежно обнаружить несколько эмоциональных состояний и/или моторных намерений, таких как состояния релаксации (расслабления) или стресса, перемещения правой или левой руки.

Проблема создания надежной BCI получила значительное внимание в последние годы. Предыдущие исследования сосредоточены на том, чтобы применять сигналы ЭЭГ для простых задач контроля команд, например перемещение курсора на экране компьютера или управление движением робота или робота-манипулятора. Этот тип линейного контроля команды создавался для обнаружения ментального состояния испытуемого из ЭЭГ и преобразования обнаруженного состояния в управляющий сигнал. В качестве специфических параметров биопотенциалов мозга в известных системах BCI используют мю, альфа и бета-ритмы мозга и вызванные потенциалы (Event Related Potentials - ERPs).

Известный энцефалолексианализатор (US 5840040, МПК А61В 5/00, U.S. Cl. 600/545, 600/544, 24-11-1998) /1/ предназначен для того, чтобы обнаружить, интерпретировать и использовать сигналы мозговой волны для коммуникации и для контроля за мыслью, например мысленный набор клавиатуры. В основном воплощении изобретения лежат две управляющие системы, основанные на парадигме репетиции движения. Изобретение измеряет уменьшение в mu-волне, которое отделяют от остальных событий, не связанных с движением или размышлением о движении. Изобретение обнаруживает мозговые волны, то есть ЭЭГ сигнал для определения состояния человека: двигающийся или думающий о перемещении или не двигающийся и не думающий о перемещении. Пара электродов размещена по моторной коре над центральной областью скальпа на обеих сторонах головы. Энцефалограф осуществляет запись ЭЭГ - различия потенциалов между этими двумя электродами. Когда человек отдыхает, то есть не двигается и не думает о перемещении, возникает волна, известная как мю-волна, представленная обычно в 8-13 Гц диапазоне. Эти подавления мощности известны как связанная с событием синхронизация - ERS (Event Related Synchronization или связанная с событием десинхронизация - ERD (Event Related Desynchronization). Когда человек двигается или думает о перемещении какой-либо части тела, мю-ритм существенно уменьшается. Таким образом, система работает на основе ослабления мю-волны, вызванного представлением движения (думающий о перемещении) или реальным движением. Обработка цифрового сигнала волны ЭЭГ по уровню спектральной мощности, отделенная от других волн, используется для генерации управляющего сигнала, который может использоваться для коммуникации или приведения в действие различных машин. В изобретении обеспечена двухсторонняя коммуникация между пользователем и инвалидным креслом, и двоичные сигналы произведены от двух отдельно легковозбудимых участков электрода, используя последовательно время коммуникации. Для любого данного заявления оператор обязан изучать соответствующий кодекс. После достаточной практики кодексы становятся подсознательными таким же образом, как опытная машинистка сознательно не обеспокоена деталями движения пальца. В самой простой реализации представлена двойная или релейная (on-off) система. Хотя много различных частей тела могли бы использоваться, такие части тела как руки и ноги предпочтительны. Пальцы - особенно подходящая часть тела, начало движения или репетиция движения пальцев производит надежный сигнал (большое изменение в мю-волне). В дополнительных реализациях могут использоваться более чем два электрода, измерения могут быть осуществлены с обеих сторон головы для обеспечения независимого лево - правого контроля.

В способе коммуникации и системе, использующей мозговые волны для многомерного контроля (US 5638826, МПК А61В 5/0476, U.S. Cl. 128/732, 340/825.19, 345/157, 463/36, 17-06-1997) /2/, управляющие сигналы для команды вертикального и горизонтального перемещения курсора на экране дисплея выделяют путем пространственно-временного и частотного анализа и классифицируют с использованием вероятностной статистической обработки цифровых ЭЭГ сигналов из накопленной базы данных.

Вызванные потенциалы (ERPs), скрытые в непрерывной ЭЭГ, являются мозговыми ответами, которые приурочены к началу внешнего события. Внешнее событие может быть сенсорным стимулом, таким как визуальная вспышка или звук, умственное событие, такое как распознавание специфического целевого стимула, или пропуск стимула, такое как увеличенный межстимульный интервал. ERP, зарегистрированные в ответе на визуальные стимулы, называют визуальными вызванными потенциалами (VRPs). Как и ЭЭГ, ERPs регистрируют, помещая электроды на различных частях скальпа. Высокое временное миллисекундное разрешение ERPs идеально для изучения аспектов выбора времени как в нормальных, так и в анормальных когнитивных процессах, таких как включение в обучение, внимание, принятие решения, чтение, языковая обработка и память. В клинических исследованиях используют ERPs, чтобы помочь в диагностировании дисфункции мозга у пациентов с дислексией, шизофренией, болезнью Альцгеймера, Паркинсона, афазией и алкоголизмом.

Вызванные потенциалы ERPs использованы в качестве специфических информативных параметров в системах BCI: (WO 2009057260 (A1). G06F 3/01, 2009-05-07) /3/, (WO 2009057278 (A1), G06F 3/01, А61В 5/0484, А61В 5/0476, 2009-05-07) /4/, (WO 2008059878 (A1), G06F 3/01, А61В 5/0476, 2008-05-22) /5/, (US 2005085744, А61В 5/00, G06F 3/00, G06F 3/01, 2005-04-21) /6/. В аппаратуре для классификации неизвестного многоканального сигнала биопотенциала (WO 2006026548, G06K 9/00, 2006-03-09) /7/ формы волны биопотенциала, такие как ERPs, ЭЭГ, кардиограммы или EMGs классифицируют, динамически соединяя информацию классификации от множества электродов, тестов или других хранилищ данных. Эти различные хранилища данных или каналы оцениваются в различные моменты времени согласно их соответствующей одномерной точности классификации. Ранжирование канала определено во время учебной фазы, в которой определена точность классификации каждого канала в каждый момент времени. Классификаторы - простые одномерные классификаторы, которые требуют только одномерной оценки параметра. Используя информацию классификации, сформулирован критерий, чтобы динамически выбрать различные каналы в различные моменты времени во время фазы тестирования. Независимые решения отобранных каналов в различные моменты времени объединены в вектор, который оптимально классифицирован, используя дискретный классификатор Bayes. Динамическая система обеспечивает высокую точность классификации, весьма гибка в использовании и преодолевает главные ограничения классификаторов, применяемых в настоящее время в исследованиях формы волны биопотенциала в клинических исследованиях.

Известный способ классификации мозговых сигналов в BCI системе (WO 2008117145, МПК G06F 3/01, 2008-10-12) /8/ включает обеспечение иерархической многоуровневой структуры дерева решения, состоявшей из внутренних узлов и узлов листа, где структура дерева решения представляет задачу. Информацию, полученную из обнаруженных психических состояний пользователя, через уровни структуры дерева решения используют, чтобы достигнуть узла листа и чтобы выполнить задачу. Операции способа классификации включают отбор, используя информацию, полученную из обнаруженных психических состояний пользователя, между значениями, связанными с внутренними узлами структуры дерева решения продуктом компьютерной программы, и устройством, которые отзывчивы к обнаруженным психическим состояниям пользователя, чтобы выполнить процессы выбора, чтобы выполнить задачу. Устройство может быть устройством коммуникации, и задача может быть вызовом номера названия задачи или задачей команды/контроля. Однако за время выполнения задачи посредством иерархической структуры дерева решения ментальное состояние пользователя изменяется, что снижает точность и увеличивает время при многократном преобразовании намерений пользователя в сигнал, управляющий внешним устройством.

В усовершенствовании, относящемся к BCI (WO 2009/044325 А1, 6 МКИ G06F 3/01, 09-04-2009) /9/, для получения управляющего инвалидным креслом сигнала пользователь обучается пяти командам (влево, вправо, назад, вперед, остановка). Процессор выбирает пять из десяти свойств, совпадающих с умственным описанием задачи в пользовательском профиле, включающем мозговые сигналы пользователя, нанесенные на карту. Функция обработки устроена так, чтобы измерить компонент взвешенной усталости пользователя во время учебного упражнения и соответственно приспособить BCI.

В способе и устройстве для определения намерений и контроля сигнала (US 6349231 В1, МПК А61В 5/0482, А61В 5/0484, А61В 5/16, G06F 17/00, А61В 5/0476, 2002-02-19) /10/ в качестве специфических информационных параметров в BCI используют альфа-, бета-, тета-, дельта- и мю-ритмы мозговой активности с сочетаниями с электрокардиаграммой, мускульным потенциалом, глазными движениями. Для классификации биосигналов от 63-х входов использована искусственная нейронная сеть, имеющая входной и выходной слои, выполняющая линейную классификацию, что необходимо для работы с входными векторами размерностью 63-х полученных векторов.

Наиболее близким по технической сущности к заявляемому изобретению является способ классификации сигналов мозга в BCI системе (WO 2008/097200 A1, 6 МПК А61В 5/0476, C06F 19/00, A61F 2/72, 14-08-2008) /11/, принимаемый за прототип. Известный способ классификации сигналов мозга в BCI системе включает следующую последовательность действий над ЭЭГ сигналами:

- выделение особенностей от N1 тренировочных испытаний;

- вычисление классификации, основанной на выделенных особенностях CSP (Common Spatial Pattern- общий пространственно-временной паттерн);

- классификация N2 тестовых испытаний и повторение;

- предварительное выделение особенностей от всех N1, N2 испытаний;

- предварительное вычисление классификации, основанное на предварительном выделении CSP особенностей;

- предварительная классификация N2 тестовых испытаний;

- и определение изменений (отличий) в предварительной классификации от N2 тестовых испытаний в сравнении с предшествующим повторением в равной степени или понижение в три раза.

Вычисление классификации основано на выделении CSP особенностей в линейном байесовском (Bayes) классификаторе.

Известный способ классификации электроэнцефалографических сигналов включает следующие действия: тестирование пользователя, выделение специфических информационных компонентов из общего пространственно-временного паттерна, создание выборки оцифрованных фрагментов ЭЭГ от множества отведений для обучения классификатора, вычисление весовых коэффициентов и классификацию фрагментов ЭЭГ для идентификации классов мысленных команд пользователя, соответствующих управляющим сигналам.

Известная BCI система может быть использована как альтернативный путь коммуникации и контроля для людей с тяжелыми моторными нарушениями. В частности, BCI система может также использоваться для ввода тестовой информации для создания математического метода обработки многоканального сигнала для извлечения управляющего сигнала от мозговой активности. Например, неинвазивная, основанная на ЭЭГ BCI система может измерять специфические компоненты мозговой активности через ЭЭГ сигналы, выделять особенности этих сигналов и передавать эти особенности внешнему устройству, например приводу, курсору мыши или устройству руки робота.

В качестве специфических особенностей CSP частотно-полосовым фильтром выделены диапазоны частот мю-ритма (8-12 Гц) и бета-ритма (18-22 Гц) (стр.7 описания заявки).

При слабых сигналах мозговых волн желательно увеличить точность классификации с использованием данных от всех электродов, эпох и стимулов в процессе классификации. Главные ограничения существующих методов для классификации ERP (или классификации других биопотенциалов, связанных со специфическими событиями) вызваны следующими причинами. В первую очередь большинство ERP или другие измерения биопотенциалов требуют данных регистрации от множества электродов, эпох, стимулов и/или тестов (все вместе называемые каналами). Каждый канал данных содержит весовые коэффициенты. Различительная способность между классами изменяется от канала к каналу как функция времени. Большинство классификаторов ориентировано на то, чтобы классифицировать ERPs каждого канала независимо и полностью не использует различную, но дополнительную информацию, скрытую в многоканальной регистрации биопотенциалов. Из-за плохого соотношения сигнал/шум анализ и классификация типично проводится на ERPs, усредненном по большому количеству испытаний. Сбор большого количества испытаний ERPs для формирования усредненных ERPs приводит к тому, что пользователи испытывают усталость и теряют концентрацию при длительных сессиях сбора данных. В настоящее время необходимость многократного повторения экспериментов является основной причиной, ограничивающей применение ERPs в управлении внешними устройствами и медицинской диагностике. В-третьих, большинство классификаторов для оценки формы мозговых волн является многомерными классификаторами и требует задания ковариационных матриц. Для того чтобы матрицы ковариации могли быть использованы в расчетах, необходимо чтобы число отсчетов ERPs было больше размерности ковариационной матрицы. Так как при отдельном испытании это условие не выполняется, невозможно оценить многомерные параметры. В-четвертых, формулировки классификатора типично ограничиваются дихотомической классификацией (разделение на 2 класса) и не обобщены на большее число классов.

Таким образом, несмотря на отдельные достижения, нерешенных проблем в неинвазивных BCI еще очень много. Надежно распознается небольшое количество состояний (2-3); быстродействие распознавания этих состояний невысоко, особенно при использовании вызванных потенциалов или суммарной ЭЭГ (на распознавание одного состояния обычно уходят десятки секунд); обучение испытуемого для управления своими биопотенциалами может занять несколько дней и даже недель; необходим учет функционального состояния и настройка на индивидуальные особенности испытуемого. Решение этих проблем необходимо, чтобы довести характеристики основанных на принципах BCI систем коммуникации и управления до уровня, представляющего практический интерес.

Задачей, решаемой в заявляемом изобретении, является уменьшение времени идентификации мысленных команд пользователя в системе BCI до 2 секунд при повышении точности идентификации мысленных команд пользователя до 90% за счет использования неизвестных ранее специфических информационных компонентов общего пространственно-временного паттерна и обработки по адаптированному для решения данной задачи алгоритму классификации выделенных специфических фрагментов ЭЭГ сигнала нейронной многослойной сетью (НМС).

Указанный технический результат достигается тем, что способ классификации электроэнцефалографических сигналов в интерфейсе мозг - компьютер заключается в тестировании пользователя, выделении специфических информационных компонентов из общего пространственно-временного паттерна, создании выборки оцифрованных фрагментов ЭЭГ от множества отведений для обучения классификатора, вычислении весовых коэффициентов и классификации фрагментов ЭЭГ для идентификации классов мысленных команд пользователя, соответствующих управляющим сигналам.

Согласно изобретению в качестве специфических информационных компонентов используют локальные положительные максимумы амплитуды ЭЭГ сигналов от всех отведений, при этом если значения двух соседних положительных максимумов отличаются менее чем на психофизиологический порог восприятия человека, то их считают равными и второй максимум исключают из последующего анализа, одновременно с выделением первого положительного локального максимума от опорного отведения фиксируют значения амплитуд ЭЭГ сигналов по всем остальным отведениям, в результате получают набор амплитуд, представляющих собой первый входной вектор для нейронной многослойной сети (НМС), и процедуру формирования входных векторов повторяют для каждого последующего положительного максимума опорного отведения и для каждого отдельного отведения, каждый раз принимаемого как опорное отведение, до тех пор, пока каждое из отведений не выполнит функцию опорного, в результате получают многомерный массив входных векторов от конкретного пользователя, причем при обучении НМС сети дополнительно формируют массив указателей классов мысленных движений, выполняемых пользователем, который является выходным массивом для обучения НМС, и вычисляют весовые коэффициенты классификации по алгоритму обратного распространения ошибки, и при идентификации мысленного движения массив входных векторов подают на НМС для вычисления выходного вектора, по которому определяют класс мысленного движения пользователя.

В конкретном воплощении изобретения значения двух соседних положительных локальных максимумов амплитуд ЭЭГ сигналов отличаются не менее чем на 5%.

В основе настоящего изобретения лежат представления И.Пригожина о собственном времени нелинейных систем - неживых и живых. (Пригожин И. От существующего к возникающему. М., Наука, 1985, 326 с) /12/. Это время отличается от астрономического, хотя его можно измерить наручными часами или с помощью какого-либо динамического устройства, но оно имеет совершенно иной смысл, ибо возникает из-за случайного поведения траекторий, встречающегося в неустойчивых динамических системах.

В психологических исследованиях (Фресс П. Восприятие и оценка времени. Экспериментальная психология. Вып.VI, М., Прогресс, 1978, с 88-135) /13/ было показано, что в зависимости от функционального состояния испытуемого его субъективное время течет по-разному и, значит, оно может выступать в роли и зависимой переменной. Аналогичная ситуация имеет место не только на психологическом, но и на физиологическом уровне. О том, что именно собственное время, задаваемое физиологически значимыми событиями, необходимо учитывать при анализе процессов переработки информации в нервной системе, свидетельствуют, например, многочисленные факты, связанные с эффектами стимуляции, приуроченной к определенным фазам динамики показателей биоэлектрической активности разных подсистем организма. Таким образом, можно считать, что время в физиологических системах как "контекстно" зависимо, так и определяется функциональным состоянием. Опыт в разных областях исследований показывает, что в тех случаях, когда удается правильно определить собственное время системы, его использование значительно повышает эффективность описания динамических свойств и поведения этой системы. Это проявляется в значительном сокращении математического описания такой системы без потери информации и улучшении предсказательных свойств такого описания. Исходя из имеющихся фактов и теоретических обобщений, сформировалось представление, что для описания специфики и структуры биологических процессов необходимо ввести понятие биологического (физиологического) времени (Уитроу Дж. Структура и природа времени. М., Наука, 1984, 64 с) /14/, то есть времени, связанного с внутренней ритмикой функционирования и развития биообъектов и со случайным поведением траекторий биологических процессов. Используемая сейчас конструкция времени - это абсолютное время Ньютона, для измерения которого существуют разнообразные часы. С другой стороны, общепризнанной является точка зрения на функционирование живых организмов, как на последовательность событий - функциональных квантов, таких как кванты элементарных физиологических процессов, кванты гомеостаза, кванты поведения. Любой из этих квантов, заканчиваясь определенным результатом и являясь функционально одним и тем же, может иметь разную длительность в обычно используемой шкале времени. Следовательно, естественные элементы физиологических и поведенческих процессов не эквивалентны общепринятым метрическим единицам времени, а задают разнородный поток событий, определяющих собственное время того или иного процесса.

Известно, что основной вклад в электрическую активность, записываемую суммарно в виде ЭЭГ, вносится медленно развивающимися потенциалами нейронных мембран. Суммарная запись отражает изменения электрического потенциала, возникающие в сплетениях нервных волокон. Когда активность большого числа нейронов синхронизирована под действием внешних стимулов, наблюдается соответствие между импульсной и суммарной активностью. Следовательно, можно полагать, что суммарные потенциалы отражают вероятность, с которой будут разряжаться отдельные нейроны при предъявлении стимулов, синхронизирующих большие группы нейронов.

В настоящее время установлено, что медленные потенциалы образуют динамические структуры, которые играют важную роль не только в передаче нервных импульсов, но и при аналоговом «вычислении» взаимодействий между нейронами, в том числе и разнесенных в пространстве на значительные расстояния. Другими словами, имеет место двухпроцессный механизм, в котором локальная микроструктура - возрастание и убывание - медленных потенциалов, регистрируемая в виде ЭЭГ, сопрягается с распространяющимися нервными импульсами. Человек и животные воспринимают не время, а процессы, изменения, последовательности. В качестве естественных элементов поведения выступают последовательности физиологически значимых событий. Таким событием является изменение знака (от положительного к отрицательному) производной ЭЭГ сигнала. В момент каждого такого события отдельное отведение ЭЭГ выступает в качестве опорного по отношению к остальным отведениям. Все живые системы реагируют только на изменения в поступающей информации, причем существуют пороги восприятия, определяемые в соответствии с психофизическим законом Вебера-Фехнера (Харви Шиффман. Ощущение и восприятие времени. Пер. с англ., издание 5, гл. 19, изд-во «Питер», 2003, с.772-789) /15/. Исходя из этого, в настоящем изобретении принято, что два события ЭЭГ отличаются друг от друга в том случае, если амплитуда следующего события отличается от амплитуды предыдущего события не менее чем на 5%, что соответствует порогу психофизиологического восприятия человека.

Сущность изобретения иллюстрируется фигурами чертежей, графиками и таблицами.

На фиг.1 представлена общая схема системы интерфейс мозг - компьютер.

На фиг.2 представлена блок-схема энцефалографа.

На фиг.3 представлена блок-схема процессора для обучения многослойной нейронной сети и классификации ЭЭГ сигнала.

На фиг.4 представлена блок-схема обучения многослойной нейронной сети.

На фиг.5 представлена блок-схема, иллюстрирующая запоминание обучающих временных фрагментов, представленных в виде матриц Sⁱ ЭЭГ в памяти компьютера.

На фиг.6 представлена блок-схема формирования обучающих массивов входных векторов {а} и выходных строковых переменных {b}.

На фиг.7 представлена блок-схема предобработки массива входных векторов {а} в массив векторов {α}.

На фиг.8 представлена блок-схема предобработки массива выходных строковых переменных {b} в массив векторов {β}.

На фиг.9 представлена блок-схема алгоритма обратного распространения ошибки классификации ЭЭГ сигнала.

На фиг.10а представлена структурная схема многослойной нейронной сети.

На фиг.10в представлена схема узлового элемента НМС.

На фиг.11 представлена блок-схема алгоритма прямопоточных вычислений выходного вектора θ в многослойной нейронной сети.

На фиг.12 представлена блок-схема алгоритма обратнопоточных вычислений ошибок весовых коэффициентов Δw в многослойной нейронной сети.

На фиг.13 представлена иллюстрация преимущества нелинейной классификации над линейной в случае нелинейно разделимых классов, где а) пример нелинейно разделимых классов, светлыми и темными точками обозначены области векторов х=(х1,х2), принадлежащих условно выделенным классам I и II соответственно, b) линейная классификация нелинейно разделимых классов, с) нелинейная классификация нелинейно разделимых классов.

На фиг.14 представлена блок-схема, иллюстрирующая процесс нейросетевой классификации ЭЭГ сигнала.

На фиг.15 представлена блок-схема формирования массива входных векторов {а}.

На фиг.16 представлена блок-схема, иллюстрирующая интерпретацию выходного вектора θ в нейронной многослойной сети.

На фиг.17 представлены фрагменты ЭЭГ, иллюстрирующие процесс формирования массива входных векторов {а}.

На фиг.18 приведена схема поиска и отбора положительных локальных максимумов амплитуды на фрагменте ЭЭГ сигнала.

На фиг.19 представлен общий вид используемой гарнитуры для регистрации ЭЭГ.

На фиг.20 представлена используемая электродная система ЭЭГ.

В таблице 1 показан временной отрезок Fⁱ ЭЭГ сигнала, представленный в виде массива Sⁱ векторов Sⁱ _j амплитуд Sⁱ _jk.

В таблице 2 приведены значения строковой переменной b.

В таблице 3 приведено кодирование значений строковой переменной b в выходной вектор β.

В таблице 4 приведено кодирование классов мысленных движений в управляющие команды.

Пример преимущественного осуществления изобретения.

Общая схема BCI (фиг.1) содержит портативный энцефалограф 2, соединенный на входе посредством электродов со скальпом пользователя 1, а своим выходом подключенный к компьютеру 3, выход которого соединен с контролируемым устройством 4 (инвалидной коляской). Для регистрации ЭЭГ сигнала использован 19-канальный электроэнцефалограф-регистратор «Энцефалан-ЭЭГР-19/26», выпускаемый фирмой «Медиком», г.Таганрог. Гарнитура для съема ЭЭГ-сигналов включает в себя комплект хлорсеребряных электродов и тканевой шлем со специальными гнездами для закрепления электродов (фиг.1, 2). Рабочим элементом ЭЭГ-электродов является Ag/AgCl. Трубчатая конструкция электродов позволяет заправлять и добавлять контактное вещество без переустановки электрода. В теле электрода имеется отверстие под штуцер стандартного шприца (без иглы), предназначенное для заправки электродного геля. Цвета электродов идентичны с цветами соответствующих гнезд на шлеме.

- Полное сопротивление ЭЭГ-электродов - не более 2 кОм.

- Разность электродных потенциалов ЭЭГ - в пределах ±20 мВ.

- Время готовности ЭЭГ-электродов - не более 10 мин.

- Дрейф разности потенциалов ЭЭГ-электродов - не более 15 мкВ.

- Напряжение шума ЭЭГ-электродов - не более 3 мкВ.

Энцефалограф (фиг.2) содержит электроды 5, усилитель ЭЭГ 6, АЦП 7 и частотно-полосовой фильтр 7. Аналоговый сигнал ЭЭГ регистрируется с помощью электродов 5, размещенных на скальпе пациента 1 по 12 отведениям по стандартной схеме «10-20»: F3, F4, С3, С4, Т3, Т4, Т5, Т6, Р3, Р4, O1, O2 с использованием двух референтных электродов.

Процессор 3 (фиг.3) содержит блок обучения НМС 9 и блок классификации НМС 10.

Блок обучения НМС 9 (фиг.4) содержит блоки запоминания временных отрезков Fⁱ ЭЭГ для каждого i-го мысленного движения 11, формирования обучающих массивов входных векторов {а} и выходных строковых переменных {b} 12, предобработки массива входных векторов {а} 13, предобработки массива выходных строковых переменных {b} 14, выполнения алгоритма обратного распространения ошибки 15.

Блок-схема запоминания обучающих отрезков ЭЭГ для каждого мысленного движения 11 (фиг.5) содержит блоки подачи испытуемому команды совершить i-e мысленное движение 16, запоминания временного отрезка Fⁱ ЭЭГ сигнала длительностью τ через время Δt после подачи команды 17, запоминания текстового названия мысленного движения bⁱ 18, прекращения подачи команд и записи ЭЭГ 19.

Блок-схема формирования обучающих массивов входных векторов {а} и выходных строковых переменных {b} 12 (фиг.6) содержит блоки поиска положительных локальных максимумов амплитуды в запомненных временных отрезках Fⁱ ЭЭГ 20, отбора максимумов 21, отличающихся от предыдущего максимума по данному отведению не менее чем на 5%, формирования для каждого отрезка Fⁱ ЭЭГ массива векторов хⁱ из значений амплитуд по всем отведениям в моменты обнаружения максимумов 22, объединения векторов xⁱ _j из всех массивов хⁱ в обучающий массив входных векторов {а}: a=x¹∪x²∪…∪xⁿ 23, формирования обучающего массива выходных строковых переменных {b} из текстовых названий мысленных движений, соответствующих каждому вектору а массива {а} 24.

Блок-схема предобработки массива входных векторов {α} 13 (фиг.7) осуществляет линейное преобразование массива входных векторов a=(a₁,a₂,…,a₁₂) в массив векторов α=(α₁,a₂,…,α₁₂).

Блок-схема предобработки массива выходных строковых переменных 14 (фиг.8) кодирует массив строковых переменных b в массив выходных векторов β.

Блок-схема выполнения алгоритма обратного распространения ошибки 15 (фиг.9) содержит блоки выполнения прямопоточных вычислений выходных векторов θ 25, выполнения обратнопоточных вычислений ошибок Δw весовых коэффицентов w и их модификации w=w+Δw 26.

Структурная схема используемой нейронной многослойной сети (НМС) содержит узловые элементы входного слоя, скрытого слоя и выходного слоя (фиг.10а).

Функциональная схема узлового элемента скрытого слоя и выходного слоя НМС содержит сумматор 27, вычисляющий скалярное произведение входного сигнала на вектор весовых коэффициентов w, и нелинейный преобразователь 28 (фиг.10б).

Блок-схема выполнения прямопоточных вычислений с входными векторами α 25 (фиг.11) вычисляет послойно в НМС выходной вектор θ.

Блок-схема выполнения обратнопоточных вычислений ошибок Δw весовых коэффицентов w и их модификации w=w+Δw 26 (фиг.12) вычисляет послойно в НМС весовые коэффициенты w.

Блок-схема классификации 10 (фиг.14) содержит блоки запоминания отрезка ЭЭГ F^class длительностью τ 29, формирования массива входных векторов {а} 30, предобработки массива входных векторов {а} 13, выполнения прямопоточных вычислений выходных векторов θ 24, интерпретации выходных векторов θ НМС 31, определения выполнения мысленного движения 32, кодирования класса мысленного движения в управляющую команду 33.

Блок-схема формирования массива входных векторов {а} 30 (фиг.15) содержит блоки поиска положительных локальных максимумов амплитуды в запомненном отрезке F^class ЭЭГ 34, отбора максимумов 35, отличающихся от предыдущего максимума по данному отведению не менее чем на 5%, формирования массива векторов {а} из значений амплитуд по всем отведениям в моменты обнаружения максимумов 36.

Схема интерпретации выходных векторов θ НМС 31 (фиг.16) осуществляет преобразование вычисленного выходного вектора θ в двоичный вектор β=(β₁,…,β_i,…β₅) путем инициализации компонента β_i единицей, если i-я компонента вектора θ максимальна из всех значений компонент вектора θ, и инициализации остальных компонент вектора β нулями, и преобразования двоичного вектора β в строковую переменную b.

На фрагментах ЭЭГ в масштабе 100 мс/см показан процесс формирования массива входных векторов {а}=a₁, а₂, а₃,…, где вертикальными пунктирными линиями отображено выделение положительных локальных максимумов амплитуды a_{1 1}, а_{2 1}, а_{3 1},… от опорного отведения Т4 ЭЭГ сигнала и фиксация значений амплитуд a_{1 2}, a₂₂, a_{3 2},…- a_{1 12}, a_{2 12}, а_{3 12},… ЭЭГ сигналов по всем остальным отведениям (фиг.17 и фиг.17а - продолжение фиг.17).

Фрагмент ЭЭГ сигнала (фиг.18) иллюстрирует отбор локальных положительных максимумов амплитуды ЭЭГ сигнала, где вертикальными пунктирными линиями отмечены выбранные локальные максимумы, отличающиеся от соседних локальных максимумов не менее чем на 5%.

Аналоговые сигналы от электродов 5, соответствующих двенадцати отведениям от скальпа пользователя 1, поступают на энцефалограф 2 (фиг.1), где усиливаются многоканальным усилителем 6 и в АЦП 7 преобразуются в цифровые сигналы с частотой дискретизации 250 Гц и весом бита 25 мкВ и фильтруются частотно-полосовым фильтром 8 с полосой пропускания в диапазоне от 1,6 до 70 Гц для устранения низкочастотных и высокочастотных помех. Отфильтрованный сигнал передается в процессор 3 (фиг.1) на обучение нейронной многослойной сети (НМС), если НМС не обучена или на классификацию НМС 10, если НМС обучена (фиг.3). Обучение НМС 9 начинают с запоминания обучающих временных отрезков Fⁱ ЭЭГ сигнала для каждого i-го мысленного движения и названий мысленных движений, обозначенных как строковые переменные bⁱ в блоке запоминания временных отрезков Fⁱ ЭЭГ для каждого i-го мысленного движения 11 (фиг.4).

В блоке подачи испытуемому команды совершить i-e мысленное движение 16 испытуемому с экрана компьютера подается команда в виде словесного транспаранта или визуального изображения совершить i-e из пяти мысленных движений: сжать левый кулак, сжать правый кулак, высунуть язык, сжать пальцы левой ноги, сжать пальцы правой ноги.

В блоке запоминания временного отрезка Fⁱ ЭЭГ сигнала длительностью τ через время Δt после подачи команды 17 запоминается временной отрезок Fⁱ ЭЭГ сигнала длительностью τ=400 мс с интервалом задержки Δt=50 мс от момента подачи команды. Каждый временной отрезок Fⁱ ЭЭГ сигнала представлен в виде массива Sⁱ векторов амплитуд, где каждый вектор Sⁱ _j состоит из значений амплитуд Sⁱ _jk по всем 12 отведениям в один и тот же момент времени. Индекс i обозначает номер мысленного движения, индекс j обозначает порядковый номер вектора Sⁱ _j в массиве Sⁱ векторов, а индекс k - номер отведения. Структура массива Sⁱ векторов амплитуд проиллюстрирована в таблице 1. Каждый столбец таблицы соответствует одному отведению, а строка - одному вектору. Вектор Sⁱ _j в таблице выделен серым цветом, а значение амплитуды Sⁱ _jk - жирным шрифтом. Одновременно в блоке запоминания текстового названия мысленного движения bⁱ 18 запоминаются текстовые названия мысленных движений в строковой переменной bⁱ (фиг.5), представляющие собой указатели классов мысленных движений, выполняемых пользователем (таблица 2).

Подачу команд и запись ЭЭГ сигнала прекращают в блоке прекращения подачи команд и записи ЭЭГ 19, если условие «Поданы все 5 команд?» выполнено. Если это условие не выполнено, п