Способ и устройство для нейронного временного кодирования, обучения и распознавания

Способ и устройство для нейронного временного кодирования, обучения и распознавания

Иллюстрации

Показать все

Реферат

УРОВЕНЬ ТЕХНИКИ

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Конкретные аспекты настоящего раскрытия сущности, в общем, относятся к разработке нейронных систем, а более конкретно, к способу и устройству нейронного временного кодирования, обучения и распознавания.

УРОВЕНЬ ТЕХНИКИ

[0002] Нейроны в нейронной системе могут передавать информацию временно с использованием так называемых временных кодов в форме синхронизированных спайков (пиковых потенциалов). Вследствие этого, основной интерес представляют способы кодирования и декодирования и способы изучения такой временной информации.

[0003] В частности, требуется отличать временные шаблоны, а (в отличие от других способов на основе временных шаблонов) не просто совпадение вводов или порядок вводов. Настоящее раскрытие сущности предоставляет способы, которые являются биотехнологическими/согласованными, но имеют меньшую сложность и допускают кодирование, декодирование, распознавание и изучение временных шаблонов спайковых (пиковых) сигналов.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0004] Конкретные аспекты настоящего раскрытия сущности предоставляют способ нейронного временного кодирования. Способ, в общем, включает в себя использование абстракции линии относительной задержки, которая задерживает один или более синаптических вводов в нейронную схему посредством временных задержек, применение динамической спайковой модели для того, чтобы определять спайковое поведение нейронной схемы на основе взвешенных и задержанных синаптических вводов нейронной схемы, и регулирование, согласно правилу неконтролируемого обучения, весовых коэффициентов, ассоциированных с синаптическими вводами, в зависимости от взаимосвязи по синхронизации образования спайков в нейронных схемах и задержанных синаптических вводов.

[0005] Конкретные аспекты настоящего раскрытия сущности предоставляют устройство для нейронного временного кодирования. Устройство, в общем, включает в себя первую схему, выполненную с возможностью использовать абстракцию линии относительной задержки, которая задерживает один или более синаптических вводов в нейронную схему посредством временных задержек, вторую схему, выполненную с возможностью применять динамическую спайковую модель для того, чтобы определять спайковое поведение нейронной схемы на основе взвешенных и задержанных синаптических вводов нейронной схемы, и третью схему, выполненную с возможностью регулировать, согласно правилу неконтролируемого обучения, весовые коэффициенты, ассоциированные с синаптическими вводами, в зависимости от взаимосвязи по синхронизации образования спайков в нейронных схемах и задержанных синаптических вводов.

[0006] Конкретные аспекты настоящего раскрытия сущности предоставляют устройство для нейронного временного кодирования. Устройство, в общем, включает в себя средство для использования абстракции линии относительной задержки, которая задерживает один или более синаптических вводов в нейронную схему посредством временных задержек, средство для применения динамической спайковой модели для того, чтобы определять спайковое поведение нейронной схемы на основе взвешенных и задержанных синаптических вводов нейронной схемы, и средство для регулирования, согласно правилу неконтролируемого обучения, весовых коэффициентов, ассоциированных с синаптическими вводами, в зависимости от взаимосвязи по синхронизации образования спайков в нейронных схемах и задержанных синаптических вводов.

[0007] Конкретные аспекты настоящего раскрытия сущности предоставляют компьютерный программный продукт для нейронного временного кодирования. Компьютерный программный продукт, в общем, включает в себя машиночитаемый носитель, содержащий код для использования абстракции линии относительной задержки, которая задерживает один или более синаптических вводов в нейронную схему посредством временных задержек, применения динамической спайковой модели для того, чтобы определять спайковое поведение нейронной схемы на основе взвешенных и задержанных синаптических вводов нейронной схемы, и регулирования, согласно правилу неконтролируемого обучения, весовых коэффициентов, ассоциированных с синаптическими вводами, в зависимости от взаимосвязи по синхронизации образования спайков в нейронных схемах и задержанных синаптических вводов.

[0008] Конкретные аспекты настоящего раскрытия сущности предоставляют способ нейронного временного кодирования длинных и больших пространственно-временных шаблонов. Способ, в общем, включает в себя соединение каждого уровня нейронных схем в иерархической многоуровневой нейронной сети с вводом и с другим уровнем нейронных схем в многоуровневой нейронной сети, и согласование первого уровня нейронных схем в многоуровневой нейронной сети с первой подсекцией входного шаблона, при этом этот соединенный уровень согласует комбинацию возбуждения нейронных схем другого уровня в результате согласования подсекции входного шаблона и другой подсекции входного шаблона.

[0009] Конкретные аспекты настоящего раскрытия сущности предоставляют устройство для нейронного временного кодирования длинных и больших пространственно-временных шаблонов. Устройство, в общем, включает в себя первую схему, выполненную с возможностью соединять каждый уровень нейронных схем в иерархической многоуровневой нейронной сети с вводом и с другим уровнем нейронных схем в многоуровневой нейронной сети, и вторую схему, выполненную с возможностью согласовывать первый уровень нейронных схем в многоуровневой нейронной сети с первой подсекцией входного шаблона, при этом этот соединенный уровень согласует комбинацию возбуждения нейронных схем другого уровня в результате согласования подсекции входного шаблона и другой подсекции входного шаблона.

[0010] Конкретные аспекты настоящего раскрытия сущности предоставляют устройство для нейронного временного кодирования длинных и больших пространственно-временных шаблонов. Устройство, в общем, включает в себя средство для соединения каждого уровня нейронных схем в иерархической многоуровневой нейронной сети с вводом и с другим уровнем нейронных схем в многоуровневой нейронной сети, и средство для согласования первого уровня нейронных схем в многоуровневой нейронной сети с первой подсекцией входного шаблона, при этом этот соединенный уровень согласует комбинацию возбуждения нейронных схем другого уровня в результате согласования подсекции входного шаблона и другой подсекции входного шаблона.

[0011] Конкретные аспекты настоящего раскрытия сущности предоставляют компьютерный программный продукт для нейронного временного кодирования длинных и больших пространственно-временных шаблонов. Компьютерный программный продукт, в общем, включает в себя машиночитаемый носитель, содержащий код для соединения каждого уровня нейронных схем в иерархической многоуровневой нейронной сети с вводом и с другим уровнем нейронных схем в многоуровневой нейронной сети и согласования первого уровня нейронных схем в многоуровневой нейронной сети с первой подсекцией входного шаблона, при этом этот соединенный уровень согласует комбинацию возбуждения нейронных схем другого уровня в результате согласования подсекции входного шаблона и другой подсекции входного шаблона.

[0012] Конкретные аспекты настоящего раскрытия сущности предоставляют способ нейронного временного кодирования длинных и больших пространственно-временных шаблонов. Способ, в общем, включает в себя предоставление, через синапсы с ассоциированными задержками, синаптических вводов в нейронную схему, при этом, по меньшей мере, один из синаптических вводов ассоциирован, по меньшей мере, с одним из самосоединяемых синапсов, причем синапсы принадлежат множеству наборов, и, по меньшей мере, один из наборов содержит комбинацию задержек, чтобы согласовывать первую часть шаблона синаптических вводов, не содержащих рекурсивное самосоединение.

[0013] Конкретные аспекты настоящего раскрытия сущности предоставляют устройство для нейронного временного кодирования длинных и больших пространственно-временных шаблонов. Устройство, в общем, включает в себя первую схему, выполненную с возможностью предоставлять, через синапсы с ассоциированными задержками, синаптические вводы в нейронную схему, при этом, по меньшей мере, один из синаптических вводов ассоциирован, по меньшей мере, с одним из самосоединяемых синапсов, причем синапсы принадлежат множеству наборов, и, по меньшей мере, один из наборов содержит комбинацию задержек, чтобы согласовывать первую часть шаблона синаптических вводов, не содержащих рекурсивное самосоединение.

[0014] Конкретные аспекты настоящего раскрытия сущности предоставляют устройство для нейронного временного кодирования длинных и больших пространственно-временных шаблонов. Устройство, в общем, включает в себя средство для предоставления, через синапсы с ассоциированными задержками, синаптических вводов в нейронную схему, при этом, по меньшей мере, один из синаптических вводов ассоциирован, по меньшей мере, с одним из самосоединяемых синапсов, причем синапсы принадлежат множеству наборов, и, по меньшей мере, один из наборов содержит комбинацию задержек, чтобы согласовывать первую часть шаблона синаптических вводов, не содержащих рекурсивное самосоединение.

[0015] Конкретные аспекты настоящего раскрытия сущности предоставляют компьютерный программный продукт для нейронного временного кодирования длинных и больших пространственно-временных шаблонов. Компьютерный программный продукт, в общем, включает в себя машиночитаемый носитель, содержащий код для предоставления, через синапсы с ассоциированными задержками, синаптических вводов в нейронную схему, при этом, по меньшей мере, один из синаптических вводов ассоциирован, по меньшей мере, с одним из самосоединяемых синапсов, причем синапсы принадлежат множеству наборов, и, по меньшей мере, один из наборов содержит комбинацию задержек, чтобы согласовывать первую часть шаблона синаптических вводов, не содержащих рекурсивное самосоединение.

[0016] Конкретные аспекты настоящего раскрытия сущности предоставляют способ нейронного кодирования для общих входных шаблонов. Способ, в общем, включает в себя соединение одного или более синапсов с нейронной схемой с сомой, причем каждый из одного или более синапсов соответствует входному афференту нейронной схемы и имеет весовой коэффициент и относительную задержку, и вызывание, посредством каждой из относительных задержек, задержки между соответствующим входным афферентом и сомой, при этом один или более наборов из одного или более синапсов имеют задержки и входные афференты, соответствующие субшаблонам, которые формируют, в комбинации, один из общих входных шаблонов, и субшаблоны содержат, по меньшей мере, одно из совпадений, частот возбуждения или временных шаблонов.

[0017] Конкретные аспекты настоящего раскрытия сущности предоставляют устройство для нейронного кодирования для общих входных шаблонов. Устройство, в общем, включает в себя первую схему, выполненную с возможностью соединять один или более синапсов с нейронной схемой с сомой, причем каждый из одного или более синапсов соответствует входному афференту нейронной схемы и имеет весовой коэффициент и относительную задержку, и вторую схему, выполненную с возможностью вызывать, посредством каждой из относительных задержек, задержку между соответствующим входным афферентом и сомой, при этом один или более наборов из одного или более синапсов имеют задержки и входные афференты, соответствующие субшаблонам, которые формируют, в комбинации, один из общих входных шаблонов, и субшаблоны содержат, по меньшей мере, одно из совпадений, частот возбуждения или временных шаблонов.

[0018] Конкретные аспекты настоящего раскрытия сущности предоставляют устройство для нейронного кодирования для общих входных шаблонов. Устройство, в общем, включает в себя средство для соединения одного или более синапсов с нейронной схемой с сомой, причем каждый из одного или более синапсов соответствует входному афференту нейронной схемы и имеет весовой коэффициент и относительную задержку, и средство для вызывания, посредством каждой из относительных задержек, задержки между соответствующим входным афферентом и сомой, при этом один или более наборов из одного или более синапсов имеют задержки и входные афференты, соответствующие субшаблонам, которые формируют, в комбинации, один из общих входных шаблонов, и субшаблоны содержат, по меньшей мере, одно из совпадений, частот возбуждения или временных шаблонов.

[0019] Конкретные аспекты настоящего раскрытия сущности предоставляют компьютерный программный продукт для нейронного кодирования для общих входных шаблонов. Компьютерный программный продукт, в общем, включает в себя машиночитаемый носитель, содержащий код для соединения одного или более синапсов с нейронной схемой с сомой, причем каждый из одного или более синапсов соответствует входному афференту нейронной схемы и имеет весовой коэффициент и относительную задержку, и вызывания, посредством каждой из относительных задержек, задержки между соответствующим входным афферентом и сомой, при этом один или более наборов из одного или более синапсов имеют задержки и входные афференты, соответствующие субшаблонам, которые формируют, в комбинации, один из общих входных шаблонов, и субшаблоны содержат, по меньшей мере, одно из совпадений, частот возбуждения или временных шаблонов.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0020] В качестве способа, которым вышеизложенные признаки настоящего раскрытия сущности могут подробно пониматься, более подробное описание, сущность которого вкратце приведена выше, может предоставляться в отношении аспектов, некоторые из которых проиллюстрированы на прилагаемых чертежах. Тем не менее, следует отметить, что прилагаемые чертежи иллюстрируют только конкретные типичные аспекты этого раскрытия сущности, и, следовательно, не должны считаться ограничением его объема, и описание может признавать другие в равной мере эффективные аспекты.

[0021] Фиг. 1 иллюстрирует примерную сеть нейронов в соответствии с конкретными аспектами настоящего раскрытия сущности.

[0022] Фиг. 2 иллюстрирует пример компонента и признаков способа в соответствии с конкретными аспектами настоящего раскрытия сущности.

[0023] Фиг. 3 иллюстрирует примерную нейронную модель с относительной задержкой в соответствии с конкретными аспектами настоящего раскрытия сущности.

[0024] Фиг. 4 иллюстрирует примерное повторное совмещение вводов относительной задержки посредством дендритной модели в соответствии с конкретными аспектами настоящего раскрытия сущности.

[0025] Фиг. 5 иллюстрирует пример типичных кривых обучения на основе зависимой от синхронизации спайков пластичности (STDP) в соответствии с конкретными аспектами настоящего раскрытия сущности.

[0026] Фиг. 6 иллюстрирует пример изменений временной чувствительности STDP-кривых обучения в соответствии с конкретными аспектами настоящего раскрытия сущности.

[0027] Фиг. 7 иллюстрирует примерные изменения баланса усиления/ослабления STDP-кривых обучения в соответствии с конкретными аспектами настоящего раскрытия сущности.

[0028] Фиг. 8 иллюстрирует пример точности и устойчивости реакции нейронов на временной входной шаблон в соответствии с конкретными аспектами настоящего раскрытия сущности.

[0029] Фиг. 9 иллюстрирует примерный синаптический оборот в соответствии с конкретными аспектами настоящего раскрытия сущности.

[0030] Фиг. 10 иллюстрирует примерные эффекты частоты возбуждения для обучения на основе временных шаблонов в соответствии с конкретными аспектами настоящего раскрытия сущности.

[0031] Фиг. 11 иллюстрирует примерные операции, которые могут выполняться посредством нейронной схемы нейронной сети для нейронного временного кодирования в соответствии с конкретными аспектами настоящего раскрытия сущности.

[0032] Фиг. 11A иллюстрирует примерные компоненты, допускающие выполнение операций, проиллюстрированных на фиг. 11.

[0033] Фиг. 12 иллюстрирует пример длинного большого пространственно-временного шаблона в соответствии с конкретными аспектами настоящего раскрытия сущности.

[0034] Фиг. 13 иллюстрирует пример многоуровневой сети для кодирования на основе более длинных и/или больших пространственно-временных шаблонов в соответствии с конкретными аспектами настоящего раскрытия сущности.

[0035] Фиг. 14 иллюстрирует пример многоуровневой сети для кодирования на основе более длинных пространственно-временных шаблонов с аксональной задержкой в соответствии с конкретными аспектами настоящего раскрытия сущности.

[0036] Фиг. 15 иллюстрирует примерную масштабируемую сеть для кодирования на основе более длинных и/или больших пространственно-временных шаблонов в соответствии с конкретными аспектами настоящего раскрытия сущности.

[0037] Фиг. 16 иллюстрирует примерное кодирование на основе рекурсивных масштабируемых пространственно-временных шаблонов в соответствии с конкретными аспектами настоящего раскрытия сущности.

[0038] Фиг. 17 иллюстрирует примерные графики адаптации весовых коэффициентов в каждом нейроне в соответствии с конкретными аспектами настоящего раскрытия сущности.

[0039] Фиг. 18 иллюстрирует примерные операции, которые могут выполняться в многоуровневой нейронной сети для нейронного временного кодирования длинных и больших пространственно-временных шаблонов в соответствии с конкретными аспектами настоящего раскрытия сущности.

[0040] Фиг. 18A иллюстрирует примерные компоненты, допускающие выполнение операций, проиллюстрированных на фиг. 18.

[0041] Фиг. 19 иллюстрирует другие примерные операции, которые могут выполняться в нейронной схеме нейронной сети для нейронного временного кодирования длинных и больших пространственно-временных шаблонов в соответствии с конкретными аспектами настоящего раскрытия сущности.

[0042] Фиг. 19A иллюстрирует примерные компоненты, допускающие выполнение операций, проиллюстрированных на фиг. 19.

[0043] Фиг. 20 иллюстрирует пример декодирования различных схем нейронного кодирования посредством совмещения синхронизации спайков в соответствии с конкретными аспектами настоящего раскрытия сущности.

[0044] Фиг. 21 иллюстрирует пример декодирования на основе совпадений с зависимостью от относительных задержек в соответствии с конкретными аспектами настоящего раскрытия сущности.

[0045] Фиг. 22 иллюстрирует пример декодирования на основе временных шаблонов с зависимостью от относительных задержек в соответствии с конкретными аспектами настоящего раскрытия сущности.

[0046] Фиг. 23 иллюстрирует пример сопоставления с временным шаблоном на основе логического "ИЛИ" в соответствии с конкретными аспектами настоящего раскрытия сущности.

[0047] Фиг. 24 иллюстрирует пример декодирования на основе частоты возбуждения с зависимостью от относительных задержек в соответствии с конкретными аспектами настоящего раскрытия сущности.

[0048] Фиг. 25 иллюстрирует пример декодирования на основе частоты возбуждения, при этом частота возбуждения является целевой частотой для декодирования, в соответствии с конкретными аспектами настоящего раскрытия сущности.

[0049] Фиг. 26 иллюстрирует пример декодирования на основе частоты возбуждения с преобразованием частоты в совпадение в соответствии с конкретными аспектами настоящего раскрытия сущности.

[0050] Фиг. 27 иллюстрирует пример декодирования на основе частоты возбуждения с инвариантностью выходной частоты возбуждения в соответствии с конкретными аспектами настоящего раскрытия сущности.

[0051] Фиг. 28 иллюстрирует пример изображения временной фазы простой спайковой модели согласно различной входной синхронизации в соответствии с конкретными аспектами настоящего раскрытия сущности.

[0052] Фиг. 29 иллюстрирует пример изображения временной фазы простой спайковой модели согласно различной номинальной постоянной времени в соответствии с конкретными аспектами настоящего раскрытия сущности.

[0053] Фиг. 30 иллюстрирует примерную STDP-реализацию в соответствии с конкретными аспектами настоящего раскрытия сущности.

[0054] Фиг. 31 иллюстрирует примерные операции нейронного кодирования для общих входных шаблонов в соответствии с конкретными аспектами настоящего раскрытия сущности.

[0055] Фиг. 31A иллюстрирует примерные компоненты, допускающие выполнение операций, проиллюстрированных на фиг. 31.

[0056] Фиг. 32 иллюстрирует примерную программную реализацию нейронного кодирования с использованием процессора общего назначения в соответствии с конкретными аспектами настоящего раскрытия сущности.

[0057] Фиг. 33 иллюстрирует примерную реализацию нейронного кодирования, в которой запоминающее устройство может взаимодействовать с отдельными распределенными процессорами в соответствии с конкретными аспектами настоящего раскрытия сущности.

[0058] Фиг. 34 иллюстрирует примерную реализацию нейронного кодирования на основе распределенных запоминающих устройств и распределенных процессоров в соответствии с конкретными аспектами настоящего раскрытия сущности.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

[0059] Далее подробно описываются различные аспекты раскрытия сущности со ссылкой на прилагаемые чертежи. Тем не менее, это раскрытие сущности может осуществляться во множестве различных форм и не должно рассматриваться как ограниченное какой-либо конкретной структурой или функцией, представленной в этом раскрытии сущности. Наоборот, эти аспекты предоставляются таким образом, что это раскрытие сущности является всеобъемлющим и завершенным и полностью передает объем раскрытия сущности для специалистов в данной области техники. На основе идей в данном документе специалисты в данной области техники должны принимать во внимание, что объем раскрытия сущности имеет намерение охватывать любой аспект раскрытия сущности, раскрытый в данном документе, реализованный независимо или комбинированный с любым другим аспектом раскрытия сущности. Например, устройство может быть реализовано или способ может быть использован на практике с помощью любого числа аспектов, изложенных в данном документе. Помимо этого, объем раскрытия сущности имеет намерение охватывать такое устройство или способ, который осуществляется на практике с использованием другой структуры, функциональности либо структуры и функциональности в дополнение или помимо различных аспектов раскрытия сущности, изложенных в данном документе. Следует понимать, что любой аспект раскрытия сущности, раскрытый в данном документе, может осуществляться посредством одного или более элементов формулы изобретения.

[0060] Слово "примерный" используется в данном документе для того, чтобы означать "служащий в качестве примера, отдельного случая или иллюстрации". Любой аспект, описанный в данном документе как "примерный", не обязательно должен быть истолкован как предпочтительный или выгодный по сравнению с другими аспектами.

[0061] Хотя в данном документе описаны конкретные аспекты, множество изменений и перестановок этих аспектов попадают в пределы объема раскрытия сущности. Хотя упоминаются некоторые выгоды и преимущества предпочтительных аспектов, объем раскрытия сущности не имеет намерение быть ограниченным конкретными выгодами, вариантами использования или целями. Наоборот, аспекты раскрытия сущности имеют намерение широкого применения к различным технологиям, конфигурациям систем, сетям и протоколам, некоторые из которых проиллюстрированы в качестве примера на чертежах и в нижеприведенном описании предпочтительных аспектов. Подробное описание и чертежи являются просто иллюстративными, а не ограничивающими раскрытие сущности, при этом объем раскрытия сущности задается посредством прилагаемой формулы изобретения и ее эквивалентов.

ПРИМЕРНАЯ НЕЙРОННАЯ СИСТЕМА

[0062] Фиг. 1 иллюстрирует примерную нейронную систему 100 с несколькими уровнями нейронов в соответствии с конкретными аспектами настоящего раскрытия сущности. Нейронная система 100 может содержать уровень нейронов 102, соединенный с другим уровнем нейронов 106 через сеть синаптических соединений 104. Для простоты, только два уровня нейронов проиллюстрированы на фиг. 1, хотя меньшее или большее число уровней нейронов может существовать в типичной нейронной системе.

[0063] Как проиллюстрировано на фиг. 1, каждый нейрон на уровне 102 может принимать входной сигнал 108, который может быть сформирован посредством множества нейронов предыдущего уровня (не показан на фиг. 1). Сигнал 108 может представлять входной ток нейрона уровня 102. Этот ток может накапливаться на мембране нейрона, чтобы заряжать мембранный потенциал. Когда мембранный потенциал достигает своего порогового значения, нейрон может возбуждать и формировать выходной спайк, который должен переноситься на следующий уровень нейронов (например, уровень 106).

[0064] Перенос спайков с одного уровня нейронов на другой может осуществляться через сеть синаптических соединений (или просто "синапсов") 104, как проиллюстрировано на фиг. 1. Синапсы 104 могут принимать выходные сигналы (т.е. спайки) из нейронов уровня 102, масштабировать эти сигналы согласно регулируемым синаптическим весовым коэффициентам w 1 ( i , i + 1 ) ,..., w P ( i , i + 1 ) (где P является общим числом синаптических соединений между нейронами уровней 102 и 106) и комбинировать масштабированные сигналы в качестве входного сигнала каждого нейрона на уровне 106. Каждый нейрон на уровне 106 может формировать выходные спайки 110 на основе соответствующего комбинированного входного сигнала. Выходные спайки 110 затем могут переноситься на другой уровень нейронов с использованием другой сети синаптических соединений (не показана на фиг. 1).

[0065] Нейронная система 100 может моделироваться посредством электрической схемы и использоваться в большом спектре вариантов применения, таких как распознавание изображений и шаблонов, машинное обучение, управление моторами и т.п. Каждый нейрон в нейронной системе 100 может быть реализован как нейронная схема. Мембрана нейрона, заряженная до порогового значения, инициирующего выходной спайк, может быть реализована, например, в качестве конденсатора, который интегрирует электрический ток, протекающий через нее.

[0066] В аспекте, конденсатор может исключаться в качестве устройства интеграции электрического тока нейронной схемы, и вместо него может использоваться меньший мемристорный элемент. Этот подход может применяться в нейронных схемах, а также в различных других вариантах применения, в которых большие конденсаторы используются в качестве интеграторов электрического тока. Помимо этого, каждый из синапсов 104 может быть реализован на основе мемристорного элемента, при этом изменения синаптических весовых коэффициентов могут быть связаны с изменениями сопротивления мемристора. За счет мемристоров с нанометровым размером элементов может быть существенно уменьшена площадь нейронной схемы и синапсов, что позволяет обеспечивать практичность реализации очень крупномасштабной аппаратной реализации нейронной системы.

СПОСОБ НЕЙРОННОГО КОДИРОВАНИЯ, ОБУЧЕНИЯ И РАСПОЗНАВАНИЯ НА ОСНОВЕ ВРЕМЕННЫХ ШАБЛОНОВ

[0067] Поскольку нейронные схемы нейронной системы 100 могут передавать информацию временно с использованием так называемых временных кодов в форме синхронизированных спайков, основной интерес представляют способы кодирования и декодирования, а также способы изучения такой временной информации. Конкретные аспекты настоящего раскрытия сущности поддерживают способы для различения временных шаблонов, а (в отличие от других способов "на основе временных шаблонов") не просто совпадения вводов или порядка вводов. Кроме того, настоящее раскрытие сущности предлагает практические способы, которые являются биотехнологическими/согласованными, но имеют меньшую сложность и допускают кодирование, декодирование, распознавание и изучение временных шаблонов спайковых сигналов.

[0068] Система, предложенная в настоящем раскрытии сущности, может содержать комбинацию взаимозависимых признаков, проиллюстрированных на фиг. 2. В общем, система 200 может быть нацелена на аспект обучения (например, хеббиановского обучения) и аспект выполнения (динамическую спайковую модель). Относительная входная синхронизация для спайковой модели может быть определена посредством аспекта линии(й) дендритной задержки, на которую может оказывать влияние синаптический оборот и другие аспекты. Обучение может определять синаптические весовые коэффициенты, а также влияние на другие аспекты, и на него может оказывать влияние регулирование (нормализация), совмещение, отжиг, а также другие аспекты. Каждый из этих аспектов поясняется в настоящем раскрытии сущности наряду с взаимосвязью с другими аспектами, а также их значимостью, параметрами и преимуществами.

ЛИНИИ ОТНОСИТЕЛЬНОЙ ЗАДЕРЖКИ И ДЕНДРИТНОЙ ЗАДЕРЖКИ

[0069] В настоящем раскрытии сущности предлагается способ, в котором поведение нейрона может быть определено на основе относительной задержки между вводами в синапсах, относительной задержки между вводами в синапсах и опорным вводом либо и того, и другого. Базовый аспект модели временного кодирования проиллюстрирован на фиг. 3. Пространственно-временной шаблон спайков, выводимых из нейронов 302, 304, 306, 308 (т.е. входных нейронов), может составлять вводы спайков для нейрона 310 (т.е. выходного нейрона). Каждый входной нейрон может соединяться с нейроном 310 через один или более синапсов на одном или более дендритов нейрона 310. Каждый синапс может иметь ассоциированную задержку, которая характеризует временную задержку, которой подвергается спайк из входного нейрона до достижения сомы нейрона 310, как проиллюстрировано на фиг. 3 для синапсов 312, соединяющих нейрон 304 с нейроном 310. Как проиллюстрировано на фиг. 3, вводы могут подвергаться масштабированию перед задержкой и интеграцией. Альтернативно, вводы могут подвергаться задержке перед масштабированием для сокращения объема обработки в крупномасштабных нейронных сетях.

[0070] С использованием этого способа нейрон может распознавать пространственно-временные шаблоны в выводах входных нейронов (пространственные в смысле входных нейронов, временные в смысле относительной синхронизации спайков или временных разностей между спайками). Это проиллюстрировано на фиг. 4, на котором входные нейроны 402, 404, 406, 408 могут образовывать спайк в различные моменты времени. Тем не менее, вследствие задержек в дендрите(ах), сигналы из входных нейронов могут достигать сомы выходного нейрона x, совмещенного во времени. Ввод в выходной нейрон x во время t в силу этого может выражаться как функция от задержанных выводов входных нейронов, т.е.:

u x ( t ) = ∑ j w j v i j ( t − n j Δ t ) , (1)

где j является индексом синапса, i j является входным нейроном, с которым соединяется синапс j, n j является синаптической задержкой в единицах Δ t , v i ( t ) является выводом входного нейрона i, и w j является синаптическим весовым коэффициентом. В уравнении (1), синаптическая задержка представляет задержку, посредством которой абстрагируется полная задержка. Эта полная задержка может быть обусловлена одним или более (комбинацией) из фактических синаптических задержек вследствие цифро-аналоговой задержки (т.е. времени для преобразования из потенциала действия (AP) в постсинаптический потенциал (PSP)), дендритной задержки (т.е. пассивного времени прохождения для достижения сомы посредством PSP) или других задержек (например, аксональных задержек или задержек, обусловленных сетевой архитектурой вследствие трактов через различные уровни или число нейронов).

[0071] Фактическая синхронизация возбуждения нейронов 402, 404, 406, 408 помечается в качестве 410 на фиг. 4. Вследствие конкретных задержек, соответствующих синапсам (обозначаются посредством кратных чисел разрешения Δ t временной задержки), входная синхронизация после задержек может совмещаться или не совмещаться, как только учтены относительные задержки (помечено в качестве 412 на фиг. 4). Из фиг. 4 можно наблюдать, что некоторые синапсы ассоциированы с задержками, которые являются слишком длинными (например, синапс с задержкой 414) или короткими (например, синапс с задержкой 416), чтобы совпадать с задержками других синапсов. В аспекте, эти короткие и длинные задержки могут отбрасываться или не добавляться в распознанный шаблон, в то время как задержки, которые приводят к совпадающим задержанным спайкам, могут сохраняться или добавляться, чтобы соответствовать распознанному шаблону.

[0072] В предпочтительном аспекте настоящего раскрытия сущности, могут использоваться дискретные временные задержки в целочисленное число миллисекунд (т.е. задержки в кратных числах разрешения временной задержки Δ t =1 мс). Тем не менее, в общем, может использоваться любое дискретное или непрерывное разрешение. В дискретной модели задержка может быть представлена посредством целого числа n_xi, где x является входным нейроном (например, нейроном 402 на фиг. 4), и i является индексом синапса для этого входного нейрона, поскольку может быть предусмотрен один или более синапсов для каждого ввода.

[0073] Данные зависимой от синхронизации спайков пластичности (STDP) могут экспериментально измеряться и сообщаться. Типичные иллюстрации таких обучающих взаимосвязей проиллюстрированы на фиг. 5 с помощью кривой 502 долговременной потенциации (LTP) и кривой 504 долговременного подавления (LTD). Типично, ось X указывает разность времен между вводом и выводом (причем причинная предусмотрена для кривой 502, а непричинная предусмотрена для кривой 504). Следует отметить, что предложенный способ может обуславливать задержки в дендритах. Таким образом, ось X может рассматриваться на кривых обучения в качестве задержки между возбуждением нейрона и повторно совмещенными вводами. В настоящем раскрытии сущности, Δ T может задаваться как время возбуждения нейрона минус время данного ввода, поступающего в соме нейрона. Оно должно отличаться от времени, потраченного для перемещения сигнала по линии задержки от синапса до сомы ( n j ⋅ Δ t ).

[0074] Кроме того, может предлагаться множество изменений для того, чтобы отражать варьирование чувствительности к разностям времен, а также просто усиление или ослабление взаимосвязей, масштабирование и изменения означенного. Следует отметить, чт