Устройство для моделирования адаптивного нейрона

Устройство для моделирования адаптивного нейрона

Иллюстрации

Показать все

Реферат

 

Союз Советски к

Социалистических

Респубттнк

ОПИСАНИЕ

ИЗОБРЕТЕН Ия

К АВТОРСКОМУ СВИДЕТЕЛЬСТВУ 736130

Ф

l г г (61) Дополнительное к авт. свид-ву (22) Заявлено 09.12.77 (21) 2553532/18-24 (5! )М. Кл.

С 06 G- 7/60 с присоединением заявки РЙ

Гооударотееииый комитет

СССР (23) Приоритет

Опубликовано 25.05.80. Бюллетень,% 19

Дата опубликования описания 28.05.80 ао делам изобретений и открытий (53) УДК681.333 (088.8) (72) Авторы изобретения

Ю. В. Чернухин и Г. А. Гапуев

Таганрогский радиотехнический институт им. В. Д. Калмыкова (7l) Заявитель (54} УСТРОЙСТВО ДЛЯ МОДЕЛИРОВАНИЯ

АДАПТИВНОГО НЕЙРОНА

Изобретение относится к области бионики и вычислительной техники и может быть использовано в качестве элемента адаптивных нейтронных сетей, дпя моделирования биологических процессов, в устройствах распознавания образов, а

5 также в качестве элемента структур, предназначенных для решения систем алгебраических уравнений, задач исследова« ния операций, краевых задач теории поля.

Известно устройство дпя моделирования

lO нейрона„содержашее тт. входов, блоки моделирования синапса, специальные входы, управляюшие изменение синаптических весов, специальные входы, управпяюшие

1S характеристикой .обучения, аддитивный сумматор, формирователь порога, блок управления резисторным элементом, преобразователь напряжения в частоту, блок сравнения, первый, и второй интеграторы, блок управления синапсом, формирователь выходных сигналов и источник питания (1)

Недостаток такого устройства - посто янство таких параметров, как вес результата пространственного суммирования, длительность временного суммирования, вес пороговой добавки при адаптации по входу, длительность периода возбуждения, вес пороговой добавки при адаптации по выходу, длительность периода адаптации, длительность периода обучения и вес длительности периода обучения, которое значительно ограничивает функциональные возможности устройства, так как не позволяет без изменения конфигурации связей между его элементами перестраиваться на различные режимы функционирования.

Наиболее близким техническим решением к изобретению является устройство для модепированйя адаптивного нейрона, содержашее аддитивный сумматор, выход которого соединен с входом переменной интегрирования первого цифрового интегратора, выход которого подключен к первому входу первого сумматора, второй вход которого соединен с выходом второго цифрового интегратора, вход переменной интегрировании которого подключен

736i30

3 к выходу третьего цифрового интегратора, вход подынтегральной функции которого подключен к выходу первого сумматора и к первому входу второго сумматора, выход которого соединен с входом подынтегральной функции четвертого цифрового интегратора, выход которого подключен к входу блока сравнения, выход которого является выходом устройства и соединен с входом переменной интегрирования пя- 10 того цифрового интегратора, выход которого подключен к первому входу третьего сумматора, второй вход которого соеди нен с выходом шестого цифрового инте.гратора, вход переменной интегрирования которого соединен с выходом седьмого цифрового интегратора, вход подынтегральной функции которого подключен к прямому выходу третьего сумматора, инверсный выход которого соединен с вторым входом вто-М рого сумматора, восьмой. цифровой интегратор, выход которого подключен к третьему входу третьего сумматора, четвертый вход которого соединен с выходом девятого цифрового интегратора, вход переменной интегрирования которого подключен к выходу третьего цифрового интегратора, входы переменной интегрирова ния третьего, четвертого, седьмого и восьмого цифровых интеграторов подключе ны к первому упраьляющему входу устрой ства, входы подынтегральной функции первого, второго, пятого, шестого, восьмого и девятого цифровых интеграторов соединены с вторым, третьим, четвертым, пятым, шестым я седьмым управляю. шими входами устройства соответственно и входные цифровые интеграторы на каждый вкод устройства, входы переменной

40 интегрирования которых являются входами устройства, входы подынтегральных функций входных цифровых интеграторов образуют группу управляюших входов устройства. Причем, выходы входных цифровых

45 интегратороВ подключены к входам аддитивного сумматора(2)

Недостаток устройства - отсутствие в модели учета зависимости эффективности синаптической передачи от частоты

50 входных воздействий и от состояния нейрона в данный момент времени.

Цель изобретения - повьпцение точности моделирования ада пт ивно Го нейрона

Указанная цель достигается тем„что в устройство для моделирования адаптивного нейрона, содержал;ее аддитивный сумматор, выход которого соединен с входом переменной интегрирования первого цифрового интегратора, выход которого подключен к первому входу первого сумматора, второй вход которого соединен с выходом второго цифрового интегратора, вход переменной интегрирования которого подключен к выходу третьего цифрового интегратора, вход подинтегральной функции которого подключен к выходу первого сумматора и к первому входу второго сумматора, выход которого соединен с входом подинтегральной функции четвертого цифрового интегратора, выход которого подключен к входу блока сравнения,,выход которого является выходом устройства и соединен с входом переменной интегрирования пятого цифрового интегратора, выход которого подключен к первому входу третьего сумматора, второй вход которого соединен с выходом шестого цифрово го интегратора, вход пер еменно и интегрирования которого соединен с выходом седьмого цифрового интегратора, вход подинтегральной функции которого подключен к прямому выходу третьего сумматора, инверсный выход которого соединен с вторым входом второго сум— матора, восьмой цифровой интегратор, выход которо го под клю чен к трет ь ем у входу третьего сумматора, четвертый вход которого соединен с выходом девятого цифрового интегратора, вход переменной интегрирования которого подключен к выходу третьего цифрового интегратора, входы переменной интегрирования третьего, четвертого, седьмого и восьмого цифровых интеграторов подключены к первому управляюшему входу устройства, входы подинтегральной функции первого, второго, пятого, шестого, восьмого и девятого цифровых интеграторов соединены с вторым, трет ь им, четвер т ым пятым, шестым и седьмым управляюшими

axogaMB устройства соответственно и

âÕодные цифровые интеграторы по числу входов устройства, входь переменной интегрирования которых являются входами устройства, входы подинтегральной функции входных цифровых интеграторов sansются управляюшими входами устройства, введены десятый цифровой интегратор и по числу входов устройства - входной сумматор и два синаптических цифровых интегратора, .выход каждого входного цифрового интегратора соединен с первым входом соответствующего входного сумматора, выход которого подключен к входу подинтегральной функции первого синапт и ческо го цифрового инт Br pB TGp9 > выход

738130

55 которого соединен с входом аддитивного сумматора и с входом переменной интегрирования второго синаптического цифрового интегратора, выход которого подключен к второму входу Входного сумматора, входы переменных интегрирования первых синаптических цифровых интеграторов соединены с первым входом устройства, входы подинтегральных функций вторых синаптических цифровых интеграторов подключены к восьмому входу устройства и к выходу десятого цифрового интегратора, вход переменной интегрирования хоторого соединен с прямым выходом третьего сумматора, вход подинтегральной функции десятого цифрового интегратора подключен к девятому входу устройства.

На чертеже приведена структурная схема устройства.

Устройство содержит входы 1, -1„, входные цифровые интеграторы 21 -2 входы подинтегральных функций которых ног соединены к группе управляющих входов 3> -3 управляющих изменением синаптических весов, входные сумматоры

4-, -4, 2 синаптических цифровых интеграторов 5, -5 и 6 — 6 и котбрые совместно с интеграторами 21—

2 и сумматорами 41 -4 представляют собой блоки моделирования синапса, реализующие зависимость эффективности синаптической передачи от частоты входных воздействий и от состояния нейрона в данный момент времени, первый управляющий вход 7, управляющий изменением длительности периода возбуждения, второй управляющий вход 8, управляющий изменением веса пространственного суммирования; аддитивный сумматор 9, реализующий пространственное суммирование взвешенных входных сигналов, первый цифровой интегратор 10, третий управляющий вход 11, управляющий изменением длительности временного суммирования, первый сумматор 12, второй, третий и четвертый цифровые интеграторы 13, 14 и 15, второй и третий сумматоры 16 и 17, пятый цифровой интегратор 18, вход подинтегральной функции которого подключен к четвертому управляющему входу

19, управляющему изменением веса пороговой добавки при адаптации по выходу, шестой цифровой интегратор 20, вход подинтегральной функции которого подклю» чен к пятому управляющему входу 21, управляющему изменением длительности периода адаптации, седьмой цифровой интегратор 22, девятый цифровой интегратор 23, вход подынтегральной функции которого подсоединен к шестому управляю- щему входу 24, управляющему изменением веса пороговой добавки при адаптации по входу, восьмой цифровой интегратор 25, вход подынтегральной функции которого подключен х седьмому управляющему входу 26, управляющему изменением знаf0 чения порога, десятый цифровой интегратор 27, выход которого подключен к восьмому управляющему входу 28, управляющему изменением начального значения длительности периода обучения, а вход подинтегральной функции подключен к девятому управляющему входу 29, управляющему изменением веса длительности периода обучения, блох 30 сравнения и выход 31.

Цифровой интегратор 14, который совместно с интегратором 13 и сумматором 12 образует блок временного суммирования входных сигналов.

Цифровой интегратор 15 совместно с

25 блоком 30 сравнения и сумматором 16 образует, выходное устройство, реализующее пороговый эффект.

Устройство работает следующим образом.

Для задания режима функционирования на входы-31 -Зп., 28, 8, 11, 24

26, 21, 29 и 19 подаются соответствующие значения синаптических весов, . начального значения длительности нерио35 да обучения, веса пространственного суммирования, длительности временного суммирования, веса пороговой добавки при адаптации по входу порога, длительности периода адаптации; веса длительности периода обучения и веса пороговой добавки при адаптации по выходу. После этого на вход 7 подаются значения длительности периода возбуждения. С этого момента устройство готово к приему входных сигналов, поступающих с выходов других элементов, объединенных с данным элементом в нейроногодобную сеть. Входные сигналы через входы 1 -1 модели поступают на входы переменных интегрирования цифровых интеграторов .2, -2 „ в которых умножаются на соответствую шие значения синаптических весов, хранящихся в регистрах подынтегральных функций этих интеграторов, полученные произведения поступают на первые входы цифровых сумматоров 4, ..., 4, . В этот же момент времени значения взвешенных входных величин, полученные на сумматора 17. Одновременно с сигналами, поступившими на второй, третий и четвертый входы сумматора 17, на его первый вход с выхода интегратора 18 поступает произведение значений выходной величины (подаваемое с выхода 31 модели) и веса пороговой добавки при адаптации по выходу (хранящееся в регистре подынтегральной функции интегратора 18). Суммарные значения, получившиеся в сумматорах

12 и 17, с прямого выхода сумматора

12 и инверсного выхода сумматора 17, по25 ступают соответственно на первый и второй входы сумматора 16, где дополнительно суммируются. Сумма, полученная в сумматоре 17, с прямого выхода этого

30 сумматора поступает на вход переменной интегрирования интегратора 27, в котором умножается на значение веса длительности периода обучения, и полученное произведение подается на входы подынтеграль35 ных функций .(служащие для управления характеристикой обучения) интеграторов

5, ..., 5,п . Значение суммы, полученной в сумматоре 16, поступает на вход подынтегральной функции интегратора 15. В интеграторе 15, поступившая сумма умножается на значение длительности периода возбуждения и полученное произведение поступает на вход блока 30 сравнения, в котором сравнивается с

7 7М1 предыдущем шаге (на первом шаге они равны нулю) и хранящиеся в регистрах. . подынтегральных функций цифровых интеграторов 6, ..., 6 умножаются в них на значение длительности периода возбуждения (задаваемое с входа 7) и поступают на входы переменных интегрирования цифровых интеграторов 51,, 5 -„, в которых дополнительно умножаются на значения длительности периода обучения, полученные на предыдущем шаге (на первом шаге все они равны начальному значению длительности периода обучения, задаваемому с входа 28) и передаются на вторые входы сумматоров 41, ..., 4 . Значения взвешенных входных величин, полученные на предыдущем шаГе и умноженные в интеграторах 6 <, ..., 6 л на значение длительности периода возбуждения, поступают на входы аддитивного сумматора 9, в котором они суммируются и полученная сумма передается на вход переменной

4 интегрирования интегратора 10, после чего умножается в нем на значение веса пространственного суммирования, хранящегося в регистре подынтегральной функции этого интегратора. Полученное произведение с выхода интегратора 10 поступает на первый вход сумматора 12. Значение результата временного суммирования, полученное на предыдущем шаге (на первом шаге оно равно нулю) и хранящееся в регистре подынтегральной функции ичтегратора 14, умножается в нем на значение длительности периода .возбуждения (подаваемое с входа 7) и поступает на вход переменной интегрирования интегратора 19, в котором дополнительно умножается на значение длительности временного суммирования (хранящееся в регистре подынтегральной функции этого интегратора) и передается на второй вход сумматора 12. Значение результата временного суммирования, полученное на предыдущем шаге и умноженное в интеграторе 14 на значение длительности периода возбуждения, поступает, кроме того, на вход переменной интегрирования интегратора 23, в котором умножается на значение веса пороговой добавки при адаптации по входу,, и полученное произведение подается на третий вход сумматора 17, на четвертый вход которого с выхода интегратора 25 поступает произведение значений порога (хранящегося в регистре подынтегральной функции интегратора 25) и длительности периода возбуждения (подаваемое с входа

7). В этот же момент времени текущее

8 значение порога, полученное на предыду: шем шаге (на первом шаге оно равно нулю) и хранящееся в регистре подынтеграль» ной функции интегратора 22 умножается в нем на значение длительности периода возбуждения (подаваемое с входа 7) и поступает на вход переменной интегрирования интегратора 20, в котором дополнительно умножается на значение длительности периода адаптации (храняшееся в регистре подынтегральной функции этого интегратора) и передается на второй вход нулем. Если это произведение больше нуля, то оно появляется на выходе 31 модели. Если произведение меньше нуля, то сигнал на выходе 31 модели отсутствует.

Процесс адаптации по выходному сигналу и по входному производит блок моделирования адаптации, содержащий интеграторы 18, 20, 22, 23, 25 и сумматор 17, который в случае неизменности во времени, интенсивности входного возбуждения ск нала обеспечивает медленное понижение, и зависимости От величины длитель» ности териода адаптации (задаваемое с входа 21) выходной реакции устройства.

30

45 где. 9 7361

Изменение эффективности синаптической передачи в зависимости от частоты поступления входных возбуждающих воздействий, т.е. процесс обучения устройства, реализуют блоки моделирования сигналов состоящие из сумматоров 4(, ..., 4(б и интеграторов 21, ..., 2„, 5,, ..., 5, 6,, ..., 6,б . При частном появлении на1-м входе модели () =1...,п.) входного сигнала, p — ь и блок моделирования 10 синапса обеспечивает возрастание взвешенного значения входной величины (т.е. увеличение эффективности (-ой синаптической передачи ), в зависимости от значения длительности периода обучения, хранящегося в регистре подынтегральной ! функции интегратора 5 g . .Ебли на вход, модели перестают поступать входные воздействия, то р -ый блок моделирования синапса производит уменьшение 20 взвешенного значения входной величины (хранящееся в регистре подынтегральной функции интегратора 6 j ) вплоть до нуля, в зависимости от значения длитель,ности периода обучения, т.е. эффективность

-ой синаптической передачи снижается до нуля и данная связь вообще "отмирает

Значения длительности периода обучения (храняшиеся в регистрах подынтегральных функций интеграторов 5(,..., 5 и, а

30 следовательно и эффективность синансов зависят от состояния самого нейроноподобного элемента в данный момент времени. Эту зависимость воспроизводит блок моделирования адаптации (интеграторы

18, 20, 22, 23, 25 и сумматор 17) и интегратор 27..

Работа модели обучающегося нейронд 40 описывается следующей системой разностных уравнений:

Ц б с(0 3 e(+ .)3 (L-Ö) at+X Y$ 4Й б ((1 . ((t y(= (У<б-Ц At +У Р„ At; (1) а. 8;= -Z, () At У(-ц а(» At Ор((t.с«у

"еых.(L+1l (lt 211ax (О,С У;-8, ) ьц;

- начальное значение длитель-.. о ности периода обучения;

4 — вес длительности периода обучения;

8(и)- текущее значение порога, полученное в предыдущем шаге

t{;-1), — значение взвешенной

J входной величины, полученное в предыдущем шаге;

Д(. - длительность периода возбуждения;

X — входные воздействия поступающие на (. -м шагее

), — синаптический вес g -ro входа;

/Ъ вЂ” вес пространственного суммирования; ((, — длительность временного суммирования, У(-ip - значение временной суммы, полученное в предыдущем шаге;

А — длительность периода адаптации; (- вес пороговой добавки при адаптации по входу;

Во - значение порога; — вес пороговой добавки, Ф при адаптации по выходу; (8 (,,„ - значение выходной велиl чины в (-м шаге.

Полагая в систем (1) o(равным 1, равным О, А» Равным О, а ,{ . и Ь в интервале от нуля до единицы, получаем следующую систему уравнений.

Рб At — Х Х „y д т. =1

Ь j, = - У((<) 4, At tP Р; At; (- (2. (б--() At 0о У&ах.б А,М;

8, (Е)

Ув(х(;+0 А =какй,ГУ;-9,3а, . которая полностью совпадает с моделью адаптативного по выходу нейрона.

Полагая в системе (1) (, ра.вным 1, ({ равным О, A((равным О, а значеHHH 4,, o(», о{т g Д4 B интервале от нуля до единицы, получаем модель нейрона адаптивного по входу, так «ак в этом случае работа модели описывается следуюшей системой разностных уравнений:

РбДЙ=.Е Х, Ц а<;

3=1Ч 4 >i. =-o{б У(б-() At «pP» at; (3)

Д Об d7 (L-f) Е(бЬ At+y(L-

yap„(,, )в =уках (О, (.у;- 3atp.

11 7ЭВ1ЗО

Далее положив /о равным 1, А 3 равным

О, (ч равным О, А5 равным О, 1;, рав ным 1, А, равным 1 и Ь t равным 1, решение системы (1) принимает вид воздействий и от состояния нейрона в данныйй момент вре ме ни. форм у ь

) 51Рi (P» Xа g g j

Устройство для моделирования адаптивного нейрона, содержащее аддитивный сумматор, выход которого соединен с входом переменной интегрирования первого цифрового интегратора, выход которого подключен к первому входу первого сумматора, второй вход которого соединен с выходом второго цифрового интегратора, вход переменной интегрирования которого подключен к выходу третьего цифрового интегратора, вход подынтегральной функции которого подключен к выходу первого сумматора и к первому входу второго сумматора, выход которого соединен с вхо20 дом подынтегральной функции четвертого цифрового интегратора, выход которого подключен к входу блока сравнения, выход которого является выходом устройства и соединен с входом переменной интегрирования пятого цифрового интегратора, выход которого подключен к первому входу третьего сумматора, второй вход которого соединен с выходом шестого цифрОвого интегратора, вход переменной интегрирования которого соединен с. выходом седьмого цифрового интегратора, вход подынтегральной функции которого подключен к прямому выходу третьего сумматора, инверсный выход которого соединен с вторым входом второго сумматора, восьмой цифровой интегратор, выход которого подключен к третьему входу третьего сумматора, четвертый вход которого соединен с выходом девятого цифрового интегратора, вход переменной интегрирования которого подключен к выходу третьего цифрового интегратора, входы переменной интегрирования третьего, четвертого, седьмого и восьмого цифровых интеграторов подключены к первому управляющему вкоду устройства, входы подынтегральной функции первого, второго, пятого, шестого, вось»юго и девятого цифровых интеграторов соединены с вторым, третьим, четвертым, пятым, шестым и -едьмым управляющими входами устройства соответственно и входные цифровые интеграторы по числу входов устройства, входы переменной интегрирования которых являются входами устройства, входы подынтеграль ной функции. входных цифровых интеграторов являются управляющими входами уст О np L,O что совпадает с алгоритмом работы формального нейрона.

Если .(равно 1, 3 равно О, о(, равно О, А /, равно О, (5 равно О, <;, равно 1 и л tравно 1,,то решение системы (1) принимает вид

1-(к „„.,0 = rcgw jP 2- X. Xg„g 8 1 что совпадает с алгоритмом работы нейрона,, реализующего механизм временного суммирования.

Если положить („ равным 1, (равным 1, 3 равным О, ф(„равным О, 4 5 равным О, а,(, и 6 t в интервале от О до 1, то решение системы (1) аппроксимирует решение следующей системы дифференциальных уравнений: — = - p(t) +p K. к (с) у;;

dP(k) и

Y,„(t) = мах (O,ГР((.) - Pf j, которая описывает работу аналогового, нейрона,, Кроме того, полагая с до рав ным 1, g равным О, с равным О, И

/ равным О, o(5- равным О, а < равным О, Р равным 1, а 4 интервала от

О до 1, найдем, что решение системы (1) примет следующий вид:

" 0 = + »- 2 - (р.Д вЂ” 8 )й+; г=о =

>"«xx< ) af = ах(0, V„„0 Ц, что соответствует алгоритму работы обычного цифрового интегратора, работающего по формуле прямоугольников, имеющего блок выделения положительных приращений на выходе и комбинационный сумматор на входе.

Благодаря введению новых блоков и связей между ними повышается точность моделирования за счет возможности реализации зависимости эффективности синантической передачи от частоты входных

55 ла изобретения

736130

10

tI

ЦНИИПИ Заказ 2280/9 Тираж 751 Подписное

Филиал ППП "Патент, г. Ужгород, ул. Проектная, 4 ройства, отличающееся тем, что, с целью повышения точности моделирования, в него введены десятый цифровой интегратор и по числу входов устройства— входной сумматор и два синаптических цифровых интегратора, выход каждого входного цифрового интегратора соединен с первым входом соответствующего входного сумматора, выход которого подключен к входу подынтегральной функции первого синаптического ц. фрового интегратора, выход которого соединен с входом аддитивного сумматора и с входом переменной интегрирования второго синаптического цифрового интегратора, выход которого подключен к второму входу входного сумматора, входы переменных интегрирования первых синаптических цифровых интеграторов соединены с первым входом устройства, входы подинтегральных функций вторых синаптических цифровых инте граторов подключены к восьмому входу устройства и к выходу десятого цифрового интегратора, вход переменной интегрирования которого соединен с прямым выходом третьего сумматора, вход подын тегральной функции десятого цифрового интегратора подключен к девятому входу устройства.

Источники информации, принятые во внимание при экспертизе

1. Авторское свидетельство СССР

¹512478,,кл. С 06 С 7/60, 1976.

2. Авторское свидетельство СССР по заявке № 2520500/18-24-, кл. (3 06 G- 7/60, 1977 (прототип).