Нейроподобный элемент

Нейроподобный элемент

Реферат

Изобретение относится к кибернетике и может быть использовано в качестве ячейки нейронных сетей при создании устройств оценки функционирования различных систем, в том числе открытых сложных систем, оценки степени оптимальности различных решений в адаптивных информационно-управляющих системах.

Известен нейроподобный элемент (НПЭ), содержащий блок для суммирования входных сигналов, блок установки входным сигналам весовых коэффициентов, сумматор входных сигналов, блок преобразования входных сигналов, выход [1]. Указанное устройство позволяет создавать нейронные сети (НС) для решения тех или иных задач, связанных с обобщением полученной информации на основе обучения НС определению связей между известными входными значениями и неизвестными выходами. Для этого пользователь должен подготовить набор обучающих данных, представляющих собой примеры входных воздействий и соответствующих им выходов. Как известно [2], число наблюдений для включения в процесс обучения должно быть на порядок больше числа связей в сети, при этом с ростом количества входных сигналов количество требуемых наблюдений растет нелинейно.

Недостатком такого НПЭ является то, что для класса задач оценки функционирования открытых сложных систем (ОСС), оценки степени оптимальности различных решений, когда выделенные в результате формализации ОСС элементы системы требуют (при классическом подходе) отдельного моделирования, в том числе и с помощью НС, когда число связей между элементами велико, а вариантов для классического обучения НС нет, нейросети на основе существующих схем нейронов непригодны.

Техническим результатом изобретения является создание НПЭ, позволяющего реализовать на их основе нейросети для решения класса задач оценки функционирования открытых сложных систем (ОСС), оценки степени оптимальности различных решений путем обеспечения возможности построения модели исследуемой системы, как иерархической, так и рекуррентной, с учетом различного исходного и рабочего состояния ее элементов и вариантов их функционирования, учитывая при моделировании нейроподобными элементами отдельных элементов системы как уровень их самодостаточности, так и подверженность воздействию внешних сигналов, при этом предлагаемый НПЭ позволяет учесть погрешности задания его параметров и параметров входных сигналов, а также обеспечить заданную точность самообучения нейросети. Построенная на основе таких НПЭ нейросеть позволяет реализовывать и различные варианты оценки функционирования ОСС и степени оптимальности различных решений.

На чертеже изображена блок-схема НПЭ, отображающая изобретение.

НПЭ состоит из блока входа 1, содержащего первый генератор случайных чисел 2, работающий по команде блока управления 3, блока установки и нормировки весовых коэффициентов 4, содержащего также второй генератор случайных чисел 5, работающий по команде блока управления 3, блока расчета параметров входных сигналов 6, сумматора параметров входных сигналов 7, ограничителя доли сигналов 8 со своим одноканальным генератором случайных чисел 9, блока расчета входной части состояния НПЭ 10, блока задания внутреннего состояния НПЭ 11, второго одноканального генератора случайных чисел 12, блока расчета внутренней части состояния НПЭ 13, блока расчета состояния НПЭ 14, блока памяти 15, анализатора величины изменения состояния НПЭ 16, блока установки точности самообучения нейросети 17, блока детерминированных зависимостей 18, переключателя 19, блока выхода 20 и генератора тактовых импульсов 21.

Сущность изобретения заключается в том, что нейроподобный элемент содержит блок входа, включающий первый генератор случайных чисел, число выходов которого равно числу входов блока входа, сигнал с каждого выхода первого генератора случайных чисел определяет изменение величины соответствующего входного сигнала по закону и в пределах, определяемых видом и погрешностью его задания, блок установки и нормирования весовых коэффициентов, число элементов веса которого равно числу входов блока входа, установка веса в элементах веса осуществляется посредством второго генератора случайных чисел по закону и в пределах, определяемых видом и погрешностью его задания, нормирование каждого весового коэффициента осуществляют путем деления каждого веса на сумму всех весов элементов веса, а каждый нормированный весовой коэффициент задает соответствующую синаптическую связь выходов блока входа и входов блока расчета параметров сигналов, выходы которого соединены со входами сумматора параметров сигналов, выход которого соединен с первым входом блока расчета входной части состояния НПЭ, второй вход которого соединен с ограничителем доли сигналов, одноканальный генератор случайных чисел, определяющий величину сигнала ограничителя доли сигналов по закону и в пределах, определяемых видом и погрешностью задания этой величины, блок задания внутреннего состояния НПЭ, второй одноканальный генератор случайных чисел, определяющий величину сигнала блока задания внутреннего состояния нейроподобного элемента по закону и в пределах, определяемых видом и погрешностью его задания, выход которого соединен с входом блока расчета внутренней части состояния НПЭ, осуществляющего перемножение сигнала с выхода блока задания внутреннего состояния НПЭ на разность между единицей и величиной сигнала ограничителя доли сигналов, выход блока расчета внутренней части состояния НПЭ соединен с первым входом блока расчета состояния НПЭ, осуществляющего сложение сигнала с выхода блока расчета входной части состояния НПЭ с сигналом, поступающим с выхода блока расчета внутренней части состояния НПЭ, выход блока расчета состояния НПЭ соединен с блоком выхода, с первым входом анализатора величины изменения состояния НПЭ непосредственно, а со вторым его входом через блок памяти, блок установки точности обучения нейросети, выход которого соединен с третьим входом анализатора величины изменения состояния НПЭ, который осуществляет сравнение величины точности самообучения с величиной, равной разности между предыдущим значением расчета состояния НПЭ и текущим, блок управления, осуществляющий управление генераторами случайных чисел и генератором тактовых импульсов.

Кроме того, введен переключатель, установленный между выходом блока расчета входной части состояния НПЭ и входом блока расчета состояния НПЭ, второй выход переключателя соединен с входом введенного блока детерминированных зависимостей, выход которого соединен с первым выходом переключателя, причем величина формируемого им сигнала определяется известной функциональной зависимостью сигнала, определяющего входную часть состояния НПЭ, от входных сигналов.

Первый генератор случайных чисел (ГСЧ1) 2, работающий по команде блока управления (БУ) 3 и выдающий величины Кгсч1_i, перемножение на которые значений амплитуд входных аналоговых сигналов позволяет варьировать их амплитудами по заданному закону (например, нормальному, равномерному и др.) и в заданных границах в интервале от 0 до 1.

Закон распределения и границы изменения амплитуд, задаваемые генераторами случайных чисел, определяются видом и погрешностями задания величин. Например, задан закон изменения значения и/или веса какого-либо входного сигнала, т.е. определен вид задания сигнала и/или его веса. Или, например, при получении числовой детерминированной оценки тех или иных величин (входных сигналов, их весов, ограничителя доли, внутреннего состояния) это определяется погрешностью измерения, расчета и т.п., а диапазон может быть определен возможными минимальным и максимальным значениями этих величин. При получении числовой экспертной оценки закон распределения может определяться, например, законом распределения мнений экспертов и др., а амплитуда - минимальной и максимальной оценками, полученными при экспертизе.

Второй генератор случайных чисел (ГСЧ2) 5 также работает по команде БУ 3 и выдает величины Кгсч2_i, перемножение на которые значений весов элементов веса позволяет варьировать их амплитудой по заданному закону и в заданных границах в интервале от 0 до 1. Расчет для каждого нормированного веса, W^* _i, осуществляется путем деления веса данного сигнала на сумму весов всех элементов веса.

Блок расчета параметров входных сигналов 6 (БРП ВС) осуществляет перемножение каждого сигнала с выхода блока входа 1 на соответствующий нормированный вес W^* _i:Пвх_i=x_i·W^* _i.

После БРП ВС 6 сигналы поступают на сумматор параметров входных сигналов (СП ВС) 7, где рассчитывается суммарный параметр входных сигналов: Пвх_∑=∑Пвх_i.

Ограничитель доли сигналов в состоянии НПЭ (ОД) 8 со своим одноканальным ГСЧЗ 9, работающим аналогично ГСЧ1 и ГСЧ2 и выдающим величину Кгсч3, перемножение на которую значения К_од, заданного в интервале от 0 до 1, позволяет варьировать амплитудой К_од по заданному закону и в заданных границах также в интервале от 0 до 1.

Блок расчета входной части состояния НПЭ 10 осуществляет перемножение сигнала, несущего информацию о величине суммарного параметра сигналов, на величину доли входных сигналов: Свх=Пвх_∑·К_од.

Блок задания внутреннего состояния НПЭ 11, со своим одноканальным ГСЧ4 12, определяет величину, соответствующую внутреннему состоянию НПЭ, С_соб. При этом ГСЧ4 12 выдает величину Кгсч4, перемножение на которую значения амплитуды величины собственного состояния НПЭ позволяет варьировать амплитудой С_соб по заданному закону и в заданных границах в интервале от 0 до 1.

Блок расчета внутренней части состояния НПЭ 13 осуществляет перемножение величины оценки собственного состояния НПЭ на ее долю в общем состоянии НПЭ, т.е. на разность между единицей и величиной сигнала ограничителя доли сигналов (1-К_од):Свн=С_соб·(1-К_од).

Блок расчета состояния НПЭ 14 (БРС) осуществляет сложение части этого состояния, зависящей непосредственно или посредством детерминированных зависимостей от входных сигналов, Свх (или Свх^дз), и внутренней части состояния НПЭ, Свн: Снпэ=Свх (или Свх^дз)+Свн.

Блок установки точности самообучения нейросети (БУТ) 17 осуществляет задание величины точности самообучения нейросети ε, позволяющей после начала хотя бы в одном из НПЭ нейросети, где они функционируют, переходных процессов, вызванных собственным состоянием НПЭ или изменениями параметров входных сигналов, других параметров НПЭ (К_од, БДЗ), а также совокупностью таких изменений, завершить на определенном заданном ε этапе прохождение в нейросети импульсов, тем самым завершив в микроцикле процесс самообучения НС и зафиксировать на выходе текущее значение состояния НПЭ.

Блок детерминированных зависимостей (БДЗ) 18, на вход которого поступает сигнал Свх, формирует на выходе сигнал Свх^дз, рассчитываемый посредством детерминированной функции от входа: Свх^дз=f(Свх.), задаваемой БУ. Сигнал с выхода БД 3 поступает на блок расчета состояния НПЭ (БРС) 14.

Анализатор величины изменения состояния НПЭ (АС) 16, на который подается сигнал с блока памяти 15 о предыдущем значении состояния НПЭ, Снпэ^(к-1), и сигнал с БРС 14 о текущем состоянии НПЭ, Снпэ^к, анализирует абсолютное значение разницы между этими сигналами и сравнивает со значением точности самообучения нейросети ε, поступающим на АС 16 с БУТ 17:|ΔСнпэ|≤ε. При выполнении этого условия подается сигнал на БУ 3, который по этой команде завершает прохождение в нейросети импульсов, тем самым завершая в микроцикле процесс самообучения НС. На выходе фиксируется текущее значение состояния НПЭ.

НПЭ работает следующим образом.

В исходном состоянии задают числовую детерминированную или экспертную оценку:

- внутреннего состояния НПЭ (величина в интервале от 0 до 1);

- весов входных сигналов W_i (величины в интервале от 0 до 1);

- доли входных сигналов в состоянии НПЭ, K₁ (величина в интервале от 0 до 1);

- значение точности самообучения НС, ε (величина, как правило, 10^-1...10^-5);

- порядок работы (закон распределения, диапазон изменения выдаваемых чисел) необходимых для работы НПЭ генераторов случайных чисел.

Подключение хотя бы одного ГСЧ производится по команде от БУ. При этом включенные ГСЧ выдают и фиксируют по одному случайному сигналу (в соответствии с установленным порядком работы). В нефункционирующем, т.е. отключенном состоянии, на выход ГСЧ выдается сигнал, равный 1. Далее входные сигналы поступают на блок входа, сигналы (сигнал) проходят по блокам НПЭ и, в соответствии с установленным алгоритмом (вариантом) работы НПЭ, производится их преобразование с выдачей, в конечном счете, на выход выходного сигнала Y, являющегося либо входным сигналом для других НПЭ, либо окончательным сигналом нейросети.

Принято, что в нейросети НПЭ, не имеющие синаптических связей с другими НПЭ по входу, являются входными НПЭ, имеющие синаптические связи с другими НПЭ как по входу, так и по выходу, являются промежуточными НПЭ, при этом промежуточные НПЭ с собственным состоянием НПЭ являются промежуточно-входными НПЭ, а НПЭ, имеющий синаптические связи с другими НПЭ только по входу, является выходным НПЭ.

Работа НПЭ возможна по двенадцати основным вариантам.

Первый вариант соответствует работе НПЭ в режиме взвешивания, нормировки и простого суммирования входных сигналов (воздействий). Значение К_од=1. В этом случае БУ 3 подает команды на многоканальные генераторы случайных чисел 2 и 5 и на одноканальные генераторы случайных чисел 9 и 12 и устанавливает на их выходах значение сигнала, равное 1, т.е. исходное состояние НПЭ задается равным 0. На выходе блока расчета состояния НПЭ (БРС):

Снпэ=Свх или Снпэ=Свх^дз, когда подключен БЗД 18.

В этом варианте работы состояние НПЭ определяется как сумма параметров входных сигналов (воздействий), а соответствующий состоянию НПЭ сигнал Y подается на вход блока выхода 20:

Y=Снпэ=Пвх_∑=∑Пвх_i=∑(xi·W_i*).

Вариант соответствует случаю работы НПЭ в качестве промежуточного или выходного НПЭ в нейросети (НС), в структуре которой он состоит.

Второй вариант работы НПЭ отличается от первого функционированием ГСЧ1 2 и/или ГСЧ2 5. Соответственно, с выхода БВ 1 поступает сигнал x_i ^гсч1=x_i·Kгсч1_i, в БВК формируются сигналы весов W_i ^гсч2i=W_i·Кгсч2; и сигналы нормированных весов W_i ^*гсч2i=W_i ^гсч2/∑(W_i ^гcч2i).

Этот вариант, также как и первый вариант, соответствует работе НПЭ в режиме взвешивания и простого суммирования входных сигналов (воздействий), но с учетом возможных разбросов по заданным законам распределения и в заданном диапазоне значения и/или веса хотя бы одного входного сигнала:

Y=∑(x_i ^гсч1i·W_i*^гсч2i).

Вариант соответствует случаю работы НПЭ в качестве промежуточного или выходного НПЭ в нейросети.

Третий вариант работы НПЭ предполагает задание исходного собственного состояния НПЭ при отсутствии входных сигналов. Значение К_од=0, т.е. доля входных сигналов в состоянии НПЭ равна 0. Сигнал, соответствующий величине исходного собственного состояния НПЭ, С_соб, поступает на вход блока выхода 20.

В этом варианте НПЭ выступает в роли не сумматора, а непосредственного источника сигналов, т.е. в роли входного НПЭ нейросети:

Y=C_соб.

Четвертый вариант отличается от первого и третьего варианта тем, что предполагает их совмещение. В этом случае БУ 3 подает команды на генераторы случайных чисел 2 и 5 и на одноканальные генераторы случайных чисел 9 и 12 и устанавливает на их выходах значение сигнала, равное 1.

Y=Снпэ=Свх+Свн=...=∑(x_i·W_i ^*)·K_од+С_соб·(1-К_од).

Вариант соответствует случаю работы НПЭ в качестве промежуточно-входного или выходного НПЭ в нейросети.

Пятый вариант работы НПЭ отличается от третьего варианта тем, что БУ 3 подает команды на одноканальный генератор случайных чисел 12 и изменяет по заданному закону распределения и в определенных пределах величину собственного состояния НПЭ на его выходе: С_соб ^гсч3=С_соб·Кгсч3. Этот вариант соответствует случаю, когда НПЭ, так же, как и в третьем варианте, является входным НПЭ в НС, т.е. выступает в роли непосредственного источника сигналов, но с учетом различных разбросов по заданному закону распределения и в заданных пределах в оценке величины исходного собственного состояния НПЭ:

Y=С_соб ^гсч3.

Шестой вариант работы НПЭ отличается от третьего варианта тем, что предполагает наличие входных сигналов и функционирование ГСЧ в блоке входа и (или) в БВК, а также наличие доли состояния НПЭ, К_од, зависящей от входных сигналов, и доли состояния НПЭ, (1-К_од), не зависящей от входных сигналов. Значение ограничителя доли К_од=]0,1[.

Этот вариант соответствует случаю, когда НПЭ выступает в роли сумматора входных сигналов с возможными изменениями по заданному закону распределения и в определенных пределах значения и/или веса хотя бы одного из них, и не зависящей от входных сигналов доли состояния НПЭ:

Y=Снпэ+Свн=Пвх_∑ ^гсч·K_од+Свн=∑(x_i ^гсч1i·W_i ^*rcч2i)·К_од+С_соб·(1-К_од).

Вариант соответствует случаю работы НПЭ в качестве промежуточно-входного или выходного НПЭ в нейросети.

Седьмой вариант работы НПЭ отличается от шестого варианта тем, что из ГСЧ функционирует только ГСЧ4 12 в БО ВС 11, позволяющий изменять по заданному закону распределения и в определенных пределах величину собственного состояния НПЭ: С_соб ^гсч3=С_соб·Кгсч3·К_од=]0,1[. Сигнал на выходе НПЭ:

Y=Снпэ+Свн=Пвх_∑·К_од+Свн=∑(x_i·W_i*)·К_од+С_соб ^гсч4·(1-К_од).

Вариант соответствует случаю работы НПЭ в качестве промежуточно-входного или выходного НПЭ в нейросети.

Восьмой вариант работы НПЭ отличается от шестого варианта тем, что дополнительно включен ГСЧЗ 9 ограничителя доли (ОД) 8, позволяющий изменять по заданному закону распределения и в определенных пределах величину доли состояния НПЭ, К_од, зависящей от входных сигналов. К_од=]0,1[. Сигнал на выходе НПЭ:

Y=Снпэ+Свн=Пвх_∑ ^гсч·К_од ^гсч3+Свн=∑(x_i ^гсч1i·W_i*^гсч2i)·К_од ^гсч3+С_соб·(1-К_од ^гсч3).

Вариант соответствует случаю работы НПЭ в качестве промежуточно-входного или выходного НПЭ в нейросети.

Девятый вариант работы НПЭ отличается от восьмого варианта тем, что не функционируют ГСЧ в блоке входа и (или) в блоке установки и нормировки весовых коэффициентов. К_од=]0,1[. Сигнал на выходе НПЭ:

Y=Снпэ+Свн=Пвх_∑·К_од ^гсч3+Свн=∑(x_i·W_i ^*)·К_од ^гсч3+С_соб·(1-К_од ^гсч3).

Вариант соответствует случаю работы НПЭ в качестве промежуточно-входного или выходного НПЭ в нейросети.

Десятый вариант работы НПЭ отличается от шестого варианта тем, что функционирует ГСЧ3 9 ограничителя доли (ОД) 8, позволяющий изменять по заданному закону распределения и в определенных пределах величину доли состояния НПЭ, К_од, зависящей от входных сигналов. Код=]0,1[.

Этот вариант соответствует случаю, когда НПЭ выступает в роли сумматора входных сигналов с возможными изменениями по заданному закону распределения и в определенных пределах значения и/или веса хотя бы одного из них и доли состояния НПЭ, зависящей от входных сигналов:

Y=Снпэ+Свн=Пвх_∑ ^гсч·Код^гсч3+Свн=∑(x_i ^гсч1i·W_i ^*гсч2i)·Код^гсч3+С_соб·(1-Код^гсч3).

Вариант соответствует случаю работы НПЭ в качестве промежуточно-входного или выходного НПЭ в нейросети.

Одиннадцатый вариант работы НПЭ отличается от десятого варианта тем, что предполагает функционирование ГСЧ4 12 в блоке оценки внутреннего состояния НПЭ (БО ВС) 11. Код=]0,1[. В этом варианте работают все ГСЧ.

Сигнал на выходе НПЭ:

Y=Снпэ+Свн^гсч=Пвх_∑ ^гсч·Код^гсч3+Свн^гсч=∑(x_i ^гсч1i·W_i ^*гсч2i)·Код^гсч3+С_соб ^гсч4·(1-Код^гсч3).

Вариант соответствует случаю работы НПЭ в качестве промежуточно-входного или выходного НПЭ в нейросети.

Это наиболее общий вариант работы НПЭ.

Двенадцатый вариант работы НПЭ может быть для всех вариантов, где Код≠0. Предполагает расчет входной части состояния НПЭ посредством детерминированных зависимостей в блоке детерминированных зависимостей (БДЗ) 18, сигнал на который направляет ключ 19 по команде БУ 3. Величина формируемого БДЗ сигнала определяется известной функциональной зависимостью сигнала, определяющего входную часть состояния НПЭ, от входных сигналов. Сигнал, соответствующий рассчитанному значению входной части состояния НПЭ: С^гсчвх^гз=f (Свх), поступает на выход ключа и на БРС 14.

Содержащийся в НПЭ анализатор величины изменения состояния НПЭ (АИ) 16 функционирует при всех вариантах работы НПЭ, сравнивая абсолютную величину разницы величин текущего, Снпэ^к, и предшествующего, Снпэ^(к-1), состояний НПЭ с установленной в БУТ 17 точностью самообучения нейросети, ε. При выполнении условия |ΔСнпэ|≤εс АИ подается сигнал на БУ 3 для прекращения тактовых импульсов в посылке импульсов и на фиксацию на блоке выхода НПЭ 20 последнего значения состояния НПЭ, Снпэ.

Работа (выдача случайных чисел) любого ГСЧ или любого канала ГСЧ НПЭ, если их работа предусмотрена, происходит только при первом тактовом импульсе из посылки тактовых импульсов. Во время прохождения остальных тактовых импульсов посылки импульсов на выходах ГСЧ фиксируется установленное значение.

Литература

1. С.Осовский. Нейронные сети для обработки информации. - М.: Финансы и статистика, 2002.

2. Нейронные сети. STATISTICA Neutral Networks: пер с англ. - М.: Горячая линия - Телеком, 2001.

1. Нейроподобный элемент (НПЭ), содержащий блок входа, включающий первый генератор случайных чисел, число выходов которого равно числу входов блока входа, сигнал с каждого выхода первого генератора случайных чисел определяет изменение величины соответствующего входного сигнала по закону и в пределах, определяемых видом и погрешностью его задания, блок установки и нормирования весовых коэффициентов, число элементов веса которого равно числу входов блока входа, установка веса в элементах веса осуществляется посредством второго генератора случайных чисел по закону и в пределах, определяемых видом и погрешностью его задания, нормирование каждого весового коэффициента осуществляют путем деления каждого веса на сумму всех весов элементов веса, а каждый нормированный весовой коэффициент задает соответствующую синаптическую связь выходов блока входа и входов блока расчета параметров сигналов, выходы которого соединены со входами сумматора параметров сигналов, выход которого соединен с первым входом блока расчета входной части состояния НПЭ, второй вход которого соединен с ограничителем доли сигналов, одноканальный генератор случайных чисел, определяющий величину сигнала ограничителя доли сигналов по закону и в пределах, определяемых видом и погрешностью задания этой величины, блок задания внутреннего состояния НПЭ, второй одноканальный генератор случайных чисел, определяющий величину сигнала блока задания внутреннего состояния НПЭ по закону и в пределах, определяемых видом и погрешностью его задания, выход которого соединен с входом блока расчета внутренней части состояния НПЭ, осуществляющего перемножение сигнала с выхода блока задания внутреннего состояния НПЭ на разность между единицей и величиной сигнала ограничителя доли сигналов, выход блока расчета внутренней части состояния НПЭ соединен с первым входом блока расчета состояния НПЭ, осуществляющего сложение сигнала с выхода блока расчета входной части состояния НПЭ с сигналом, поступающим с выхода блока расчета внутренней части состояния НПЭ, выход блока расчета состояния НПЭ соединен с блоком выхода, с первым входом анализатора величины изменения состояния НПЭ непосредственно, а со вторым его входом через блок памяти, хранящем информацию о предыдущем значении расчета состояния НПЭ, блок установки точности обучения нейросети, выход которого соединен с третьим входом анализатора величины изменения состояния НПЭ, который осуществляет сравнение величины точности самообучения с величиной, равной разности между предыдущим значением расчета состояния НПЭ и текущим, и в случае выполнения заданного условия подает на блок управления сигнал о завершении процесса самообучения нейросети, блок управления, осуществляющий управление генераторами случайных чисел и прохождением в нейросети импульсов.

2. Нейроподобный элемент по п.1, отличающийся тем, что введен переключатель, установленный между выходом блока расчета входной части состояния НПЭ и входом блока расчета состояния НПЭ, второй выход переключателя соединен с входом введенного блока детерминированных зависимостей, выход которого соединен с первым выходом переключателя, причем величина формируемого им сигнала определяется известной функциональной зависимостью сигнала, определяющего входную часть состояния НПЭ, от входных сигналов.