一种神经网络构建方法与流程

本发明涉及数据处理领域，尤其涉及一种神经网络构建方法。

背景技术：

神经网络的构建是基于神经网络应用的前提，近十年来，模拟生物神经网络的类生物神经网络系统在辨识、决断和预测等领域均有卓越的表现。类生物神经网络通过模拟生物神经网络而具备较好的智能性和自适应性，但是通常神经网络中个神经元的完全随机连接导致了神经网络内部的耦合度高，动力学特性不足，从而导致了神经网络的自适应性难移提高并且输出误差难以减小。

技术实现要素：

为了解决上述技术问题，本发明提出了一种神经网络构建方法。本发明具体是以如下技术方案实现的：

一种神经网络构建方法，包括：

获取神经网络生成参数，所述生成参数包括神经元聚类数、神经元密集程度参数、分布空间大小参数和神经元总数；

根据所述神经网络生成参数生成神经网络，所述神经网络满足下述公式x(n+1)＝w1u(n+1)+w2x(n)+w3y(n)；其中，x、y分别为输入和输出，w1,w2,w3分别为所述神经网络当前输入、当前神经网络状态、当前输出到下一个神经网络状态之间的转换矩阵；

计算所述神经网络的状态变换矩阵w2，所述状态变换矩阵用于根据所述神经网络的当前内部状态获取所述神经网络的下一刻内部状态；

使用预设训练集训练所述神经网络，在训练过程中得到输入输出映射矩阵，所述输入输出映射矩阵能够根据输入唯一确定输出。

进一步地，所述计算所述神经网络的状态变换矩阵w2包括：

选取靠近矩形布局图中心的基础神经元作为参考点，计算其它神经元与所述参考点的距离；

按照升序排列各个神经元，所述神经元在排序结果中的位置即为所述神经元在状态变换矩阵w2中的编号；

为每个基础神经元设置聚类中心编号，确定各个神经元所属的聚类的编号；

计算具有互连关系的神经元之间的连接强度，并根据所述连接强度得到状态变换矩阵w2。

进一步地，可以根据公式ci＝argmin(d(ni,zc))得到各个神经元所属的聚类的编号，其中ci标识神经元ni所属聚类的编号，zc为聚类编号为c的基础神经元的坐标，d(ni,zc)为神经元ni与基础神经元zc的坐标之间的距离。

进一步地，所述状态变换矩阵w2计算方法为：

计算任意两个神经元ni，nj之间的相互关系；

根据所述相互关系得到与所述两个神经元ni，nj相关的状态变换矩阵w2的元素值wij。

进一步地，若所述两个神经元ni，nj坐标相同，则其相互关系为一类关系；若所述两个神经元ni，nj坐标不同但是属于相同聚类，则其相互关系为二类关系，否则为三类关系。

进一步地，所述根据所述相互关系得到与所述两个神经元ni，nj相关的状态变换矩阵w2的元素值wij包括：

获取一类关系对应的连接强度参量变化区间α∈[-t1,t1]，二类关系对应的连接强度参量变化区间β∈[-t2,t2]，三类关系对应的连接强度参量变化区间γ∈[-t3,t3]；

根据相互关系确定元素值其中

进一步地，还包括对于状态变换矩阵w2进行调整，具体包括：

计算得到的状态变换矩阵w2对应的谱半径max|λi|，λi为状态变换矩阵w2的特征值。

调节α,β,γ的值，使得状态变换矩阵w2对应的谱半径小于1。

本发明实施例提供本发明实施例公开了一种神经网络构建方法，从神经网络的架构生成、状态变换矩阵设定的角度构建出了完整的神经网络，这种神经网络的动力学特性可调，并且相较于现有技术动力学特征更强，并且神经元之间的耦合度较低，能够有更加智能化的表现。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本发明实施例提供的一种神经网络构建方法流程图；

图2是本发明实施例提供的神经网络生成方法流程图；

图3是本发明实施例提供的得到基础神经元的方法流程图；

图4是本发明实施例提供的生成神经网络的方法流程图；

图5是本发明实施例提供的计算所述神经网络的状态变换矩阵w2的方法流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例公开了一种神经网络构建方法，如图1所示，所述方法包括：

s101.获取神经网络生成参数，所述生成参数包括神经元聚类数、神经元密集程度参数、分布空间大小参数和神经元总数。

具体地，所述神经元聚类数、神经元密集程度参数、分布空间大小参数和神经元总数均属于已知参量，其具体内容视用户的需求而定。

s102.根据所述神经网络生成参数生成神经网络，所述神经网络满足下述公式x(n+1)＝w1u(n+1)+w2x(n)+w3y(n)；其中，x、y分别为输入和输出，w1,w2,w3分别为所述神经网络当前输入、当前神经网络状态、当前输出到下一个神经网络状态之间的转换矩阵。

具体地，w1,w2,w3并不因神经网络的学习过程而变化，并且w1,w3均与w2有关。事实上，神经网络的w1,w2,w3三个自身参数矩阵内容相关，确定状态变换矩阵w2即可得到唯一确定的神经网络，在神经网络的实际学习和使用过程中，并不需要知晓w1,w3的实际数值。状态变换矩阵w2为表征神经网络构造的内部参数。

s103.计算所述神经网络的状态变换矩阵w2，所述状态变换矩阵用于根据所述神经网络的当前内部状态获取所述神经网络的下一刻内部状态。

s104.使用预设训练集训练所述神经网络，在训练过程中得到输入输出映射矩阵，所述输入输出映射矩阵能够根据输入唯一确定输出。

神经网络的输入和输出存在唯一确定关系y＝woutx，只需要使用现有技术中的神经网络训练方法确定输入输出映射矩阵wout即可。

为了得到满足下述公式x(n+1)＝w1u(n+1)+w2x(n)+w3y(n)的神经网络，本发明实施例进一步提供了神经网络生成方法，如图2所示，包括：

s1021.根据所述神经元聚类数得到基础神经元。

s1022.根据预设生成规则以所述基础神经元为聚类中心生成神经网络，所述神经网络中神经元的个数与所述神经元总数相同，所述神经网络中每个神经元与其相邻的神经元均双向互联，所述神经网络中每个神经元以预设概率与自身连接。

其中，所述神经网络中每个神经元以预设概率与自身连接的含义为：所述神经网络中存在自反馈连接的神经元个数与占总神经元个数的比值为预设概率。

s1023.设置与所述神经网络连接的输入节点和输出节点。

进一步地，为了便于神经网络的生成，本发明实施例可以首先在智能设备上生成神经网络的布局图，用所述布局图表现所述神经网络的各个神经元的互连关系。因此，本发明实施例从布局图的角度进一步公开了一种根据所述神经元聚类数得到基础神经元的方法，如图3所示，包括：

s10211.获取矩形布局图的左上角边界a和右下角边界b。

s10212.连接所述左上角边界a和右下角边界b得到斜对角线。

s10213.对所述斜对角线进行n等分，其中n即为神经元聚类数，等分点即为基础神经元。

进一步地，所述根据预设生成规则以所述基础神经元为聚类中心生成神经网络如图4所示，包括：

s10221.在所述矩形布局图内随机生成新增神经元，并将所述新增神经元pnew主动与其周围的已存在神经元pi按照概率p(new,i)＝κe^-μd(new,i)进行连接，其中κ,μ分别为神经元密集程度参数和分布空间大小参数，d(new,i)为新增神经元与已存在神经元之间的欧氏距离。

s10222.同时其周围的已存在神经元pi按照概率p(new,i)＝κe^-μd(new,i)主动与新增神经元pnew连接。

s10223.判断所述新增神经元pnew是否与至少一个所述已存在神经元pi生成双向互连，若是，则保留所述新增神经元，所述新增神经元成为已存在神经元；若否，则删除所述新增神经元。

双向互连的神经元的构建过程中，新增神经元与其附近神经元的连接概率与距离负相关，从而能够构成距离基础神经元近的神经元个数多，距离基础神经元远的神经元个数少的神经网络。

本发明实施例公开了一种神经网络生成方法，其生成的神经网络能够自聚类，并且在相邻神经元间均能够双向互连，还存在一定比例的自连接神经元，这种神经网络生成方法得到神经网络显然内部的动力学特性能够增强，并且神经元之间的耦合度较低，其连接结构与生物学网络相较于现有技术更为近似，在神经网络的学习、训练和决断上也能够有更加智能化的表现。

进一步地，本发明实施例进一步公开了计算所述神经网络的状态变换矩阵w2的方法，如图5所示，包括：

s1021.选取靠近矩形布局图中心的基础神经元作为参考点，计算其它神经元与所述参考点的距离。

s1022.按照升序排列各个神经元，所述神经元在排序结果中的位置即为所述神经元在状态变换矩阵w2中的编号。

s1023.为每个基础神经元设置聚类中心编号，确定各个神经元所属的聚类的编号。

具体地，可以根据公式ci＝argmin(d(ni,zc))得到各个神经元所属的聚类的编号，其中ci标识神经元ni所属聚类的编号，zc为聚类编号为c的基础神经元的坐标，d(ni,zc)为神经元ni与基础神经元zc的坐标之间的距离。

s1024.计算具有互连关系的神经元之间的连接强度，并根据所述连接强度得到状态变换矩阵w2。

具体地，所述状态变换矩阵w2计算方法为：

s10241.计算任意两个神经元ni，nj之间的相互关系。

具体地，若所述两个神经元ni，nj坐标相同，则其相互关系为一类关系；若所述两个神经元ni，nj坐标不同但是属于相同聚类，则其相互关系为二类关系，否则为三类关系。

s10242.根据所述相互关系得到与所述两个神经元ni，nj相关的状态变换矩阵w2的元素值wij。

获取一类关系对应的连接强度参量变化区间α∈[-t1,t1]，二类关系对应的连接强度参量变化区间β∈[-t2,t2]，三类关系对应的连接强度参量变化区间γ∈[-t3,t3]；

根据相互关系确定元素值。

具体地，其中

具体地，α的设定与神经元集群的耦合度有关，可以根据实际需要进行调整，β,γ的设定与神经网络的稳定性有关，也需要根据实际需要进行调节。

进一步地，α,β,γ的不同取值能对神经网络的动力学特征和稳定性有较为明显的影响，因此，本发明实施例进一步给出了对于状态变换矩阵w2进行调整的方法，所述方法以全体神经元的连接强度为调整对象。具体地，包括：

计算得到的状态变换矩阵w2对应的谱半径max|λi|，λi为状态变换矩阵w2的特征值。

调节α,β,γ的值，使得状态变换矩阵w2对应的谱半径小于1。

本发明实施例详细给出了神经网络构建方法，从神经网络的架构生成、状态变换矩阵设定的角度构建出了完整的神经网络，这种神经网络的动力学特性可调，并且相较于现有技术动力学特征更强，并且神经元之间的耦合度较低，能够有更加智能化的表现。

应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。