一种受限玻尔兹曼机隐含层节点动态调整方法
【专利说明】一种受限玻尔兹曼机隐含层节点动态调整方法
[0001] 本发明涉及控制领域，特别是涉及一种受限玻尔兹曼机隐含层节点动态调节方法
【背景技术】
[0002] 目前，神经网络结构优化设计方法一直是一个开放性的问题。例如，基于进化算法 对网络结构大小进行调整，进化算法是基于生物进化原理的搜索算法，具有很好的鲁棒性 和全局搜索能力，但是遗传算法需要昂贵的计算代价；利用粒子群优化算法对网络结构进 行优化，通过对隐含层神经元和连接权值进行调整，提高最终神经网络的性能，但是由于粒 子群算法在训练过程中需要进行全局搜索，整个结构调整时间仍较长。
[0003] 鉴于以上存在的问题，本文提出了一种利用隐含层神经元输出信息强度实现神经 网络的增长，同时利用神经元间交互信息强度实现隐含层神经元的删除，利用梯度下降算 法对其连接权值进行调整。该方法具有较好的非线性逼近能力，较快的训练速度以及紧凑 的网络结构。
【发明内容】
[0004] 有鉴于此，本申请提供一种受限玻尔兹曼机隐含层节点动态调节方法。该方法通 过计算隐含层输出神经元的活跃度以及隐含层和输出层神经元连接强度来动态调节节点 数。相比于固定节点的模型，可以实现网络结构和参数自校正。
[0005] 本发明提出的一种玻尔兹曼机隐含层节点动态调节方法，包括以下步骤：
[0006] 步骤一：选取初始数据；步骤二：将初始数据作为输入值，输入到第一层受限玻尔 兹曼机RBM1中；步骤三：计算RBM1隐含层神经元的活跃度，如果其活跃度大于已知的活跃 度阀值，则分裂该神经元，调整网络结构，根据相关公式设定新神经元的初始参数；步骤四： 计算RBM1隐含层神经元和输出层神经元间的连接强度，如果小于阀值，则断开该神经元和 输出神经元间的连接；步骤五：将RBM1的输出作为第二层RBM2输入；步骤六：计算RBM2隐 含层神经元的活跃度，如果大于活跃度阀值，则分裂该神经元，调整网络结构，并根据相关 公式设定新神经元的初始参数；步骤七：计算RBM2隐含层神经元和输出层神经元间的连接 强度，如果小于阀值，则断开该神经元和输出神经元间的连接；步骤八：以此类推直至最后 一层RBMn的输出，得到调整后的网络结构；步骤九：通过反向传播微调权值获得最佳网络 结构。
[0007] 进一步，在步骤二中包括以下步骤：21:RBM同层之间是无连接的，具有以下性质： 给定可见层单元状态时，隐含单元的激活条件独立；给定隐含层单元状态，可见层单元激活 条件也是独立的。0 = {W，a，b}是RBM的参数，分别为权值，可见层偏移量和隐层偏移量 向量，利用对比散度CD算法快速学习RBM，得到各参数的更新准则。
[0008] 进一步，在步骤三中具体包括以下步骤：包括：31:利用隐含层神经元输出计算其 活跃度函数
【主权项】
1. 一种受限玻尔兹曼机隐含层节点动态调节方法，其特征在于，该方法包括以下步 骤： 步骤一：选取初始数据； 步骤二：将初始数据作为输入值，输入到第一层受限玻尔兹曼机RBM1中； 步骤三：计算RBM1隐含层神经元的活跃度，如果其活跃度大于已知的活跃度阀值，则 分裂该神经元，调整网络结构，根据相关公式设定新神经元的初始参数； 步骤四：计算RBM1隐含层神经元和输出层神经元间的连接强度，如果小于阀值，则断 开该神经元和输出神经元间的连接； 步骤五：将RBM1的输出作为第二层RBM2输入； 步骤六：计算RBM2隐含层神经元的活跃度，如果大于活跃度阀值，则分裂该神经元，调 整网络结构，并根据相关公式设定新神经元的初始参数； 步骤七：计算RBM2隐含层神经元和输出层神经元间的连接强度，如果小于阀值，则断 开该神经元和输出神经元间的连接； 步骤八：以此类推直至最后一层RBMn的输出，得到调整后的网络结构。 步骤九：总体微调阶段，利用梯度下降算法，并通过反向传播来微调网络结构。
2.如权利要求1所述的方法，其特征在于，在步骤二中具体包括：21:RBM同层之间是 无连接的，具有以下性质：给定可见层单元状态时，隐含单元的激活条件独立；给定隐含层 单元状态，可见层单元激活条件也是独立的。0 ={W，a，b}是RBM的参数，分别为权值，可 见层偏移量和隐层偏移量向量，利用对比散度CD算法快速学习RBM，得到各参数的更新准 则。
3.如权利要求1所述的方法，其特征在于，在步骤三中具体包括：31:利用输出信息强 度判断神经元的活跃度，对活跃度较强的神经元进行分裂。
4.如权利要求3所述的方法，其特征在于，包括：41:利用隐含层神经元输出计算其活
跃度函I _其中，i= 1，2，…，K，Afi是第i个隐含层神 经元的活跃度，K是隐含层神经元数，0i是第i个隐含层神经元的输出，T是较小实数值， 避免IIX-yiII为零时活跃度函数无解，当X和y4交接近时，分母较小，活跃度值较大，此 时神经元较活跃；反之，则不活跃；42 :当神经元（称为第i个神经元）的活跃度Afi大于活 跃度阀值Af^(Affmax{l/K，10eJ，e1?为期望误差），活跃神经元i和输出神经元断开 连接，对其进行分裂，并对新神经元初始中心及方差进行设定： yi,i= a iyi+0 ix 5 i,i= a i 5 i其中，1 = (1，2，…，NneJ，yi和 5i分别是神经元i的中心和方差，y^和〇u分别表示神经元i分裂的新神经元1的中心值和方差，NnOT 是新增神经元数（NnOT= [Afi/Afav]，取Afi/Afav的整数部分，Afavs隐含层神经元平均活 跃度），根据神经元活跃度确定所增神经元数，新神经元与输出神经元间的连接权值设定为
苠中，^是第1个新神经元的分配参数，0i是结构调整前 分裂神经元i的输出，0uOO是新神经元1的输出，Wi是分裂神经元i与输出层神经元的 联结权值，e是结构调整前神经网络的输出误差。
5. 如权利要求1所述的方法，其特征在于，在步骤四中具体包括：51 :通过计算神经元 间交互信息相关性函数，分析RBM隐含层神经元与输出层神经元间的连接强度，从而根据 神经元间交互信息强度对网络结构进行修改。
6. 如权利要求5所述的方法，其具体过程：61 :首先定义隐含层神经元j和输出层神经 元y的交互信息函数：
实中，p(j;y)是j和y的联合分布密 度，P(j)和P(y)分别为j和y的概率密度；62:假设j和y是相互连接的神经元，神经元间 交互信息强度M(j;y)依赖于神经元j和y间的信息强度，根据香农熵理论，神经元j和y 间的连接强度可通过以下式计算：M(j;y) =H(j)-H(j|y) =H(y)-H(y|j)其中，H(j)为神 经元j的摘，H(y|j)为神经元y在神经元j条件下的j：商，，当神经元j和y相互独立时，M(j; y)的值为〇 ;否则，M(j;y)为正数；63 :规则化神经元间交互信息强度^^ y:
其中，0彡m(j;y)彡1，通过计算m，能够确定神经元j和y间信息交互较强，j和y间连接； 当m(j;y)趋近0时，则表明神经元j和y间信息交互强度较弱，在网络结构调整时可忽略 神经元j和y间的连接，从而降低神经网络的冗余度。
7. 如权利要求1所述的方法，其特征在于，在步骤九中具体包括：71 ::利用梯度下降 算法，并通过反向传播来微调网络结构。
【专利摘要】本发明属于控制领域，公开了一种受限玻尔兹曼机隐含层节点动态调整方法，该方法包括：选取初始数据；将初始数据作为输入,输入到第一层受限玻尔兹曼机中；计算第一层受限玻尔兹曼机隐含层神经元的活跃度,若其活跃度大于活跃度阀值,则分裂该神经元,调整网络结构,设定新神经元的初始参数；计算第一层受限玻尔兹曼机隐含层神经元和输出神经元间的连接强度，若小于阀值，则断开神经元间的连接；将该输出作为第二层玻尔兹曼机输入；以此类推至最后一层受限玻尔兹曼机的输出，得到调整后的网络结构。最后，并通过反向传播来微调网络结构。利用本发明提供的隐含层节点动态调节方法相比于固定节点的模型，实现了受限玻尔兹曼机结构和参数的自校正。
【IPC分类】G06N3-08, G06N3-04
【公开号】CN104809502
【申请号】CN201510258804
【发明人】张可, 柴毅, 袁媛, 刘建环, 邱翊峰
【申请人】重庆大学
【公开日】2015年7月29日
【申请日】2015年5月19日