一种基于快速多层前馈小世界神经网络出水氨氮浓度预测方法

背景技术：

技术实现思路

1、本发明获得了一种基于快速多层前馈小世界神经网络的出水氨氮浓度预测方法，根据污水处理过程采集的数据实现了出水氨氮的准确预测，解决了污水处理过程出水氨氮难以实时准确测量的问题，提高了城市污水处理厂控制与决策的灵活性。

2、一种基于快速多层前馈小世界神经网络的出水氨氮浓度预测方法，此方法包括以下步骤：

3、步骤1：选取出水氨氮浓度历史数据，数据预处理；

4、首先，对出水氨氮浓度历史数据按照公式(1)归一化至[0,1]，

5、

6、其中，y是由出水氨氮浓度历史数据组成的时间序列，y(t)是t时刻的出水氨氮浓度，min(y)和max(y)分别表示序列y中的最小值和最大值；

7、其次，选取前τ时刻的出水氨氮浓度y(t-τ)～y(t)作为网络输入，τ取[3,8]，预测下一时刻的出水氨氮浓度y(t+1)，即模型的输入为y(t-τ)～y(t),y(t+1)作为模型的期望输出；

8、步骤2：设计快速多层前馈小世界神经网络模型的拓扑结构；

9、步骤2.1：设计快速多层前馈小世界神经网络模型布线方式；

10、随机断开多层前馈神经网络中的规则连接，按照优先长距离连接的重连规则来构造前馈小世界神经网络；具体构造过程如下：构建一个规则连接的l层前馈神经网络，随机选择相邻层之间的一个连接，然后断开；假设该连接是从第l层的神经元i到第l+1层的神经元j，其权值被设置为零；其次，以一定概率引入一个跨层连接即从第l层中的神经元i到第s层中的神经元c的连接，该概率值计算方式如下，

11、

12、其中,当l＝1时d等于l-1，否则d等于l，s是跨层连接出现的层数，是s所有可能值的累加和；

13、重复上述步骤，直到重新布线的跨层连接数达到设定值vmax，取[10,100]；

14、步骤2.2：设计快速多层前馈小世界神经网络的神经元激活函数；

15、设计的前馈小世界神经网络拓扑结构共有l层，包含输入层、隐含层、输出层；各层的神经元激活函数设计如下：

16、①输入层：该层共有n个神经元，代表n个输入，表示为x＝[x1,x2,x3…xn]t，其中xn代表输入层的第n个输入变量，该层神经元激活函数设置为线性的，则输入层神经元i的输出为，

17、

18、其中，xi代表输入层的第i个输入变量；

19、②隐含层：该层具有多层，并通过其非线性激活函数实现非线性映射，第l层的神经元j的输出为，

20、

21、其中，ns代表神经网络第s层的神经元个数，代表神经网络第s层的神经元i与第l层的神经元j之间的连接权值，是第s层的神经元i的输出，f(·)是sigmoid函数；

22、③输出层：输出层包含一个神经元，激活函数为线性，则其输出为，

23、

24、其中，ns代表神经网络第s层的神经元个数，代表神经网络第s层的神经元i与输出层神经元之间的连接权值，是第s层的神经元i的输出；

25、步骤3：初始化快速多层前馈小世界神经网络的权值；

26、步骤3.1：初始化隐含层神经元的连接权值；

27、使用岭回归算法初始化隐含层神经元的连接权值，确保隐含层神经元处于激活状态；

28、使用岭回归初始化神经元连接权值，定义损失函数为，

29、

30、其中，是表示与l层中的神经元j连接的所有神经元的权重的向量，h是存储这些神经元的输出矩阵，μ1是正则化因子，μ1取[0.01,001],t是在[-4.36,4.36]的激活区间内以均匀分布采样的向量；计算方式如下，

31、

32、其中，i是单位矩阵，h是存储这些神经元的输出矩阵，ht是h的转置矩阵，t是在[-4.36，4.36]的激活区间内以均匀分布采样的向量，μ1是正则化因子，μ1取[0.01,001]；

33、重复以上方法，直至所有隐含层神经元的连接权值被初始化；

34、步骤3.2：初始化输出层神经元的连接权值；

35、输出层神经元的激活函数为线性，不存在激活死区，所以其连接权值在区间[-1，1]内均匀采样；

36、步骤4：设计快速多层前馈小世界神经网络的训练算法；

37、基于神经元激活函数特性，快速多层前馈小世界神经网络可以被视为两个子网络的级联，即由输入层和隐藏层组成的深度子网络和由输出层和与其直接连接的神经元组成的宽度子网络；宽度子网络的权值连接为线性的，采用岭回归法训练；深度子网络的权值连接是非线性的，随后采用梯度下降法训练；具体细节描述如下：

38、步骤4.1：岭回归训练宽度子网络；

39、快速多层前馈小世界神经网络的输出层是对其输入进行线性求和，因此使用岭回归方法来学习其输出权值wout。损失函数定义为，

40、l1(wout)＝||howout-yd||2+||μ2wout||2         (8)

41、则t+1时刻的wout计算方式如下，

42、

43、其中，t是迭代次数，ho(t)是存储连接到输出层的神经元t时刻输出的矩阵，是ho(t)的转置矩阵，yd是网络的期望输出，i是单位矩阵，μ2是正则化因子，μ2取[0.1×10-3,0.1×10-5]，它不仅可以使求逆运算可行，而且可以防止过拟合问题；

44、步骤4.2：梯度下降训练深度子网络；

45、在获得输出权值wout之后，然后使用梯度下降训练深度子网络；首先，定义损失函数为，

46、

47、其中，yd是网络的期望输出，yl是网络的实际输出向量，则t+1时刻的网络实际输出向量yl(t+1)为，

48、

49、其中，是存储连接到输出层的神经元t时刻输出的转置矩阵，然后，通过公式(12)更新深度子网络的权值,

50、w(t+1)＝w(t)+△w(t)             (12)

51、其中，w(t)是t时刻的权值矩阵，w(t+1)是t+1时刻的权值矩阵，△w(t)是t时刻权值变化矩阵，其元素计算方式如下，

52、

53、其中，表示t时刻第l层神经元i和第s层神经元j之间连接权值的变化量，l2(w)是损失函数，是t时刻第l层神经元i和第s层神经元j之间连接权值，λ是学习率，是t时刻第l层神经元i的输出，是t时刻第s层神经元j的误差，其计算方式如下,

54、

55、其中，nd是第d层的神经元个数，是t时刻第s层神经元j和第d层神经元c之间连接权值，是t时刻第d层神经元c的误差，是t+1时刻第s层神经元j和输出层神经元的连接权值，是t时刻第s层神经元j的输出，δl(t+1)是网络的输出误差，计算方式如下，

56、

57、其中，m是样本总量，是t+1时刻第m个样本点对应的网络真实输出，是第m个样本点对应的期望输出；

58、步骤4.3：计算训练rmse，如果满足rmse小于期望的训练rmse或者迭代次数达到最大迭代次数时停止计算，最大迭代次数取值范围为[5000，10000]，否则跳至步骤4.1，rmse定义如公式(16)所示；

59、

60、其中，m是样本总量，是第m个样本点对应的网络真实输出，是第m个样本点对应的期望输出；

61、步骤5：出水氨氮预测；

62、将测试样本数据作为训练好的快速多层前馈小世界神经网络的输入，得到神经网络的输出后将其反归一化，得到出水氨氮浓度的预测值。

63、本发明与现有技术相比，具有以下明显的优势和有益效果：

64、(1)本发明针对当前污水处理过程中的关键水质参数氨氮浓度难以测量问题，设计了快速多层前馈小世界神经网络模型，实现了出水氨氮浓度准确预测，具有精度高、稳定性好、泛化能力强的特点。

65、(2)本发明针对传统多层前馈小世界神经网训练时间成本高的问题，提出了优先长距离连接的构造方式、基于岭回归的权值初始化以及基于岭回归和梯度下降的混合训练算法来提高网络训练效率，极大地缩短了训练时间。