用于时间序列预测的输入输出直连神经网络结构的制作方法

[0001]
本发明涉及用于时间序列预测的神经网络结构，具体为用于时间序列预测的输入输出直连神经网络结构。


背景技术：

[0002]
人工神经网络能够从样本数据中学习，以任意精度近似任何非线性函数。作为时间序列预测算法使用的两种基本神经网络结构模型，即多层感知机(mlp)与循环神经网络(rnn)，已经成为各种时间序列应用的研究热点。特别是rnn，因在其隐含层中具有反馈回路，该神经网络用于如统计参数化语音合成、多步电价预测、航空货运预测，特别是在股票市场指数预测这一热点但又困难的研究课题方面显示出了巨大的应用前景。其中，当时间序列中含有线性成分时，如mlp与rnn等现有神经网络结构要么增加隐含层的层数，要么在相同隐含层数情况下，增加单隐含层所需神经元数目(如mlp的典型结构bpnn，以及rnn的典型结构elmannn)，来提高算法预测精度，这样，增加了神经网络结构复杂度和计算负荷。


技术实现要素：

[0003]
本发明解决现有的用于时间序列预测的神经网络结构，当时间序列中含有线性成分时，神经网络结构复杂度和计算负荷较高的问题，提供一种用于时间序列预测的输入输出直连神经网络结构。与通过增加隐含层的层数与层中神经元个数来提高时间序列预测精度不同，该用于时间序列预测的输入输出直连神经网络结构是通过在输入与输出层神经元之间加入输入输出直接全连接(diocs)，建立显式的线性回归项，来减少隐含层神经元个数，进而降低网络复杂度和运算负荷的。
[0004]
本发明是采用如下技术方案实现的：用于时间序列预测的输入输出直连神经网络结构，是由输入层，至少一个隐含层，输出层，和可选的承接层组成；其中，u
t
是隐含层的输出向量，w
(1)
为网络中输入层到隐含层权重矩阵，w
(2)
为网络中承接层到隐含层权重矩阵，x
t
是网络输入向量，是承接层的输出向量，b
(h)
是隐含层神经元偏置向量，f表示隐含层神经元传递函数；w
(3)
是网络中隐含层到输出层的权重矩阵，b
(o)
是输出神经元偏置向量，y
t
表示网络的输出向量；t表示采样时刻；
[0005]
当承接层存在时，隐含层的输出向量u
t
和承接层的输出向量的计算公式如下：
[0006][0007][0008]
其中，u
t-1
为t－1时刻的隐含层输出向量；
[0009]
当承接层不存在时，隐含层的输出向量u
t
的计算公式如下：
[0010]
u
t
＝f(w
(1)
x
t
+b
(h)
)
[0011]
加入输入输出直接全连接(diocs)后，输出向量y
t
的计算公式如下：
[0012]
y
t
＝w
(3)
u
t
+λx
t
+b
(o)
[0013]
其中，λ表示从输入层到输出层直接全连接的权重矩阵。
[0014]
作为对照，不加入输入输出直接全连接(diocs)，为输出层神经元选择传递函数g。输出向量y
t
的计算公式如下：
[0015]
y
t
＝g(w
(3)
u
t
+b
(o)
)
[0016]
构造八个神经网络结构模式。本发明根据神经网络结构中隐藏层偏置(b
(h)
)存在与否，输出层偏置(b
(o)
)存在与否，直接输入输出连接(diocs)存在与否，形成八个不同情况的神经网络结构模式m1-m8(表1)。
[0017]
表1
[0018][0019]
选取具有线性成分数据集。当前研究热点的sse,kospi,nikkei225,spx四个股指数据集，根据在股票价格预测中，对下一步股票价格的直观猜测和当前股票价格完全相同，意味着对于股票时间序列预测问题，线性输入到输出映射可相当直观。
[0020]
评估神经网络预测精度：为了评估给定神经网络结构的预测精度，本发明使用规范化的根均方误差(rmse)、均值绝对误差(mae)和均值绝对百分比误差(mape)，其中，o
t
表输出向量y
t
对应的真值向量。计算公式如下：
[0021][0022]
[0023][0024]
设置训练参数：给定最大训练次数3000与训练误差值0.0001。选取最优预测步长1与输入层神经元个数5。
[0025]
实验结果表明(表2)：拥有diocs的m1，m3，m5，m7可获得较低的rmse，即较高的预测精度。
[0026]
表2
[0027] m1m2m3m4m5m6m7m8sse30.9039.9329.5439.7527.8930.4027.5029.01kospi18.5921.8217.5220.3917.6518.3417.5617.94nikkei225187.99232.58183.61234.47184.72199.80181.20187.11spx23.5836.8319.9839.7814.4831.2013.1029.59
[0028]
实验结果表明(表3)：与不存在承接层和diocs情形下的mlp以及存在承接层和不存在diocs情形下的elman相比，存在承接层和diocs情形下的elman-diocs(m3)可获得较低的rmse、mae、mape，即较高的预测精度。
[0029]
表3
[0030][0031]
实验结果表明(表4)：与存在承接层和diocs情形下的elman-diocs(m3)相比，不存在承接层和diocs情形下的mlp以及存在承接层和不存在diocs情形下的elman将需要更多的隐藏层神经元才能实现相似的最佳性能。
[0032]
表4
[0033] mlpelmannnelman-diocs(m3)sse16146kospi14166nikkei22512126spx14126
[0034]
本发明所述神经网络结构，通过在输入与输出层神经元之间直接进行全连接
(diocs)，建立反映输入时间序列线性的显式线性回归项，使得预测含有线性成分的时间序列输出时，无须通过隐含层神经元做非线性变换，因而有效减少了隐含层神经元的个数，提高了算法预测精度，降低了网络结构复杂度，减少了计算负荷。
附图说明
[0035]
图1为本发明的结构示意图。
具体实施方式
[0036]
用于时间序列预测的输入输出直连神经网络结构，是由输入层，至少一个隐含层，输出层，和可选的承接层组成；其中，u
t
是隐含层的输出向量，w
(1)
为网络中输入层到隐含层权重矩阵，w
(2)
为网络中承接层到隐含层权重矩阵，x
t
是网络输入向量，是承接层的输出向量，b
(h)
是隐含层神经元偏置向量，f表示隐含层神经元传递函数；w
(3)
是网络中隐含层到输出层的权重矩阵，b
(o)
是输出神经元偏置向量，y
t
表示网络的输出向量；t表示采样时刻；
[0037]
当承接层存在时，隐含层的输出向量u
t
和承接层的输出向量的计算公式如下：
[0038][0039][0040]
其中，u
t-1
为t－1时刻的隐含层输出向量；
[0041]
当承接层不存在时，隐含层的输出向量u
t
的计算公式如下：
[0042]
u
t
＝f(w
(1)
x
t
+b
(h)
)
[0043]
加入输入输出直接全连接(diocs)后，输出向量y
t
的计算公式如下：
[0044]
y
t
＝w
(3)
u
t
+λx
t
+b
(o)
[0045]
其中，λ表示从输入层到输出层直接全连接的权重矩阵。