一种基于回声状态网络的预测方法及预测装置制造方法
【专利摘要】本发明实施例提供一种基于回声状态网络的预测方法及预测装置，涉及计算机领域，能够有效提升ESN网络的预测性能，提高预测速度和精度。其方法为：首先建立回声状态网络预测模型，回声状态网络预测模型的动态池内的神经元为小波神经元；而后根据输入数据获取训练集，并利用训练集对回声状态网络预测模型进行预测训练，获得训练完成的预测模型；再根据训练完成的预测模型进行预测得到输出数据。本发明实施例用于非线性混沌时间序列数据的预测。
【专利说明】一种基于回声状态网络的预测方法及预测装置
【技术领域】
[0001] 本发明涉及计算机领域，尤其涉及一种基于回声状态网络的预测方法及预测装 置。
【背景技术】
[0002] 使用神经网络对非线性系统的预测已经具有良好效果与广泛应用。回声状态神经 网络（EchoStateNetwork,ESN)是一种新型的循环网络结构与循环网络学习方法，ESN具 有大规模的内部神经元，使得它具备良好的短期记忆能力，在混沌时间序列预测任务中比 传统神经网络要优秀很多。
[0003] 在实现上述对非线性系统的预测的过程中，发明人发现现有技术中至少存在如下 问题：
[0004] 在使用ESN回声状态网络对非线性系统的预测中，经典ESN回声状态网络中的预 测速度比较慢，预测精度不能达到要求。
【发明内容】
[0005] 本发明实施例提供一种基于回声状态网络预测方法及预测装置，有效地提升了 ESN网络的预测性能，提高了预测速度和精度。
[0006] 为达到上述目的，本发明的实施例采用如下技术方案：
[0007] 第一方面，提供一种基于回声状态网络的预测方法，所述方法包括：
[0008] 建立回声状态网络预测模型，所述回声状态网络预测模型的动态池内的神经元为 小波神经元；
[0009] 根据输入数据获取训练集，并利用所述训练集对所述回声状态网络预测模型进行 预测训练，获得训练完成的预测模型；
[0010] 根据所述训练完成的预测模型进行预测得到输出数据。
[0011] 结合第一方面，在第一种可能的实现方式中，所述建立回声状态网络预测模型，该 回声状态网络预测模型的动态池内的神经元为小波神经元包括：
[0012] 建立所述回声状态网络预测模型，所述回声状态网络预测模型包括输入层、中间 层和输出层；
[0013] 所述中间层内的多个神经元相互连接形成所述动态池，其中所有神经元都为小波 神经元。
[0014] 结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述小波 神经元都为Sigmoid型小波神经元，所述中间层内的多个神经元相互连接的连接方式为环 状拓扑。
[0015] 结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述根据 输入数据获取训练集，并利用所述训练集对所述回声状态网络预测模型进行预测训练，获 得训练完成的预测模型包括：
[0016] 按时间顺序统计，以单位时间为单位对所述输入数据进行采样得到所述训练集；
[0017] 将所述训练集作为动态池神经元状态更新公式的输入数据，获取动态池神经元状 态值；
[0018] 根据所述动态池神经元状态值获取所述输入层神经元、所述中间层神经元和所述 输出层神经元的联合状态矩阵；
[0019] 将所述联合状态矩阵和教师数据作为输出权重矩阵公式的输入获取输出权重矩 阵。
[0020] 所述动态池神经元状态更新公式包括：
[0021] x (n+1) =f (ffinu (n+1) +ffx (n))
[0022] 其中，u(n+l)为所述训练集输入数据，x(n)为更新前的动态池神经元状态值， x(n+l)为更新后的动态池神经元状态值,Win为输入权重矩阵,W为动态池的内部权重矩阵， n为非负整数，f为动态池神经元激活函数；
[0023] 所述输出权重矩阵公式包括：
[0024] (Wwt) tMl,其中，为所述输出权重矩阵，M为所述联合状态矩阵，T为根据所述 训练集得到的教师数据矩阵。
[0025] 结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，所述根据 所述训练完成的预测模型进行预测得到输出数据包括：
[0026] 将已选定数据作为数据预测公式的预测输入数据，根据所述数据预测公式得到下 一单位时间的输出数据；
[0027] 所述数据预测公式包括：
[0028] y (n+1) =fout (ffout (u (n+1), x (n+1), y (n)))
[0029] 所述u(n+l)为所述已选定数据，所述y(n+l)为下一单位时间的输出数据，所述 y(n)为输出数据，n为非负整数，严为神经元的输出函数。
[0030] 第二方面，提供一种预测装置，所述装置包括：
[0031] 建模模块，用于建立回声状态网络预测模型，所述回声状态网络预测模型的动态 池内的神经元为小波神经元；
[0032] 训练模块，用于根据输入数据获取训练集，并利用所述训练集对所述回声状态网 络预测模型进行预测训练，获得训练完成的预测模型；
[0033] 预测模块，用于根据所述训练完成的预测模型对目标数据进行预测。
[0034] 结合第二方面，在第一种可能的实现方式中，所述建模模块具体用于：
[0035] 建立所述回声状态网络预测模型，所述回声状态网络预测模型包括输入层、中间 层和输出层；
[0036] 所述中间层内的多个神经元相互连接形成所述动态池，其中所有神经元都为小波 神经元。
[0037] 结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述小波 神经元都为Sigmoid型小波神经元，所述中间层内的多个神经元相互连接的连接方式为环 状拓扑。
[0038] 结合第二方面的第二种可能的实现方式，在第三种可能的实现方式中，所述训练 模块具体用于：
[0039] 按时间顺序统计，以单位时间为单位对所述输入数据进行采样得到所述训练集；
[0040] 将所述训练集作为动态池神经元状态更新公式的输入数据，获取动态池神经元状 态值；
[0041] 根据所述动态池神经元状态值获取所述输入层神经元、所述中间层神经元和所述 输出层神经元的联合状态矩阵；
[0042] 将所述联合状态矩阵和教师数据作为输出权重矩阵公式的输入获取输出权重矩 阵。
[0043] 所述动态池神经元状态更新公式包括：
[0044] x (n+1) =f (ffinu (n+1) +ffx (n))
[0045] 其中，u(n+l)为所述训练集输入数据，x(n)为更新前的动态池神经元状态值， x(n+l)为更新后的动态池神经元状态值,Win为输入权重矩阵,W为动态池的内部权重矩阵， n为非负整数，f为动态池神经元激活函数；
[0046] 所述输出权重矩阵公式包括：
[0047] (Wwt) tMl,其中，为所述输出权重矩阵，M为所述联合状态矩阵，T为根据所述 训练集得到的教师数据矩阵。
[0048] 结合第二方面的第三种可能的实现方式，在第四种可能的实现方式中，所述预测 模块具体用于：
[0049] 将已选定数据作为数据预测公式的预测输入数据，根据所述数据预测公式得到下 一单位时间的输出数据；
[0050] 所述数据预测公式包括：
[0051] y (n+1) =fout (ffout (u (n+1), x (n+1), y (n)))
[0052] 所述u(n+l)为所述已选定数据，所述y(n+l)为下一单位时间的输出数据，所述 y(n)为输出数据，n为非负整数，严为神经元的输出函数。
[0053] 本发明实施例提供一种基于回声状态网络预测方法及预测装置，首先建立回声状 态网络预测模型，所述回声状态网络预测模型的动态池内的神经元为小波神经元；而后根 据输入数据获取训练集，并利用所述训练集对所述回声状态网络预测模型进行预测训练， 获得训练完成的预测模型；再根据所述训练完成的预测模型进行预测得到输出数据。这样 有效地提升了ESN网络的预测性能，提高了预测速度和精度。
【专利附图】
【附图说明】
[0054] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以 根据这些附图获得其他的附图。
[0055] 图1为本发明实施例提供的一种基于回声状态网络的预测方法的流程示意图一；
[0056] 图2为本发明实施例提供的一种基于回声状态网络的预测方法的流程示意图二；
[0057] 图3为本发明实施例提供的一种回声状态网络中动态池的环状拓扑结构图；
[0058] 图4为本发明实施例提供的一种预测装置的结构示意图。
【具体实施方式】
[0059] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。
[0060] 本发明实施例提供一种基于回声状态网络的预测方法，如图1所示，该方法包括：
[0061] 101、建立回声状态网络预测模型，回声状态网络预测模型的动态池内的神经元为 小波神经元。
[0062] 102、根据输入数据获取训练集，并利用训练集对回声状态网络预测模型进行预测 训练，获得训练完成的预测模型。
[0063] 103、根据训练完成的预测模型进行预测得到输出数据。
[0064] 本发明实施例提供一种基于回声状态网络的预测方法，建立回声状态网络预测模 型，回声状态网络预测模型的动态池内的神经元为小波神经元；根据输入数据获取训练集， 并利用训练集对回声状态网络预测模型进行预测训练，获得训练完成的预测模型；根据训 练完成的预测模型进行预测得到输出数据。这样有效地提升了ESN网络的预测性能，提高 了预测速度和精度。
[0065] 本发明实施例还提供一种基于回声状态网络的预测方法，如图2所示，该方法包 括：
[0066] 201、建立回声状态网络预测模型。
[0067] 具体的，建立的回声状态网络预测模型包括输入层、中间层和输出层。
[0068] 输入层、中间层和输出层都由神经元组成，输入层中的神经元与中间层的神经元 相互连接构成输入权重矩阵Win，中间层的神经元相互连接构成动态池内部权重矩阵W，全 部三层的神经元与输出层的神经元相互连接构成输出权重矩阵Wwt，其中，win、w是已知的， 且在建模完成后是固定不变的。中间层中的多个神经元相互连接形成动态池，其中，中间层 中的所有神经元都可以为Sigmoid型小波神经元。具体的，该Sigmoid型小波神经元的激 活函数可以采用如下函数：
【权利要求】
1. 一种基于回声状态网络的预测方法，其特征在于，包括： 建立回声状态网络预测模型，所述回声状态网络预测模型的动态池内的神经元为小波 神经元； 根据输入数据获取训练集，并利用所述训练集对所述回声状态网络预测模型进行预测 训练，获得训练完成的预测模型； 根据所述训练完成的预测模型进行预测得到输出数据。
2. 根据权利要求1所述的方法，其特征在于，所述建立回声状态网络预测模型，所述回 声状态网络预测模型的动态池内的神经元为小波神经元包括： 建立所述回声状态网络预测模型，所述回声状态网络预测模型包括输入层、中间层和 输出层； 所述中间层内的多个神经元相互连接形成所述动态池，其中所有神经元都为小波神经 7H 〇
3. 根据权利要求2所述的方法，其特征在于，所述小波神经元都为Sigmoid型小波神经 元，所述中间层内的多个神经元相互连接的连接方式为环状拓扑。
4. 根据权利要求3所述的方法，其特征在于，所述根据输入数据获取训练集，并利用所 述训练集对所述回声状态网络预测模型进行预测训练，获得训练完成的预测模型包括： 按时间顺序统计，W单位时间为单位对所述输入数据进行采样得到所述训练集； 将所述训练集作为动态池神经元状态更新公式的输入数据，获取动态池神经元状态 值； 根据所述动态池神经元状态值获取所述输入层神经元、所述中间层神经元和所述输出 层神经元的联合状态矩阵； 将所述联合状态矩阵和教师数据作为输出权重矩阵公式的输入获取输出权重矩阵； 所述动态池神经元状态更新公式包括： x(n+l)=f (Wi"u(n+1)+Wx (n)) 其中，u(n+l)为所述训练集输入数据，x(n)为更新前的动态池神经元状态值，x(n+l) 为更新后的动态池神经元状态值，Wi。为输入权重矩阵，W为动态池的内部权重矩阵，n为非 负整数； 所述输出权重矩阵公式包括： (Wwt) t=M^iT，其中，为所述输出权重矩阵，M为所述联合状态矩阵，T为根据所述训练 集得到的教师数据矩阵。
5. 根据权利要求4所述的方法，其特征在于，所述根据所述训练完成的预测模型进行 预测得到输出数据包括： 将已选定数据作为数据预测公式的预测输入数据，根据所述数据预测公式得到所述输 出数据； 所述数据预测公式包括： y (n+1)=产化师。化(U (n+i)，X (n+1)，y (n))) 所述u(n+l)为所述已选定数据，所述y(n+l)为下一单位时间的输出数据，所述y(n) 为输出数据，n为非负整数。
6. -种预测装置，其特征在于，所述装置包括： 建模模块，用于建立回声状态网络预测模型，所述回声状态网络预测模型的动态池内 的神经元为小波神经元； 训练模块，用于根据输入数据获取训练集，并利用所述训练集对所述回声状态网络预 测模型进行预测训练，获得训练完成的预测模型； 预测模块，用于根据所述训练完成的预测模型进行预测得到输出数据。
7. 根据权利要求6所述的装置，其特征在于，所述建模模块具体用于： 建立所述回声状态网络预测模型，所述回声状态网络预测模型包括输入层、中间层和 输出层； 所述中间层内的多个神经元相互连接形成所述动态池，其中所有神经元都为小波神经 J L 〇
8. 根据权利要求7所述的装置，其特征在于，所述小波神经元都为Sigmoid型小波神经 元，所述中间层内的多个神经元相互连接的连接方式为环状拓扑。
9. 根据权利要求8所述的装置，其特征在于，所述训练模块具体用于包括： 按时间顺序统计，W单位时间为单位对所述输入数据进行采样得到所述训练集； 将所述训练集作为动态池神经元状态更新公式的输入数据，获取动态池神经元状态 值； 根据所述动态池神经元状态值获取所述输入层神经元、所述中间层神经元和所述输出 层神经元的联合状态矩阵； 将所述联合状态矩阵和教师数据作为输出权重矩阵公式的输入获取输出权重矩阵； 所述动态池神经元状态更新公式包括： x(n+l)=f (Wi"u(n+1)+Wx (n)) 其中，u(n+l)为所述训练集输入数据，x(n)为更新前的动态池神经元状态值，x(n+l) 为更新后的动态池神经元状态值，Wi。为输入权重矩阵，W为动态池的内部权重矩阵，n为非 负整数； 所述输出权重矩阵公式包括： (Wwt) t=M^iT，其中，为所述输出权重矩阵，M为所述联合状态矩阵，T为根据所述训练 集得到的教师数据矩阵。
10. 根据权利要求9所述的装置，其特征在于，所述预测模块具体用于： 将已选定数据作为数据预测公式的预测输入数据，根据所述数据预测公式得到所述输 出数据； 所述数据预测公式包括： y (n+1) =f?t (W〇ut (U (n+1)，X (n+1)，y (n))) 所述u(n+l)为所述已选定数据，所述y(n+l)为下一单位时间的输出数据，所述y(n) 为输出数据，n为非负整数。
【文档编号】G06F17/50GK104346517SQ201310392731
【公开日】2015年2月11日 申请日期:2013年9月2日 优先权日:2013年8月2日
【发明者】杨凤琴 申请人:杨凤琴