一种回声状态网络的预测方法和预测装置制造方法
【专利摘要】本发明实施例提供一种回声状态网络的预测方法和预测装置，涉及通信服务网络【技术领域】，能够有效地提升ESN网络的预测性能，提高预测速度和预测精度。其方法为：通过建立回声状态网络的预测模型，预测模型的动态池为包括小波神经元的混合神经元动态池，从输入数据中获取训练集，根据训练集对预测模型进行预测训练，获取训练完成后的预测模型，通过预测输入数据对训练完成的预测模型进行预测，获取预测过程中的预测输出数据。本发明实施例用于非线性混沌时间序列数据的预测。
【专利说明】一种回声状态网络的预测方法和预测装置
【技术领域】
[0001] 本发明涉及通信服务网络【技术领域】，尤其涉及一种回声状态网络的预测方法和预 测装置。
【背景技术】
[0002] 使用神经网络对非线性系统进行预测，具有良好的效果，并得到广泛应用。ESN (Echo State Network，回声状态神经网络）是一种新型的循环网络结构与循环网络学习方 法。ESN具有大规模的内部神经元，使得该ESN具备良好的短期记忆能力，在混沌时间序列 的预测任务中，比传统的神经网络要好很多。
[0003] 在使用ESN回声状态网络对非线性系统的预测中，传统的ESN回声状态网络中的 预测速度比较慢，预测精度不能达到要求。
【发明内容】
[0004] 本发明的实施例提供一种回声状态网路的预测方法和预测装置，能够有效地提升 ESN网络的预测性能，提高预测速度和预测精度。
[0005] 为达到上述目的，本发明的实施例采用如下技术方案：
[0006] 第一方面，提供一种回声状态网络的预测方法，包括：
[0007] 建立回声状态网络的预测模型，所述预测模型的动态池为包括小波神经元的混合 神经元动态池；
[0008] 从输入数据中获取训练集，根据所述训练集对所述预测模型进行预测训练，获取 训练完成后的预测模型；
[0009] 通过预测输入数据对所述训练完成的预测模型进行预测，获取预测过程中的预测 输出数据。
[0010] 结合第一方面，在第一种可能实现的方式中，所述建立回声状态网络的预测模型， 所述预测模型的动态池为包括小波神经元的混合神经元动态池包括：
[0011] 建立回声状态网络的预测模型，所述预测模型包括输入层、中间层和输出层；
[0012] 所述中间层的神经元相互连接形成所述动态池，所述动态池为混合神经元动态 池，所述混合神经元动态池中所述小波神经元的数量与所述混合神经元动态池中神经元总 数量的比例值为预设比例值。
[0013] 其中，所述动态池中的神经元为环形连接拓扑结构，所述环形连接拓扑结构中 所述小波神经元与除所述小波神经元之外的普通神经元交替连接，所述小波神经元为 Sigmoid型小波神经元。
[0014] 结合第一方面的第一种可能实现的方式，在第二种可能实现的方式中，所述从输 入数据中获取训练集，根据所述训练集对所述预测模型进行预测训练，获取训练完成后的 预测模型包括：
[0015] 按照时间顺序，获取预设数量个单位时间内对所述输入数据进行采样得到的所述 训练集；
[0016] 在对所述回声状态网络进行初始化后，将所述训练集作为动态池神经元状态更新 公式的输入数据，获取动态池神经元状态值；
[0017] 根据所述动态池神经元状态值获取所述输入层神经元、所述中间层神经元和所述 输出层神经元的联合状态矩阵；
[0018] 将所述联合状态矩阵和教师数据作为输出权重矩阵公式的输入获取输出权重矩 阵。
[0019] 结合第一方面的第二种可能实现的方式，在第三种可能实现的方式中，所述通过 预测输入数据对所述训练完成的预测模型进行预测，获取预测过程中的预测输出数据包 括：
[0020] 将已选定数据作为数据预测公式的预测输入数据，根据所述预测输入数据和所述 数据预测公式对所述训练完成的预测模型进行预测；
[0021] 获取预测过程中的预测输出数据。
[0022] 结合第一方面的第三种可能实现的方式，在第四种可能实现的方式中，所述动态 池神经元状态更新公式包括：
[0023] X (n+1) =f (ffinu (η+1) +Wx (n) +ffbacky (η))
[0024] 其中，u(n+l)为所述训练集输入数据，χ(η)为更新前的动态池神经元状态值， χ(η+1)为更新后的动态池神经元状态值，y (η)为所述训练集输出数据，Win为输入权重矩 阵，W为动态池的内部权重矩阵，η为非负整数；
[0025] 所述输出权重矩阵公式包括：
[0026] 其中，（Wtjut) tZiT1T,其中，Wwt为所述输出权重矩阵，M为所述联合状态矩阵，T为根 据所述训练集得到的教师数据矩阵。
[0027] 所述数据预测公式包括：
[0028] y (n+1) =fout (Wout (u (n+1), x (n+1), y (n)))
[0029] 其中，u(n+l)为所述预测输入数据，y(n)为预测输出数据，y(n+l)为下一单位时 间的预测输出数据，x(n+l)为更新后的动态池神经元状态值，W rat为所述输出权重矩阵。
[0030] 第二方面，提供一种预测装置，包括：
[0031] 建立单元，用于建立回声状态网络的预测模型，所述预测模型的动态池为包括小 波神经元的混合神经元动态池；
[0032] 训练单元，用于从输入数据中获取训练集，根据所述训练集对所述预测模型进行 预测训练，获取训练完成后的预测模型；
[0033] 预测单元，用于通过预测输入数据对所述训练完成的预测模型进行预测，获取预 测过程中的预测输出数据。
[0034] 结合第二方面，在第一种可能实现的方式中，所述建立单元具体用于：
[0035] 建立回声状态网络的预测模型，所述预测模型包括输入层、中间层和输出层；
[0036] 所述中间层的神经元相互连接形成所述动态池，所述动态池为混合神经元动态 池，所述混合神经元动态池中所述小波神经元的数量与所述混合神经元动态池中神经元总 数量的比例值为预设比例值。
[0037] 其中，所述动态池中的神经元为环形连接拓扑结构，所述环形连接拓扑结构中 所述小波神经元与除所述小波神经元之外的普通神经元交替连接，所述小波神经元为 Sigmoid型小波神经元。
[0038] 结合第二方面的第一种可能实现的方式，在第二种可能实现的方式中，所述训练 单元包括：
[0039] 采样子单元，用于按照时间顺序，获取预设数量个单位时间内对所述输入数据进 行采样得到的所述训练集；
[0040] 第一获取子单元，用于在对所述回声状态网络进行初始化后，将所述训练集作为 动态池神经元状态更新公式的输入数据，获取动态池神经元状态值；
[0041] 第二获取子单元，用于根据所述动态池神经元状态值获取所述输入层神经元、所 述中间层神经元和所述输出层神经元的联合状态矩阵；
[0042] 第三获取子单元，用于将所述联合状态矩阵和教师数据作为输出权重矩阵公式的 输入获取输出权重矩阵。
[0043] 结合第二方面的第二种可能实现的方式，在第三种可能实现的方式中，所述预测 单元用于：
[0044] 将已选定数据作为数据预测公式的预测输入数据，根据所述预测输入数据和所述 数据预测公式对所述训练完成的预测模型进行预测；
[0045] 获取预测过程中的预测输出数据。
[0046] 结合第二方面的第三种可能实现的方式，在第四种可能实现的方式中，所述动态 池神经元状态更新公式包括：
[0047] X (n+1) =f (ffinu (η+1) +Wx (n) +ffbacky (η))
[0048] 其中，u(n+l)为所述训练集输入数据，χ(η)为更新前的动态池神经元状态值， χ(η+1)为更新后的动态池神经元状态值，y (η)为所述训练集输出数据，Win为输入权重矩 阵，W为动态池的内部权重矩阵，η为非负整数；
[0049] 所述输出权重矩阵公式包括：
[0050] 其中，（Wtjut) tZiT1T,其中，Wwt为所述输出权重矩阵，M为所述联合状态矩阵，T为根 据所述训练集得到的教师数据矩阵。
[0051] 所述数据预测公式包括：
[0052] y (n+1) =fout (Wout (u (n+1), x (n+1), y (n)))
[0053] 其中，u(n+l)为所述预测输入数据，y(n)为预测输出数据，y(n+l)为下一单位时 间的预测输出数据，x(n+l)为更新后的动态池神经元状态值，W rat为所述输出权重矩阵。
[0054] 本发明实施例提供一种回声状态网络的预测方法和预测装置，通过建立回声状态 网络的预测模型，预测模型的动态池为包括小波神经元的混合神经元动态池，从输入数据 中获取训练集，根据训练集对预测模型进行预测训练，获取训练完成后的预测模型，通过预 测输入数据对训练完成的预测模型进行预测，获取预测过程中的预测输出数据，能够有效 地提升ESN网络的预测性能，提高预测速度和预测精度。
【专利附图】
【附图说明】
[0055] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以 根据这些附图获得其他的附图。
[0056] 图1为本发明实施例提供一种回声状态网络的预测方法流程示意图；
[0057] 图2为本发明实施例提供一种回声状态网络的预测方法流程示意图；
[0058] 图3为本发明实施例提供一种回声状态网络的动态池神经元环形拓扑结构图；
[0059] 图4为本发明实施例提供的一种预测装置结构示意图；
[0060] 图5为本发明实施例提供的一种预测装置结构示意图。
【具体实施方式】
[0061] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。
[0062] 本发明实施例提供一种回声状态网络的预测方法，如图1所示，包括：
[0063] 101、预测装置建立回声状态网络的预测模型，预测模型的动态池为包括小波神经 元的混合神经元动态池。
[0064] 示例性的，该预测装置可以为电脑等用户设备。该预测装置包括输入层、中间层和 输出层。其中，输入层由若干输入神经兀组成，中间层由若干中间神经兀组成，输出层由若 干输出神经元组成。
[0065] 这里的神经元也可以理解为单元，也即输入层由输入单元组成，中间层由中间单 元组成，输出层由输出单元组成。
[0066] 其中，中间层内部的神经元相互连接形成动态池。本实施例中的动态池为混合神 经元动态池，该混合神经元动态池包括小波神经元和除小波神经元以为的普通神经元组 成。这里的小波神经元可以为Sigmoid型小波神经元。
[0067] 102、预测装置从输入数据中获取训练集，根据训练集对预测模型进行预测训练， 获取训练完成后的预测模型。
[0068] 示例性的，该训练集可以提取网络中心节点IP(Internet Protocol,互联网协议） 数据包。
[0069] 103、预测装置通过预测输入数据对训练完成的预测模型进行预测，获取预测过程 中的预测输出数据。
[0070] 本发明实施例提供一种回声状态网络的预测方法，通过建立回声状态网络的预测 模型，预测模型的动态池为包括小波神经元的混合神经元动态池，从输入数据中获取训练 集，根据训练集对预测模型进行预测训练，获取训练完成后的预测模型，通过预测输入数据 对训练完成的预测模型进行预测，获取预测过程中的预测输出数据，能够有效地提升ESN 网络的预测性能，提高预测速度和预测精度。
[0071] 本发明实施例提供一种回声状态网络的预测方法，如图2所示，包括：
[0072] 201、预测装置建立回声状态网络的预测模型，预测模型的动态池为包括小波神经 元的混合神经元动态池。
[0073] 示例性的，ESN (Echo State Network，回声状态网络）的主要应用领域可以为时 序预测、逆模式、时序分类、非线性控制、图像处理等，是一种新型的人工神经网络。其具有 大规模的内部神经元，使得它具备良好的短期记忆能力。
[0074] 其中，该ESN的预测模型包括输入层、中间层和输出层。输入层有输入神经元组 成，作为该ESN网络的输入，若输入层有K个输入神经元，则该ESN网络的输入维度为K ;输 出层由输出神经元组成，用于输出ESN网络的预测结果，若输出层的输出神经元为L个，则 该ESN网络的输出维度为L ;中间层由中间神经元组成，若中间层由N个中间神经元，输入 层与中间层神经元相互连接构成K*N的输入权重矩阵Win，全部三层与输出层神经元相互连 接组成（K+N+L)*L的输出权重矩阵W tjut，输出层与中间层神经元相互连接组成（L*N)反馈权 重矩阵Wbadt。中间层的中间神经元相互连接构成N*N的中间层内部权重矩阵W，即中间层神 经元相互连接形成动态池。
[0075] 具体的，Win、Wbadt和W都是固定不变的，这里的动态池为混合神经元动态池，混合神 经元动态池中小波神经元的数量与混合神经元动态池中神经元总数量的比例值为预设比 例值。其中，小波神经元为Sigmoid型小波神经元，将小波神经元替换中间层神经元的部分 神经元，也即混合神经元动态池由小波神经元和除小波神经元以外的普通神经元组成。其 中，小波神经元可以为中间层神经元总数量的40%?60%，例如一般取小波神经元占中间层 神经元总数量的50%。
[0076] 具体的，该Sigmoid型小波神经元的激活函数可以采用如下函数：
【权利要求】
1. 一种回声状态网络的预测方法，其特征在于，包括： 建立回声状态网络的预测模型，所述预测模型的动态池为包括小波神经元的混合神经 元动态池； 从输入数据中获取训练集，根据所述训练集对所述预测模型进行预测训练，获取训练 完成后的预测t旲型； 通过预测输入数据对所述训练完成的预测模型进行预测，获取预测过程中的预测输出 数据。
2. 根据权利要求1所述的方法，其特征在于，所述建立回声状态网络的预测模型，所述 预测模型的动态池为包括小波神经元的混合神经元动态池包括： 建立回声状态网络的预测模型，所述预测模型包括输入层、中间层和输出层； 所述中间层的神经元相互连接形成所述动态池，所述动态池为混合神经元动态池，所 述混合神经元动态池中所述小波神经元的数量与所述混合神经元动态池中神经元总数量 的比例值为预设比例值； 其中，所述动态池中的神经元为环形连接拓扑结构，所述环形连接拓扑结构中所述小 波神经元与除所述小波神经元之外的普通神经元交替连接，所述小波神经元为Sigmoid型 小波神经元。
3. 根据权利要求2所述的方法，其特征在于，所述从输入数据中获取训练集，根据所述 训练集对所述预测模型进行预测训练，获取训练完成后的预测模型包括： 按照时间顺序，获取预设数量个单位时间内对所述输入数据进行采样得到的所述训练 集； 在对所述回声状态网络进行初始化后，将所述训练集作为动态池神经元状态更新公式 的输入数据，获取动态池神经元状态值； 根据所述动态池神经元状态值获取所述输入层神经元、所述中间层神经元和所述输出 层神经元的联合状态矩阵； 将所述联合状态矩阵和教师数据作为输出权重矩阵公式的输入获取输出权重矩阵。
4. 根据权利要求3所述的方法，其特征在于，所述通过预测输入数据对所述训练完成 的预测模型进行预测，获取预测过程中的预测输出数据包括： 将已选定数据作为数据预测公式的预测输入数据，根据所述预测输入数据和所述数据 预测公式对所述训练完成的预测模型进行预测； 获取预测过程中的预测输出数据。
5. 根据权利要求4所述的方法，其特征在于，所述动态池神经元状态更新公式包括： x (n+1) =f (ffinu (n+1) +ffx (n) +ffbacky (n)) 其中，u(n+l)为所述训练集输入数据，x(n)为更新前的动态池神经元状态值，x(n+l) 为更新后的动态池神经元状态值，y(n)为所述训练集输出数据，Win为输入权重矩阵，W为动 态池的内部权重矩阵，n为非负整数； 所述输出权重矩阵公式包括： 其中，（W^) yM^T，其中，Wwt为所述输出权重矩阵，M为所述联合状态矩阵，T为根据所 述训练集得到的教师数据矩阵； 所述数据预测公式包括： y (n+1) =fout (ffout (u (n+1), x (n+1), y (n))) 其中，u(n+l)为所述预测输入数据，y(n)为预测输出数据，y(n+l)为下一单位时间的 预测输出数据，x(n+1)为更新后的动态池神经元状态值，为所述输出权重矩阵。
6. -种预测装置，其特征在于，包括： 建立单元，用于建立回声状态网络的预测模型，所述预测模型的动态池为包括小波神 经元的混合神经元动态池； 训练单元，用于从输入数据中获取训练集，根据所述训练集对所述预测模型进行预测 训练，获取训练完成后的预测模型； 预测单元，用于通过预测输入数据对所述训练完成的预测模型进行预测，获取预测过 程中的预测输出数据。
7. 根据权利要求6所述的装置，其特征在于，所述建立单元具体用于： 建立回声状态网络的预测模型，所述预测模型包括输入层、中间层和输出层； 所述中间层的神经元相互连接形成所述动态池，所述动态池为混合神经元动态池，所 述混合神经元动态池中所述小波神经元的数量与所述混合神经元动态池中神经元总数量 的比例值为预设比例值； 其中，所述动态池中的神经元为环形连接拓扑结构，所述环形连接拓扑结构中所述小 波神经元与除所述小波神经元之外的普通神经元交替连接，所述小波神经元为Sigmoid型 小波神经元。
8. 根据权利要求7所述的装置，其特征在于，所述训练单元包括： 采样子单元，用于按照时间顺序，获取预设数量个单位时间内对所述输入数据进行采 样得到的所述训练集； 第一获取子单元，用于在对所述回声状态网络进行初始化后，将所述训练集作为动态 池神经元状态更新公式的输入数据，获取动态池神经元状态值； 第二获取子单元，用于根据所述动态池神经元状态值获取所述输入层神经元、所述中 间层神经元和所述输出层神经元的联合状态矩阵； 第三获取子单元，用于将所述联合状态矩阵和教师数据作为输出权重矩阵公式的输入 获取输出权重矩阵。
9. 根据权利要求8所述的装置，其特征在于，所述预测单元用于： 将已选定数据作为数据预测公式的预测输入数据，根据所述预测输入数据和所述数据 预测公式对所述训练完成的预测模型进行预测； 获取预测过程中的预测输出数据。
10. 根据权利要求9所述的装置，其特征在于，所述动态池神经元状态更新公式包括： x (n+1) =f (ffinu (n+1) +ffx (n) +ffbacky (n)) 其中，u(n+l)为所述训练集输入数据，x(n)为更新前的动态池神经元状态值，x(n+l) 为更新后的动态池神经元状态值，y(n)为所述训练集输出数据，Win为输入权重矩阵，W为动 态池的内部权重矩阵，n为非负整数； 所述输出权重矩阵公式包括： 其中，（W^) yM^T，其中，Wwt为所述输出权重矩阵，M为所述联合状态矩阵，T为根据所 述训练集得到的教师数据矩阵； 所述数据预测公式包括： y (n+1) =fout (ffout (u (n+1), x (n+1), y (n))) 其中，u(n+l)为所述预测输入数据，y(n)为预测输出数据，y(n+l)为下一单位时间的 预测输出数据，x(n+1)为更新后的动态池神经元状态值，为所述输出权重矩阵。
【文档编号】G06N3/02GK104424507SQ201310379811
【公开日】2015年3月18日 申请日期:2013年8月28日 优先权日:2013年8月28日
【发明者】杨凤琴 申请人:杨凤琴