本发明涉及属于电缆系统的终端接头故障预警技术领域。
背景技术：
近年来，随着计算机技术和电力电子技术的飞速发展，依靠各类传感器的电力设备在线监测技术得到广泛应用，用于监测电力设备运行状态和健康状况，如开关柜电缆接头及电力设备的局部放电监测传感器。基于各类传感器监测得到的特征参量可以分析电力设备当前的运行状态和健康水平；此外，利用在线监测数据，还可以通过预测监测的特征量的趋势来判断未来健康状态。
长短期记忆(lstm)神经网络具有深度学习的能力，作为循环神经网络(rnn)变体模型，lstm神经网络通过在结构设计中引入记忆模块，有效规避了普通rnn在训练过程中存在的梯度消失与梯度爆炸等问题，目前已被广泛应用于语音识别、时间序列预测等众多领域。神经网络超参数是指在机器学习模型开始学习过程之前人为设置的参数；在时间序列的预测中，对网络的训练和预测精度起着至关重要的作用。
目前超参数寻优过程采用网格搜索暴力穷举，耗时长且浪费计算资源；采用随机搜索得到的寻优结果无法保证；贝叶斯优化在寻优过程，某些时候会由于假设的先验模型的原因导致预测效果不佳。深度学习模型中，超参数的选择对神经网络预测的效果有较大的影响。目前的神经网络超参数寻优方法存在的不足，针对深度学习模型，重复的实验不仅效率低而且耗费时间。
技术实现要素：
本发明要解决的技术问题是提供一种电缆接头局部放电超声波序列预测方法，它可以提高超参数寻优的速度和效果，从而提高神经网络的预测精度。
为解决上述技术问题，本发明所采取的技术方案是：
一种电缆接头局部放电超声波序列预测方法，通过超声波传感器对高压开关柜电缆仓中的电缆接头处进行超声波在线监测，以检测电缆接头处因局部放电产生的超声波信号，以按一定周期所采集的超声波传感器所检测的超声波信号数据形成超声波序列；方法基于lstm神经网络算法对电缆接头局部放电引起的超声波序列进行预测，包括如下步骤：
a.建立lstm神经网络算法构架，以所采集的超声波序列作为lstm神经网络算法公式的输入变量，从而确定针对局部放电超声波序列预测方法的lstm神经网络算法构架，则：
yn+1＝f(x1,x2,…,xn)
式中，x1,x2,…,xn为输入超声波序列，yn+1为超声波序列预测值；
b.对lstm神经网络算法构架中的超参数进行优化，超参数包括输入时间窗口长度l、隐含层数目nh、隐含层维数dh、学习率rl和批次尺寸s，选择nh＝2；最大迭代次数emax定为1000，l、dh、s均为正整数，预测模型l范围[5，20]、dh范围[10，80]，s范围[1，60]，rl范围[0.001，0.002，0.005，0.008，0.01，0.02，0.05]；
选择l、dh、s、rl四个超参数构成四维搜索空间，任意一个
待优化超参数的约束可表示如下：
式中，l为输入时间窗口长度，dh为隐含层维数，rl为学习率，s
为批次尺寸；
c.确定lstm神经网络算法中的目标函数，基于下述的lstm神经网络预测框架，以局部放电超声波预测数据的均方根误差ermse为寻优的目标函数，表达公式为：
式中，yi和
d.预测模型及超参数优化的lstm神经网络架构：
ft＝σ(wf·[ht-1,xt]+bf)
it＝σ(wi·[ht-1,xt]+bi)
ot＝σ(wo·[ht-1,xt]+bo)
式中，xt为当前超声波输入数据；ht-1为前一时刻的隐含层状态；ft、it、ot分别为t时刻遗忘门、输入门、输出门的状态值；wf、wi、wo分别为遗忘门、输入门、输出门的权重矩阵；bf、bi、bo分别为遗忘门、输入门、输出门的偏置项；
lstm神经网络最终的输出由输出门状态值ot和单元状态ct共同确定：
it＝σ(wi·[ht-1,xt]+bi)
ot＝σ(wo·[ht-1,xt]+bo)
式中，wc、bc分别为输入单元状态的权重矩阵和偏置项；
利用lstm神经网络预测模型的表达式如下:
yn+1＝f(x1,x2,…,xn)
式中，x1,x2,…,xn为输入状态量，yn+1为输出量；
e.待优化超参数解空间的粒子群划分，采用自适应pso双层优化求解超参数；设lstm预测神经网络超参数的解空间
式中，dij为两个解之间的欧式距离，dc为截断距离，其大小取所有解向量欧式距离排序后的前1％～2％；
对于局部密度ρi最大的样本，其中
根据计算结果，选择ρ和δ都较大的粒子作为聚类中心；对于其他粒子
超参数的寻优过程，基于上述lstm神经网络预测模型架构，依据对lstm神经网络超参数寻优解空间子群划分结果，根据适应度函数，即目标函数的大小将子群中的粒子划分为普通粒子与局部最优粒子；最优粒子为使目标函数最小的解，其余均为普通粒子；普通粒子在子群中的最优粒子的指引下扩展局部搜索能力，更新公式如下：
式中，w为惯性权重；c1、c2表示加速度常数，调节学习最大步长；rand1、rand2两个随机参数，取值范围[0,1]；pc,d为第c个子群中的最优粒子；
对于局部最优粒子，其更新方法是综合超参数寻优解空间各子集的信息，以加强子群间的信息交互；同时，顶层的最优粒子也来指导底层各子群局部最优粒子，使得底层的每个子群向全局最优解移，更新公式如下：
式中，c3表示加速度常数，调节学习最大步长；rand3两个随机参数，取值范围[0,1]；pc,d为第c个子群中的最优粒子，
当达到最大迭代次数或者误差满足设置要求时，停止迭代，得到最优超参数，带入lstm神经网络预测模型进行超声波序列的预测；
f.对电缆接头的局部放电超声波序列进行预测：
将所采集的输入时间窗口长度l内的超声波序列按采集时间顺序依次输入lstm神经网络算法构架，根据步骤b所确定的待优化超参数，运用步骤e的自适应粒子群双层优化算法，在步骤c和步骤d所对应的lstm神经网络预测模型的目标函数和框架下进行超参数优化训练；寻优使目标函数满足所预定的误差范围的超参数，带入步骤a中的lstm神经网络预测模型中，从而预测出下一个超声波信号数据。
本发明进一步改进在于：
在超参数寻优过程中，预定的所述目标函数的误差范围为：ermse≤0.8。
采用上述技术方案所产生的有益效果在于：
本发明提出了一种长短期神经网络超参数优化方法，根据lstm应用场景，确定目标函数，待优化超参数的类型和范围；应用自适应pso双层优化对lstm预测模型进行寻优，利用局部密度和粒子间距离快速聚类，实现种群的划分；子群中的不用粒子采用不同方法进行更新，同时各子群局部最优粒子通过信息共享以增加种群的多样性，防止陷入局部最优；再以子群为底层，子群的局部最优粒子为顶层，通过顶层与底层的交互，加强顶层种群和底层子群的寻优能力，帮助全局最优解跳出局部最优。这种自适应pso双层优化方法提高了超参数寻优的速度，避免了暴力穷举浪费时间和计算资源；采用自适应快速搜索聚类方法划分子群寻优，不需要知道先验概率，避免在某些时候会由于假设的先验模型的原因导致预测效果不佳。
本发明利用自适应pso改变粒子学习模式，从而提高种群的多样性，提高超参数寻优的速度和效果。通过自适应pso搜索神经网络超参数，提高神经网络的预测精度。通过对系统采集的超声波数据的趋势进行预测，来及早发现电缆接头局部放电未来变化情况，及时预警，保证系统安全。
具体实施方式
下面将结合具体实施例对本发明进行进一步详细说明。
本发明基于lstm神经网络软件实现。
通过超声波传感器对高压开关柜电缆仓中的电缆接头处进行超声波在线监测，以检测电缆接头处因局部放电产生的超声波信号，以按一定周期所采集的超声波传感器所检测的超声波信号数据形成超声波序列；方法基于lstm神经网络算法对电缆接头局部放电引起的超声波序列进行预测，包括如下步骤：
a.建立lstm神经网络算法构架，以所采集的超声波序列作为lstm神经网络算法公式的输入变量，从而确定针对局部放电超声波序列预测方法的lstm神经网络算法构架，则：
yn+1＝f(x1,x2,…,xn)
式中，x1,x2,…,xn为输入超声波序列，yn+1为超声波序列预测值；
b.对lstm神经网络算法构架中的超参数进行优化，超参数的选择对于模型性能的提升起着至关重要的作用，因此，需要根据不同的应用场景寻求网络参数，本发明包括确定lstm神经网络算法中的超参数的类型与优化方法，超参数包括输入时间窗口长度l、隐含层数目nh、隐含层维数dh、学习率rl和批次尺寸s，一般神经网络隐含层数为2层，即可达到较好的拟合性能，故本发明选择nh＝2；最大迭代次数emax定为1000，l、dh、s均为正整数，预测模型l范围[5，20]、dh范围[10，80]，s范围[1，60]，rl范围[0.001，0.002，0.005，0.008，0.01，0.02，0.05]；
选择l、dh、s、rl四个超参数构成四维搜索空间，任意一个
待优化超参数的约束可表示如下：
式中，l为输入时间窗口长度，dh为隐含层维数，rl为学习率，s
为批次尺寸；
c.确定lstm神经网络算法中的目标函数，基于下述的lstm神经网络预测框架，以局部放电超声波预测数据的均方根误差ermse为寻优的目标函数，表达公式为：
式中，yi和
d.预测模型及超参数优化的lstm神经网络架构：
lstm通过在隐含层各神经元中增加记忆单元，从而使时间序列上的记忆信息可控。信号序列在隐藏层神经元间传递时通过3个可控门——输入门(inputgate)、遗忘门(forgetgate)、输出门(outputgate)，控制之前信息和当前信息的记忆和遗忘程度，具备了长期记忆功能。
ft＝σ(wf·[ht-1,xt]+bf)
it＝σ(wi·[ht-1,xt]+bi)
ot＝σ(wo·[ht-1,xt]+bo)
式中，xt为当前超声波输入数据；ht-1为前一时刻的隐含层状态；ft、it、ot分别为t时刻遗忘门、输入门、输出门的状态值；wf、wi、wo分别为遗忘门、输入门、输出门的权重矩阵；bf、bi、bo分别为遗忘门、输入门、输出门的偏置项；
lstm神经网络最终的输出由输出门状态值ot和单元状态ct共同确定：
it＝σ(wi·[ht-1,xt]+bi)
ot＝σ(wo·[ht-1,xt]+bo)
式中，wc、bc分别为输入单元状态的权重矩阵和偏置项；
利用lstm神经网络预测模型的表达式如下:
yn+1＝f(x1,x2,…,xn)
式中，x1,x2,…,xn为输入状态量，yn+1为输出量；
e.待优化超参数解空间的粒子群划分，采用自适应pso双层优化求解超参数。pso算法其实是一种群体智能算法，算法将群体中的个体看作多维搜索空间中的一个粒子，每个粒子代表lstm神经网络预测模型超参数寻优解空间的一个可能解。它通过对局部放电的lstm预测神经网络的解空间
设lstm预测神经网络超参数的解空间
式中，dij为两个解之间的欧式距离，dc为截断距离，其大小取所有解向量欧式距离排序后的前1％～2％；
对于局部密度ρi最大的样本，其中
lstm网络解空间子群中心
根据计算结果，选择ρ和δ都较大的粒子作为聚类中心；对于其他粒子
超参数的寻优过程，基于上述lstm神经网络预测模型架构，依据对lstm神经网络超参数寻优解空间子群划分结果，根据适应度函数，即目标函数的大小将子群中的粒子划分为普通粒子与局部最优粒子；最优粒子为使目标函数最小的解，其余均为普通粒子；普通粒子在子群中的最优粒子的指引下扩展局部搜索能力，更新公式如下：
式中，w为惯性权重；c1、c2表示加速度常数，调节学习最大步长；rand1、rand2两个随机参数，取值范围[0,1]；pc,d为第c个子群中的最优粒子；
对于局部最优粒子，其更新方法是综合超参数寻优解空间各子集的信息，以加强子群间的信息交互；同时，顶层的最优粒子也来指导底层各子群局部最优粒子，使得底层的每个子群向全局最优解移，更新公式如下：
式中，c3表示加速度常数，调节学习最大步长；rand3两个随机参数，取值范围[0,1]；pc,d为第c个子群中的最优粒子，
当达到最大迭代次数或者误差满足设置要求时，停止迭代，得到最优超参数，带入lstm神经网络预测模型进行超声波序列的预测；
f.对电缆接头的局部放电超声波序列进行预测：
将所采集的输入时间窗口长度l内的超声波序列按采集时间顺序依次输入lstm神经网络软件，根据步骤b所确定的待优化超参数，运用步骤e的自适应粒子群双层优化算法，在步骤c和步骤d所对应的lstm神经网络预测模型的目标函数和框架下进行超参数优化训练；寻优使目标函数满足所预定的误差范围的超参数，带入步骤a中的lstm神经网络预测模型中，从而预测出下一个超声波信号数据。通过对系统采集的超声波数据的趋势进行预测，来及早发现电缆接头局部放电未来变化情况，及时预警，保证系统安全。
在超参数寻优过程中，预定的所述目标函数的误差范围为：ermse≤0.8。
该方法利用聚类思想，将种群自适应地划分成若干子群，运用不同的学习策略分布对不同类型的粒子进行更新。然后依据划分的种群，建立双层多种群策略，即将各子群作为底层，子群的全局最优解进入顶层，形成新的种群。在顶层继续搜索最优解，在寻找过程中更新所有顶层粒子位置，并将更新后的位置信息返回对应子群，继续指导底层各子群寻找最优解；通过双层交互，加强顶层种群和底层子群的寻优能力，帮助全局最优解跳出局部最优，以高效快速的选择神经网络超参数，进而改善算法的预测精度。
为了寻求合适的超参数，以构建良好的网络结构和提高预测精度，提出来一种自适应学习策略的粒子群(pso)优化算法的超参数寻优方法。粒子群优化算法(particalswarmoptimizationpso)，粒子群中的每一个粒子都代表一个问题的可能解，通过粒子个体的简单行为，群体内的信息交互实现问题求解的智能性。由于pso操作简单、收敛速度快，因此在函数优化、图像处理、大地测量等众多领域都得到了广泛的应用。为避免陷于局部最优解，需要调整pso的参数来平衡算法的全局探测和局部开采能力。因此，利用自适应pso改变粒子学习模式，从而提高种群的多样性。通过自适应pso搜索神经网络超参数，提高预测性能。