一种基于BERT的电网故障诊断方法

一种基于bert的电网故障诊断方法
技术领域
1.本发明属于电网故障诊断领域，具体为一种基于bert的电网故障诊断方法，适用于故障信息源为电网故障告警信息的故障诊断方法。


背景技术：

2.随着电力信息化的快速建设以及电网智能化的全面推进，海量文本、音频和图像等数据分布于基建、运行、调控、检修等多个电网资产管理环节。电网监控告警信息作为数据采集与监视控制scada(supervisory control and data acquisition)系统产生的中文文本信息，是调控人员监视电网运行状态的重要方式。
3.智能化电网故障诊断是电网智能调度的典型应用之一，对于提高电网调度决策智能化水平、保证电网运行可靠性具有重要的意义。但是面对既包含保护动作、断路器跳闸等开关量信息，又包含装置异常、电压越限、控制回路断线、储能到位等非故障关键信息的海量告警信息，传统的人工处理电网告警信息的方法已经日趋无法满足当前电网的发展现状。如何快速、准确、智能地对电网故障进行诊断成为电网故障诊断研究的难点。
4.以自然语言处理nlp(natural language processing)和深度学习技术为代表的新一代人工智能技术的崛起，为面向告警信息，实现智能化的电网诊断带来了新的解决思路和方法。


技术实现要素：

5.为了解决上述问题，本发明提供一种基于bert的电网故障诊断方法。此方法首先通过仿真软件批量生成告警信息样本，并混入某地区电网实测故障样本，以提高样本复杂度。以8:2的比例将样本划分为训练集和测试集。再对样本进行数据预处理，即切词。然后对切词结果进行语义嵌入、句嵌入和位置嵌入，以获得模型的输入文本向量。最后将训练集输入bert模型以训练电网故障诊断模型，输出有关故障特征的概要性描述文本，用测试集测试模型的适用性。
6.一种基于bert的电网故障诊断方法，所述方法包括：
7.s1、采集电网故障时的告警信息文本；
8.s2、对告警信息文本进行切词处理；
9.s3、对告警信息文本嵌入语义特征、句特征以及位置特征，将三大特征相加构成模型输入向量；
10.s4、构建基于bert的电网故障诊断模型；
11.s5、将所述输入向量输入电网故障诊断模型，对电网故障进行诊断，并输出诊断结果。
12.优选地，所述基于bert的电网故障诊断方法的输入为电网的告警信息文本，输出为有关故障特征的概要性描述文本，摆脱了对人工设计诊断逻辑的依赖，即实现了端到端的电网故障诊断。
13.优选地，所述步骤s1包括：
14.电网发生故障后，与故障设备相关的保护和开关动作信息将实时上传至scada系统。与此同时，scada系统还将接收一些诸如装置故障、开关机构弹簧未储能等方面的告警信息，这些信息按照时间先后顺序进行记录，生成故障时的告警信息集合。采集所述告警信息集合构建电网故障诊断模型的数据样本集。以8:2的比例将样本划分为训练集和测试集。
15.优选地，所述步骤s2包括：
16.基于jieba切词技术，并补充电力领域相关的命名实体，如厂站名、线路名、变电站名等词汇，构建电网故障诊断词典，由此对告警信息文本进行切词处理。
17.优选地，所述步骤s3包括：
18.采用word2vec模型，将切词结果利用词的上下文信息，生成表示词语间关联关系的低维词向量，即语义特征向量；将告警信息文本的奇数句文本和偶数句文本分别嵌入ea和eb以学习相邻告警信息语句的逻辑关系；对切词结果进行位置编码，以确定每个词语的位置信息，学习各词语的时序特征和词语间的相关性。
19.优选地，所述步骤s3包括：
20.对于输入的告警信息样本，经过特征嵌入，将三种嵌入向量加和，即语义嵌入向量、句嵌入向量和位置嵌入向量相加输入bert模型。
21.优选地，所述步骤s4包括：
22.bert模型的语义提取层是一个以transformer编码器为基本单元的多层双向解码器，主要包括注意力机制、层标准化和残差连接以及前馈神经网络三个部分。
23.优选地，所述步骤s4包括：
24.所述注意力机制由词嵌入矩阵乘以三个矩阵wq、wk、wv得到query、key、value三个矩阵，记为q、k、v，其维度分别为n
×dk
，n
×dk
，n
×dv
，q和k的维度相同；q、k、v的计算公式：
25.q＝linear(x)＝xwq26.k＝linear(x)＝xwk27.v＝linear(x)＝xwv28.式中：linear是线性映射；x是词嵌入矩阵；wq、wk、wv是权重矩阵；
29.注意力机制的输出为：
[0030][0031]
式中：是将注意力机制转换为标准正态分布，dk为惩罚因子避免qk
t
过大；softmax()是归一化，指对文本中每个单词与其他单词的注意力权重求和。
[0032]
层标准化是通过归一化神经网络中的隐藏层来加速标准正态分布的模型训练，从而加速模型收敛，其计算公式为：
[0033][0034]
[0035][0036]
式中：x
ij
为词嵌入矩阵中的每一个向量，μi是所述矩阵行的平均值；σ
i2
是所述矩阵行的方差；m为矩阵行数；
⊙
是矩阵中元素的乘法；α和β是模型训练参数；ε用于防止分母为0；
[0037]
前馈神经网络由2层线性映射形成，由relu激活函数激活，最后将经过归一化的数据输入前馈神经网络，其计算公式为
[0038]
x
hidden
＝relu(linear(x))
[0039]
优选地，所述步骤s4包括：
[0040]
bert模型的无监督预训练包括2个训练任务，即遮蔽语言模型(masked language model，mlm)和下句预测(next sentence prediction，nsp)。
[0041]
mlm任务的方法是随机遮蔽15％的告警信息样本的输入，训练模型自学习预测遮蔽部分的原始词汇。其中，80％被遮挡词用masked token来代替；10％用一个随机词汇代替；10％保持这个词不变。在其对应的输出表示向量后再接入一个softmax层以预测被遮蔽的词或字，在多次预测的过程中对bert的参数进行训练。
[0042]
nsp任务学习两个句子之间的关联关系。通过在故障诊断模型中预训练一个二分类模型，在这一任务中有50％的概率从语料库中抽取上下文连续的两句话，另外50％的概率抽取上下文不连续的两句话，模型自学习预测抽取的两个句子是否为实际文章中连续的句子。
[0043]
为了能够有效的利用告警信息数据，提升电网故障诊断的速度和准确率，减少对人工设计诊断策略和电网拓扑结构的依赖，本发明的方法将通过仿真软件生成的批量告警信息样本，融合某地区电网实测故障样本，构建故障诊断模型的样本数据集；以8:2的比例将样本数据集划分为训练集和测试集；再对样本进行数据预处理，即切词；然后对切词结果进行语义嵌入、句嵌入和位置嵌入，以获得模型的输入文本向量；最后将训练集输入bert模型以训练电网故障诊断模型，用测试集测试模型的适用性。本发明将电网故障诊断问题转化为一个自然语言处理问题，利用深度学习网络和自然语言处理技术，模型能够通过输入的告警信息样本，自主学习告警信息文本中的故障特征，直接输出有关故障特征的概要性描述文本，实现端到端的电网故障诊断，大幅度节约了人力成本。
附图说明
[0044]
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本技术的一部分，并不构成对本发明实施例的限定；
[0045]
图1为根据本发明一个优选实施例中所述基于bert的电网故障诊断方法流程框图
[0046]
图2为根据本发明一个优选实施例中所述bert模型的输入表示
[0047]
图3为根据本发明一个优选实施例中所述transformer编码器结构
[0048]
图4为根据本发明一个优选实施例中所述mlm任务方法示意图
[0049]
图5为根据本发明一个优选实施例中所述nsp任务方法示意图
具体实施方式
[0050]
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
[0051]
本发明提供一种基于bert的电网故障诊断方法。此方法首先通过仿真软件批量生成告警信息样本，并混入某地区电网实测故障样本，以提高样本复杂度。以8:2的比例将样本划分为训练集和测试集。再对样本进行数据预处理，即切词。然后对切词结果进行语义嵌入、句嵌入和位置嵌入，以获得模型的输入文本向量。最后将训练集输入bert模型以训练电网故障诊断模型，输出有关故障特征的概要性描述文本，用测试集测试模型的适用性。
[0052]
参阅图1，所述方法具体包括如下步骤：
[0053]
s1、采集电网故障时的告警信息文本；
[0054]
具体的，电网发生故障后，与故障设备相关的保护和开关动作信息将实时上传至scada系统。与此同时，scada系统还将接收一些诸如装置故障、开关机构弹簧未储能等方面的告警信息，这些信息按照时间先后顺序进行记录，生成故障时的告警信息集合。采集所述告警信息集合构建电网故障诊断模型的数据样本集。以8:2的比例将样本划分为训练集和测试集。
[0055]
s2、对告警信息文本进行切词处理；
[0056]
具体的，基于jieba切词技术，并补充电力领域相关的命名实体，如厂站名、线路名、变电站名等词汇，构建电网故障诊断词典，由此对告警信息文本进行切词处理。
[0057]
s3、对告警信息文本嵌入语义特征、句特征以及位置特征，将三大特征相加构成模型输入向量；
[0058]
具体的，参阅图2，采用word2vec模型，将切词结果利用词的上下文信息，生成表示词语间关联关系的低维词向量，即语义特征向量；将告警信息文本的奇数句文本和偶数句文本分别嵌入ea和eb，ea赋值为1，eb赋值为0，以学习相邻告警信息语句的逻辑关系；对切词结果进行位置编码，以确定每个词语的位置信息，学习各词语的时序特征和词语间的相关性。
[0059]
对于输入的告警信息样本，经过特征嵌入，将三种嵌入向量加和，即语义嵌入向量、句嵌入向量和位置嵌入向量相加得到词嵌入矩阵，输入bert模型。
[0060]
s4、构建基于bert的电网故障诊断模型。
[0061]
具体的，参阅图3，bert模型的语义提取层是一个以transformer编码器为基本单元的多层双向解码器，包括注意力机制、层标准化和残差连接以及前馈神经网络三个部分。图3所示输入为待向量嵌入的告警信息文本，输出为待解码的故障情况描述文本。
[0062]
注意力机制输入为词嵌入矩阵，由s3所得词嵌入矩阵乘以三个矩阵wq、wk、wv得到query、key、value三个矩阵，记为q、k、v，其维度分别为n
×dk
，n
×dk
，n
×dv
，q和k的维度相同。q、k、v的计算公式：
[0063]
q＝linear(x)＝xwq[0064]
k＝linear(x)＝xwk[0065]
v＝linear(x)＝xwv[0066]
式中：linear是线性映射；x是词嵌入矩阵；wq、wk、wv是权重矩阵。
[0067]
注意力机制的输出为：
[0068][0069]
式中：是将注意力机制转换为标准正态分布，dk为惩罚因子避免qk
t
过大；softmax()是归一化，指对文本中每个单词与其他单词的注意力权重求和。
[0070]
层标准化是通过归一化神经网络中的隐藏层来加速标准正态分布的模型训练，从而加速模型收敛，其计算公式为
[0071][0072][0073][0074]
式中：x
ij
为词嵌入矩阵中的每一个向量，μi是由上式求解的矩阵行的平均值；σ
i2
是通过上式求解的矩阵行的方差；
⊙
是矩阵中元素的乘法；α和β是模型训练参数；ε用于防止分母为0。
[0075]
前馈神经网络由2层线性映射形成，由relu激活函数激活，最后将经过归一化的数据输入前馈神经网络，其计算公式为
[0076]
x
hidden
＝relu(linear(x))
[0077]
bert模型的无监督预训练包括2个训练任务，即遮蔽语言模型(masked language model，mlm)和下句预测(next sentence prediction，nsp)。
[0078]
具体的，参阅图4，mlm任务的方法是随机遮蔽15％的告警信息样本的输入，训练模型自学习预测遮蔽部分的原始词汇。其中，80％被遮挡词用masked token来代替；10％用一个随机词汇代替；10％保持这个词不变。在其对应的输出表示向量后再接入一个softmax层以预测被遮蔽的词或字，在多次预测的过程中对bert的参数进行训练。
[0079]
具体的，参阅图5，nsp任务学习两个句子之间的关联关系。通过在故障诊断模型中预训练一个二分类模型，在这一任务中有50％的概率从语料库中抽取上下文连续的两句话，另外50％的概率抽取上下文不连续的两句话，模型自学习预测抽取的两个句子是否为实际文章中连续的句子。
[0080]
故障发生时，将scada系统采集到的告警信息文本，通过语义特征嵌入、句特征嵌入、位置特征嵌入，生成能被计算机识别的词嵌入向量矩阵；将向量矩阵输入transformer编码器，通过注意力机制自学习文本中的故障特征；并通过mlm任务和nsp任务学习文本中上下文和前后句之间的逻辑关系；结合学习到的故障特征和逻辑关系，生成故障情况描述文本向量矩阵；通过解码器输出故障情况描述文本。
[0081]
为了能够有效的利用告警信息数据，提升电网故障诊断的速度和准确率，减少对人工设计诊断策略和电网拓扑结构的依赖，本发明的方法将通过仿真软件生成的批量告警信息样本，融合某地区电网实测故障样本，构建故障诊断模型的样本数据集；以8:2的比例将样本数据集划分为训练集和测试集；再对样本进行数据预处理，即切词；然后对切词结果进行语义嵌入、句嵌入和位置嵌入，以获得模型的输入文本向量；最后将训练集输入bert模
型以训练电网故障诊断模型，用测试集测试模型的适用性。本发明将电网故障诊断问题转化为一个自然语言处理问题，利用深度学习网络和自然语言处理技术，模型能够通过输入的告警信息样本，自主学习告警信息文本中的故障特征，直接输出有关故障特征的概要性描述文本，实现端到端的电网故障诊断，大幅度节约了人力成本。
[0082]
以上仅为本发明的较佳实施例，但并不限制本发明的专利范围，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本发明说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本发明专利保护范围之内。