本发明涉及变电站报警信息处理,具体来说是集控系统中报警信息目标模型的构建方法、系统、应用。
背景技术:
1、随着电网建设不断推进,变电站数量迅速增加,传统监测方法带来了大量告警信息,给监测人员带来巨大压力。这些独立系统的告警可能导致监控器遗漏重要信息,延误故障处理时间。现有监测方法依赖人工经验判断信号相关性和可能的设备故障,缺乏直观了解设备故障对电网的影响的技术手段。
2、而当前的语言模型是transformer模型,transformer模型是一种用于自然语言处理和其他序列学习任务的深度学习模型,它由google于2017年提出。transformer模型的主要创新是自注意力机制,它允许模型同时考虑输入序列中的所有位置,并且在处理长序列时能够保持良好的性能。但是transformer模型对于计算机的内存需求很大,并且其时间与空间复杂度为o(n2),n为输入时间序列长度,而mamba模型的时间与空间复杂度是一次的,其对计算机的内存需求大大减少。transformer模型的训练速度很快,但是其测试速度是非常慢的,而mamba模型在有着快速的训练速度的同时,也保持了快速的测试速度。
技术实现思路
1、本发明所要解决的技术问题在于基于mamba模型,提供一种计算量小、训练速度快的报警信息目标模型构建方法。
2、本发明通过以下技术手段实现解决上述技术问题的:
3、集控系统中报警信息目标模型的构建方法,包括如下步骤:
4、数据处理的步骤:采用word2vec模型表示预处理后的监测报警信息的分布向量;
5、改进的mamba模型构建:
6、句子编码压缩:在mamba模型中的编码器之后添加compression layer,利用compression layer对所述报警信息的句子向量进行压缩,进而缩小报警信息的长度;
7、句子编码恢复:在mamba模型中的解码器之前添加recover layer将句子恢复到原来的长度;
8、模型训练步骤:对预处理后的检测报警信息的分布向量进行人工标记报警信息的等级,制作训练集对所述改进的mamba模型进行训练,得到目标模型。
9、进一步的,采用word2vec模型表示预处理后的监测报警信息的分布向量的具体处理过程为:
10、采用对上下文所有输入词向量求和平均的方法从输入层映射到投影层,设训练样本由上下文(con(),)中的当前中心词和其他c个词组成,词向量由下式计算:
11、(1)
12、式中,为中心词向量,为上下文的词向量;
13、将每个监控报警信息转换为句子向量:对监控报警信息中所有单词的向量进行平均,得到具有相同单词向量维数的监控报警信息的分布式向量表示;计算公式为:
14、(2)
15、式中表示一条监控报警信息;表示中的单词数;为监控报警信息中的文字;表示的向量;表示监控报警消息的分布式向量表示。
16、进一步的,所述改进的mamba模型构建过程为:
17、句子编码压缩:设压缩窗口window=n,表示将相邻的n个词汇压缩在一起,跳跃步长为stride=m,表示每隔m个词汇进行一次压缩,压缩完成后,报警信息的句子向量将缩小为原来的;压缩过程中,每个压缩窗口都对应一个可训练种子参数,对应压缩窗口,通过式(3)计算每个词汇的权重,与中的每个向量的点积大小表示当前向量的重要程度,并通过softmax将点积归一化得到权重,再通过式(4)对中的向量加权求和得到压缩槽位,最终将所有槽位堆叠到一起构成压缩后的句子向量;
18、(3)
19、(4)
20、句子编码恢复:根据压缩时的窗口大小以及权重值,分配给权重值对应的槽位,保证句子信息保持不变。
21、进一步的,模型训练步骤具体包括:
22、首先对改进的mamba模型的环境进行配置:
23、构建离散结构化状态空间模型,连续信号的状态空间模型可由以下公式表示:
24、(5)
25、式中,为状态向量,描述离散结构化状态空间模型在t时刻的状态,为状态向量导数,即状态向量的变化率,为输出向量,描述离散结构化状态空间模型在t时刻的输出,为状态转移矩阵,描述离散结构化状态空间模型状态向量在单位时间内的变化,为输入矩阵,描述外部输入对离散结构化状态空间模型状态的影响,为输出矩阵,描述离散结构化状态空间模型状态向量如何映射到输出向量;
26、采用零阶保持器对连续的状态空间表达式进行离散化,记
27、(6)
28、则可得状态空间的离散形式:
29、(7)
30、其中,、为过渡矩阵,为步长,为离散结构化状态空间模型在第k步的状态向量,为离散结构化状态空间模型在第k步的输入向量,为离散结构化状态空间模型在第k步的输出向量;
31、采用hippo矩阵对a矩阵进行初始化,初始化方式如下列公式。
32、(8)
33、式中,为矩阵第n行第k列的元素。
34、通过迭代公式得到的表达式:
35、(9)
36、其中,为卷积运算符,模型可以以卷积的形式,提前算出卷积核并与输入做卷积运算,实现并行化计算,提高模型计算速度,并通过卷积,探索报警信息中的特征;
37、使用s6算法计算模型参数;至此,改进的mamba模型环境配置完毕;
38、模型训练:
39、将历史报警信息集输入配置好环境的改进的mamba模型中进行迭代训练;在输入报警信息后,模型根据报警信息的重要等级,将报警信息进行排列与分类,并输出结果。
40、本发明还提供集控系统中报警信息目标模型的构建系统,其特征在于,包括:
41、数据处理模块:采用word2vec模型表示预处理后的监测报警信息的分布向量;
42、改进的mamba模型构建模块:
43、句子编码压缩:在mamba模型中的编码器之后添加compression layer,利用compression layer对所述报警信息的句子向量进行压缩,进而缩小报警信息的长度;
44、句子编码恢复:在mamba模型中的解码器之前添加recover layer将句子恢复到原来的长度;
45、模型训练模块:对预处理后的检测报警信息的分布向量进行人工标记报警信息的等级,制作训练集对所述改进的mamba模型进行训练,得到目标模型。
46、进一步的,采用word2vec模型表示预处理后的监测报警信息的分布向量的具体处理过程为:
47、采用对上下文所有输入词向量求和平均的方法从输入层映射到投影层,设训练样本由上下文(con(),)中的当前中心词和其它c个词组成,词向量由下式计算:
48、(1)
49、式中,为中心词向量,为上下文的词向量;
50、将每个监控报警信息转换为句子向量:对监控报警信息中所有单词的向量进行平均,得到具有相同单词向量维数的监控报警信息的分布式向量表示;计算公式为:
51、(2)
52、式中表示一条监控报警信息;表示中的单词数;为监控报警信息中的文字;表示的向量;表示监控报警消息的分布式向量表示。
53、进一步的,所述改进的mamba模型构建过程为:
54、句子编码压缩:设压缩窗口window=n,表示将相邻的n个词汇压缩在一起,跳跃步长为stride=m,表示每隔m个词汇进行一次压缩,压缩完成后,报警信息的句子向量将缩小为原来的;压缩过程中,每个压缩窗口都对应一个可训练种子参数,对应压缩窗口,通过式(3)计算每个词汇的权重,与中的每个向量的点积大小表示当前向量的重要程度,并通过softmax将点积归一化得到权重,再通过式(4)对中的向量加权求和得到压缩槽位,最终将所有槽位堆叠到一起构成压缩后的句子向量;
55、(3)
56、(4)
57、句子编码恢复:根据压缩时的窗口大小以及权重值,分配给权重值对应的槽位,保证句子信息保持不变。
58、进一步的,模型训练步骤具体包括:
59、首先对改进的mamba模型的环境进行配置:
60、构建离散结构化状态空间模型,连续信号的状态空间模型可由以下公式表示:
61、(5)
62、式中,为状态向量,描述离散结构化状态空间模型在t时刻的状态,为状态向量导数,即状态向量的变化率,为输出向量,描述离散结构化状态空间模型在t时刻的输出,为状态转移矩阵,描述离散结构化状态空间模型状态向量在单位时间内的变化,为输入矩阵,描述外部输入对离散结构化状态空间模型状态的影响,为输出矩阵,描述离散结构化状态空间模型状态向量如何映射到输出向量;
63、采用零阶保持器对连续的状态空间表达式进行离散化,记
64、(6)
65、则可得状态空间的离散形式:
66、(7)
67、其中,、为过渡矩阵,为步长,为离散结构化状态空间模型在第k步的状态向量,为离散结构化状态空间模型在第k步的输入向量,为离散结构化状态空间模型在第k步的输出向量;
68、采用hippo矩阵对a矩阵进行初始化,初始化方式如下列公式。
69、(8)
70、式中,为矩阵第n行第k列的元素。
71、通过迭代公式得到的表达式:
72、(9)
73、其中,为卷积运算符,模型可以以卷积的形式,提前算出卷积核并与输入做卷积运算,实现并行化计算,提高模型计算速度,并通过卷积,探索报警信息中的特征;
74、使用s6算法计算模型参数;至此,改进的mamba模型环境配置完毕;
75、模型训练:
76、将历史报警信息集输入配置好环境的改进的mamba模型中进行迭代训练;在输入报警信息后,模型根据报警信息的重要等级,将报警信息进行排列与分类,并输出结果。
77、本发明还提供报警信息目标模型的应用。
78、本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行上述的方法。
79、本发明的效果在于:
80、本发明改进的mamba模型,数据的预处理可以帮助剔除数据的无用信息,将数据从文本转化为向量形式;句子编码的压缩可以大幅减少模型对计算机内存的占用,减小模型计算量,提高模型的运算速度;并通过配置模型的训练环境,增加模型训练的速度,使模型朝着更好的方向训练,提高模型的准确率。