一种电力工程现场轻量级审计事件识别方法、系统及设备与流程

本发明属于智能电力信息处理领域，尤其涉及一种电力工程现场轻量级审计事件识别方法、系统及设备。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、由于电网工程项目业务范畴广、审计环节多、事件关联复杂，尤其在结算阶段需要现场核实工程量、检查设备型号，并与竣工图纸中的各要素进行比对分析，故需要对各种工程事件进行准确、高效的识别和判断。然而，当前的现场审计方式存在以下困难，首先，由于现场环境的复杂性和多样性，审计人员往往无法准确快速地识别各种工程事件。其次，由于移动端硬件资源的限制，无法部署高精度、大规模算法模型，导致审计事件识别准确度低、响应慢。上述问题严重影响了电力工程审计的效率和效果。

3、现有的大多数研究集中在如何提高算法模型的准确性上，在电力工程审计文本专业性强的领域中，需要实现细粒度分类识别。当前主流的动态的词嵌入模型如elmo、bert以及bert的变体等，这类模型具有出色的文本表示能力。然而，这些模型通常对硬件资源的需求较高，需要大量的计算和存储资源，现场审计移动端难以满足该需求。

技术实现思路

1、为了解决上述背景技术中存在的至少一项技术问题，本发明提供一种电力工程现场轻量级审计事件识别方法、系统、介质及设备，其通过采用与训练模型，基于低秩分解矩阵、稀疏注意力机制对预训练模型开展微调训练，并结合lora（low-rank adaption）构建面向分类类别的电力工程审计文本增量识别模块，获取轻量级电力工程审计事件识别模型，从而在移动端资源条件下，提升对电力工程现场审计事件的快速响应识别性能。

2、为了实现上述目的，本发明采用如下技术方案：

3、本发明的第一个方面提供一种电力工程现场轻量级审计事件识别方法，包括如下步骤：

4、根据审计业务需求，调取对应的电力工程审计文本数据；

5、基于电力工程审计文本数据和训练好的电力工程审计事件识别模型，得到电力工程现场审计事件识别结果；其中，所述电力工程审计事件识别模型的构建过程包括：

6、将电力工程审计文本数据输入至bert模型中，引入稀疏注意力机制和低秩前馈神经网络对bert模型进行压缩，得到压缩后的电力工程审计文本向量；

7、固定压缩后的bert模型参数，将不同类别的电力工程审计文本数据输入至压缩后的bert模型中，对待审计事件进行微调，得到电力工程审计文本相应类别的增量向量；

8、结合压缩后的电力工程审计文本向量和电力工程审计文本相应类别的增量向量，对不同审计事件进行识别得到电力工程审计文本对应的类别标签概率值。

9、进一步地，所述将电力工程审计文本数据输入至bert模型中，引入稀疏注意力机制和低秩前馈神经网络对bert模型进行压缩，得到压缩后的电力工程审计文本向量，具体包括：

10、将电力工程审计文本数据输入至bert模型的嵌入层，得到词嵌入向量；

11、将词嵌入向量输入稀疏多头注意力机制层，计算审计文本句子中每个词与句中其他字词的关系，以此记录审计事件的上下文相关信息，提取得到电力工程审计文本的全局交互特性；

12、将电力工程审计文本的全局交互特性经过残差链接和归一化处理后输入低秩前馈神经网络层，得到压缩后的电力工程审计文本向量。

13、进一步地，bert模型的嵌入层包括token embedding、segment embedding、position embedding三部分，将经过三部分得到的表示按位相加得到词嵌入向量；其中，通过token embedding将输入序列进行分词，将各个词转换成固定维度的向量，得到第一文本词向量；通过segment embedding表示输入语句是否具有前后衔接关系，得到第一文本词向量，通过position embedding用正弦和余弦函数记录输入序列中每个词语的位置信息，得到第三文本词向量。

14、进一步地，所述低秩前馈神经网络层为在原有transformer-encoder模块引入低秩矩阵分解算法，将最初的线性层替换为低秩矩阵单元，根据任务识别场景的需求调整秩的大小，以此降低前馈神经网络参数量。

15、进一步地，所述对待审计事件进行微调时，采用lora微调方法对微调权重矩阵低秩分解，并根据损失函数反馈调整参数；所述lora微调时对微调权重矩阵低秩分解如下：，微调时对权重矩阵进行低秩分解，即=ba，采用w0+=w0+ba表示参数的更新，其中w0，∈rd×k，b∈rd×r，a∈rr×k，x为输入向量，d为输入向量矩阵中词向量的维度，k为输入向量矩阵中词向量的数目。

16、进一步地，微调过程中，w0矩阵参数被冻结，不进行梯度更新，矩阵a使用随机高斯分布初始化参数，即矩阵a中的参数分布满足均值为零，方差为固定值的高斯分布，矩阵b使用零矩阵初始化参数。

17、进一步地，得到电力工程审计文本对应的类别标签概率值后，将其与该电力工程审计文本对应的类别真实标签做交叉熵损失，获取交叉熵损失值，直至交叉熵损失值低于设定的全部阈值，固定参数，得到训练后的电力工程审计事件识别模型。

18、进一步地，根据审计业务需求，调取对应的电力工程审计文本数据后，基于预设的电力系统数据库调取电力工程审计样本数据，根据审计业务需求，分类梳理电力工程项目的审计要求和业务流程；将电力工程项目分解为多个环节，并进一步确定分类类别，基于分类类别收集整理典型电力工程项目审计样本数据，形成了电力工程审计文本样本集。

19、本发明的第二个方面提供一种电力工程审计事件响应识别系统，包括：

20、数据调取模块，配置为：根据审计业务需求，调取对应的电力工程审计文本数据；

21、事件识别模块，配置为：基于电力工程审计文本数据和训练好的电力工程审计事件识别模型，得到电力工程现场审计事件识别结果；其中，所述电力工程审计事件识别模型的构建过程包括：

22、将电力工程审计文本数据输入至bert模型中，引入稀疏注意力机制和低秩前馈神经网络对bert模型进行压缩，得到压缩后的电力工程审计文本向量；

23、固定压缩后的bert模型参数，将不同类别的电力工程审计文本数据输入至压缩后的bert模型中，对待审计事件进行微调，得到电力工程审计文本相应类别的增量向量；

24、结合压缩后的电力工程审计文本向量和电力工程审计文本相应类别的增量向量，对不同审计事件进行识别得到电力工程审计文本对应的类别标签概率值。

25、本发明的第三个方面提供一种计算机设备。

26、一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的一种电力工程现场轻量级审计事件识别方法中的步骤。

27、与现有技术相比，本发明的有益效果是：

28、1、本发明利用bert模型解决电力审计场景下的特定文本识别任务，为便于模型在手机等移动端上的可应用性，引入稀疏注意力机制和低秩前馈神经网络对bert模型进行压缩，从而提升bert模型对电力工程审计文本事件识别的响应速度；

29、2、为提升压缩模型在电力工程审计任务中的识别精准度，本发明采用lora微调方式学习面向不同电力审计事件的增量识别信息，将lora微调后获取的各个模块作为压缩模型补充模块，从而提升压缩模型在电力工程审计任务中的识别精准度，并且仍然保持了模型的高效性和响应速度。