基于ChatGPT微调预训练模型优化电力主设备缺陷诊断的方法与流程

本发明涉及电力认知智能，特别是一种基于chatgpt微调预训练模型优化电力主设备缺陷诊断的方法。

背景技术：

1、在确保电力系统稳定运行的过程中，缺陷诊断发挥着关键作用。电力主设备出现缺陷可能会带来严重的后果，例如停电、设备损坏以及对日常生活和经济产生巨大影响。因此，迅速而准确地检测这些缺陷对于保持系统可靠性以及减少对民众生活和经济的负面冲击具有至关重要的意义。

2、知识图谱作为一种创新的知识工程技术，为描述缺陷事件、属性及其关系提供了一种结构化方法。这使得能够更全面地表示复杂的缺陷关系。在电力主设备缺陷诊断背景下，我们的目标是根据给定的缺陷现象及其关系预测缺陷组件。此外，模型还可以根据特定知识图谱中的实体和给定关系作为输入，输出该关系下的尾实体。为此，我们提出了一种从表格缺陷数据中提取三元组、构建知识图谱并采用知识图谱补全算法进行缺陷诊断的方法。

3、在电力设备领域，我们注意到二次微调预训练模型可以获得更好的结果。我们使用特定任务对语言模型进行微调，选择了句子分类任务。具体而言，我们构建了由80％原始文本组成的cola数据集，这些文本被标记为语法正确的句子，其余20％的句子由chatgpt生成并标记为不正确。本方法探讨了如何从基本语料生成二分类数据集，并对语言模型进行微调以更好地理解专业知识。

4、为了在微调过程中节省计算资源并实现在cpu环境下运行，我们选择使用adapterbert模型。这种方法大大降低了计算成本。在本方法中，我们设计了一个全连接层，该层在bert输出之后添加，并连接到kgc模型以减小输入维度。这样，我们可以进一步降低kgc算法的计算成本。我们的目标是降低应用的计算需求，使其更容易在具有普通功能的硬件上部署。

技术实现思路

1、本发明的目的在于克服现有技术缺陷，提供一种基于chatgpt微调预训练模型优化电力主设备缺陷诊断的方法，可以实现对电力主设备缺陷现象及其关系的准确预测，提高系统可靠性并减轻对人们生活和经济的负面影响。通过利用专业领域的二次微调预训练，结合adapter bert模型降低计算成本，使得该方法在有限资源环境下依然具有高效准确的识别和处理能力。

2、为实现上述目的，本发明的技术方案是：一种基于chatgpt微调预训练模型优化电力主设备缺陷诊断的方法，包括如下步骤：

3、（1）基于chatgpt生成微调语料库，80%正确的语句将直接从原始电力语料库提取并贴上正确标签；剩下的20%为通过chatgpt api生成的语法错误的语句；

4、（2）将步骤（1）中的语料库转换为cola数据集格式；

5、（3）采用adapter bert模型架构，使用bert-chinese-base作为基础预训练模型，使用cola数据集进行微调；

6、（4）在满足微调的准确性阈值后，冻结所有层参数，将预训练模型作为特征提取器；

7、（5）输入知识图谱节点以及边到预训练模型中，池化输出最后一个隐藏层的输出，以获得最终的向量表示；

8、（6）采用训练好的知识图谱补全模型即kgc模型的实现作为基础，采用知识图谱补全的方式进行电力主设备缺陷诊断，对于kgc模型仅修改其输入层；

9、（7）在预训练模型的输出层和kgc模型之间引入一个全连接层；全连接层在kgc模型训练过程中更新其参数；

10、（8）在kgc模型中，答案选择过程将计算所有候选实体的概率，对它们进行排序并选择前k个实体作为最终答案，对最终结果进行分析以测试模型的性能。

11、相较于现有技术，本发明具有以下有益效果：本发明方法在诊断电力主设备缺陷方面有效地提高了kgc的性能。

技术特征：

1.一种基于chatgpt微调预训练模型优化电力主设备缺陷诊断的方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种基于chatgpt微调预训练模型优化电力主设备缺陷诊断的方法，其特征在于，步骤（7）中，全连接层在kgc模型训练过程中更新其参数。

技术总结
本发明涉及一种基于ChatGPT微调预训练模型优化电力主设备缺陷诊断的方法。构建一个包含80%正确语句和20%由ChatGPT API生成的语法错误语句的语料库。将领域特定的长文本转换为CoLA数据集格式。采用Adapter BERT作为基础架构进行微调，基础模型使用bert‑Chinese‑base，并在满足准确性阈值后冻结所有层参数，将模型作为特征提取器。通过汇总最后一个隐藏层的输出，得到最终的向量表示。选取表现优秀的KGC模型，仅修改其输入层。引入一个全连接层在预训练语言模型的输出层和KGC模型之间。全连接层在KGC任务迭代过程中训练并更新其参数。最后，在KGC模型中，通过计算候选实体的概率并对其排序，选取前k个实体作为最终答案。实验结果表明，该方法在诊断电力主设备缺陷方面有效地提高了KGC的性能。

技术研发人员：黄建业,郭俊,林晨翔,郑州,傅俪,林爽,杨彦,谢炜,翁宇游
受保护的技术使用者：国网福建省电力有限公司电力科学研究院
技术研发日：
技术公布日：2024/1/15