电力人工智能模型成效反馈评价方法及系统与流程

本发明属于人工智能，尤其涉及一种电力人工智能模型成效反馈评价方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、一个好用、优秀的人工智能模型不仅对已知数据，而且对未知数据都能有很好的预测能力，这就需要大量的数据对模型进行训练。然而单纯的投喂数据进行训练也会使得模型泛化能力差、输出结果出现偏差，因此需要对模型的反馈结果进行评估校正。

3、针对电力行业人工智能模型，使用诸如训练结果评价(训练结果准确率、召回率等)、调用结果评价(模型调用成功率等)、模型处理结果评价(模型识别准确率、处理结果召回率)等方面进行模型评估。通过这些评估指标，能够合理正确的评估训练出来的模型算法，从而让我们的工作结果正确应用在业务任务中。

4、然而，目前对算法模型进行训练校正时，大多是由技术人员对其输出的结果进行判断，然后给出评价对模型校正，这样极其占用开发人员的时间精力、消耗人力且获得的数据量也有限。电力人工智能模型系统为用户提供了适用于各种场景下的运行状态识别、故障识别的人工智能模型，用户可通过线上调用对目标数据进行识别或预测，如若能让用户在使用的过程中也给出反馈用于模型的校正，可以收获大量的数据节省大量的人力，然而现有的技术虽然可以轻松获得用户对模型的反馈评价，却不能保证这些反馈评价的有效性，有时用户使用完模型之后，并不会认真的提交反馈，有相当的概率随手勾选反馈选项提交，如若将这些用户反馈作为模型校准的依据，势必会造成数据污染，影响模型的最终效果，因此需要对结合用户在线操作流程、体验结果进行分析，对用户评价反馈进行精准量化，判断用户反馈合理性。

技术实现思路

1、为克服上述现有技术的不足，本发明提供了电力人工智能模型成效反馈评价方法及系统。能够针对模型的成效反馈信息进行置信度评估，为后续模型的优化提供保障。

2、为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

3、电力人工智能模型成效反馈评价方法，包括以下步骤：

4、获取用户每次使用模型期间的操作行为数据及对应模型成效反馈信息，所述用户操作行为数据包括键盘、鼠标操作行为以及页面操作行为；

5、根据每次操作行为数据与所述用户的操作习惯模型的相似性，对本次模型成效反馈信息的置信度进行评估；其中，所述操作习惯模型基于用户的历史操作行为数据建立；

6、获取针对某个目标模型的所有成效反馈信息，根据每条反馈信息的置信度进行加权，得到校正后的成效反馈结果，用于所述目标模型的学习优化。

7、进一步地，对本次模型成效反馈信息的置信度进行评估包括：

8、选择多种操作行为作为评价指标，并为每种操作行为分配权重；

9、将该次反馈信息对应的每种操作行为，与操作习惯模型中对应的操作行为进行相似性比对，将每种操作行为对应的相似性进行加权求和，得到该次反馈信息的置信度。

10、进一步地，对本次模型成效反馈信息的置信度进行评估后，还进行再评估：在成效反馈调查问卷中设定多个锚定指标，对于待评价的某次反馈信息，根据用户针对所述多个锚定指标的反馈情况，判断本次反馈信息是否可靠，若不可靠，则置信度低。

11、进一步地，对每次模型成效反馈信息的置信度进行评估后，还对每个用户的反馈评价置信度进行评估：设定置信度阈值，以此区分每次反馈评价是否有效；根据每个用户有效反馈评价的数量，计算所述用户的反馈评价置信度。

12、进一步地，若不同用户的模型成效反馈信息中，针对同一指标的反馈内容不一致，结合用户的反馈评价置信度对该指标反馈内容的置信度进行修正。

13、进一步地，对本次模型成效反馈信息的置信度进行评估包括：

14、选择多种操作行为作为评价指标，并为每种操作行为分配权重；

15、将该次反馈信息对应的每种操作行为，与操作习惯模型中对应的操作行为进行相似性比对，将每种操作行为对应的相似性进行加权求和，得到该次反馈信息的置信度。

16、进一步地，对本次模型成效反馈信息的置信度进行评估后，还进行再评估：在成效反馈调查问卷中设定多个锚定指标，对于待评价的某次反馈信息，根据用户针对所述多个锚定指标的反馈情况，判断本次反馈信息是否可靠，若不可靠，则置信度低。

17、一个或多个实施例提供了电力人工智能模型成效反馈评价系统，包括：

18、数据获取模块，用于获取用户每次使用模型期间的操作行为数据及对应模型成效反馈信息，所述用户操作行为数据包括键盘、鼠标操作行为以及页面操作行为；

19、置信度评估模块，用于根据每次操作行为数据与所述用户的操作习惯模型的相似性，对本次模型成效反馈信息的置信度进行评估；其中，所述操作习惯模型基于用户的历史操作行为数据建立；

20、反馈信息筛选模块，用于获取针对某个目标模型的所有成效反馈信息，根据每条反馈信息的置信度进行加权，得到校正后的成效反馈结果，用于所述目标模型的学习优化。

21、一个或多个实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的电力人工智能模型成效反馈评价方法。

22、一个或多个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的电力人工智能模型成效反馈评价方法。

23、本发明存在以下有益效果：

24、本发明创造性地提出了一种针对电力人工智能模型成效反馈信息的评价方法，通过建立用户的操作习惯模型，能够基于用户的操作行为，判断用户每次的操作是否符合日常习惯，以此来衡量每次操作对应的模型成效反馈信息是否可信，从而实现了用户反馈信息的可信度评价，提升了反馈评价的效率。

25、本发明创新性地提出了对用户的反馈信息进行多级评估的方法，通过设定锚定指标，基于用户对锚定指标的反馈内容是否正确或是否前后矛盾，能够对用户本次的反馈信息给出整体评价，通过两个层面的信息交叉认证实现了用户反馈信息的再评估，提高了针对用户反馈信息评价的准确性。

26、本发明创新性地提出了基于每条模型成效反馈信息，对用户的整体可信性进行评估的方法，即用户的反馈评价置信度，当不同用户针对同一指标的反馈内容不一致时，根据用户的反馈评价置信度调整权重，从每条反馈信息的置信度，以及用户整体置信度两个维度上实现了反馈信息的筛选，从而促进模型的正向优化，节省开发人员针对模型优化的工作量。

技术特征：

1.一种电力人工智能模型成效反馈评价方法，其特征在于，包括以下步骤：

2.如权利要求1所述的电力人工智能模型成效反馈评价方法，其特征在于，对本次模型成效反馈信息的置信度进行评估包括：

3.如权利要求1或2所述的电力人工智能模型成效反馈评价方法，其特征在于，对本次模型成效反馈信息的置信度进行评估后，还进行再评估：在成效反馈调查问卷中设定多个锚定指标，对于待评价的某次反馈信息，根据用户针对所述多个锚定指标的反馈情况，判断本次反馈信息是否可靠，若不可靠，则置信度低。

4.如权利要求1所述的电力人工智能模型成效反馈评价方法，其特征在于，对每次模型成效反馈信息的置信度进行评估后，还对每个用户的反馈评价置信度进行评估：设定置信度阈值，以此区分每次反馈评价是否有效；根据每个用户有效反馈评价的数量，计算所述用户的反馈评价置信度。

5.如权利要求4所述的电力人工智能模型成效反馈评价方法，其特征在于，若不同用户的模型成效反馈信息中，针对同一指标的反馈内容不一致，结合用户的反馈评价置信度对该指标反馈内容的置信度进行修正。

6.电力人工智能模型成效反馈评价系统，其特征在于，包括：

7.如权利要求6所述的电力人工智能模型成效反馈评价系统，其特征在于，对本次模型成效反馈信息的置信度进行评估包括：

8.如权利要求6或7所述的电力人工智能模型成效反馈评价系统，其特征在于，对本次模型成效反馈信息的置信度进行评估后，还进行再评估：在成效反馈调查问卷中设定多个锚定指标，对于待评价的某次反馈信息，根据用户针对所述多个锚定指标的反馈情况，判断本次反馈信息是否可靠，若不可靠，则置信度低。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5任一项所述的电力人工智能模型成效反馈评价方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5任一项所述的电力人工智能模型成效反馈评价方法。

技术总结
本发明公开了电力人工智能模型成效反馈评价方法及系统，包括以下步骤：获取用户每次使用模型期间的操作行为数据及对应模型成效反馈信息，所述用户操作行为数据包括键盘、鼠标操作行为以及页面操作行为；根据每次操作行为数据与所述用户的操作习惯模型的相似性，对本次模型成效反馈信息的置信度进行评估；其中，所述操作习惯模型基于用户的历史操作行为数据建立；获取针对某个目标模型的所有成效反馈信息，根据每条反馈信息的置信度进行加权，得到校正后的成效反馈结果，用于所述目标模型的学习优化本发明能够针对模型的成效反馈信息进行置信度评估，为后续模型的优化提供保障。

技术研发人员：王宇航,孙志周,袁弘,张斌,张春东,孙虎,王亮,杨月琛,崔豪驿,李荣生,勇俊岩,杜彦清
受保护的技术使用者：国网智能科技股份有限公司
技术研发日：
技术公布日：2024/3/27