模型稳定性监测方法、装置和计算机设备与流程

本申请涉及机器学习，特别是涉及一种模型稳定性监测方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术：

1、随着人工智能技术的发展，机器学习应用的比重逐渐增大。机器学习通过对大量样本进行学习得到模型，利用模型能够分析数据并学习预测结果。

2、通常在模型训练阶段，通过错误率和召回率等性能指标对模型进行评价，以评价模型的好坏。但传统的模型评价方式通常只关注模型的准确度，评价维度单一。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够扩展模型评价维度的模型稳定性监测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本申请提供了一种模型稳定性监测方法。所述方法包括：

3、获取目标监测模型；

4、获取至少两个不同数据集应用所述目标监测模型得到的至少两个不同应用相关数据集合；

5、从所述至少两个不同应用相关数据集合中获取至少两个不同数据集对应的预测值分布比例序列，根据所述至少两个不同数据集对应的预测值分布比例序列得到一致性维度的一致性程度；

6、根据至少一个稳定性维度的评估结果，对所述目标监测模型进行稳定性评估；所述至少一个稳定性评估维度的评估结果包括所述一致性评估维度的一致性程度；

7、在所述稳定性评估结果为所述目标监测模型的稳定性异常时，对所述目标监测模型进行稳定性异常提示。

8、第二方面，本申请还提供了一种模型稳定性监测装置。所述装置包括：

9、目标获取模块，用于获取目标监测模型；

10、数据获取模块，用于获取至少两个不同数据集应用所述目标监测模型得到的至少两个不同应用相关数据集合；

11、一致性维度评估模块，用于从所述至少两个不同应用相关数据集合中获取至少两个不同数据集对应的预测值分布比例序列，根据所述至少两个不同数据集对应的预测值分布比例序列得到一致性维度的一致性程度；

12、总评估模块，用于根据至少一个稳定性维度的评估结果，对所述目标监测模型进行稳定性评估；所述至少一个稳定性评估维度的评估结果包括所述一致性评估维度的一致性程度；

13、监测模块，用于在所述稳定性评估结果为所述目标监测模型的稳定性异常时，对所述目标监测模型进行稳定性异常提示。

14、第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

15、获取目标监测模型；

16、获取至少两个不同数据集应用所述目标监测模型得到的至少两个不同应用相关数据集合；

17、从所述至少两个不同应用相关数据集合中获取至少两个不同数据集对应的预测值分布比例序列，根据所述至少两个不同数据集对应的预测值分布比例序列得到一致性维度的一致性程度；

18、根据至少一个稳定性维度的评估结果，对所述目标监测模型进行稳定性评估；所述至少一个稳定性评估维度的评估结果包括所述一致性评估维度的一致性程度；

19、在所述稳定性评估结果为所述目标监测模型的稳定性异常时，对所述目标监测模型进行稳定性异常提示。

20、第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

21、获取目标监测模型；

22、获取至少两个不同数据集应用所述目标监测模型得到的至少两个不同应用相关数据集合；

23、从所述至少两个不同应用相关数据集合中获取至少两个不同数据集对应的预测值分布比例序列，根据所述至少两个不同数据集对应的预测值分布比例序列得到一致性维度的一致性程度；

24、根据至少一个稳定性维度的评估结果，对所述目标监测模型进行稳定性评估；所述至少一个稳定性评估维度的评估结果包括所述一致性评估维度的一致性程度；

25、在所述稳定性评估结果为所述目标监测模型的稳定性异常时，对所述目标监测模型进行稳定性异常提示。

26、第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

27、获取目标监测模型；

28、获取至少两个不同数据集应用所述目标监测模型得到的至少两个不同应用相关数据集合；

29、从所述至少两个不同应用相关数据集合中获取至少两个不同数据集对应的预测值分布比例序列，根据所述至少两个不同数据集对应的预测值分布比例序列得到一致性维度的一致性程度；

30、根据至少一个稳定性维度的评估结果，对所述目标监测模型进行稳定性评估；所述至少一个稳定性评估维度的评估结果包括所述一致性评估维度的一致性程度；

31、在所述稳定性评估结果为所述目标监测模型的稳定性异常时，对所述目标监测模型进行稳定性异常提示。

32、上述的模型稳定性监测方法、装置、计算机设备、存储介质和计算机程序产品，从至少两个不同应用相关数据集合中获取至少两个不同数据集对应的预测值分布比例序列，根据至少两个不同数据集对应的预测值分布比例序列得到在一致性评估维度的一致性程度，一致性程度能够表征目标监测模型在不同数据集下的预测分布的一致性，因此能够表征目标监测模型应用于不同应用数据集时的稳定性，相较于传统的准确度等评价指标，通过引入稳定性指标能够扩展模型模型评价维度，丰富了模型的评价指标。并且通过在监测到模型稳定性异常时，输出稳定性异常提示，实现对模型的稳定性自动检测，及时发现模型稳定性异常情况，进一步提高了模型应用的稳定性。

技术特征：

1.一种模型稳定性监测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述不同数据集为不同应用时间的数据集；所述一致性维度包括跨时间一致性维度；

3.根据权利要求1所述的方法，其特征在于，不同数据集为不同样本分布的数据集；所述一致性维度包括跨样本一致性维度；

4.根据权利要求2所述的方法，其特征在于，所述至少两个不同应用相关数据集合包括各不同数据集对应的预测输出值；所述一致性维度还包括跨样本一致性维度；

5.根据权利要求1所述的方法，其特征在于，所述至少两个不同应用相关数据集合包括不同数据集对应的预测输入数据和预测输出值；

6.根据权利要求1所述的方法，其特征在于，所述稳定性评估维度还包括：准确度评估维度、覆盖度评估维度；所述一致性维度包括跨时间一致性维度和跨样本一致性维度；

7.根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：

8.根据权利要求4所述的方法，其特征在于，所述预测输出值为分类类别，当所述模型的直接输出为概率值时，所述方法还包括：将所述模型直接输出的概率值映射为分类类别。

9.一种模型稳定性监测装置，其特征在于，所述装置包括：

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。

技术总结
本申请涉及一种模型稳定性监测方法、装置、计算机设备、存储介质和计算机程序产品。方法包括：获取目标监测模型；获取至少两个不同数据集应用目标监测模型得到的至少两个不同应用相关数据集合；从至少两个不同应用相关数据集合中获取至少两个不同数据集对应的预测值分布比例序列，根据至少两个不同数据集对应的预测值分布比例序列得到一致性维度的一致性程度；根据至少一个稳定性维度的评估结果，对目标监测模型进行稳定性评估；至少一个稳定性评估维度的评估结果包括一致性评估维度的一致性程度；在稳定性评估结果为目标监测模型的稳定性异常时，对目标监测模型进行稳定性异常提示。该方法丰富了模型的评价指标，并实现对模型的稳定性自动检测。

技术研发人员：曾炜,郭潇阳,刘玉凤
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：
技术公布日：2024/1/15