模型优化方法、装置、电子设备、介质和程序产品与流程

1.本公开涉及计算机技术领域，尤其涉及金融建模和深度学习等技术领域。具体涉及一种模型优化方法、装置、电子设备、介质和程序产品。


背景技术：

2.深度学习凭借其强大的学习样本数据集内在规律和高度抽象化特征的能力，可以帮助人们自动做出决策，因而被应用于风险预测、医疗诊断、语音识别、图像识别、自然语音理解、广告、就业、教育等领域，并且发挥了很好的效果。


技术实现要素：

3.本公开提供了一种模型优化方法、装置、电子设备、介质和程序产品。
4.根据本公开的第一方面，提供了一种模型优化方法，包括：
5.计算目标模型在第一时间周期内的第一精度信息，所述第一时间周期为第一时间节点之前的时间周期，所述第一时间节点为所述目标模型训练完成之后的时间节点，所述第一精度信息包括所述目标模型在所述第一时间周期内的模型精度，所述目标模型为用于进行风险预测的模型；
6.基于所述第一精度信息预测所述目标模型在第二时间周期内的第二精度信息，所述第二时间周期为所述第一时间节点之后的时间周期，所述第二精度信息包括所述目标模型在所述第二时间周期内的模型精度；
7.基于所述第二精度信息对所述目标模型进行优化。
8.根据本公开的第二方面，提供了一种模型优化装置，包括：
9.计算模块，用于计算目标模型在第一时间周期内的第一精度信息，所述第一时间周期为第一时间节点之前的时间周期，所述第一时间节点为所述目标模型训练完成之后的时间节点，所述第一精度信息包括所述目标模型在所述第一时间周期内的模型精度，所述目标模型为用于进行风险预测的模型；
10.预测模块，用于基于所述第一精度信息预测所述目标模型在第二时间周期内的第二精度信息，所述第二时间周期为所述第一时间节点之后的时间周期，所述第二精度信息包括所述目标模型在所述第二时间周期内的模型精度；
11.优化模块，用于基于所述第二精度信息对所述目标模型进行优化。
12.根据本公开的第三方面，提供了一种电子设备，包括：
13.至少一个处理器；以及
14.与所述至少一个处理器通信连接的存储器；其中，
15.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面所述的方法。
16.根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述第一方面所述的方法。
17.根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面所述的方法。
18.本公开实施例中，由于可以根据目标模型在第一时间周期内的精度信息预测第二时间周期内的精度信息，因此，可以根据目标模型的历史精度信息预测目标模型未来的精度信息，并根据对目标模型未来精度信息的预测结果，对目标模型进行优化，以确保目标模型始终能够具有较高的模型精度。
附图说明
19.附图用于更好地理解本方案，不构成对本公开的限定。其中：
20.图1是本公开实施例提供的一种模型优化方法的流程图之一；
21.图2是本公开实施例提供的一种模型优化方法的流程图之二；
22.图3是本公开实施例提供的一种模型优化装置的结构示意图；
23.图4是本公开实施例中的计算模块的结构示意图；
24.图5本公开实施例提供的用于实现模型优化方法的电子设备的框图。
具体实施方式
25.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
26.请参见图1，图1为本公开实施例提供的一种模型优化方法的流程示意图，所述模型优化方法，包括：
27.步骤s101、计算目标模型在第一时间周期内的第一精度信息，所述第一时间周期为第一时间节点之前的时间周期，所述第一时间节点为所述目标模型训练完成之后的时间节点，所述第一精度信息包括所述目标模型在所述第一时间周期内的模型精度，所述目标模型为用于进行风险预测的模型；
28.步骤s102、基于所述第一精度信息预测所述目标模型在第二时间周期内的第二精度信息，所述第二时间周期为所述第一时间节点之后的时间周期，所述第二精度信息包括所述目标模型在所述第二时间周期内的模型精度；
29.步骤s103、基于所述第二精度信息对所述目标模型进行优化。
30.其中，所述目标模型可以是风控场景中的风险预测模型，例如，当用户请求与银行等各类金融机构签订合约之前，金融机构可以利用所述目标模型预测风险，即利用所述目标模型预测用户是否会按照合约履行约定的义务。所述目标模型可以是预先训练得到的模型。
31.具体地，可以先获取所述用户对应的目标特征，所述目标特征可以包括以下至少一项：用户的身份属性信息、银行流水、账户余额、消费记录、信用报告、失信信息、被执行信息、法律诉讼和行政处罚等特征信息。然后，将所述目标特征输入所述目标模型进行预测，所述目标模型可以输出一个评分值，当该评分值越高时，则说明用户履约的概率越高，反正，当该评分值越低时，则说明用户违约的概率越高。基于此，可以预先设置一个判断阈值，
当所述评分值大于或等于所述判断阈值时，输出允许与该用户签订合约的决策，反之，当所述评分值小于所述判断阈值时，则输出拒绝与所述用户签订合约的决策。
32.上述合约可以是租赁合约、贷款合约等需要向特定机构进行申请，并需要经该机构审核的合约。
33.需要说明的是，基于本公开的技术方案构建的目标模型，并不是针对某一特定用户的模型，也并不能反映出某一特定用户的个人信息。同时，本公开实施例中所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
34.上述第一时间节点可以是所述目标模型训练完成的完成时间点，或者，所述第一时间节点也可以是所述目标模型训练完成之后的任意时间点。下文以所述第一时间节点为所述目标模型训练完成的完成时间点，且当前时间节点为所述完成时间点为例，对本公开实施例提供的方法作进一步的解释说明。其中，上述的第一时间周期为一个历史时间段，第二时间周期为未来的一段时间所形成的时间段。
35.上述计算目标模型在第一时间周期内的第一精度信息的具体过程可以是：获取所述第一时间周期内所产生的训练数据，所述训练数据包括：所述第一时间周期内申请与金融机构签订合约的用户的目标特征，以及，是否成功签约的真实决策信息，所述真实决策信息可以包括：允许签约或决策签约两种情形。然后，可以将每个训练数据中的目标特征输入目标模型进行预测，得到是否允许签约的预测结果，并通过将预测结果与真实决策信息进行对比，以确定目标模型的模型精度。例如，假设所述第一时间周期内一共包括10000个训练数据，其中，在将10000个训练数据的目标特征输入目标模型进行预测之后，目标模型将输出10000预测结果。若该10000预测结果中，有9500个预测结果与对应的真实决策信息结论一致，有500个预测结果与对应的真实决策信息结论不一致，则可以确定目标模型预测的准确率(或精度)为：9500/10000＝95％。
36.由于目标模型的模型精度与时间通常具有一定的关联关系，例如，当处于双十一等特定的购物节前后时，由于用户消费水平相对于其他时间通常会有明显的增幅。相应地，在该时间段内，借款违约的用户也相对于其他时间会显著增加。由于该时间段内有大量用户出现违约行为，当在该时间段内，出现违约行为的用户申请签订合约时，目标模型很可能输出拒绝签约的决策。然而，该在时间段内出现过短暂违约的用户可能在其他时间表现均为良好，对于这类用户实际上应该输出允许签约的决策，可见，目标模型随时间的变化，模型精度可能也处于动态变化的状态。
37.基于此，可以预先训练得到的预测模型，根据目标模型历史精度的变化规律，预测未来目标模型的精度走势，得到第二精度信息。这样，可以根据第二精度信息确定目标模型未来一段时间的精度，当所述第二精度信息指示目标模型在未来某一时间点不满足预设精度要求时，可以提前对目标模型进行优化，以确保目标模型在后续投入使用过程中，始终满足预设精度要求。
38.该实施方式中，由于可以根据目标模型在第一时间周期内的精度信息预测第二时间周期内的精度信息，因此，可以根据目标模型的历史精度信息预测目标模型未来的精度信息，并根据对目标模型未来精度信息的预测结果，对目标模型进行优化，以确保目标模型始终能够具有较高的模型精度。
39.可选地，所述第二精度信息包括第一子精度和第二子精度，所述第一子精度表征
所述目标模型在所述第一时间节点与第二时间节点之间的模型精度，所述第二子精度表征所述目标模型在所述第二时间节点的模型精度，所述基于所述第二精度信息对所述目标模型进行优化，包括：
40.在所述第一子精度位于预设精度范围之内，且在所述第二子精度位于所述预设精度范围之外的情况下，在所述第二时间节点时，基于目标训练数据集对所述目标模型进行训练，其中，所述第二时间节点为所述第二时间周期内的时间节点。
41.上述第二时间节点可以是未来的某一时间点。例如，可以是1个月后的某一时间点，或者，2个月后的某一时间点等。上述第一子精度可以包括所述目标模型在所述第一时间节点与第二时间节点之间的任意时间点的模型精度。相应地，所述第一子精度位于预设精度范围之内可以是指：在所述第一时间节点与第二时间节点之间的任意时间点的模型精度位于预设精度范围之内；即在所述第二时间节点之前，所述目标模型的模型精度位于预设范围之内，即在第二时间节点之前，目标模型的模型精度满足预设要求。相应地，在所述第二子精度位于所述预设精度范围之外可以是指：在第二时间节点时，目标模型的模型精度不满足预设要求。或者，从第二时间节点开始，目标模型的模型精度不满足预设要求。
42.上述目标训练数据集可以包括所述目标模型训练阶段的训练数据，同时，也可以包括除训练阶段的训练数据之外的其他训练数据。可以理解的是，所述目标训练数据集中的每个训练数据可以包括：所述第一时间周期内申请与金融机构签订合约的用户的目标特征，以及，是否成功签约的真实决策信息。以便于模型能够学习目标特征与真实决策之间的关联关系。
43.该实施方式中，由于对目标模型的精度预测结果表征在第二时间节点时，目标模型的模型精度不满足预设要求，因此，为了确保目标模型始终具有较高的模型精度，可以在第二时间节点时进一步对目标模型进行迭代训练，以确保训练之后的目标模型在第二时间节点之后的模型精度满足预设精度要求。
44.可选地，所述目标训练数据集包括第一数据集和第二数据集，所述第一数据集包括基于所述第一时间周期内的待识别数据生成的训练数据，所述第二数据集包括基于所述第一时间节点与所述第二时间节点之间的待识别数据生成的训练数据。
45.其中，所述待识别数据可以是用户申请签订合约时，所获取的与用户对应的目标特征。具体地，可以基于真实决策信息为目标特征设置标签，以得到所述训练数据。即将是否允许签约的结果作为目标特征的标签，以得到训练数据。
46.上述第一时间节点可以是所述目标模型投入使用的时间节点，即所述第一数据集包括基于目标模型投入使用之前的历史数据所生成的训练数据，所述第二数据集包括基于目标模型投入使用之后的线上数据所生成的训练数据。
47.该实施方式中，由于目标训练数据集即包括目标模型投入使用之前的历史数据所生成的训练数据，还包括目标模型投入使用之后的线上数据所生成的训练数据，如此，通过在第二时间节点基于所述目标训练数据集中的训练数据进一步对目标模型进行迭代训练，有利于进一步提高目标模型的模型精度，从而确保训练之后的目标模型在第二时间节点之后的模型精度满足预设精度要求。
48.可选地，所述第二时间周期包括n个连续的第一子周期，所述第一子精度包括所述n个第一子周期中的前i个第一子周期对应的模型精度；所述第二子精度包括所述n个第一
子周期中的第i+1个第一子周期对应的模型精度；
49.在所述前i个第一子周期对应的模型精度位于所述预设精度范围之内，且所述第i+1个第一子周期对应的模型精度位于所述预设范围之外的情况下，所述第二时间节点为所述第i+1个第一子周期的时间起点，所述n为大于1的整数，所述i为大于0的整数。
50.其中，可以按照预设时间间隔将所述第二时间周期划分为n个连续的第一子周期，例如，请参见下表1，当所述第二时间周期为6个月时，可以按照一个月为时间间隔，将所述第二时间周期划分为6个第一子周期，即t+1至t+6。请参见下表1，所述第二精度信息可以如下三个维度的精度信息：接收者操作特征曲线(receiver operating characteristic curve，roc)下方的面积(area under the curve of roc，auc)、正负样本分隔程度的评价指标(kolmogorov-smirnov，ks)和群体稳定性指标(population stability index，psi)。
51.表1
[0052] t+1t+2t+3t+4t+5t+6auca13a14a15a16a17a18ksk13k14k15k16k17k18psip13p14p15p16p17p18
[0053]
相应地，可以将上述第一时间周期划分为m个连续的第二子周期，例如，请参见下表2，当所述第一时间周期为12个月时，可以按照一个月为时间间隔，将所述第一时间周期划分为12个第二子周期，即t-11至t。通过基于t-11至t的历史数据，可以计算得到t-11至t对应的第一精度信息，如表2所示，所述第一精度信息同样包括如下三个维度的精度信息：auc、ks和psi。
[0054]
表2
[0055] t-11t-10t-9t-8t-7t-6t-5t-4t-3t-2t-1tauca1a2a3a4a5a6a7a8a9a10a11a12ksk1k2k3k4k5k6k7k8k9k10k11k12psip1p2p3p4p5p6p7p8p9p10p11p12
[0056]
可以理解的是，可以基于t-11至t对应的auc值对t+1至t+6的auc值进行预测。相应地，可以基于t-11至t对应的ks值对t+1至t+6的ks值进行预测；同时，可以基于t-11至t对应的psi值对t+1至t+6的psi值进行预测。
[0057]
在本公开一个实施例中，可以分别为auc、ks和psi设定预设范围，当auc、ks和psi中至少一个指标超过对应的预设范围时，则确定所述目标模型的模型精度位于预设范围之外。相应地，当auc、ks和psi三个指标均位于对应的预设范围时，确定目标模型的模型精度位于预设范围之内。
[0058]
具体地，可以采用如下公式判断上述三个指标是否位于对应的预设范围之内：
[0059]
auc：|auc(t+n)
–
auc(oot)|《auc gap；
[0060]
ks：|ks(t+n)
–
ks(train)|《ks gap；
[0061]
psi：psi(t+n)《0.1；
[0062]
其中，auc(t+n)表示第(t+n)个月的auc指标，auc(oot)可以是预设的auc指标值，当auc(t+n)越接近auc(oot)时，目标模型的模型精度越高，反正，当auc(t+n)偏离auc(oot)越远时，目标模型的模型精度越低。auc gap为预设的允许的auc(t+n)偏离auc(oot)的最大
值。如此，当|auc(t+n)
–
auc(oot)|《auc gap时，确定第(t+n)个月的auc指标位于预设范围之内，反之，当|auc(t+n)
–
auc(oot)|≥auc gap时，确定第(t+n)个月的auc指标位于预设范围之外。其中，所述auc(oot)可以根据实际情况进行选取，例如，可以是t-11至t的auc的平均值。所述auc gap也可以根据实际情况选取，例如，所述auc gap的取值范围为0.02至0.04之间。其中，所述n的取值范围为1至6中的整数。所述t即可表示一个第一子周期，或者，表示一个第二子周期。
[0063]
相应地，ks(t+n)表示第(t+n)个月的ks指标，ks(train)可以是预设的ks指标值，当ks(t+n)越接近ks(train)时，目标模型的模型精度越高，反正，当ks(t+n)偏离ks(oot)越远时，目标模型的模型精度越低。ks gap为预设的允许的ks(t+n)偏离ks(train)的最大值。如此，当|ks(t+n)
–
ks(train)|《ks gap时，确定第(t+n)个月的ks指标位于预设范围之内，反之，当|ks(t+n)
–
ks(train)|≥ks gap时，确定第(t+n)个月的ks指标位于预设范围之外。其中，所述ks(train)可以根据实际情况进行选取，例如，可以是t-11至t的ks的平均值。所述ks gap也可以根据实际情况选取，例如，所述ks gap的取值范围为0.02至0.04之间。
[0064]
上述psi(t+n)表示第(t+n)个月的psi指标，当所述psi(t+n)《0.1时，确定第(t+n)个月的psi指标位于预设范围之内，反之，当psi(t+n)≥0.1时，确定第(t+n)个月的psi指标位于预设范围之外。
[0065]
上述第二精度信息表征所述n个第一子周期中的前i个第一子周期对应的模型精度位于所述预设精度范围之内，且第i+1个第一子周期对应的模型精度位于所述预设范围之外可以是指：从第i+1个第一子周期中的某一个时刻开始，目标模型的模型精度位于预设范围之外。
[0066]
该实施方式中，由于本公开是以一个第一子周期为单位判断目标模型的精度是否位于预设范围之内，即所述第二精度信息仅能表征目标模型在第i+1个第一子周期的模型精度位于预设范围之外，而无法表征从第i+1个第一子周期中哪个时间点开始目标模型的模型精度位于预设范围之外。基于此，本公开实施例中，通过选取所述第二时间节点为所述第i+1个第一子周期的时间起点，即在第i+1个第一子周期的时间起点对目标模型进行优化，这样，无论从第i+1个第一子周期中的哪个时间点开始，目标模型的模型精度位于预设范围之外，均可以保证目标模型的模型精度始终位于预设范围之内。
[0067]
可选地，所述计算目标模型在第一时间周期内的第一精度信息，包括：
[0068]
获取第一数据集，所述第一数据集包括所述第一时间周期内的待识别数据和所述待识别数据所对应的真实标签；
[0069]
基于所述目标模型分别对所述第一数据集中的每个待识别数据进行识别，得到与所述第一数据集中每个待识别数据对应的预测标签；
[0070]
基于所述真实标签和所述预测标签计算所述第一精度信息。
[0071]
其中，上述真实标签和预测标签可以分别为0-10之间的任意评分值，并且可以在0-10之间预设一个判断阈值，例如，可以选取判断阈值为8，当评分值大于或等于判断阈值时，输出允许与该用户签订合约的决策，反之，当所述评分值小于所述判断阈值时，则输出拒绝与所述用户签订合约的决策。
[0072]
具体地，上述auc指标和ks指标可以根据第一数据集中每个待识别数据对应的“真实标签和预测标签”进行计算得到，其具体计算方法可以采用现有技术中常规的auc指标和
ks指标计算方法。上述psi指标可以通过对第一数据集中每个待识别数据对应的预测标签进行统计得到，其具体统计方法可以采用现有技术中常规的psi指标的统计方法。
[0073]
该实施方式中，通过基于所述目标模型分别对所述第一数据集中的每个待识别数据进行识别，得到与所述第一数据集中每个待识别数据对应的预测标签，然后，基于所述真实标签和所述预测标签计算所述第一精度信息，从而实现第一精度信息的计算过程。
[0074]
可选地，所述第一时间周期包括m个第二子周期，所述m为大于1的整数，所述第一精度信息包括所述m个第二子周期对应的模型精度，所述基于所述真实标签和所述预测标签计算所述第一精度信息，包括：
[0075]
基于所述第二子周期内的待识别数据的真实标签和所述第二子周期内的待识别数据的预测标签进行计算，得到所述第二子周期对应的所述模型精度。
[0076]
具体地，请参见上表2，本公开实施例中，将所述第一时间周期划分为m个第二子周期，可以分别基于每个第二子周期所产生的待识别数据对应的“真实标签和预测标签”进行计算，得到目标模型在每个第二子周期中的auc指标、ks指标和psi指标。
[0077]
具体地，可以对所述第一数据集中的待识别数据按照所生成的时间，分别划分至m个数据分片，其中，所述m个数据分片与所述m个第二子周期一一对应，所述第二子周期对应的数据分别包括所述第二子周期中所生成的所有待识别数据和所述待识别所对应的真实标签。然后，可以基于所述目标模型分别对所述数据分片中每个待识别数据进行识别，得到与所述数据分片中每个待识别数据对应的预测标签。并可以基于所述数据分片中每个待识别数据对应的“预测标签和真实标签”计算得到目标模型在对应第二子周期的auc指标、ks指标和psi指标。
[0078]
该实施方式中，通过将第一时间周期划分为m个第二子周期，如此，可以基于每个第二子周期内所生成的待识别数据和待识别数据对应的真实标签，分别计算每个第二子周期的模型精度。如此，可以基于所计算得到的m个模型精度的随时间的分别规律，预测目标模型在未来n个第一子周期中的模型精度。
[0079]
可选地，所述第一数据集包括训练集和测试集，所述训练集与所述第一时间周期中的至少一个第二子周期相对应，所述测试集与所述第一时间周期中的至少一个第二子周期相对应，且所述训练集所对应的第二子周期与所述测试集所对应的第二子周期不同，所述目标模型为基于所述训练集和所述测试集训练得到的模型。
[0080]
其中，所述测试集为所述训练集的时间外(out of trend，oot)测试集。即所述训练集与测试集不存在交集。如此，有利于提高所训练得到的目标模型的模型精度。具体地，可以基于所述训练集对预先构建的初始模型进行训练得到中间模型，然后，基于所述测试集对所述中间模型进行测试，当测试结果表征所述中间模型的模型精度满足预设要求时，将所述中间模型确定为所述目标模型。反之，当测试结果表征所述中间模型的模型精度不满足预设要求时，则进一步基于训练集对中间模型进一步迭代训练，直至训练得到的模型满足预设要求，得到目标模型。
[0081]
在本公开一个具体实施例中，当所述第一时间周期包括(t-11)至t一共12个第二子周期时，可以将所述第一数据集中基于(t-11)至(t-5)个第二时间周期产生的待识别数据生成的训练数据作为所述训练集中的训练数据。相应地，将所述第一数据集中基于(t-4)至(t)个第二时间周期产生的待识别数据生成的训练数据作为所述测试集中的测试数据。
[0082]
该实施方式中，在目标模型的训练阶段，由于测试集与训练集之间不存在交集，因此，有利于提高所训练得到的目标模型的模型精度。此外，由于上述用于计算目标模型在第一时间周期的第一精度信息的第一数据集为目标模型训练阶段的数据，因此，在计算所述第一精度信息时，可以实现对第一数据集的复用，有利于简化模型优化的过程，同时，降低模型优化的成本。
[0083]
可选地，所述基于所述第一精度信息预测所述目标模型在第二时间周期内的第二精度信息，包括：
[0084]
将所述第一精度信息输入差分整合移动平均自回归模型(autoregressive integrated moving average model，arima)进行预测，得到所述第二精度信息。
[0085]
其中，所述arima模型又称整合移动平均自回归模型，是时间序列预测分析方法之一。arima(p，d，q)中，ar是“自回归”，p为自回归项数；ma为“滑动平均”，q为滑动平均项数，d为使之成为平稳序列所做的差分次数(阶数)。
[0086]
该实施方式中，通过基于arima模型随时间预测的能力，从而可以实现基于第一时间周期内的第一精度信息，预测第二时间周期内的第二精度信息的预测过程。
[0087]
请参见图2，为本公开实施例提供的另一种模型优化方法的流程示意图，所述方法包括如下步骤：
[0088]
获取上述第一数据集，对第一数据集中的训练数据按月进行分片，得到m个数据分片。并分别提取各数据分片中每个训练数据中的目标特征，其中，所述训练数据包括一个目标特征和对应的真实标签。
[0089]
基于预先训练得到的目标模型，按分片对每个训练数据中的目标特征进行预测，得到每个数据分片中的训练数据对应的预测标签。
[0090]
基于每个数据分片对应的“真实标签和预测标签”，分别计算每个数据分片对应的auc指标、ks指标和psi指标，得到第一时间周期中m个第一时间周期对应的模型精度信息，即第一精度信息。
[0091]
基于第一精度信息预测未来n个月的模型精度信息，即第二精度信息。
[0092]
根据第二精度信息确定模型的有效时间段，并在有效时间段结束后对目标模型进行优化。其中，所述有效时间段为上述第一时间节点与第二时间节点之间的时间段。
[0093]
请参见图3，为本公开实施例提供的一种模型优化装置300的结构示意图，所述模型优化装置300，包括：
[0094]
计算模块301，用于计算目标模型在第一时间周期内的第一精度信息，所述第一时间周期为第一时间节点之前的时间周期，所述第一时间节点为所述目标模型训练完成之后的时间节点，所述第一精度信息包括所述目标模型在所述第一时间周期内的模型精度，所述目标模型为用于进行风险预测的模型；
[0095]
预测模块302，用于基于所述第一精度信息预测所述目标模型在第二时间周期内的第二精度信息，所述第二时间周期为所述第一时间节点之后的时间周期，所述第二精度信息包括所述目标模型在所述第二时间周期内的模型精度；
[0096]
优化模块303，用于基于所述第二精度信息对所述目标模型进行优化。
[0097]
可选地，所述第二精度信息包括第一子精度和第二子精度，所述第一子精度表征所述目标模型在所述第一时间节点与第二时间节点之间的模型精度，所述第二子精度表征
所述目标模型在所述第二时间节点的模型精度，所述优化模块303，用于在所述第一子精度位于预设精度范围之内，且在所述第二子精度位于所述预设精度范围之外的情况下，在所述第二时间节点时，基于目标训练数据集对所述目标模型进行训练，其中，所述第二时间节点为所述第二时间周期内的时间节点。
[0098]
可选地，所述目标训练数据集包括第一数据集和第二数据集，所述第一数据集包括基于所述第一时间周期内的待识别数据生成的训练数据，所述第二数据集包括基于所述第一时间节点与所述第二时间节点之间的待识别数据生成的训练数据。
[0099]
可选地，所述第二时间周期包括n个连续的第一子周期，所述第一子精度包括所述n个第一子周期中的前i个第一子周期对应的模型精度；所述第二子精度包括所述n个第一子周期中的第i+1个第一子周期对应的模型精度；
[0100]
在所述前i个第一子周期对应的模型精度位于所述预设精度范围之内，且所述第i+1个第一子周期对应的模型精度位于所述预设范围之外的情况下，所述第二时间节点为所述第i+1个第一子周期的时间起点，所述n为大于1的整数，所述i为大于0的整数。
[0101]
可选地，请参见图4，所述计算模块301，包括：
[0102]
获取子模块3011，用于获取第一数据集，所述第一数据集包括所述第一时间周期内的待识别数据和所述待识别数据所对应的真实标签；
[0103]
识别子模块3012，用于基于所述目标模型分别对所述第一数据集中的每个待识别数据进行识别，得到与所述第一数据集中每个待识别数据对应的预测标签；
[0104]
计算子模块3013，用于基于所述真实标签和所述预测标签计算所述第一精度信息。
[0105]
可选地，所述第一时间周期包括m个第二子周期，所述m为大于1的整数，所述第一精度信息包括所述m个第二子周期对应的模型精度；
[0106]
所述计算子模块，具体用于基于所述第二子周期内的待识别数据的真实标签和所述第二子周期内的待识别数据的预测标签进行计算，得到所述第二子周期对应的所述模型精度。
[0107]
可选地，所述第一数据集包括训练集和测试集，所述训练集与所述第一时间周期中的至少一个第二子周期相对应，所述测试集与所述第一时间周期中的至少一个第二子周期相对应，且所述训练集所对应的第二子周期与所述测试集所对应的第二子周期不同，所述目标模型为基于所述训练集和所述测试集训练得到的模型。
[0108]
可选地，所述预测模块302，具体用于将所述第一精度信息输入差分整合移动平均自回归模型arima进行预测，得到所述第二精度信息。
[0109]
需要说明地，本实施例提供的模型优化装置300能够实现上述模型优化方法实施例的全部技术方案，因此至少能够实现上述全部技术效果，此处不再赘述。
[0110]
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
[0111]
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
[0112]
图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字
助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
[0113]
如图5所示，电子设备500包括计算单元501，其可以根据存储在只读存储器(rom)502中的计算机程序或者从存储单元508加载到随机访问存储器(ram)503中的计算机程序，来执行各种适当的动作和处理。在ram 503中，还可存储设备500操作所需的各种程序和数据。计算单元501、rom 502以及ram 503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。
[0114]
电子设备500中的多个部件连接至i/o接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0115]
计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如模型优化方法。例如，在一些实施例中，模型优化方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由rom 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到ram 503并由计算单元501执行时，执行上文描述的模型优化方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行模型优化方法。
[0116]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0117]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0118]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电
子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0119]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0120]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
[0121]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
[0122]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
[0123]
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。