评价模型的更新方法及系统的制作方法
【专利摘要】本发明提供了一种评价模型的更新方法及系统。本发明的评价模型的更新方法，包括：监控运行平台运行的当前评价模型的稳定性和/或准确性；若所述当前评价模型不稳定或不准确，生成新评价模型，并在测试平台运行所述新评价模型以判断所述新评价模型是否可用，直至生成可用的新评价模型；将所述运行平台运行的当前评价模型替换为可用的所述新评价模型。本发明的评价模型的更新方法及系统，可实时更新评价算法，缩短周期，提高系统性能，降低成本。
【专利说明】
评价模型的更新方法及系统
技术领域
[0001]本发明涉及数据处理技术领域，具体涉及一种评价模型的更新方法及系统。
【背景技术】
[0002]评价模型(评分模型)的应用广泛。例如，借贷款等等应用，需要评价用户的信用，就会利用到信用评分模型；又例如，投放广告、分析用户购买需求等等应用，需要评价用户的需求，就会利用到需求评分模型。
[0003]目前采用的技术方案通常是，线下完成样本训练，建立评价模型，然后人为对评价模型进行线下验证，验证通过后上线运行。
[0004]以借贷款流程为例，其评价用户信用的评价模型的生成及更新过程如下:
[0005]利用已有的样本进行训练，建立评价模型；
[0006]等待样本的表现，待一段表现期之后，得到样本的表现结果，人为根据样本的表现结果验证评价模型；
[0007]验证通过后，上线运行。
[0008]可以按照设定的周期或者根据需求，人为启动上述过程，从而更新评价模型。
[0009]其中，一个客户对应一个样本。
[0010]现有的评价模型的更新周期较长、成本较高。
【发明内容】
[0011]针对现有技术中的缺陷，本发明提供一种评价模型的更新方法及系统，以减少评价模型的更新周期，降低成本。
[0012]第一方面，本发明提供的评价模型的更新方法，包括:监控运行平台运行的当前评价模型的稳定性和/或准确性;若所述当前评价模型不稳定或不准确，生成新评价模型，并在测试平台运行所述新评价模型以判断所述新评价模型是否可用，直至生成可用的新评价模型;将所述运行平台运行的当前评价模型替换为可用的所述新评价模型。
[0013]可选地，所述监控运行平台运行的当前评价模型的稳定性，包括:根据设定时间段内输入当前评价模型的样本，监控运行平台运行的当前评价模型的PSI取值，若PSI取值大于设定阈值，表示所述当前评价模型不稳定。
[0014]可选地，所述监控运行平台运行的当前评价模型的准确性，包括:根据所述运行平台反馈的样本属性更新数据，更新对应样本的属性;根据更新属性后的样本监控所述当前评价模型的准确性。
[0015]可选地，所述生成新评价模型，并在测试平台运行所述新评价模型以判断所述新评价模型是否可用，直至生成可用的新评价模型，包括:按照多种算法分别生成新评价模型；在测试平台分别运行各个所述新评价模型以判断所述新评价模型是否可用，直至生成可用的新评价模型；若存在多个可用的新评价模型，按照设定策略选择最优的可用的新评价模型;若基于准确率检测判断所述新评价模型是否可用，所述设定策略为准确率最高;若基于KS值检测判断所述新评价模型是否可用，所述设定策略为KS值最大;若基于基尼值判断所述新评价模型是否可用，所述设定策略为基尼值最大;若基于ROC值判断所述新评价模型是否可用，所述设定策略为ROC值最大。
[0016]可选地，所述生成新评价模型，并在测试平台运行所述新评价模型以判断所述新评价模型是否可用，包括:利用预设比例的已有样本生成新评价模型，并在测试平台运行所述新评价模型以利用剩余已有样本评价所述新评价模型是否可用。
[0017]第二方面，本发明提供的评价模型的更新装置，包括:当前模型监控单元，用于监控运行平台运行的当前评价模型的稳定性和/或准确性;新模型测试单元，用于若所述当前评价模型不稳定或不准确，生成新评价模型，并在测试平台运行所述新评价模型以判断所述新评价模型是否可用，直至生成可用的新评价模型;模型更新单元，用于将所述运行平台运行的当前评价模型替换为可用的所述新评价模型。
[0018]可选地，所述前模型监控单元具体用于:根据设定时间段内输入当前评价模型的样本，监控运行平台运行的当前评价模型的PSI取值，若PSI取值大于设定阈值，表示所述当前评价模型不稳定。
[0019]可选地，所述当前模型监控单元具体用于:根据所述运行平台反馈的样本属性更新数据，更新对应样本的属性;根据更新属性后的样本监控所述当前评价模型的准确性。
[0020]可选地，所述新模型测试单元具体用于:按照多种算法分别生成新评价模型；在测试平台分别运行各个所述新评价模型以判断所述新评价模型是否可用，直至生成可用的新评价模型;若存在多个可用的新评价模型，按照设定策略选择最优的可用的新评价模型;若基于准确率检测判断所述新评价模型是否可用，所述设定策略为准确率最高;若基于KS值检测判断所述新评价模型是否可用，所述设定策略为KS值最大;若基于基尼值判断所述新评价模型是否可用，所述设定策略为基尼值最大;若基于ROC值判断所述新评价模型是否可用，所述设定策略为ROC值最大。
[0021]可选地，所述新模型测试单元具体用于:利用预设比例的已有样本生成新评价模型，并在测试平台运行所述新评价模型以利用剩余已有样本评价所述新评价模型是否可用。
[0022]由上述技术方案可知，本发明提供的评价模型的更新方法及装置，可实时更新评价算法，缩短周期，提高系统性能，降低成本。
【附图说明】
[0023]图1为本发明实施例所提供的一种评价模型的更新方法的流程图；
[0024]图2为本发明实施例所提供的一种评价模型的更新装置的结构框图。
【具体实施方式】
[0025]下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。
[0026]需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
[0027]如图1所示，本发明实施例的评价模型的更新方法包括:
[0028]步骤SlO，监控运行平台运行的当前评价模型的稳定性和/或准确性；
[0029]步骤S20，若当前评价模型不稳定或不准确，生成新评价模型，并在测试平台运行新评价模型以判断新评价模型是否可用，直至生成可用的新评价模型；
[0030]步骤S30，将运行平台运行的当前评价模型替换为可用的所述新评价模型。
[0031 ]本发明实施例提供的方法，可实时、自动化地更新评价模型，缩短周期，提高系统性能，降低成本。
[0032]本发明实施例中，监控模型的稳定性的技术手段有多种。为了更好地监控评价模型的稳定性，本发明实施例提供步骤SlO的一种优选实现方式:根据设定时间段内输入当前评价模型的样本，监控运行平台运行的当前评价模型的PSI取值，若PSI取值大于设定阈值，表示当前评价模型不稳定。实时监控PSI指标，以PSI指标是否超出阈值作为更新的触发条件，实现了实时、自动化地更新评价模型。
[0033]其中，PSI的取值在O?I之间；阈值可以选取0.02,0.05等等，也可根据实际需求设置。
[0034]PSI监控的具体实现方式不限。
[0035]例如，在样本量较多的情况下，每天监控当天的新样本，根据当天的PSI取值判断稳定性;在样本量较少的情况下，每天监控之前7天内的新样本，根据之前7天的PSI的取值判断稳定性。一旦判定模型不稳定，即触发生成新的评价模型。
[0036]本发明实施例中，监控模型的准确性的技术手段有多种。为了更好地监控评价模型的准确性，本发明实施例还提供步骤SlO的另一种优选实现方式:根据运行平台反馈的样本属性更新数据，更新对应样本的属性;根据更新属性后的样本监控当前评价模型的准确性。
[0037]具体以借贷款为例说明上述方案:假设客户的借贷分为3期，每期I个月，即每月还款，共还3个月。那么，每次还款都会有至少如下结果:按期还款、逾期还款，据此更新样本，并判断按期还款的比例，当按期还款的比例达到设定值，则模型准确，否则模型不准确。
[0038]本发明实施例中，上述步骤S20的实现方式有多种。为了得到准确的评价模型，本发明实施例提供步骤S20的一种优选实现方式:包括:按照多种算法分别生成新评价模型；在测试平台分别运行各个新评价模型以判断新评价模型是否可用，直至生成可用的新评价模型;若存在多个可用的新评价模型，按照设定策略选择最优的可用的新评价模型;若基于准确率检测判断新评价模型是否可用，设定策略为准确率最高;若基于KS值检测判断所述新评价模型是否可用，设定策略为KS值最大;若基于基尼值判断新评价模型是否可用，设定策略为基尼值最大;若基于ROC值判断新评价模型是否可用，设定策略为ROC值最大。利用多个算法分别建立评价模型，选取其中最优的评价模型，提高了模型的准确性。
[0039]其中，生成评价模型的算法很多，例如:基于逻辑回归，基于决策树，基于神经网络等等。本发明实施例中，既可以采用一种既定的算法生成评价模型，例如采用逻辑回归建模，也可以分别利用不同的算法建立评价模型，相应的，按照设定的策略选择最优的评价模型。
[0040]为了得到准确的评价模型，本发明实施例还提供步骤S20的另一种优选实现方式:利用预设比例的已有样本生成新评价模型，并在测试平台运行所述新评价模型以利用剩余已有样本评价所述新评价模型是否可用。利用已有的样本创建模型，并利用已有的样本测试模型是否可用，使得生成的评价模型得到的数据更接近实际数据。
[0041]基于与上述评价模型的更新方法同样的发明构思，本发明实施例还提供一种评价模型的更新装置，包括:当前模型监控单元101，用于监控运行平台运行的当前评价模型的稳定性和/或准确性;新模型测试单元102，用于若当前评价模型不稳定或不准确，生成新评价模型，并在测试平台运行新评价模型以判断新评价模型是否可用，直至生成可用的新评价模型；模型更新单元103，用于将运行平台运行的当前评价模型替换为可用的新评价模型。
[0042]本发明实施例提供的系统，可实时、自动化地更新评价模型，缩短周期，提高系统性能，降低成本。
[0043]当前模型监控单元101具体用于:根据设定时间段内输入当前评价模型的样本，监控运行平台运行的当前评价模型的PSI取值，若PSI取值大于设定阈值，表示当前评价模型不稳定。实时监控PSI指标，以PSI指标是否超出阈值作为更新的触发条件，实现了实时、自动化地更新评价模型。
[0044]其中，PSI的取值在O?I之间；阈值可以选取0.02,0.05等等，也可根据实际需求设置。
[0045]PSI监控的具体实现方式不限。
[0046]例如，在样本量较多的情况下，每天监控当天的新样本，根据当天的PSI取值判断稳定性;在样本量较少的情况下，每天监控之前7天内的新样本，根据之前7天的PSI的取值判断稳定性。一旦判定模型不稳定，即触发生成新的评价模型。
[0047]当前模型监控单元101还具体用于:根据运行平台反馈的样本属性更新数据，更新对应样本的属性;根据更新属性后的样本监控当前评价模型的准确性。
[0048]具体以借贷款为例说明上述方案:假设客户的借贷分为3期，每期I个月，即每月还款，共还3个月。那么，每次还款都会有至少如下结果:按期还款、逾期还款，据此更新样本，并判断按期还款的比例，当按期还款的比例达到设定值，则模型准确，否则模型不准确。
[0049]新模型测试单元102具体用于:按照多种算法分别生成新评价模型;在测试平台分别运行各个新评价模型以判断所述新评价模型是否可用，直至生成可用的新评价模型；若存在多个可用的新评价模型，按照设定策略选择最优的可用的新评价模型;若基于准确率检测判断所述新评价模型是否可用，设定策略为准确率最高;若基于KS值检测判断所述新评价模型是否可用，设定策略为KS值最大;若基于基尼值判断新评价模型是否可用，设定策略为基尼值最大;若基于ROC值判断所述新评价模型是否可用，设定策略为ROC值最大。利用多个算法分别建立评价模型，选取其中最优的评价模型，提高了模型的准确性。
[0050]其中，生成评价模型的算法很多，例如:基于逻辑回归，基于决策树，基于神经网络等等。本发明实施例中，既可以采用一种既定的算法生成评价模型，例如采用逻辑回归建模，也可以分别利用不同的算法建立评价模型，相应的，按照设定的策略选择最优的评价模型。
[0051]新模型测试单元102还具体用于:利用预设比例的已有样本生成新评价模型，并在测试平台运行新评价模型以利用剩余已有样本评价新评价模型是否可用。利用已有的样本创建模型，并利用已有的样本测试模型是否可用，使得生成的评价模型得到的数据更接近实际数据。
[0052]本发明提供的评价模型的更新装置，可实时、自动化地更新评价模型，缩短周期，提尚系统性能，降低成本。
[0053]最后应说明的是:以上各实施例仅用以说明本发明的技术方案，而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
【主权项】
1.一种评价模型的更新方法，其特征在于，包括: 监控运行平台运行的当前评价模型的稳定性和/或准确性； 若所述当前评价模型不稳定或不准确，生成新评价模型，并在测试平台运行所述新评价模型以判断所述新评价模型是否可用，直至生成可用的新评价模型； 将所述运行平台运行的当前评价模型替换为可用的所述新评价模型。2.根据权利要求1所述的方法，其特征在于，所述监控运行平台运行的当前评价模型的稳定性，包括: 根据设定时间段内输入当前评价模型的样本，监控运行平台运行的当前评价模型的PSI取值，若PSI取值大于设定阈值，表示所述当前评价模型不稳定。3.根据权利要求1所述的方法，其特征在于，所述监控运行平台运行的当前评价模型的准确性，包括: 根据所述运行平台反馈的样本属性更新数据，更新对应样本的属性； 根据更新属性后的样本监控所述当前评价模型的准确性。4.根据权利要求1?3任一项所述的方法，其特征在于，所述生成新评价模型，并在测试平台运行所述新评价模型以判断所述新评价模型是否可用，直至生成可用的新评价模型，包括: 按照多种算法分别生成新评价模型;在测试平台分别运行各个所述新评价模型以判断所述新评价模型是否可用，直至生成可用的新评价模型;若存在多个可用的新评价模型，按照设定策略选择最优的可用的新评价模型； 若基于准确率检测判断所述新评价模型是否可用，所述设定策略为准确率最高； 若基于KS值检测判断所述新评价模型是否可用，所述设定策略为KS值最大； 若基于基尼值判断所述新评价模型是否可用，所述设定策略为基尼值最大； 若基于ROC值判断所述新评价模型是否可用，所述设定策略为ROC值最大。5.根据权利要求1?3任一项所述的方法，其特征在于，所述生成新评价模型，并在测试平台运行所述新评价模型以判断所述新评价模型是否可用，包括: 利用预设比例的已有样本生成新评价模型，并在测试平台运行所述新评价模型以利用剩余已有样本评价所述新评价模型是否可用。6.一种评价模型的更新系统，其特征在于，包括: 当前模型监控单元，用于监控运行平台运行的当前评价模型的稳定性和/或准确性；新模型测试单元，用于若所述当前评价模型不稳定或不准确，生成新评价模型，并在测试平台运行所述新评价模型以判断所述新评价模型是否可用，直至生成可用的新评价模型； 模型更新单元，用于将所述运行平台运行的当前评价模型替换为可用的所述新评价模型。7.根据权利要求6所述的系统，其特征在于，所述当前模型监控单元具体用于: 根据设定时间段内输入当前评价模型的样本，监控运行平台运行的当前评价模型的PSI取值，若PSI取值大于设定阈值，表示所述当前评价模型不稳定。8.根据权利要求6所述的系统，其特征在于，所述当前模型监控单元具体用于: 根据所述运行平台反馈的样本属性更新数据，更新对应样本的属性； 根据更新属性后的样本监控所述当前评价模型的准确性。9.根据权利要求6?8任一项所述的系统，其特征在于，所述新模型测试单元具体用于: 按照多种算法分别生成新评价模型;在测试平台分别运行各个所述新评价模型以判断所述新评价模型是否可用，直至生成可用的新评价模型;若存在多个可用的新评价模型，按照设定策略选择最优的可用的新评价模型； 若基于准确率检测判断所述新评价模型是否可用，所述设定策略为准确率最高； 若基于KS值检测判断所述新评价模型是否可用，所述设定策略为KS值最大； 若基于基尼值判断所述新评价模型是否可用，所述设定策略为基尼值最大； 若基于ROC值判断所述新评价模型是否可用，所述设定策略为ROC值最大。10.根据权利要求6?8任一项所述的系统，其特征在于，所述新模型测试单元具体用于: 利用预设比例的已有样本生成新评价模型，并在测试平台运行所述新评价模型以利用剩余已有样本评价所述新评价模型是否可用。
【文档编号】G06Q40/02GK106022912SQ201610370313
【公开日】2016年10月12日
【申请日】2016年5月30日
【发明人】刘慧 , 贾西贝
【申请人】深圳市华傲数据技术有限公司