基于重复抽样与压力测试的模型稳健性检测方法与流程

本申请涉及计算机技术领域，特别是指基于重复抽样与压力测试的模型稳健性检测方法。

背景技术：

现代社会中，基于特定的目的，用户会设计特定的模型对目标进行识别，辨别目标是否符合特定的需求或要求。例如：在人物识别时，用户可能会希望识别出未来有可能违法的人物，进而需要建立特定的模型对人物进行识别，获取人物的违法记录及违法频率等，从而得出人物违法概率等因素，进而实现人物识别，确定关注对象；或是在企业贷款或授信时，用户可能会希望识别出未来有可能逾期或违约的企业，进而需要建立特定的模型对企业进行识别等等。而模型的稳定对所建立的模型来说具有非常重要的意义，在模型不具有稳健性的条件下，其虽然仍可进行模型运算，但输出结果可能会掩盖真实的变量间的关系，从而扭曲结果，使模型参数的估计失去了准确性。基于模型输出结果对事物的指导就可能偏离实际，甚至带来损失。模型稳健性检测的研究是建立优质模型的必要环节，是模型具备泛化能力的前提。传统的模型稳健性检测方法，相关参数计算时，依据的样本较少，不能验证模型在不同样本配比情况下的极端表现，模型稳健性并没有被准确的预测。从而可能严重影响目标识别的准确性。

技术实现要素：

有鉴于此，本申请的目的在于提出一种基于重复抽样与压力测试的模型稳健性检测方法，用以实现在各种样本配比的情况下，保证模型的稳健性，进而保证目标识别的准确性。

基于上述目的，本申请提供了基于重复抽样与压力测试的模型稳健性检测方法，包括：

获取符合目标对象识别模型的样本对象，根据所述样本对象的行为数据在特定时间条件下是否符合条件，对所述样本对象进行划分及分层抽样，构成初始样本集；

按照设定的配比对所述初始样本集进行有放回的抽取，生成测试样本集；

根据预设的计算方式对所述测试样本集进行运算，得到验证参数，计算所述验证参数的统计变量；

获取用户的需求信息，根据所述统计变量判断所述目标对象识别模型是否满足所述需求信息；

若是，则输出所述目标对象识别模型，通过所述目标对象识别模型识别目标对象。

在一些实施方式中，所述按照设定的配比对所述初始样本集进行有放回的抽取，具体包括：

设置包括至少一种所述配比的配比集；

根据所述配比集中的每一种所述配比，分别对所述初始样本集进行有放回的抽取。

在一些实施方式中，所述根据预设的计算方式对所述测试样本集进行运算，具体包括：

抽取至少一种所述配比所对应的对应测试样本集；

根据预设的计算方式，对所述对应测试样本集进行运算。

在一些实施方式中，所述测试样本集内的所述样本对象数量与所述初始样本集内的所述样本对象数量相同。

在一些实施方式中，所述计算方式，具体为：巴塞尔协议定义的计算方式。

在一些实施方式中，所述验证参数，至少包括如下一项：基尼指数、柯尔莫可洛夫-斯米洛夫检验值、接收者操作特征曲线、接收者操作特征曲线下面积和/或群体稳定性指标。

在一些实施方式中，所述统计变量，至少包括如下一项：最小值、最大值、平均数、中位数、方差和/或置信区间。

从上面所述可以看出，本申请提供的基于重复抽样与压力测试的模型稳健性检测方法，通过获取符合目标对象识别模型的样本对象，根据所述样本对象的行为数据在特定时间条件下是否符合条件，对所述样本对象进行划分及分层抽样，构成初始样本集；按照设定的配比对所述初始样本集进行有放回的抽取，生成测试样本集；根据预设的计算方式对所述测试样本集进行运算，得到验证参数，计算所述验证参数的统计变量；获取用户的需求信息，根据所述统计变量判断所述目标对象识别模型是否满足所述需求信息；若是，则输出所述目标对象识别模型，通过所述目标对象识别模型识别目标对象。应用本申请的技术方案，可以实现在各种样本配比的情况下，保证模型的稳健性，进而保证目标识别的准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提出的基于重复抽样与压力测试的模型稳健性检测方法的流程示意图；

图2为本申请实施例提出的一种具体实施方式中的模型稳健性检测方法的流程示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本申请进一步详细说明。

需要说明的是，除非另外定义，本申请实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件、物件或者方法步骤涵盖出现在该词后面列举的元件、物件或者方法步骤及其等同，而不排除其他元件、物件或者方法步骤。

如背景技术所言，现有的目标识别方式中，由于建立的识别模型不够稳健或在极端情况下达不到预期的效果。本领域中需要一种检验模型稳健性的方法，使模型建立者建立出符合要求的模型，从而使模型在进行目标识别时能够达到更高的准确度。在本领域中，模型验证技术中，并无通用的稳健性方法，但是存在通用的稳定性检验方法。群体稳定性指标(psi，populationstabilityindex)就是其中使用较广的一种。psi可衡量模型测试样本及模型训练样本的分布差异，是最常见的模型稳定度评估指标，psi数值越小，两个分布之间的差异就越小，代表模型越稳定。

然而psi可以对模型稳定性进行预测，但是该指标仅能表达模型结果的稳定性，潜在假设就是外部环境和目标样本没有显著性的变化或迁移，并不能够检测模型在外部环境改变或者目标样本迁移情况下模型的适应能力，即稳健性。模型不同情况下的表现，尤其是极端情况下的表现，psi指标并不能直观给出，很难全面把握模型预测能力。因此，一种能够直观并且量化给出模型表现范围的稳健性检测方法更加适合在使用模型前对模型进行稳健性评价，确认模型是否匹配风险承受能力。

为此本申请设计实现了基于重复抽样与压力测试的模型稳健性检测方法，通过在建立的初始样本集中，按配比有放回的重新抽取样本，生成测试样本集，并对新生成的测试样本集进行计算并获取统计变量，再按照用户要求对统计变量进行检测，将符合要求的模型输出，并通过模型对目标对象进行识别。从而实现了一种目标对象识别模型的稳健性检测方法，进而可以实现在各种样本配比的情况下，保证模型的稳健性，进而保证目标识别的准确性。

以下结合附图，详细说明本说明书实施例提供的技术方案。

如图1所示，为本实施例的基于重复抽样与压力测试的模型稳健性检测方法的流程示意图，该方法具体包括以下步骤：

步骤101，获取符合目标对象识别模型的样本对象，根据所述样本对象的行为数据在特定时间条件下是否符合条件，对所述样本对象进行划分及分层抽样，构成初始样本集。

本步骤旨在，确定出初始样本集。其中，样本对象是指在一次模型测试过程中用到的目标对象，其目标对象可以是个人也可以是企业公司等。之后行为数据是指目标对象在过去的时间里已经产生的某种行为或发生的事件，例如：人物违法识别中，检测人物过去是否有过违法、违法次数、违法频率等等；企业违约识别中，检测企业过去是否有过违约、逾期、违约次数、频率等等。其行为数据是已经产生并已经固定的事实。再之后，特定时间可以根据经验或特殊要求进行设置，例如：当天前180天内、90天内、去年初到今年初或至今为止等时间段内。最后根据样本对象是否符合条件对样本对象进行划分及分层抽样，并生成初始样本集。例如前述例子中将样本人物中违法的分为一类、不违法的分为一类；将样本企业中违约逾期的分为一类、没有违约逾期分为一类等等。在此为了方便表述可以将其中一类称为好样本、另一类称为坏样本，初始样本集由好样本及坏样本组成。进行分层抽样是指对所有划分好的样本对象再进行分层，其中一部分用于训练对应模型，另一部分用于检测模型，并使两部分中的好坏样本比例趋于相等。例如：将全部样本划分为两部分，一部分样本占总量的70％用于训练模型，另一部分样本占总量的30％用于检测模型，并且两部分的好坏样本占比趋于相等。

同时，其中获取目标对象或样本对象的行为数据可以通过人为手动输入或导入信息表；还可以通过互联网在网络中自主查询需要的相关数据；更可以是跟第三方机构建立单独的连接通道，直接由第三方机构提供等等。不同的获取目标对象或样本对象的行为数据的方式只要能达到相应的目的，不同的方法均不会影响本申请的保护范围。

步骤102，按照设定的配比对所述初始样本集进行有放回的抽取，生成测试样本集。

本步骤旨在，对初始样本集进行再抽取生成测试样本集。按照设定的配比对所述初始样本集进行有放回的抽取，即为按照一定的比例对由好样本和坏样本组成的初始样本集进行冲洗抽取。例如：配比为20％，则使抽取出来的好样本与坏样本的比例满足8:2或2:8等。

在此设定的配比可以是一个，也可以是多个，还可以是在一个配比集中抽取特定个数的配比或直接获取配比集中的全部配比进行之后的步骤。同时，本方案抽取的方式是有放回的进行抽取，从而一个样本对象可能会被多次抽取，在一种极端的示例中，可能抽取出的坏样本均为同一个样本对象，在本步骤中每一个配比会抽取多个对应的测试样本集，当然，此处的测试样本集可以是与配比对应的，也可以是一个测试样本集中包括按照所有(一个或多个)配比抽取出来的所有对象或集合。另外，抽取出的样本对象个数或测试样本集中的样本对象个数可以与初始样本集的个数相同，也可以是按照特定需求进行自行设定的个数。

可见，不同配比设置的方式及不同抽取的方式只要能达到相应的目的，不同的方法均不会影响本申请的保护范围。

步骤103，根据预设的计算方式对所述测试样本集进行运算，得到验证参数，计算所述验证参数的统计变量。

本步骤旨在，按照设定的检测规则利用测试样本集进行计算得到验证参数并计算验证参数的统计变量。其中，验证参数是指用于表征模型是否稳定的相关参数，例如：基尼指数(gini指数，ginicoefficient)、柯尔莫可洛夫-斯米洛夫检验值(ks值，kolmogorov–smirnovtest值)、接收者操作特征曲线(roc，receiveroperatingcharacteristic)、接收者操作特征曲线下面积(auc，areaundercurve)、群体稳定性指标(psi，populationstabilityindex)、敏感性、特异性、准确率、精确率、召回率、f1值(f1score)等等。其中每个验证参数都有属于自己的计算方式，同时，部分国家或国际机构对这些验证参数也统一设定了机构自身的计算方式，例如：巴塞尔协议中就对这些验证参数设定了另一种计算方式。

之后因为每个配比都抽取了多个测试样本集，从而这个配比下每个测试样本集都会生成一套验证参数，进而，可以对同一配比下的多个同种验证参数求取统计变量，统计变量包括但不限于：最小值、最大值、平均数、中位数、方差、α置信水平区间等等。

步骤104，获取用户的需求信息，根据所述统计变量判断所述目标对象识别模型是否满足所述需求信息。

本步骤旨在，根据用户的需求及得到的统计变量判断模型是否能满足用户的需求。例如gini指数是用来表征同一配比下两组样本对象在模型运行下的差距大小，gini指数越小则差距越小，表示模型越稳健。模型使用者能够接受的gini最高为0.5，那么采用本方案，则验证模型gini指数的95％α置信区间上限是否能够达到标准；或模型使用者要求模型相对稳定，则验证模型psi的95％α置信区间下限在否在0.1以下等等。从而可以根据用户的需求确定当前的模型是否是用户需要的模型。

步骤105，若是，则输出所述目标对象识别模型，通过所述目标对象识别模型识别目标对象。

本步骤旨在，若判定通过则将具体的目标对象识别模型输出给用户，并利用目标对象识别模型对目标对象进行识别判断。根据不同的应用场景和实施需要，具体的对于目标对象识别模型的输出方式可以灵活选择。

例如，对于本实施例的方法在单一设备上执行的应用场景，可以将目标对象识别模型直接在当前设备的显示部件(显示器、投影仪等)上以显示的方式输出，使得当前设备的操作者能够从显示部件上直接看到目标对象识别模型。

又如，对于本实施例的方法在多个设备组成的系统上执行的应用场景，可以将目标对象识别模型通过任意的数据通信方式(有线连接、nfc、蓝牙、wifi、蜂窝移动网络等)发送至系统内的其他作为接收方的预设设备上，以使得接收到目标对象识别模型的预设设备可以对其进行后续处理。可选的，该预设设备可以是预设的服务器，服务器一般设置在云端，作为数据的处理和存储中心，其能够对目标对象识别模型进行存储和分发；其中，分发的接收方是终端设备，该些终端设备的持有者或操作者可以是用户、司法机构的管理人员、银行机构的管理人员等。

再如，对于本实施例的方法在多个设备组成的系统上执行的应用场景时，可以将目标对象识别模型通过任意的数据通信方式直接发送至预设的终端设备，终端设备可以是前述段落列举中的一种或多种。

最后，自身或指示接收终端利用目标对象识别模型对目标对象进行识别，辨别目标对象是否符合或不符合要求。

通过应用本申请的技术方案，该方案通过获取符合目标对象识别模型的样本对象，根据所述样本对象的行为数据在特定时间条件下是否符合条件，对所述样本对象进行划分及分层抽样，构成初始样本集；按照设定的配比对所述初始样本集进行有放回的抽取，生成测试样本集；根据预设的计算方式对所述测试样本集进行运算，得到验证参数，计算所述验证参数的统计变量；获取用户的需求信息，根据所述统计变量判断所述目标对象识别模型是否满足所述需求信息；若是，则输出所述目标对象识别模型，通过所述目标对象识别模型识别目标对象。应用本申请的技术方案，可以实现在各种样本配比的情况下，保证模型的稳健性，进而保证目标识别的准确性。

在本申请的可选实施例中，为了使检测时包含更多的配比情况，并在检测极端的配比情况的同时也检测通常情况下的配比，使检测结果综合考虑极端情况及通常情况。所述按照设定的配比对所述初始样本集进行有放回的抽取，具体包括：

设置包括至少一种所述配比的配比集；

根据所述配比集中的每一种所述配比，分别对所述初始样本集进行有放回的抽取。

其中，配比集是包含所有配比的一个集合，每次在模型稳健性检测时，利用配比集中的全部配比，按照每个配比在初始样本集中抽取符合比例的样本对象。

在本申请的可选实施例中，为了得到样本对象在特定配比下的验证参数，简化整个检测过程，仅选取特定个具有代表性的配比，或随机选择特定个配比进行随机检测。所述根据预设的计算方式对所述测试样本集进行运算，具体包括：

抽取至少一种所述配比所对应的对应测试样本集；

根据预设的计算方式，对所述对应测试样本集进行运算。

其中，抽取至少一种所述配比所对应的对应测试样本集是指在选择的全部配比中，选择特定个或全部的配比，获取这些配比所对应的测试样本集(即对应测试样本集)。

在本申请的可选实施例中，为了既满足样本集内含有样本对象数量足够多，具有代表性，又为了使测试用样本集尽量符合模型本身对于样本数量的需求。所述测试样本集内的所述样本对象数量与所述初始样本集内的所述样本对象数量相同。

在本申请的可选实施例中，为了准确的计算出每个测试样本集的验证参数，从而防止仅利用每种参数各自的计算方法进行计算，由于相互之间的独立，而导致的相互之间可能存在的矛盾问题。所述计算方式，具体为：巴塞尔协议定义的计算方式。

其中，在巴塞尔协议中的风险监管标准中确定了关于模型稳健性相关的验证参数的计算方式。

在本申请的可选实施例中，所述验证参数，至少包括如下一项：基尼指数、柯尔莫可洛夫-斯米洛夫检验值、接收者操作特征曲线、接收者操作特征曲线下面积和/或群体稳定性指标。

在本申请的可选实施例中，所述统计变量，至少包括如下一项：最小值、最大值、平均数、中位数、方差和/或置信区间。

在具体的应用场景中，如图2所示，主要介绍对目标对象识别模型的稳健性进行检测的过程，而目标对象识别是模型本身的功能，本方案为检测设计出来的模型是否符合用户对于模型稳健性、识别准确性的需求，如果符合，则利用这个目标对象识别模型进行目标对象的识别，从而提高目标对象识别模型对目标对象的识别准确率，使识别准确率符合客户的要求或在客户的承受范围之内。该检测的过程为：

1)确定样本配比集，集中包含不同的样本配比。作为举例，假设集中包含k个配比，配比分别为p1、p2……pk，这里配比的意义表示抽取新样本时，某种样本所占比例。

2)设置初始样本集。

3)基于样本配比集中的每个配比，在初始样本集中有放回的抽取样本对象形成n个测试样本集，每个测试样本集中包含的样本对象数量与初始样本集的样本对象数量相同。作为举例：样本配比集中存在配比5％，5％指坏样本的含量，初始样本集中存在样本对象100个(假设坏样本20个，好样本80个)，那么测试样本集应包含5％*100＝5个坏样本及100-5＝95个好样本，则在初始样本集中有放回的抽取5个坏样本及95个好样本，组成测试样本集。

4)在上述抽取的测试样本集上对目标对象识别模型进行验证，作为举例，假设在g*n个测试样本集上对模型进行验证，其中g为选取进行验证的配比个数，即在含有k个配比的配比集中选取g个配比进行验证，当然这里的g可以等于k，得出验证参数(验证参数的得到采用《巴塞尔协议》中定义的计算方式)。验证参数可以有多种，包括但不限于gini指数、ks值、roc、auc、psi、敏感性、特异性、准确率、精确率、召回率、f1值等能够对模型表现进行评价的参数，都可以作为验证参数，使用时可以选择一个或者多个进行使用。

5)对每组中的得到的验证参数进行统计变量的计算。作为举例，对每组中的n个同种验证参数，计算最小值、最大值、平均数、中位数、方差、α置信水平区间，得出g组统计变量。

6)对得出的统计变量进行分析。作为举例，对上述g组的统计变量进行分析。分析主要包括：模型表现是否能够达到使用模型者设定的风险水平，例如：模型使用者能够接受的gini最低为0.5，那么采用本方法，则验证模型gini的95％置信区间下限是否能够达到标准；或模型使用者要求模型相对稳定，则验证模型psi的95％置信区间下限在否在0.1以下。具体分析要考虑模型使用者能够接受的风险水平、风险偏好，及习惯性使用的模型验证参数等。

通过上述步骤，可以预测模型在不同样本组合上的表现，包括假设极端情况的表现，从而对模型的稳健性、泛化能力有更全面的把握。从而全面验证目标对象识别模型的准确性是否符合用户需求，进而将符合要求的模型推送给用户，并利用模型进行目标对象的识别。从本质上提升目标对象识别的准确性。

本具体实施例对模型稳健性的评估进行了优化，除了能够评价模型的稳健性，还可以对模型的各种假设情况下的表现进行量化表示，同时打破了单一参数评价模型的屏障。不同的风险承受能力，对于模型稳健性的要求不同，能够接受模型的最差表现，是模型应用的关键，因此，能够量化模型的表现，同时能够利用多种参数观察模型的稳健性，才是兼顾稳健性检测与风险承受能力的最好方法。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本申请的不同方面的许多其它变化，为了简明它们没有在细节中提供。

尽管已经结合了本申请的具体实施例对本申请进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。

本申请的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本申请的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本申请的保护范围之内。