信用评分卡模型构建方法、装置、设备及可读存储介质与流程

本发明涉及金融科技(fintech)技术领域，尤其涉及信用评分卡模型构建方法、装置、设备及可读存储介质。

背景技术：

随着计算机技术的发展，越来越多的技术(大数据、分布式、区块链blockchain、人工智能等)应用在金融领域，传统金融业正在逐步向金融科技(fintech)转变，但由于金融行业的安全性、实时性要求，也对技术提出了更高的要求。

信用评分卡模型：评分卡是贷款机构对借款人的信用行为数据进行分析挖掘，预测借款人在一定时期内的违约概率，得到不同等级的信用分数，从而进行风险管控的一种决策工具。机器学习算法：指神经网络、随机森林、gbdt等新兴的建模方法。在将机器学习算法应用在信用评分模型的过程中，由于机器学习算法存在过拟合风险，其评价指标与评分卡模型关注的区分力、稳定性等指标不一致，使得机器学习算法应用于信用评分卡模型后需额外计算多个评分卡的评价指标，再人为进行筛选最优的模型评价指标。但是这种人工筛选模型评价指标的方式使得现有的信用评分卡模型建模技术存在建模效率低的技术问题。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现要素：

本发明的主要目的在于提供一种信用评分卡模型构建方法、装置、设备及可读存储介质，旨在解决现有的信用评分卡模型建模技术的建模效率低的技术问题。

为实现上述目的，本发明提供一种信用评分卡模型构建方法，所述信用评分卡模型构建方法包括以下步骤：

获取借款人的信用行为数据，并基于所述信用行为数据，确定训练样本和验证样本；

将所述训练样本输入至预设的机器学习模型，并基于参数组合对所述机器学习模型进行训练，得到所述参数组合对应的第一评价指标，其中，一个参数组合基于相同的训练样本对应训练一个机器学习模型；

训练完成所述机器学习模型后，将所述验证样本输入至训练完成的机器学习模型，确定所述参数组合对应的第二评价指标；

基于所述参数组合对应的所述第一评价指标和所述第二评价指标，确定所述参数组合中的最佳参数组合，以基于所述最佳参数组合确定所述机器学习模型对应的信用评分卡模型。

可选地，所述第一评价指标包括所述机器学习模型基于所述训练样本输出的第一ks指标，所述第二评价指标包括所述机器学习模型基于所述验证样本输出的第二ks指标和psi指标；

所述基于所述参数组合对应的所述第一评价指标和所述第二评价指标，确定所述参数组合中的最佳参数组合的步骤包括：

基于所述参数组合对应的所述第一ks指标和所述第二ks指标，确定所述第一ks指标和所述第二ks指标满足第一预设条件时对应的第一目标参数组合；

基于所述第一目标参数组合对应的psi指标，确定所述第一目标参数组合对应的psi指标满足第二预设条件时对应的第二目标参数组合；

当存在所述第二目标参数组合对应的psi指标满足第二预设条件时对应的第二目标参数组合时，将所述第二目标参数组合作为所述参数组合中的最佳参数组合。

可选地，所述基于所述参数组合对应的所述第一ks指标和所述第二ks指标，确定所述第一ks指标和所述第二ks指标满足第一预设条件时对应的第一目标参数组合的步骤包括：

基于所述参数组合对应的所述第二ks指标，确定所述第二ks指标大于第一预设阈值对应的参数组合为第三目标参数组合；

基于所述第三目标参数组合对应的第一ks指标和第二ks指标，确定所述第三目标参数组合对应的第一ks指标和第二ks指标的差值小于第二预设阈值时对应的第三目标参数组合为第一目标参数组合。

可选地，所述基于所述第一目标参数组合对应的psi指标，确定所述第一目标参数组合对应的psi指标满足第二预设条件时对应的第二目标参数组合的步骤包括：

基于所述第一目标参数组合对应的psi指标，将所述第一目标参数组合对应的psi指标中最小的psi指标对应的第一目标参数组合作为第二目标参数组合。

可选地，所述基于所述参数组合对应的所述第一评价指标和所述第二评价指标，确定所述参数组合中的最佳参数组合的步骤包括：

基于预设的指标评价体系，确定所述参数组合对应的所述第一评价指标和所述第二评价指标是否满足所述指标评价体系对应的第三预设条件；

若所述参数组合对应的所述第一评价指标和所述第二评价指标满足所述指标评价体系对应的第三预设条件，则基于所述参数组合对应的所述第一评价指标和所述第二评价指标，确定所述参数组合中的最佳参数组合。

可选地，所述基于预设的指标评价体系，确定所述参数组合对应的所述第一评价指标和第二评价指标是否满足所述指标评价体系对应的第三预设条件的步骤包括：

基于预设的指标评价体系，确定所述参数组合对应的所述第一评价指标是否在所述指标评价体系对应的第一指标范围内，以及确定所述参数组合对应的所述第二评价指标是否在所述指标评价体系对应的第二指标范围内；

所述若所述参数组合对应的所述第一评价指标和第二评价指标满足所述指标评价体系对应的第三预设条件，则基于所述参数组合对应的所述第一评价指标和第二评价指标，确定所述参数组合中的最佳参数组合的步骤包括：

若所述参数组合对应的所述第一评价指标在所述指标评价体系对应的第一指标范围内，且所述参数组合对应的所述第二评价指标在所述指标评价体系对应的第二指标范围内，则基于所述参数组合对应的所述第一评价指标和第二评价指标，确定所述参数组合中的最佳参数组合。

可选地，所述基于预设的指标评价体系，确定所述参数组合对应的所述第一评价指标和第二评价指标是否满足所述指标评价体系对应的第三预设条件的步骤之后，还包括：

若所述参数组合对应的所述第一评价指标和第二评价指标不满足所述指标评价体系对应的第三预设条件，则获取新的参数组合，将所述新的参数组合作为所述参数组合，并执行所述将所述训练样本输入至预设的机器学习模型，并基于参数组合对所述机器学习模型进行训练，得到所述参数组合对应的第一评价指标的步骤。

此外，为实现上述目的，本发明还提供一种信用评分卡模型构建装置，所述信用评分卡模型构建装置包括：

获取模块，用于获取借款人的信用行为数据，并基于所述信用行为数据，确定训练样本和验证样本；

训练模块，用于将所述训练样本输入至预设的机器学习模型，并基于参数组合对所述机器学习模型进行训练，得到所述参数组合对应的第一评价指标，其中，一个参数组合基于相同的训练样本对应训练一个机器学习模型；

第一确定模块，用于训练完成所述机器学习模型后，将所述验证样本输入至训练完成的机器学习模型，确定所述参数组合对应的第二评价指标；

第二确定模块，用于基于所述参数组合对应的所述第一评价指标和所述第二评价指标，确定所述参数组合中的最佳参数组合，以基于所述最佳参数组合确定所述机器学习模型对应的信用评分卡模型。

此外，为实现上述目的，本发明还提供一种信用评分卡模型构建设备，所述信用评分卡模型构建设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的信用评分卡模型构建程序，所述信用评分卡模型构建程序被所述处理器执行时实现如上述的信用评分卡模型构建方法的步骤。

此外，为实现上述目的，本发明还提供一种可读存储介质，所述可读存储介质上存储有信用评分卡模型构建程序，所述信用评分卡模型构建程序被处理器执行时实现如上述的信用评分卡模型构建方法的步骤。

本发明通过获取借款人的信用行为数据，并基于所述信用行为数据，确定训练样本和验证样本；将所述训练样本输入至预设的机器学习模型，并基于参数组合对所述机器学习模型进行训练，得到所述参数组合对应的第一评价指标，其中，一个参数组合基于相同的训练样本对应训练一个机器学习模型；训练完成所述机器学习模型后，将所述验证样本输入至训练完成的机器学习模型，确定所述参数组合对应的第二评价指标；基于所述参数组合对应的所述第一评价指标和所述第二评价指标，确定所述参数组合中的最佳参数组合，以基于所述最佳参数组合确定所述机器学习模型对应的信用评分卡模型。本发明根据不同的参数组合对机器学习进行训练，得到参数组合对应的第一评价指标和第二评价指标，之后根据第一评价指标和第二评价指标对相对应的机器学习模型进行评价，从而对参数组合进行评价其训练的模型训练效果，从而可以根据第一评价指标和第二评价指标确定参数组合中最佳参数组合，避免了人工筛选模型评价指标，解决了人工筛选模型评价指标的方式导致现有的信用评分卡模型建模技术的建模效率低的技术问题，提升了信用评分卡模型的建模效率。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的信用评分卡模型构建设备结构示意图；

图2为本发明信用评分卡模型构建方法第一实施例的流程示意图；

图3为本发明信用评分卡模型构建方法第二实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的信用评分卡模型构建设备结构示意图。

本发明实施例信用评分卡模型构建设备可以是pc，也可以是智能手机、平板电脑、电子书阅读器、mp3(movingpictureexpertsgroupaudiolayeriii，动态影像专家压缩标准音频层面3)播放器、mp4(movingpictureexpertsgroupaudiolayeriv，动态影像专家压缩标准音频层面4)播放器、便携计算机等具有显示功能的可移动式终端设备。

如图1所示，该信用评分卡模型构建设备可以包括：处理器1001，例如cpu，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，信用评分卡模型构建设备还可以包括摄像头、rf(radiofrequency，射频)电路，传感器、音频电路、wifi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在信用评分卡模型构建设备移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别信用评分卡模型构建设备姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

本领域技术人员可以理解，图1中示出的信用评分卡模型构建设备结构并不构成对信用评分卡模型构建设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及信用评分卡模型构建程序。

在图1所示的信用评分卡模型构建设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的信用评分卡模型构建程序。

在本实施例中，信用评分卡模型构建设备包括：存储器1005、处理器1001及存储在所述存储器1005上并可在所述处理器1001上运行的信用评分卡模型构建程序，其中，处理器1001调用存储器1005中存储的信用评分卡模型构建程序时，并执行以下操作：

获取借款人的信用行为数据，并基于所述信用行为数据，确定训练样本和验证样本；

将所述训练样本输入至预设的机器学习模型，并基于参数组合对所述机器学习模型进行训练，得到所述参数组合对应的第一评价指标，其中，一个参数组合基于相同的训练样本对应训练一个机器学习模型；

训练完成所述机器学习模型后，将所述验证样本输入至训练完成的机器学习模型，确定所述参数组合对应的第二评价指标；

基于所述参数组合对应的所述第一评价指标和所述第二评价指标，确定所述参数组合中的最佳参数组合，以基于所述最佳参数组合确定所述机器学习模型对应的信用评分卡模型。

进一步地，处理器1001可以调用存储器1005中存储的信用评分卡模型构建程序，还执行以下操作：

基于所述参数组合对应的所述第一ks指标和所述第二ks指标，确定所述第一ks指标和所述第二ks指标满足第一预设条件时对应的第一目标参数组合；

基于所述第一目标参数组合对应的psi指标，确定所述第一目标参数组合对应的psi指标满足第二预设条件时对应的第二目标参数组合；

当存在所述第二目标参数组合对应的psi指标满足第二预设条件时对应的第二目标参数组合时，将所述第二目标参数组合作为所述参数组合中的最佳参数组合。

进一步地，处理器1001可以调用存储器1005中存储的信用评分卡模型构建程序，还执行以下操作：

基于所述参数组合对应的所述第二ks指标，确定所述第二ks指标大于第一预设阈值对应的参数组合为第三目标参数组合；

基于所述第三目标参数组合对应的第一ks指标和第二ks指标，确定所述第三目标参数组合对应的第一ks指标和第二ks指标的差值小于第二预设阈值时对应的第三目标参数组合为第一目标参数组合。

进一步地，处理器1001可以调用存储器1005中存储的信用评分卡模型构建程序，还执行以下操作：基于所述第一目标参数组合对应的psi指标，将所述第一目标参数组合对应的psi指标中最小的psi指标对应的第一目标参数组合作为第二目标参数组合。

进一步地，处理器1001可以调用存储器1005中存储的信用评分卡模型构建程序，还执行以下操作：

基于预设的指标评价体系，确定所述参数组合对应的所述第一评价指标和所述第二评价指标是否满足所述指标评价体系对应的第三预设条件；

若所述参数组合对应的所述第一评价指标和所述第二评价指标满足所述指标评价体系对应的第三预设条件，则基于所述参数组合对应的所述第一评价指标和所述第二评价指标，确定所述参数组合中的最佳参数组合。

进一步地，处理器1001可以调用存储器1005中存储的信用评分卡模型构建程序，还执行以下操作：

基于预设的指标评价体系，确定所述参数组合对应的所述第一评价指标是否在所述指标评价体系对应的第一指标范围内，以及确定所述参数组合对应的所述第二评价指标是否在所述指标评价体系对应的第二指标范围内；

所述若所述参数组合对应的所述第一评价指标和第二评价指标满足所述指标评价体系对应的第三预设条件，则基于所述参数组合对应的所述第一评价指标和第二评价指标，确定所述参数组合中的最佳参数组合的步骤包括：

若所述参数组合对应的所述第一评价指标在所述指标评价体系对应的第一指标范围内，且所述参数组合对应的所述第二评价指标在所述指标评价体系对应的第二指标范围内，则基于所述参数组合对应的所述第一评价指标和第二评价指标，确定所述参数组合中的最佳参数组合。

进一步地，处理器1001可以调用存储器1005中存储的信用评分卡模型构建程序，还执行以下操作：

若所述参数组合对应的所述第一评价指标和第二评价指标不满足所述指标评价体系对应的第三预设条件，则获取新的参数组合，将所述新的参数组合作为所述参数组合，并执行所述将所述训练样本输入至预设的机器学习模型，并基于参数组合对所述机器学习模型进行训练，得到所述参数组合对应的第一评价指标的步骤。

本发明还提供一种信用评分卡模型构建方法，参照图2，图2为本发明信用评分卡模型构建方法第一实施例的流程示意图。

在本实施例中，该信用评分卡模型构建方法包括以下步骤：

步骤s10，获取借款人的信用行为数据，并基于所述信用行为数据，确定训练样本和验证样本；

本发明提出的信用评分卡模型构建方法应用于贷款机构，信用评分卡模型为一种对借款人的信用行为数据进行分析挖掘，并根据借款人的信用行为数据进行预测借款人在一定时期内的违约概率，得到不同等级的信用分数，从而进行风险管控的一种决策工具。

在本实施例中，信用行为数据为借款人在一定时期内的，包括借款人的信用历史记录和业务表现记录，其中，信用历史记录为借款人在人民银行所记录到的个人征信记录，业务表现记录为该借款人在该贷款机构或者其它贷款机构关于贷款业务的行为表现的记录数据，包括贷款金额、借款时间以及还款时间等等。在对信用评分卡模型建模开始，首先获取借款人的信用行为数据，并抽取信用行为数据中预设的特征数据作为用于建模的训练样本和验证样本，以供后续基于借款人的信用行为数据对应的训练样本对机器学习模型进行训练，以及基于验证样本对机器学习模型进行验证。其中，信用行为数据中包含借款人的多种特征数据，例如，借款人的年龄、性别、办理过的贷款业务、贷款金额、借款时间或还款时间等等。

步骤s20，将所述训练样本输入至预设的机器学习模型，并基于参数组合对所述机器学习模型进行训练，得到所述参数组合对应的第一评价指标，其中，一个参数组合基于相同的训练样本对应训练一个机器学习模型；

在本实施例中，得到借款人的信用行为数据对应的训练样本后，将信用行为数据对应的训练样本输入至机器学习模型中，以基于训练样本对机器学习模型进行训练，得到参数组合对应的第一评价指标。其中，第一评价指标为机器学习模型基于训练样本输出的模型评价指标。进一步地，需要说明的是，参数组合包括多个，并且利用相同的训练样本，基于一个参数组合训练一个机器学习模型，即多个参数组合对应训练多个机器学习模型。

具体地，在将训练样本输入至机器学习模型之后，对于机器学习模型的每一个模型参数，模型参数包含多个待定的可供选择的待定模型参数，在模型参数对应的多个待定模型参数中任意选择一个目标待定模型参数，得到一种参数组合，该参数组合为在待定模型参数中所选择的目标待定模型参数对应的组合。在得到机器学习模型对应的参数组合后，基于不同参数组合对机器学习模型进行训练。具体地，将机器学习模型的模型参数设置为该参数组合对应的目标待定参数，以基于参数组合对机器学习模型进行训练，得到该参数组合对应的第一评价指标。

步骤s30，训练完成所述机器学习模型后，将所述验证样本输入至训练完成的机器学习模型，确定所述参数组合对应的第二评价指标；

在本实施例中，在基于训练样本对机器学习模型训练完成后，再将验证样本输入至训练完成的机器学习模型中，以对训练完成的机器学习模型进行模型验证，以使机器学习模型基于验证样本输出参数组合对应的第二评价指标。其中，第二评价指标为机器学习模型基于验证样本输出的模型评价指标。进一步地，需要说明的是，基于一个参数组合训练一个机器学习模型，即多个参数组合对应训练多个机器学习模型，机器学习模型所输出的第一评价指标和第二评价指标相对应。

步骤s40，基于所述参数组合对应的所述第一评价指标和第二评价指标，确定所述参数组合中的最佳参数组合，以基于所述最佳参数组合确定所述机器学习模型对应的信用评分卡模型。

在本实施例中，在得到参数组合对应的第一评价指标和第二评价指标后，根据参数组合对应的第一评价指标和第二评价指标，对机器学习模型进行评价，从而对不同参数组合训练得到的机器学习模型进行评价。在本实施例中通过根据参数组合对应的第一评价指标和第二评价指标对相对应的机器学习模型进行评价，以评价基于参数组合所训练得到的机器学习模型的模型效果，从而得知参数组合的效果。因此，在对参数组合对应的机器学习模型评价完成后，根据参数组合对应的第一评价指标和第二评价指标，在多个参数组合中确定出最佳参数组合，最后将最佳参数组合所训练的机器学习模型作为信用评分卡模型。

进一步地，得到信用评分卡模型之后，获取待预测客户的信用行为数据；将待预测客户的信用行为数据输入至信用评分卡模型，以基于信用评分卡模型确定待预测客户的信用风险预测结果。

本实施例提出的信用评分卡模型构建方法，通过获取借款人的信用行为数据，并基于所述信用行为数据，确定训练样本和验证样本；将所述训练样本输入至预设的机器学习模型，并基于参数组合对所述机器学习模型进行训练，得到所述参数组合对应的第一评价指标，其中，一个参数组合基于相同的训练样本对应训练一个机器学习模型；训练完成所述机器学习模型后，将所述验证样本输入至训练完成的机器学习模型，确定所述参数组合对应的第二评价指标；基于所述参数组合对应的所述第一评价指标和所述第二评价指标，确定所述参数组合中的最佳参数组合，以基于所述最佳参数组合确定所述机器学习模型对应的信用评分卡模型。本发明根据不同的参数组合对机器学习进行训练，得到参数组合对应的第一评价指标和第二评价指标，之后根据第一评价指标和第二评价指标对相对应的机器学习模型进行评价，从而对参数组合进行评价其训练的模型训练效果，从而可以根据第一评价指标和第二评价指标确定参数组合中最佳参数组合，避免了人工筛选模型评价指标，解决了人工筛选模型评价指标的方式导致现有的信用评分卡模型建模技术的建模效率低的技术问题，提升了信用评分卡模型的建模效率。

基于第一实施例，提出本发明信用评分卡模型构建方法的第二实施例，参照图3，在本实施例中，步骤s40包括：

步骤s41，基于所述参数组合对应的所述第一ks指标和所述第二ks指标，确定所述第一ks指标和所述第二ks指标满足第一预设条件时对应的第一目标参数组合；

步骤s42，基于所述第一目标参数组合对应的psi指标，确定所述第一目标参数组合对应的psi指标满足第二预设条件时对应的第二目标参数组合；

步骤s43，当存在所述第二目标参数组合对应的psi指标满足第二预设条件时对应的第二目标参数组合时，将所述第二目标参数组合作为所述参数组合中的最佳参数组合。

在本实施例中，第一评价指标和第二评价指标为机器学习模型的模型评价指标，第一评价指标包括机器学习模型基于训练样本输出的第一ks指标，第二评价指标包括机器学习模型基于验证样本输出的第二ks指标和psi指标。其中，ks(kolmogorov-smirnov)指标所衡量的是好坏样本累计分布之间的差值。好坏样本累计差异越大，ks指标越大，那么模型的风险区分能力越强。psi(populationstabilityindex，群体稳定性)指标所衡量的是特征稳定性，在本实施例中，psi指标用于衡量在参数组合训练下的机器学习模型的稳定性。

具体地，对于各个参数组合，首先基于第一ks指标和第二ks指标，检测各参数组合对应的第一ks指标和第二ks指标是否满足第一预设条件，并将第一ks指标和第二ks指标满足第一预设条件时对应的参数组合作为第一目标参数组合。当存在第一目标参数组合时，再根据第一目标参数组合对应的psi指标，确定第一目标参数组合对应的psi指标是否满足第二预设条件，并将第一目标参数组合对应的psi指标满足第二预设条件对应的第一目标参数组合作为第二目标参数组合。当存在第二目标参数组合时，将第二目标参数组合作为参数组合中的最佳参数组合。

进一步地，所述基于所述参数组合对应的所述第一ks指标和所述第二ks指标，确定所述第一ks指标和所述第二ks指标满足第一预设条件时对应的第一目标参数组合的步骤包括：

步骤s411，基于所述参数组合对应的所述第二ks指标，确定所述第二ks指标大于第一预设阈值对应的参数组合为第三目标参数组合；

步骤s412，基于所述第三目标参数组合对应的第一ks指标和第二ks指标，确定所述第三目标参数组合对应的第一ks指标和第二ks指标的差值小于第二预设阈值时对应的第三目标参数组合为第一目标参数组合。

在本实施例中，具体地，对于各个参数组合，基于各参数组合对应的第二ks指标，检测参数组合对应的第二ks指标是否大于第一预设阈值，并将第二ks指标大于第一预设阈值对应的参数组合为第三目标参数组合。当存在第三目标参数组合时，基于第三目标参数组合对应的第一ks指标和第二ks指标，计算第三目标参数组合对应的第一ks指标和第二ks指标之间的差值，并将第三目标参数组合对应的第一ks指标和第二ks指标的差值小于第二预设阈值时对应的第三目标参数组合作为第一目标参数组合。

需要说明的是，本实施例通过检测参数组合对应的第二ks指标是否大于第一预设阈值，以检测基于该参数组合所训练的机器学习模型的模型效果，第二ks指标越大，则机器学习模型的效果越好；以及通过计算第三目标参数组合对应的第一ks指标和第二ks指标之间的差值，将第三目标参数组合对应的第一ks指标和第二ks指标之间的差值与第二预设阈值进行比较，以检测机器学习模型是否过拟合，具体地，若第三目标参数组合对应的第一ks指标和第二ks指标之间的差值大于或者等于第二预设阈值，则对应的机器学习模型过拟合。

进一步地，所述基于所述第一目标参数组合对应的psi指标，确定所述第一目标参数组合对应的psi指标满足第二预设条件时对应的第二目标参数组合的步骤包括：

步骤s421，基于所述第一目标参数组合对应的psi指标，将所述第一目标参数组合对应的psi指标中最小的psi指标对应的第一目标参数组合作为第二目标参数组合。

在本实施例中，在根据第一ks指标和第二ks指标对机器学习模型进行评价确定参数组合中满足第一预设条件的第一目标参数组合后，再根据第一目标参数组合对应的psi指标，确定第一目标参数组合对应的psi指标满足第二预设条件时对应的第二目标参数组合。具体地，根据第一目标参数组合对应的psi指标，确定第一目标参数组合对应的psi指标中最小的psi指标，并将第一目标参数组合对应的psi指标中最小的psi指标对应的第一目标参数组合作为第二目标参数组合。本实施例通过将各参数组合对应的psi指标互相进行比较，以检测基于该参数组合所训练的机器学习模型的模型效果，psi指标越小，则机器学习模型的效果越好。

进一步地，所述基于所述参数组合对应的所述第一评价指标和所述第二评价指标，确定所述参数组合中的最佳参数组合的步骤包括：

步骤s44，基于预设的指标评价体系，确定所述参数组合对应的所述第一评价指标和所述第二评价指标是否满足所述指标评价体系对应的第三预设条件；

步骤s45，若所述参数组合对应的所述第一评价指标和所述第二评价指标满足所述指标评价体系对应的第三预设条件，则基于所述参数组合对应的所述第一评价指标和所述第二评价指标，确定所述参数组合中的最佳参数组合。

在本实施例中，在得到不同参数组合对应的模型评价指标后，即得到第一评价指标和第二评价指标后，检测参数组合对应的第一评价指标和第二评价指标是否满足预设的指标评价体系对应的第三预设条件。若参数组合对应的第一评价指标和第二评价指标满足第三预设条件，说明模型评价指标误差在可接受范围内，则根据机器学习模型输出的第一评价指标和第二评价指标，对机器学习模型进行评价，以对不同的参数组合进行评价。若参数组合对应的第一评价指标和第二评价指标不满足第三预设条件，说明模型评价指标的误差过大，则将不满足第三预设条件的模型评价指标对应的参数组合从参数组合中排除，并满足第三预设条件的模型评价指标对应的参数组合，并执行所述将所述训练样本输入至预设的机器学习模型，并基于参数组合对所述机器学习模型进行训练，得到所述参数组合对应的第一评价指标的步骤。

进一步地，所述基于预设的指标评价体系，确定所述参数组合对应的所述第一评价指标和第二评价指标是否满足所述指标评价体系对应的第三预设条件的步骤包括：

步骤s441，基于预设的指标评价体系，确定所述参数组合对应的所述第一评价指标是否在所述指标评价体系对应的第一指标范围内，以及确定所述参数组合对应的所述第二评价指标是否在所述指标评价体系对应的第二指标范围内；

所述若所述参数组合对应的所述第一评价指标和第二评价指标满足所述指标评价体系对应的第三预设条件，则基于所述参数组合对应的所述第一评价指标和第二评价指标，确定所述参数组合中的最佳参数组合的步骤包括：

步骤s451，若所述参数组合对应的所述第一评价指标在所述指标评价体系对应的第一指标范围内，且所述参数组合对应的所述第二评价指标在所述指标评价体系对应的第二指标范围内，则基于所述参数组合对应的所述第一评价指标和第二评价指标，确定所述参数组合中的最佳参数组合。

在本实施例中，在得到不同参数组合对应的模型评价指标后，即得到第一评价指标和第二评价指标后，确定参数组合对应的第一评价指标是否在指标评价体系对应的第一指标范围内，以及确定参数组合对应的第二评价指标是否在指标评价体系对应的第二指标范围内。若第一评价指标在指标评价体系对应的第一指标范围内，且第二评价指标在指标评价体系对应的第二指标范围内，说明模型效果在接受范围内，则根据机器学习模型输出的第一评价指标和第二评价指标，对机器学习模型进行评价，以对不同的参数组合进行评价。

进一步地，所述基于预设的指标评价体系，确定所述参数组合对应的所述第一评价指标和第二评价指标是否满足所述指标评价体系对应的第三预设条件的步骤之后，还包括：

步骤s46，若所述参数组合对应的所述第一评价指标和第二评价指标不满足所述指标评价体系对应的第三预设条件，则获取新的参数组合，将所述新的参数组合作为所述参数组合，并执行所述将所述训练样本输入至预设的机器学习模型，并基于参数组合对所述机器学习模型进行训练，得到所述参数组合对应的第一评价指标的步骤。

在本实施例中，进一步地，若参数组合对应的第一评价指标和第二评价指标不满足第三预设条件，说明基于该参数组合机器学习模型的训练效果不达标，还可以获取新的参数组合，之后基于新的参数组合和原有的训练样本和验证样本对机器模型进行训练，以确定训练样本对应的第一评价指标和验证样本对应的第二评价指标，并执行所述基于所述参数组合对应的所述第一评价指标和所述第二评价指标，确定所述参数组合中的最佳参数组合，以基于所述最佳参数组合确定所述机器学习模型对应的信用评分卡模型的步骤。

本实施例提出的信用评分卡模型构建方法，通过基于所述参数组合对应的所述第一ks指标和所述第二ks指标，确定所述第一ks指标和所述第二ks指标满足第一预设条件时对应的第一目标参数组合；基于所述第一目标参数组合对应的psi指标，确定所述第一目标参数组合对应的psi指标满足第二预设条件时对应的第二目标参数组合；当存在所述第二目标参数组合对应的psi指标满足第二预设条件时对应的第二目标参数组合时，将所述第二目标参数组合作为所述参数组合中的最佳参数组合。本发明通过根据第一评价指标和第二评价指标对相对应的机器学习模型进行评价，从而对参数组合进行评价其训练的模型训练效果，从而可以根据第一评价指标和第二评价指标确定参数组合中最佳参数组合，避免了人工筛选模型评价指标，解决了人工筛选模型评价指标的方式导致现有的信用评分卡模型建模技术的建模效率低的技术问题，提升了信用评分卡模型的建模效率。

此外，本发明实施例还提出一种信用评分卡模型构建装置，所述信用评分卡模型构建装置包括：

获取模块，用于获取借款人的信用行为数据，并基于所述信用行为数据，确定训练样本和验证样本；

训练模块，用于将所述训练样本输入至预设的机器学习模型，并基于参数组合对所述机器学习模型进行训练，得到所述参数组合对应的第一评价指标，其中，一个参数组合基于相同的训练样本对应训练一个机器学习模型；

第一确定模块，用于训练完成所述机器学习模型后，将所述验证样本输入至训练完成的机器学习模型，确定所述参数组合对应的第二评价指标；

第二确定模块，用于基于所述参数组合对应的所述第一评价指标和所述第二评价指标，确定所述参数组合中的最佳参数组合，以基于所述最佳参数组合确定所述机器学习模型对应的信用评分卡模型。

进一步地，所述第二确定模块，还用于：

基于所述参数组合对应的所述第一ks指标和所述第二ks指标，确定所述第一ks指标和所述第二ks指标满足第一预设条件时对应的第一目标参数组合；

基于所述第一目标参数组合对应的psi指标，确定所述第一目标参数组合对应的psi指标满足第二预设条件时对应的第二目标参数组合；

当存在所述第二目标参数组合对应的psi指标满足第二预设条件时对应的第二目标参数组合时，将所述第二目标参数组合作为所述参数组合中的最佳参数组合。

进一步地，所述第二确定模块，还用于：

基于所述参数组合对应的所述第二ks指标，确定所述第二ks指标大于第一预设阈值对应的参数组合为第三目标参数组合；

基于所述第三目标参数组合对应的第一ks指标和第二ks指标，确定所述第三目标参数组合对应的第一ks指标和第二ks指标的差值小于第二预设阈值时对应的第三目标参数组合为第一目标参数组合。

进一步地，所述第二确定模块，还用于：

基于所述第一目标参数组合对应的psi指标，将所述第一目标参数组合对应的psi指标中最小的psi指标对应的第一目标参数组合作为第二目标参数组合。

进一步地，所述第二确定模块，还用于：

基于预设的指标评价体系，确定所述参数组合对应的所述第一评价指标和所述第二评价指标是否满足所述指标评价体系对应的第三预设条件；

若所述参数组合对应的所述第一评价指标和所述第二评价指标满足所述指标评价体系对应的第三预设条件，则基于所述参数组合对应的所述第一评价指标和所述第二评价指标，确定所述参数组合中的最佳参数组合。

进一步地，所述第二确定模块，还用于：

基于预设的指标评价体系，确定所述参数组合对应的所述第一评价指标是否在所述指标评价体系对应的第一指标范围内，以及确定所述参数组合对应的所述第二评价指标是否在所述指标评价体系对应的第二指标范围内；

若所述参数组合对应的所述第一评价指标在所述指标评价体系对应的第一指标范围内，且所述参数组合对应的所述第二评价指标在所述指标评价体系对应的第二指标范围内，则基于所述参数组合对应的所述第一评价指标和第二评价指标，确定所述参数组合中的最佳参数组合。

进一步地，所述第二确定模块，还用于：

若所述参数组合对应的所述第一评价指标和第二评价指标不满足所述指标评价体系对应的第三预设条件，则获取新的参数组合，将所述新的参数组合作为所述参数组合，并执行所述将所述训练样本输入至预设的机器学习模型，并基于参数组合对所述机器学习模型进行训练，得到所述参数组合对应的第一评价指标的步骤。

此外，本发明实施例还提出一种可读存储介质，所述可读存储介质上存储有信用评分卡模型构建程序，所述信用评分卡模型构建程序被处理器执行时实现如上述中任一项所述的信用评分卡模型构建方法的步骤。

本发明可读存储介质具体实施例与上述信用评分卡模型构建方法的各实施例基本相同，在此不再详细赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。