一种机器学习模型的训练方法、装置以及电子设备与流程

文档序号：13934842阅读：145来源：国知局

本说明书涉及计算机应用领域，尤其涉及一种机器学习模型的训练方法、装置以及电子设备。

背景技术：

在移动支付领域，出于支付安全上的考虑，支付平台通常都会在风控系统中部署通过有监督的机器学习训练构建出的风险模型，对用户的日常交易进行风险评分，以及时的发现用户的异常交易。

在训练风险模型时，通常可以将那些发生了交易异常的交易标记为正样本(比如用户主动报案的账户盗用等)，其余未发生交易异常的交易标记为负样本。然后可以基于这些正样本和负样本进行有监督的机器学习训练。当模型训练完毕，后续可以使用该模型对用户的日常交易进行风险评分，进而支付平台可以基于用户日常交易的风险评分来进行风险决策，及时的发现用户的异常交易。

技术实现要素：

本说明书提出一种机器学习模型的训练方法，包括：

将训练样本集合中携带风险标签的样本标记为正样本，未携带风险标签的样本标记为负样本；

基于标记的所述正样本和负样本训练有监督的风险模型，并基于训练完成的模型对所述负样本分别进行风险评估得到风险评分；

过滤所述训练样本集合中所述风险评分大于预设阈值的负样本；

基于过滤后的所述训练样本集合中的正样本和负样本重新训练有监督的风险模型。

可选的，所述过滤所述训练样本集合中所述风险评分大于预设阈值的负样本，包括：

删除所述训练样本集合中所述风险评分大于预设阈值的负样本。

可选的，所述过滤所述训练样本集合中所述风险评分大于预设阈值的负样本，包括：

将所述训练样本集合中所述风险评分大于预设阈值的负样本重新标记为正样本。

可选的，所述基于过滤后的所述训练样本集合中的正样本和负样本重新训练有监督的风险模型，包括：

为重新标记的正样本与所述训练样本集合中原有的正样本对应的损失函数，分别配置权重值；其中，所述重新标记的正样本对应的损失函数的权重值，小于所述原有的正样本对应的损失函数的权重值；

基于所述重新标记的正样本、所述训练样本集合中原有的正样本以及所述训练样本集合中剩余的负样本训练有监督的风险模型。

可选的，所述风险评分表征风险发生概率；

所述方法还包括：

将所述风险评分大于预设阈值的负样本重新标记为正样本后，将所述正样本的风险评分配置为该重新标记的负样本对应的损失函数的权重值；以及，将原有的负样本对应的损失函数的权重值设置为1。

可选的，还包括：

基于在线数据构建预测样本；

基于重新训练的模型对该预测样本进行风险评估得到风险评分。6.一种机器学习模型的训练装置，包括：

标记模块，将训练样本集合中携带风险标签的样本标记为正样本，未携带风险标签的样本标记为负样本；

评估模块，基于标记的所述正样本和负样本训练有监督的风险模型，并基于训练完成的模型对所述负样本分别进行风险评估得到风险评分；

过滤模块，过滤所述训练样本集合中所述风险评分大于预设阈值的负样本；

训练模块，基于过滤后的所述训练样本集合中的正样本和负样本重新训练有监督的风险模型。

可选的，所述过滤模块：

删除所述训练样本集合中所述风险评分大于预设阈值的负样本。

可选的，所述过滤模块：

将所述训练样本集合中所述风险评分大于预设阈值的负样本重新标记为正样本。

可选的，所述训练模块进一步:

基于所述重新标记的正样本、所述训练样本集合中原有的正样本以及所述训练样本集合中剩余的负样本训练有监督的风险模型。

可选的，所述风险评分表征风险发生概率；

所述过滤模块进一步：

将所述风险评分大于预设阈值的负样本重新标记为正样本后，将所述负样本的风险评分配置为该重新标记的正样本对应的损失函数的权重值；以及，将原有的正样本对应的损失函数的权重值设置为1。

可选的，所述评估模块进一步：

基于在线数据构建预测样本；

基于重新训练的模型对该预测样本进行风险评估得到风险评分。

本说明书还提出一种电子设备，包括：

处理器；

用于存储机器可执行指令的存储器；

其中，通过读取并执行所述存储器存储的与有监督机器学习模型的训练的控制逻辑对应的机器可执行指令，所述处理器被促使：

将训练样本集合中携带标签的样本标记为正样本，未携带标签的样本标记为负样本；

基于标记的所述正样本和负样本训练有监督的风险模型，并基于训练完成的模型对所述负样本分别进行风险评估得到风险评分；

过滤所述训练样本集合中所述风险评分大于预设阈值的负样本；

基于过滤后的所述训练样本集合中的正样本和负样本重新训练有监督的风险模型。

本说明书实施例所提供的技术方案，通过将训练样本集合中携带风险标签的样本标记为正样本，未携带风险标签的样本标记为负样本，基于标记的所述正样本和负样本训练有监督的风险模型，并基于训练完成的模型对训练样本集合中的负样本分别进行风险评估得到风险评分，然后对该训练样本集合中的风险评分大于预设阈值的负样本作为疑似正样本进行过滤处理，并基于过滤后的所述训练样本集合中的正样本和负样本重新训练有监督的风险模型；

一方面，可以发现并过滤掉训练样本集合中的负样本中的疑似正样本，提高训练样本集合中正样本和负样本的标记准确度；另一方面，使用过滤后的训练样本集合中的正样本和负样本重新训练模型，有助于提升训练出的模型的性能。

附图说明

图1是本说明书一实施例示出的一种有监督机器学习模型的训练方法的流程图；

图2是本说明书一实施例提供的承载一种有监督机器学习模型装置的电子设备所涉及的硬件结构图；

图3是本说明书一实施例提供的一种有监督机器学习模型装置的逻辑框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在训练有监督的机器学习模型时，由于对训练样本进行标记的准确度，通常直接决定训练出的模型的准确度；因此，在模型训练阶段，如何改善训练样本的标记准确度，来提升训练出的模型的准确度，将具有十分重要的意义。

例如，以基于用户的历史交易数据来训练有监督的风险模型为例，在训练风险模型时，通常可以将那些发生了风险事件的交易(比如，用户的交易发生财产损失后主动报案)标记为正样本，将其余未发生风险事件的交易标记为负样本。而在实际应用中，通常可能会存在一些发生了风险事件但用户未主动报案的交易，这就可能导致训练样本集中的负样本中可能混入一些正样本的情况。对于建模方而言，直接使用该训练样本集来训练模型，必然会对模型的准确度造成影响。因此，如何建模方如何能够及时发现并过滤掉这些负样本中混入的疑似正样本，则将能够显著的提升训练出的模型的准确度。

有鉴于此，本说明书针对传统的基于pu-learning的模型训练过程进行改进，提出一种通过将unlabel样本(无标签样本)标记为正样本(positive样本)来训练有监督的机器学习模型，并利用训练完成的有监督的机器学习模型对训练样本集中的负样本(negative样本)进行风险评估的方式，发现并过滤训练样本集中的负样本中的疑似正样本，以提升训练样本集中的正样本和负样本的标记准确度的技术方案。

在实现时，可以对预先创建一个包含若干携带风险标签的样本和不携带风险标签的样本训练样本集，然后将该训练样本集中携带风险标签的样本标记为正样本，将该训练样本集中不携带标签的unlabel样本标记为负样本，然后基于标记的正样本和负样本训练有监督的机器学习模型。

当模型训练完成后，可以进一步基于该有监督的机器学习模型对训练样本集中的负样本分别进行风险评估得到风险评分，然后筛选出训练样本集中上述风险评分大于预设阈值的负样本，并将筛选出的这些负样本作为疑似负样本从训练样本集中过滤掉；

例如，在一种实现方式中，可以将风险评分大于预设阈值的负样本直接从训练样本集中删除；或者，在另一种实现方式中，也可以将风险评分大于预设阈值的负样本作为疑似正样本重新标记为正样本，并为重新标记的正样本对应的损失函数，设置一个小于原有的正样本对应的损失函数的权重值。

当对训练样本集合中的疑似负样本完成过滤后，可以基于过滤后的训练样本集合中的正样本和负样本重新对有监督的机器学习模型进行训练，来构建风险模型。

一方面，可以发现并过滤掉训练样本集合中的负样本中的疑似正样本，提高训练样本集合中正样本和负样本的标记准确度；

另一方面，使用过滤后的训练样本集合中的正样本和负样本重新训练模型，有助于提升训练出的模型的性能。

下面通过具体实施例并结合具体的应用场景对本说明书进行描述。

请参考图1，图1是本说明书一实施例提供的一种有监督机器学习模型的训练方法，执行以下步骤：

步骤102，将训练样本集合中携带风险标签的样本标记为正样本，未携带风险标签的样本标记为负样本；

步骤104，基于标记的所述正样本和负样本训练有监督的风险，并基于训练完成的模型对所述负样本分别进行风险评估得到风险评分；

步骤106，过滤所述训练样本集合中所述风险评分大于预设阈值的负样本；

步骤108，基于过滤后的所述训练样本集合中的正样本和负样本重新训练有监督的风险模型。

上述风险模型，具体可以包括按照有监督的机器学习方法，基于预设的训练样本集合中的训练样本训练出的机器学习模型；其中，上述风险模型的具体类型，在本说明书中不进行特别限定，在实际应用中，可以包括任意类型的风险模型；

例如，在一种场景中，上述风险模型，具体可以是基于用户的历史交易数据构建的训练样本集训练出的，用于对用户的日常交易进行风险评估的风险模型，通过该风险模型可以对用户发起的交易进行风险评估，得到对应的交易风险评分，进而可以通过该交易风险评分来决策用户发起的该笔交易是否存在风险。

又如，在另一种场景中，上述训练完成的模型，具体也可以是基于用户的历史交易记录、违约记录、还款记录等用户数据构建的训练样本集训练出的，用于对用户的信用进行风险评估的信用模型，通过该信用模型可以对用户的信用进行风险评估，得到对应的信用风险评分，进而可以通过该信用风险评分来决策该用户是否为可能会发生诸如信用违约等风险行为的高风险用户。

以下以上述风险模型为用于对用户发起的交易进行风险评估的风险模型为例，对本说明书的技术方案进行详细描述。

需要说明的是，以上述风险模型为用于对用户发起的交易进行风险评估的风险模型为例，仅为示例性的，在实际应用中，上述风险模型也可以是其它类型的有监督的风险模型(比如信用模型)，在本说明书中不进行特别限定。

在本说明书中，建模方可以预先收集大量用户的历史交易数据，从收集到的历史交易数据中提取出若干维度的交易特征作为建模特征，并基于这些建模特征构建特征向量作为训练样本，然后再基于这些训练样本构建出一个特征矩阵作为训练样本集合。

其中，用于构建训练样本的建模特征，可以涵盖任意形式的与用户的交易风险相关的特征，在本说明书中不进行特别限定；例如，可以包含诸如用户是否在异地登录、交易时间段、交易金额等维度的交易特征。

当训练样本集合构建完成，建模方可以基于用户主动反馈的信息，将该训练样本集合中发生了风险事件的训练样本分别标记对应的风险标签。此时，剩余的未携带风险标签的训练样本，即为unlabel样本。

当建模方为训练样本集合中发生风险事件的训练样本标记了风险标签后，可以将这些携带风险标签的训练样本标记为正样本，将剩余的未携带风险标签的unlabel样本标记为负样本，然后可以基于该训练样本集合中的这些正样本和负样本，对预设的有监督的机器学习模型进行训练，来构建上述风险模型。

其中，上述有监督的机器学习模型的具体类型，在本说明书中不进行特别限定；例如，上述机器学习模型具体可以是lr(logisticregression,逻辑回归)模型，或者其它的形式的有监督的机器学习模型。

在实际应用中，有监督的机器学习模型，通常使用损失函数(lossfunction)，来描述训练样本和对应的样本标签之间的拟合误差。在实际的模型训练过程中，可以将训练样本和对应的样本标签作为输入值代入损失函数中进行迭代运算，直至算法收敛，来反向求解出训练样本和对应的样本标签之间的拟合误差最小时的模型参数的取值。即通过损失函数来训练有监督的机器学习模型的过程，可以理解为通过损失函数来反向求解出，训练样本和对应的样本标签之间的拟合误差最小时的最优模型参数的取值的过程。

当求解出训练样本和对应的样本标签之间的拟合误差最小时的模型参数的取值，模型训练完毕。此时该训练完成的模型，即为最终构建完成的用于对用户的日常交易进行风险评估的风险点模型。

在本说明书中，由于在实际应用中，建模方收集到的用于构建训练样本的历史交易数据中，通常可能会存在一些发生了风险事件但用户未主动报案的交易，这就可能导致上述训练样本集中未携带风险标签的负样本中可能混入一些疑似的正样本的情况；因此，为了进一步改善上述训练样本集中被标记出的正样本和负样本的准确度，当上述风险模型训练完毕，建模方还可以通过该风险模型进一步对上述训练样本集中的负样本分别进行风险评估的方式，来发现并过滤训练样本集中的负样本中的疑似正样本。

在实现时，当上述风险模型训练完毕，建模方可以将原有的训练样本集合中的负样本分别作为预测样本，输入到风险模型进行风险评估，得到对应的风险评分，然后筛选出训练样本集合中风险评分大于预设阈值的负样本作为疑似正样本。

其中，上述预设阈值的取值大小，在本说明书中不进行特别限定，本领域技术人员可以基于实际的需求进行灵活配置。

当从训练样本集合中的负样本中，筛选出风险评分大于预设阈值的负样本后，建模方可以对这些筛选出的负样本作为疑似正样本进行过滤处理，以提高该训练样本集合中的正样本和负样本的标记准确度。

其中，建模方在过滤训练样本集合中风险评分大于预设阈值的负样本时，具体可以通过以下示出两种方式来完成:

在示出的一种实施方式中，建模方可以直接将这些风险评分大于预设阈值的负样本从原有的训练样本集合中删除，来过滤掉上述训练样本集合中的这些疑似正样本。

在示出的另一种实施方式中，也可以不采用直接删除的方式，而是将这些风险评分大于预设阈值的负样本重新标记成疑似正样本，并为该疑似正样本对应的损失函数，配置一个小于与原有的正样本对应的损失函数的权重值。

当然，在实际应用中，也可以不将这些负样本重新标记成疑似正样本，而是直接将这些负样本重新标记成正样本，并且为这些重新标记的正样本的损失函数，配置一个与原有的正样本对应的损失函数相同的权重值；比如，可以将这些重新标记的正样本和原有的正样本对应的损失函数的权重值统一设置为1。

其中，在训练有监督的机器学习模型时，通常会使用两个不同的损失函数，来分别描述正样本和对应的样本标签，以及负样本和对应的样本标签之间的拟合误差。因此，有监督的机器学习模型的目标方程，通常可以用如下的公式进行表征：

其中，在以上公式中：

g(xi)即为最终需要训练的机器学习模型的函数表达式，表示训练出的模型对训练样本xi的预测结果(即最终输出的风险评分)。

表示与正样本(标记为1的样本)对应的损失函数，用于表征模型对正样本的预测结果g(xi)和真实标记yi＝1之间的误差损失；

表示与负样本(标记为-1的样本)对应的损失函数，用于表征模型对负样本的预测结果g(xi)和真实标记yi＝-1之间的误差损失。

其中，上述损失函数l(yi,g(xi))的具体类型，在本说明书中不进行特别限定；例如，在实际应用中，可以选择常见的log-loss函数或者hinge-loss函数。

其中，当上述损失函数l(yi,g(xi)采用log-loss函数，表达式为：

log-loss{l(yi,g(xi))＝log(1+exp(-yig(xi)))}；

当上述损失函数l(yi,g(xi)采用hinge-loss函数，表达式为：

hinge-loss{l(yi,g(xi))＝max{0,1-yig(xi)})。

在本说明书中，由于被标记出的疑似正样本仍然参与模型训练，因此相当于训练样本集合中的训练样本被标记成为“正样本”、“负样本”和“疑似正样本”三类；因此，在这种情况下，建模方在构建上述模型的目标方程时，可以为以上三类训练样本分别构建一个损失函数，并为与正样本对应的损失函数和与疑似正样本对应的损失函数，分别配置一个对应的权重值，并为与该疑似正样本对应的损失函数，配置一个小于与原有的正样本对应的损失函数的权重值。

在这种情况下，上述有监督的机器学习模型的目标方程，则可以用如下的公式进行表征：

其中，c+表示为疑似正样本对应的损失函数配置的权重值。

c-表示为原有的正样本对应的损失函数配置的权重值。其中，c+的取值小于c-；例如，在实际应用中，可以将c+的取值设置为一个远小于c-的取值。

其中，表示与原有的正样本(标记为1的样本)对应的损失函数失；表示与原有的负样本(标记为-1的样本)对应的损失函数；表示与疑似正样本(标记为-2的样本)对应的损失函数。

其中，需要说明的是，与原有的负样本对应的损失函数，可以配置权重值，也可以不配置权重值，在本说明书中不进行特别限定；

例如，在一种实现方式中，也可以为与原有的负样本对应的损失函数配置一个，与原有的正样本对应的损失函数相同的权重值，在这种情况下，上述有监督的机器学习模型的目标方程，则可以用如下的公式进行表征：

其中，需要补充说明的是，以上示出的将正样本标记为1、将负样本标记为-1，将疑似正样本标记为-2仅为示例性的，并不用于限定；在实际应用中，对正样本、负样本和疑似正样本进行标记时所采用的标签类型，本领域技术人员可以灵活定义。

在本说明书中，通过为与疑似正样本对应的损失函数配置一个较小的权重值，可以降低疑似正样本对训练完成的模型的输出结果的贡献度，从而间接的达到过滤掉训练样本集中的疑似正样本的目的。

其中，在实际应用中，为与疑似正样本对应的损失函数配置的权重值的具体取值大小，只需要是一个小于与原有正样本对应的损失函数配置的权重值即可，在本说明书中不进行特别限定，

例如，在示出的一种实施方式中，由于风险模型最终输出的风险评分，通常用于表征风险发生概率，是一个介于0和1之间的浮点数；因此，可以将该疑似正样本的风险评分，作为与疑似正样本对应的损失函数的权重值，而将与原有的正样本对应的损失函数的权重值设置为1。其中，需要说明的是，由于不同的疑似正样本的风险评分可能不同，因此在使用损失函数对不同的疑似正样本进行训练时，该损失函数的权重值也将不同。

在本说明书中，当建模方通过以上示出的实施方式，对原有的训练样本集合中风险评分大于预设阈值的负样本过滤后，可以基于过滤后的训练样本集合中的原有正样本、疑似正样本和原有的负样本重新训练上述有监督的机器学习模型；其中，具体的训练过程在本申请中不再赘述。

当上述有监督的机器学习模型基于过滤后的训练样本集合重新训练完成后，建模方可以在风控系统中部署该模型，并基于该模型对用户日常的在线交易进行风险评估，为用户日常的在线交易进行打分得到风险评分，然后基于得到的风险评分来决策该交易是否存在风险；

例如，在实现时，风控系统可以采集用户的在线交易数据，从该在线交易数据中提取出若干维度的交易特征来构建预测样本，并将该预测样本输入到该模型中进行风险评估，得到风险评分；然后将该风险评分与预设的风险阈值进行比较，来确定该交易是否存在风险；如果该风险评分大于该风险阈值，此时风控系统可以将该交易决策为风险交易，可以直接终止该交易，或者对该用户身份进一步进行校验；如果校验通过，此时可以执行该笔交易；否则，可以终止该笔交易。

通过以上实施例可知，在本说明书中，在训练样本集合中包含大量的正样本和unlable样本的场景下，不再采用的传统的基于pu-learning的模型训练过程中，从unlable样本中筛选出可靠负样本，然后再基于正样本和可靠负样本来进行有监督的机器学习的方式，而是通过将训练样本集合中携带风险标签的样本标记为正样本，未携带风险标签的样本标记为负样本，基于标记的所述正样本和负样本训练有监督的机器学习模型，并基于训练完成的模型对训练样本集合中的负样本分别进行风险评估得到风险评分，然后对该训练样本集合中的风险评分大于预设阈值的负样本作为疑似正样本进行过滤处理，并基于过滤后的所述训练样本集合中的正样本和负样本重新训练有监督的机器学习模型；

一方面，可以发现并过滤掉训练样本集合中的负样本中的疑似正样本，提高训练样本集合中正样本和负样本的标记准确度；

另一方面，使用过滤后的训练样本集合中的正样本和负样本重新训练模型，有助于提升训练出的模型的性能。

与上述方法实施例相对应，本说明书还提供了一种有监督机器学习模型的训练装置的实施例。本说明书的有监督机器学习模型的训练装置的实施例可以应用在电子设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图2所示，为本说明书的有监督机器学习模型的训练装置所在电子设备的一种硬件结构图，除了图2所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的电子设备通常根据该电子设备的实际功能，还可以包括其他硬件，对此不再赘述。

图3是本说明书一示例性实施例示出的一种有监督机器学习模型的训练装置的框图。

请参考图3，所述有监督机器学习模型的训练装置30可以应用在前述图2所示的电子设备中，包括有：标记模块301、评估模块302、过滤模块303和训练模块304；

标记模块301，将训练样本集合中携带风险标签的样本标记为正样本，未携带风险标签的样本标记为负样本；

评估模块302，基于标记的所述正样本和负样本训练有监督的风险模型，并基于训练完成的模型对所述负样本分别进行风险评估得到风险评分；

过滤模块303，过滤所述训练样本集合中所述风险评分大于预设阈值的负样本；

训练模块304，基于过滤后的所述训练样本集合中的正样本和负样本重新训练有监督的风险模型。

在本实施例中，所述过滤模块303：

删除所述训练样本集合中所述风险评分大于预设阈值的负样本。

在本实施例中，所述过滤模块303：

将所述训练样本集合中所述风险评分大于预设阈值的负样本重新标记为正样本。

在本实施例中，所述训练模块304进一步:

基于所述重新标记的正样本、所述训练样本集合中原有的正样本以及所述训练样本集合中剩余的负样本训练有监督的风险模型。

在本实施例中，所述风险评分表征风险发生概率；

所述过滤模块303进一步：

在本实施例中，所述评估模块302进一步：

基于在线数据构建预测样本；

基于重新训练的模型对该预测样本进行风险评估得到风险评分。

上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

与上述方法实施例相对应，本说明书还提供了一种电子设备的实施例。该电子设备包括：处理器以及用于存储机器可执行指令的存储器；其中，处理器和存储器通常通过内部总线相互连接。在其他可能的实现方式中，所述设备还可能包括外部接口，以能够与其他设备或者部件进行通信。

在本实施例中，通过读取并执行所述存储器存储的与机器学习模型的训练的控制逻辑对应的机器可执行指令，所述处理器被促使：

将训练样本集合中携带风险标签的样本标记为正样本，未携带风险标签的样本标记为负样本；

基于标记的所述正样本和负样本训练有监督的风险模型，并基于训练完成的模型对所述负样本分别进行风险评估得到风险评分；

过滤所述训练样本集合中所述风险评分大于预设阈值的负样本；

基于过滤后的所述训练样本集合中的正样本和负样本重新训练有监督的风险模型。