一种风险防控决策方法、装置、系统及设备与流程

本说明书属于计算机领域，尤其涉及一种风险防控决策方法、装置、系统及设备。

背景技术：

随着计算机技术和互联网技术的发展，工作、生活中使用互联网的场景越来越多，互联网方便了人们的生活和工作，但对于互联网交流或工作的安全性也越来越被看重，风险防控就显得越来越重要。如：利用互联网进行线上交易的用户逐渐增多，日常流量特别是在大促的流量呈指数式增长，风险形式也日趋复杂多变，风险防控越来越重要。风险防控中核心的功能可以认为是风险的识别和决策，识别是指需要快速并准确识别风险；决策是指依据识别出的风险进行决策如何管控，在需要在风险和体验之间进行平衡，既要防风险又要保体验。

技术实现要素：

本说明书实施例的目的在于提供一种风险防控决策方法、装置、系统及设备，提高了风险防控决策的效率和准确性。

一方面，本说明书提供了一种风险防控决策方法，包括：

获取待防控的风险事件数据；

利用风险防控系统中的风险决策模型对所述风险事件数据进行风险防控，获得所述待防控的风险事件数据的风险决策结果，其中，所述风险决策模型是利用强化学习算法，将历史风险事件数据和所述历史风险事件数据对应的风险结果作为样本数据，进行模型训练构建获得。

另一方面，本说明书提供了一种风险防控决策装置，包括：

数据获取模块，用于获取待防控的风险事件数据；

风险决策模块，用于利用风险防控系统中的风险决策模型对所述风险事件数据进行风险防控，获得所述待防控的风险事件数据的风险决策结果，其中，所述风险决策模型是利用强化学习算法，将历史风险事件数据和所述历史风险事件数据对应的风险结果作为样本数据，进行模型训练构建获得。

又一方面，本说明书实施例提供了业务权限申请系统，包括：

不同等级的多个风险防控层，风险决策模型，所述风险决策模型是利用强化学习算法，将历史风险事件数据和所述历史风险事件数据对应的风险结果作为样本数据，进行模型训练构建获得；

各个风险防控层按照风险防控层的等级由低到高的次序，依次调用所述风险决策模型，对待防控的风险事件数据进行风险防控，其中，低一等级的风险防控层输出的风险防控结果为非安全事件的风险事件数据，作为高一等级的风险防控层的输入风险事件数据，直至目标风险防控层输出风险防控结果。

还一方面，本说明书提供了一种风险防控决策处理设备，包括：至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述风险防控决策方法。

本说明书提供的风险防控决策方法、装置、处理设备、系统，将强化学习应用到风险防控系统中，从使用优化算法去求一个满足多目标的决策空间问题，回归到决策问题本身。通过使用强化学习，管控强度依据环境变化，风险防控决策具有高对抗性，能适应风险形势的变化。利用风险防控系统调用基于强化学习算法构建获得的风险决策模型，进行风险决策，提高了风险决策的适应性和准确性。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本说明书一个实施例中风险防控决策方法的流程示意图；

图2是本说明书一个实施例中风险决策的框架示意图；

图3是本说明书一些实施例中强化学习奖励值确定示意图；

图4是本说明书一个实施例中风险决策的原理示意图；

图5是本说明书提供的风险防控决策装置一个实施例的模块结构示意图；

图6是本说明书一个实施例中提供的风险防控系统的结构示意图；

图7是本说明书一个实施例中风险防控决策处理服务器的硬件结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。

人们对计算机安全或互联网安全越来越看重，风险防控也越来与成为互联网安全的关键性技术，用于风险防控的风险防控系统也越来越多。将数据输入到风险防控系统后，系统可以进行风险识别，并基于识别结果决策出对应的管控方法如：进行核身校验、直接失败交易或限权用户等。

本说明书中风险防控决策方法可以应用在客户端或服务器中，客户端可以是智能手机、平板电脑、智能可穿戴设备(智能手表等)、智能车载设备等电子设备。

图1是本说明书一个实施例中风险防控决策方法的流程示意图，如图1所示，本说明书一个实施例中提供的风险防控决策方法可以包括：

步骤102、获取待防控的风险事件数据。

在具体的实施过程中，风险事件数据可以表示需要进行风险防控的事件的相关数据，如：对购物网站的交易信息进行风险防控，风险事件数据可以包括交易相关的数据如：交易金额、交易渠道、用户信息、商户信息等。若对某笔转账交易进行风险防控，则风险事件数据可以包括转账金额、交易渠道、转账双方用户的信息。根据不同的风险防控场景，风险事件数据的具体内容不同，具体可以根据实际需要进行设置。如：可以在需要进行风险防控的平台如：支付平台、购物平台中设置风险防控系统，获取在平台上进行交易的数据作为待防控的风险事件数据。

步骤104、利用风险防控系统中的风险决策模型对所述风险事件数据进行风险防控，获得所述待防控的风险事件数据的风险决策结果，其中，所述风险决策模型是利用强化学习算法，将历史风险事件数据和所述历史风险事件数据对应的风险结果作为样本数据，进行模型训练构建获得。

风险防控系统可以表示用于进行风险识别、风险决策的计算机处理系统，风险防控系统中可以包括用于进行风险识别、风险决策的算法或机器学习模型。风险防控系统的具体形式可以根据实际需要进行选择，本说明书实施例不作具体限定。可以将获取到的风险事件数据输入到风险防控系统中，利用风险防控系统中的风险决策模型对风险事件数据进行风险防控，风险防控系统可以基于风险决策模型的决策结果，输出待防控的风险事件数据的风险决策结果，即获得待防控的风险事件数据的风险决策结果。其中，风险决策模型可以理解为基于强化学习算法构建的风险决策模型，可以将历史风险事件数据和实际风险结果作为样本数据，利用强化学习算法进行风险决策模型训练，获得的风险决策模型可以根据输入的风险事件数据输出对应的风险决策如：通过、核身校验、失败交易、限权用户等。

强化学习是智能体(agent)以“试错”的方式进行学习，通过与环境进行交互获得的奖赏指导行为，目标是使智能体获得最大的奖赏，强化学习不同于连接主义学习中的监督学习，主要表现在强化信号上，强化学习中由环境提供的强化信号是对产生动作的好坏作一种评价(通常为标量信号)，而不是告诉强化学习系统rls(reinforcementlearningsystem)如何去产生正确的动作。由于外部环境提供的信息很少，rls必须靠自身的经历进行学习。通过这种方式，rls在行动-评价的环境中获得知识，改进行动方案以适应环境。

智能体(agent)可以感知外界环境的状态(state)和反馈的奖励(reward)并进行学习和决策。智能体的决策功能是指根据外界环境的状态来做出不同的动作(action)而学习功能是指根据外界环境的奖励来调整策略。环境(environment)是指智能体外部的所有事物，并受智能体动作的影响而改变其状态，并反馈给智能体相应的奖励。

强化学习中的基本要素可以包括：

状态s是对环境的描述，可以是离散的或连续的，其状态空间为s；

动作a是对智能体行为的描述，可以是离散的或连续的，其动作空间为a；

策略π(a|s)是智能体根据环境状态s来决定下一步的动作a。

强化学习可以在没有任何标签的情况下，通过先尝试做出一些行为得到一个结果，通过这个结果是对还是错的反馈，调整之前的行为，就这样不断的调整，算法能够学习到在什么样的情况下选择什么样的行为可以得到最好的结果。本说明书实施例中，可以基于强化学习，利用历史数据，构建出风险决策模型。

本说明书一些实施例中，强化学习的原理可以参考下述公式：

上式中，gt可以表示t时刻的动作，rt+1可以表示(t+1)时刻的奖励，γ可以表示折扣系数或衰减因子，k可以表示时刻k，也可以理解为第k次奖励。

本说明书实施例提供的风险防控决策方法，将强化学习应用到风险防控系统中，从使用优化算法去求一个满足多目标的决策空间问题，回归到决策问题本身。通过使用强化学习，管控强度依据环境变化，风险防控决策具有高对抗性，能适应风险形势的变化，提高了风险决策结果的准确性。

在上述实施例的基础上，本说明书一些实施例中，所述风险防控系统包括多层风险防控层，所述利用风险防控系统中的风险决策模型对所述风险事件数据进行风险防控，包括：

按照风险防控层的等级由低到高的次序，依次利用所述风险防控系统中各风险防控层调用所述风险决策模型，对所述待防控的风险事件数据进行风险防控，其中，低一等级的风险防控层输出的风险防控结果为非安全事件的风险事件数据，作为高一等级的风险防控层的输入风险事件数据，直至目标风险防控层输出风险防控结果；

将所述目标风险防控层的风险防控结果作为所述待防控的风险事件数据的风险决策结果。

在具体的实施过程中，本说明书一些实施例中，风险防控系统是分层体系，系统处理分层将风险识别过程可以根据处理的有效性、时效性、成本以及风险处理能力的差异分为多个风险防控层。不同的风险防控层采用不同的风险防控方法进行风险识别、风险决策，即风险防控系统可以包括多个风险防控层，每一层风险防控系统有自身的风险识别、风险决策算法。图2是本说明书一个实施例中风险决策的框架示意图，如图2所示，本说明书一些实施例中，风险防控系统可以分为5层，t0层为终端/近端上防控；t1层为快速风险识别层，通过高速缓存数据的能力进行直接的可信、黑名单、以及用户画像的快速计算，期望在这两层可以过滤90％的风险事件的识别，在50ms以内完成整个分析；t2层为深度风险分析层，对漏下来的剩余10％风险事件进行完整的同步风险分析，并且实时更新可信、名单等；t3层是全面风险异步分析，通过异步的分析，对风险形势进行全面预警，同时将异步事件累积、异步分析处理划在这一层，通过数据计算能力的提升加强预警的能力；t4层则是离线分析，通过策略仿真、模型训练等方式，并且利用最全面的数据加速在线的规则、模型成熟度和部署时效。

可以根据风险防控的程度或深度等方式将各个风险防控层进行等级划分，如上述实施例中记载的5层风险防控层中，t0层可以为端防控层、t1层为快速识别层、t2层为深度识别层、t3层为异步处理层、t4层为离线分析层。通常情况下，可以依次将t0-t3层的等级设置为依次增加，其中，t0为最低等级的风险防控层，t3为最高等级的风险防控层。图2中t0、t1、t2、t3表示不同的风险防控层，具体含义可以参考上述实施例的记载，此处不再赘述。如图2所示，t0、t1、t2、t3可以按照风险防控层的等级由低等级到高等级进行风险决排序，按照排序依次对待防控的风险事件进行风险防控，各个风险防控层依次进行风险识别和风险决策，形成风险防控的全链路。前一层的低一等级风险防控层调用风险决策模型，对输入的风险事件数据进行风险防控后，输出风险决策结果，将其中属于非安全事件的风险事件数据，作为下一层的高一等级的风险防控层的输入风险事件数据，由高一等级的风险防空层进行风险防控，以此类推，直至达到目标风险防控层，获得目标防控层输出的风险决策结果作为最终的待防控的风险事件数据的风险决策结果。

例如：从t0层开始，t0层调用风险决策模型对待防控的风险事件数据进行风险防控，t0层进行风险防控后，可以确定出部分风险事件不存在风险，可以直接通过，对于存在风险或不确定是否存在风险的风险事件即非安全事件，可以输入到后一层风险防控层即t1层。t1层再调用风险决策模型对输入的风险事件数据进行风险防控，t1层进行风险防控后，可以确定出部分风险事件不存在风险，直接通过，对于存在风险或不确定是否存在风险的风险事件可以输入到后一层风险防控层即t2层，以此类推，直至到达目标风险防控层。

目标风险防控层可以是风险防控系统中最后一层风险防控层，也可以是风险防控系统中指定的风险防控层。如图2所示，本说明书实施例主要针对线上风险防控，本说明书实施例中的目标风险防控层可以理解为上述实施例中的t3层为异步处理层。各个风险防控层调用风险决策模型对风险事件数据进行风险防控时，可以在使用本层的数据进行风险识别后，调用风险决策模型确定对应的风险防控方法。如：t0层是端防控，通常情况下只能获取到客户端的数据，基于获取到的数据对风险事件数据进行风险识别，根据风险识别结果，再调用风险决策模型进行风险决策。t1层是快速识别风险防控层，可以获取到服务端的数据，基于获取到的数据对风险事件数据进行风险识别，根据风险识别结果，再调用风险决策模型进行风险决策。

如图2所示，风险防控系统中各个风险防控层依次进行风险防控，直至到达目标风险防控层即t3层后，t3层输出的风险防控结果可以作为对应的风险事件数据的风险决策结果即最终的风险防控策略。如图2所示，风险决策结果可以为进行核身校验或直接失败交易或者限权用户，其中核身校验的方法可以根据实际需要而定，如：可以是短信验证、语音验证、手势密码验证、人脸识别等，限权用户可以表示对该用户的某些权限进行限制。

本说明书实施例提供的风险防控决策方法，将强化学习应用到风险防控系统中，从使用优化算法去求一个满足多目标的决策空间问题，回归到决策问题本身。通过使用强化学习，管控强度依据环境变化，风险防控决策具有高对抗性，能适应风险形势的变化。利用风险防控系统中各个风险防控层依次调用风险决策模型，进行风险决策，后一层风险防控层在前一层风险防控的基础上，进一步进行风险决策，通过对全链路去统一考量、决策，实现了全局最优决策问题，避免决策在风控系统的分层管控中是割裂的、获得的是局部最优决策问题，提高了风险防控的准确性和安全性。

在上述实施例的基础上，本说明书一些实施例中，所述风险决策模型中包括风险决策约束条件，所述风险决策约束条件包括：

基于业务场景、用户分群、交易渠道，设置不同的打扰率、案件率和交易失败率；

基于交易渠道和风险类型，设置不同的风险核身方法。

在具体的实施过程中，可以预先设置风险决策约束条件，用于在调用风险决策模型进行风险决策时，作为输出的风险决策结果的约束。本说明书一些实施例中，设置的风险决策约束条件可以包括打扰率、案件率、交易失败率、以及不同的核身方法等。其中，打扰率可以理解为需要用户核身的概率，案件率可以理解为需要进行风险防控(如：进行风险核身、失败交易、限权用户)的风险事件占所有风险事件的比率，交易失败率可以理解为直接失败的风险事件占所有风险事件的比率。可以根据不同的业务场景、用户分群、交易渠道设置不同的打扰率、案件率和交易失败率作为风险决策的约束条件，也可以基于交易渠道和风险类型，设置不同的风险核身方法作为风险决策约束条件。

业务场景可以包括网络购物交易、转账交易、订餐交易等各种不同的业务场景，不同的业务场景可以对应有不同等级的打扰率、案件率、交易失败率。如：网络购物交易和转账交易可能存在风险的情况比较多，可以设置较高的打扰率、案件率、交易失败率，网络订餐交易存在风险的概率通常可能比较小，可以设置较低的打扰率、案件率、交易失败率。在实际应用中，可以根据用户的历史交易信息、信用信息、职业、教育水平、社会地位等将用户划分为不同的用户群，如：可以分为高危用户群即对于存在风险概率比较高的用户群，高价值用户群即信用度比较高、交易量比较大、职业比较稳定、收入较高、教育水平较高的用户群，还可以根据用户在社会的影响程度如：网络大v等，划分一个大v用户群，用户群的划分方法可以根据实际情况选择，本说明书实施例不作具体限定。不同的用户群可以设置不同等级的打扰率、案件率、交易失败率，例如：对于高危用户群，则可以设置较高的打扰率、案件率和交易失败率，对于高价值人群可以设置较低的打扰率、案件率、交易失败率。同样的，不同的交易渠道也可以设置不同等级的打扰率、案件率、交易失败率，如：采用客户端应用程序app(application)进行交易和使用pc(personalcomputer，个人计算机)端进行交易的，可以设置不同等级的打扰率、案件率、交易失败率。

在实际应用时，可以综合考虑待防控的风险事件的业务场景、用户所在的用户分群、交易渠道，设置打扰率、案件率、交易失败率。如：可以基于专家决策算法或机器学习模型等，将业务场景、用户分群、交易渠道作为输入数据，综合确定对应的打扰率、案件率、交易失败率，以确保在保证交易安全的情况下，不影响用户体验。例如：对于业务场景为网络购物、交易用户属于一般用户群、交易渠道为客户端app购物的风险事件，则可能存在的风险概率比较高，可以设置较高等级的打扰率、案件率、交易失败率。对于业务场景为网络购物、交易用户属于高价值用户群、交易渠道为客户端app购物的风险事件，可以设置较低的打扰率案件率、交易失败率。

此外，对于不同交易渠道和风险类型的风险事件，还可以设置不同的风险核身方法，风险类型可以包括盗账户、盗卡等，具体可以根据实际需要进行设置，本说明书实施例不作具体限定。例如：对于交易渠道为客户端app交易、风险类型为盗卡的风险事件，其风险核身方式不能为输出手机相关的核身产品如：短信验证码核身、语音回呼核身等。对于交易渠道是pc端、风险类型为盗账户或者盗卡的风险事件，其风险核身方式不能是人脸识别。

在实际应用时，还可以将管控成本、系统效能等作为风险决策约束条件，来约束对应的风险防控操作，以实现风险防控的效益最大化。

本说明书实施例，将打扰率、交易失败率等一起作为约束条件，实现多目标约束优化问题，在保证交易安全的情况下，不影响用户体验，能够更加快速、准确的确定出合适的风险防控结果。

在上述实施例的基础上，本说明书一些实施例中，各层风险防控层调用所述风险决策模型对风险事件数据进行风险防控的方法包括：

获取所述风险事件数据对应的业务场景、用户信息、交易渠道以及风险类型；

调用所述风险决策模型，结合所述风险决策约束条件和获取到的业务场景、用户信息、交易渠道以及风险类型，确定出对应的风险防控结果。

在具体的实施过程中，各层风险防控层调用风险决策模型对风险事件数据进行风险防控时，可以先基于各风险防控层自身的模型或算法，识别出风险事件对应的风险等级、风险类型等，再调用风险决策模型，进行风险防控策略的确定。在进行风险决策时，可以获取风险事件对应的业务场景、用户信息、交易渠道以及风险类型，调用风险决策模型，将预设的风险决策约束条件作为风险防控策略的约束条件，基于获取到的业务场景、用户信息、交易渠道以及风险类型，确定出各个风险事件对应的风险防控策略即风险防控结果。

本说明书实施例将风险决策模型与风险决策约束条件相结合，对风险决策结果进行约束，避免因打扰率、交易失败率过高等，给用户带来不便，降低用户体检，在确定用户体验的同时，提高风险决策的准确性。实现快速、准确的输出对应的风险决策结果，提高风险防控的效率和准确性。

在上述实施例的基础上，本说明书一些实施例中，利用强化学习算法构建所述风险决策模型的过程包括：

设置所述风险决策模型的环境参数、风险防控动作参数、奖励参数，其中：

所述环境参数包括：业务场景、交易渠道、用户分群、风险类型、交易金额、风险分值、当天交易笔数、管控次数；

所述风险防控动作参数包括：放行、风险核身方法、直接失败交易、直接限权用户；

所述奖励参数包括不同大小的奖励值；

将历史风险事件数据输入到所述风险决策模型中，基于所述环境参数对所述风险决策模型进行训练，根据所述风险决策模型输出的风险防控结果和所述历史风险事件数据对应的风险结果，返回对应的奖励值，直至模型精度达到预设阈值。

在具体的实施过程中，本说明书一些实施例中，基于强化学习算法训练构建出风险决策模型时，可以预先设置风控场景中强化学习的要素：环境参数(即环境状态state)、风险防控动作参数(即action)、奖励参数(即reward)。环境参数可以包括业务场景、交易渠道、用户分群、风险类型、交易金额、风险分值、当天交易笔数、管控次数，当然根据实际需要，环境参数的数量以及具体内容可以进行调整，本说明书实施例不作具体限定。其中，环境参数中的风险分值可以理解为各个风险防控层在进行风险识别时输出的风险分值，即各层风险防控层在进行风险识别时可以利用各层自身的算法或模型，确定出风险事件数据的风险分值，该风险分值可以作为风险决策模型中的环境参数，用于风险策略的确定。当天交易笔数可以理解为风险事件数据中用户当天(即风险决策当天)的交易笔数，管控次数可以理解为风险事件数据中的用户的交易(可以是当天的)被管控如：要求核身或交易被失败或用户被限权的次数。将用户当天的多笔交易和管控情况纳入当前风险决策的考量，进行模型的强化学习训练，实现了多序列决策，避免因使用历史数据管控未来不可知风险导致决策结果不准确的问题，提高了风险决策结果的准确性，降低了资源损失和对用户的打扰。

设置的风险决策模型的风险防控动作参数即采用的风险防控策略可以包括：放行、风险核身方法、直接失败交易、直接限权用户。

将历史风险事件数据输入到风险决策模型中，基于设置的环境参数、风险防控动作参数和奖励参数对风险决策模型进行训练，根据风险决策模型输出的风险防控结果(即放行、风险核身、直接失败交易或直接限权用户等)，与历史风险事件数据实际的风险结果进行对比，按照奖励参数的设置规则返回对应的奖励值，直至模型精度达到预设阈值或者训练次数到达指定次数时，获得风险决策模型。

本说明书实施例中创造性的将强化学习算法应用到风险防控场景，并给出了强化学习算法在风险防控场景中的环境参数，基于设置的环境参数风险防控动作参数和奖励参数对风险决策模型进行训练，使得风险决策模型更加适应风险防控场景，提高了风险决策的准确性。

图3是本说明书一些实施例中强化学习奖励值确定示意图，如图3所示，图中reward的含义可以参考本说明书实施例中的参考值的含义，图3中的白用户即安全用户。黑用户即风险用户。如图3所示，可以按照如下方法对模型进行奖励训练：

若所述历史风险事件数据对应的风险结果为安全用户，风险决策模型输出的风险防控结果为管控且核身通过，返回正向的第一奖励值。即若风险数据中的用户为白用户，在进行风险决策时，采用了风险管控如风险核身，并且风险核身通过，则返回一个正向的第一奖励值。其中，白用户可以认为是不存在风险的用户或风险等级比较低的用户，即安全用户。

若所述历史风险事件数据对应的风险结果为安全用户，输出的风险防控结果为管控且未核身通过管控，返回负向的第二奖励值，其中，所述第二奖励值大于所述第一奖励值。即若风险数据中的用户为白用户，在进行风险决策时，采用了风险管控如风险核身，并且风险核身未通过，则可以认为对白用户采用了不准确的风险策略，则返回一个负向的第二奖励值，可以认为是一种惩罚。

若所述历史风险事件数据对应的风险结果为安全用户，输出的风险防控结果为不管控，则返回正向的第三奖励值，所述第三奖励值大于所述第二奖励值。即若风险数据中的用户为白用户，在进行风险决策时，没有进行任何风险管控直接放行，因为白用户本身不存在风险，可以认为采用了准确的风险防控策略，则返回一个比较大的正向的第三奖励值。

若所述历史风险事件数据对应的风险结果为风险用户，输出的风险防控结果为管控且核身通过，返回负向的第二奖励值。即若风险数据中的用户为黑用户，在进行风险决策时，采用了风险管控如风险核身，并且风险核身通过，因为黑用户是风险用户，核身通过会存在比较大的风险，可能带来一定的损失，可以认为风险防控策略不准确，则返回一个负向的第二奖励值。其中，黑用户可以认为是存在风险的用户或风险等级比较高的用户，即风险用户。

若所述历史风险事件数据对应的风险结果为风险用户，输出的风险防控结果为管控且未核身通过，返回正向的第三奖励值；即若风险数据中的用户为黑用户，在进行风险决策时，采用了风险管控如风险核身，并且风险核身通过，因为黑用户是风险用户，核身未通过避免了经济损失，可以认为风险防控策略准确，则返回一个较大的正向的第三奖励值。

若所述历史风险事件数据对应的风险结果为风险用户，输出的风险防控结果为不管控，返回负向的第三奖励值。即若风险数据中的用户为黑用户，在进行风险决策时，没有采用任何的管控，因为黑用户是风险用户，不管控直接放行会带来经济损失，可以认为风险防控策略不准确，则返回一个负向的第三奖励值。

其中，黑用户、白用户可以从数据库中的黑名单、白名单中确定，或基于其他方式确定出风险事件数据对应的用户的风险情况确定。黑用户可以理解为风险等级较高的用户，白用户可以理解为没有风险或风险等级较低的用户。基于不同的环境、所采用的风险防控动作，返回不同的奖励值。其中奖励值可以为具体数值如：1、2、3、4等，正向的奖励值表示正数，负向的奖励值可以表示负数，通过奖励值的大小激励模型朝着准确的方向学习。

图4是本说明书一个实施例中风险决策的原理示意图，如图4所示，本说明书实施例创新性的将强化学习应用到风险决策中，定义了风控场景中强化学习的三大参数即：state、action、reward。基于定义的风控场景中的环境参数采用对应的风险决策动作，并获得对应的奖励值，同时在采用对应的风险决策动作时，综合考虑风险决策约束条件，以避免给用带来不好的体验。

本说明书一些实施例中，所述方法还包括：

根据所述待防控的风险事件数据的风险决策结果和所述奖励参数，返回对应的奖励值。

如图4所示，在实际应用风险防控系统中的风险决策模型进行风险决策时，确定出风险事件的风险决策结果后，可以保存各个风险事件的风险决策结果。可以根据风险事件中用户的用户信息(可以在风险决策后基于用户的反馈信息或人工核验数据等获得)如：用户是白用户或黑用户，以及奖励参数，返回对应的奖励值。即可以将风险决策中使用的数据作为风险决策模型的训练样本数据，不断优化风险决策模型。例如：利用风险决策模型对风险事件a进行风险决策，输出的风险决策策略为风险核身，核身通过，在风险防控后，可以根据用户的投诉信息等，确定出用户是否存在风险，若用户不存在风险属于白用户，则根据奖励参数可以返回正向的第一奖励值。

本说明书中上述方法的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参考即可，每个实施例重点说明的都是与其他实施例的不同之处。相关之处参考方法实施例的部分说明即可。

基于上述所述的风险防控决策方法，本说明书一个或多个实施例还提供一种风险防控决策装置。所述的装置可以包括使用了本说明书实施例所述方法的系统(包括分布式系统)、软件(应用)、模块、组件、服务器、客户端等并结合必要的实施硬件的装置。基于同一创新构思，本说明书实施例提供的一个或多个实施例中的装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似，因此本说明书实施例具体的装置的实施可以参考前述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

具体地，图5是本说明书提供的风险防控决策装置一个实施例的模块结构示意图，如图5所示，本说明书中提供的风险防控决策装置可以包括：数据获取模块51、风险决策模块52，其中：

数据获取模块51，可以用于获取待防控的风险事件数据；

风险决策模块52，可以用于利用风险防控系统中的风险决策模型对所述风险事件数据进行风险防控，获得所述待防控的风险事件数据的风险决策结果，其中，所述风险决策模型是利用强化学习算法，将历史风险事件数据和所述历史风险事件数据对应的风险结果作为样本数据，进行模型训练构建获得。

本说明书实施例提供的风险防控决策装置，将强化学习应用到风险防控系统中，从使用优化算法去求一个满足多目标的决策空间问题，回归到决策问题本身。通过使用强化学习，管控强度依据环境变化，风险防控决策具有高对抗性，能适应风险形势的变化。

在上述实施例的基础上，本说明书一些实施例中，所述风险防控系统包括多层风险防控层，所述风险决策模块具体用于：

按照风险防控层的等级由低到高的次序，依次利用所述风险防控系统中各风险防控层调用所述风险决策模型，对所述待防控的风险事件数据进行风险防控，其中，低一等级的风险防控层输出的风险防控结果为非安全事件的风险事件数据，作为高一等级的风险防控层的输入风险事件数据，直至目标风险防控层输出风险防控结果；

将所述目标风险防控层的风险防控结果作为所述待防控的风险事件数据的风险决策结果。

本说明书实施例提供的风险防控决策装置，将强化学习应用到风险防控系统中，从使用优化算法去求一个满足多目标的决策空间问题，回归到决策问题本身。通过使用强化学习，管控强度依据环境变化，风险防控决策具有高对抗性，能适应风险形势的变化。通过对全链路去统一考量、决策，实现了全局最优决策问题，避免决策在风控系统的分层管控中是割裂的、获得的是局部最优决策问题。

在上述实施例的基础上，本说明书一些实施例中，所述风险决策模型中包括风险决策约束条件，所述风险决策约束条件的设置方法包括：

基于业务场景、用户分群、交易渠道，设置不同的打扰率、案件率和交易失败率；

基于交易渠道和风险类型，设置不同的风险核身方法。

本说明书实施例，将打扰率、交易失败率等一起作为约束条件，实现多目标约束优化问题，能够更加快速、准确的确定出合适的风险防控结果。

在上述实施例的基础上，本说明书一些实施例中，所述风险决策模块具体用于：

获取所述风险事件数据对应的业务场景、用户信息、交易渠道以及风险类型；

调用所述风险决策模型，结合所述风险决策约束条件和获取到的业务场景、用户信息、交易渠道以及风险类型，确定出对应的风险防控结果。

本说明书实施例，将风险决策模型与风险决策约束条件相结合，对风险决策结果进行约束，避免因打扰率、交易失败率过高等，给用户带来不便，降低用户体检，在确定用户体验的同时，提高风险决策的准确性。实现快速、准确的输出对应的风险决策结果，提高风险防控的效率和准确性。

在上述实施例的基础上，本说明书一些实施例中，所述装置还包括模型构建模块，用于采用下述方法构建所述风险决策模型：

设置所述风险决策模型的环境参数、风险防控动作参数、奖励参数，其中：

所述环境参数包括：业务场景、交易渠道、用户分群、风险类型、交易金额、风险分值、当天交易笔数、管控次数；

所述风险防控动作参数包括：放行、风险核身方法、直接失败交易、直接限权用户；

所述奖励参数包括不同大小的奖励值；

将历史风险事件数据输入到所述风险决策模型中，基于所述环境参数、所述风险防控动作参数、所述奖励参数对所述风险决策模型进行训练，根据所述风险决策模型输出的风险防控结果和所述历史风险事件数据对应的风险结果，返回对应的奖励值，直至模型精度达到预设阈值。

本说明书实施例创新性的将强化学习应用到风险决策中，定义了风控场景中强化学习的三大参数即：state、action、reward。基于定义的风控场景中的环境参数采用对应的风险决策动作，并获得对应的奖励值，同时在采用对应的风险决策动作时，综合考虑风险决策约束条件，以避免给用带来不好的体验。

在上述实施例的基础上，本说明书一些实施例中，所述模型构建模块具体用于：

对于安全用户，若输出的风险防控结果为管控且核身通过，返回正向的第一奖励值；

若所述安全用户，若输出的风险防控结果为管控且未核身通过管控，返回负向的第二奖励值，其中，所述第二奖励值大于所述第一奖励值；

若所述历史风险事件数据对应的风险结果为安全用户，输出的风险防控结果为管控且核身通过，返回正向的第一奖励值；

若所述历史风险事件数据对应的风险结果为安全用户，输出的风险防控结果为管控且未核身通过管控，返回负向的第二奖励值，其中，所述第二奖励值大于所述第一奖励值；

若所述历史风险事件数据对应的风险结果为安全用户，输出的风险防控结果为不管控，返回正向的第三奖励值，所述第三奖励值大于所述第二奖励值；

若所述历史风险事件数据对应的风险结果为风险用户，输出的风险防控结果为管控且核身通过，返回负向的第二奖励值；

若所述历史风险事件数据对应的风险结果为风险用户，输出的风险防控结果为管控且未核身通过，返回正向的第三奖励值；

若所述历史风险事件数据对应的风险结果为风险用户，输出的风险防控结果为不管控，返回负向的第三奖励值。

本说明书实施例创新性的将强化学习应用到风险决策中，定义了风控场景中强化学习的三大参数即：state、action、reward。基于定义的风控场景中的环境参数采用对应的风险决策动作，并基于奖励值的奖励规则获得对应的奖励值，进行风险决策模型的训练，使得训练获得的风险决策模型具有很好的适应性。同时在采用对应的风险决策动作时，综合考虑风险决策约束条件，以避免给用带来不好的体验。

在上述实施例的基础上，本说明书一些实施例中，所述风险决策模块还用于：

根据所述待防控的风险事件数据的风险决策结果和所述奖励参数，返回对应的奖励值。

本说明书实施例，可以将风险决策中使用的数据作为风险决策模型的训练样本数据，不断优化风险决策模型。

需要说明的，上述所述的装置根据方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照上述对应的方法实施例的描述，在此不作一一赘述。

本说明书实施例还提供一种风险防控决策处理设备，包括：至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述实施例中风险防控决策方法，如：

获取待防控的风险事件数据；

利用风险防控系统中的风险决策模型对所述风险事件数据进行风险防控，获得所述待防控的风险事件数据的风险决策结果，其中，所述风险决策模型是利用强化学习算法，将历史风险事件数据和所述历史风险事件数据对应的风险结果作为样本数据，进行模型训练构建获得。

图6是本说明书一个实施例中提供的风险防控系统的结构示意图，如图6所示，本说明书实施例中的风险防控决策系统可以包括

不同等级的多个风险防控层，风险决策模型，所述风险决策模型是利用强化学习算法，将历史风险事件数据和所述历史风险事件数据对应的风险结果作为样本数据，进行模型训练构建获得；

各个风险防控层按照风险防控层的等级由低到高的次序，依次调用所述风险决策模型，对所述待防控的风险事件数据进行风险防控，其中，低一等级的风险防控层输出的风险防控结果为非安全事件的风险事件数据，作为高一等级的风险防控层的输入风险事件数据，直至目标风险防控层输出风险防控结果。

此外，所述系统还可以包括风险决策约束模块，所述风险决策约束模块中设置有风险决策约束条件，用于在各层风险防控层调用所述风险决策模型对输入的风险事件数据进行风险防控时，作为输出的风险防控结果的约束条件；

所述风险决策约束条件包括：

基于业务场景、用户分群、交易渠道，设置不同的打扰率、案件率和交易失败率；

基于交易渠道和风险类型，设置不同的风险核身方法。

本说明书实施例，创新性的通过强化学习来重新定义风控系统决策架构，创新性的从使用优化算法去求一个满足多目标的决策空间问题，回归到决策问题本身。通过使用强化学习，风险防控决策具有高对抗性，能适应风险形势的变化。通过对全链路去统一考量、决策，实现了全局最优决策问题，避免决策在风控系统的分层管控中是割裂的，是局部最优决策问题。创新性的设计并定义了在风控场景中的state、action、reward。创新性的结合rewardconstrainedpolicyoptimization(奖励限制政策优化)算法，解决在寻优过程中的多目标约束问题。创新性的首次实现了多序列决策问题，将用户当天的多笔交易和管控情况，纳入当前决策的考量，大大降低资损和对用户打扰。

需要说明的，上述所述的处理设备和系统，根据方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照上述对应的方法实施例的描述，在此不作一一赘述。

本说明书提供的风险防控决策装置或处理设备或系统，也可以应用在多种数据分析处理系统中。所述系统或装置或处理设备可以包括上述实施例中任意一个风险防控决策装置。所述的系统或装置或处理设备可以为单独的服务器，也可以包括使用了本说明书的一个或多个所述方法或一个或多个实施例装置的服务器集群、系统(包括分布式系统)、软件(应用)、实际操作装置、逻辑门电路装置、量子计算机等并结合必要的实施硬件的终端装置。所述核对差异数据的检测系统可以包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现上述任意一个或者多个实施例中所述方法的步骤。

本说明书实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例，图7是本说明书一个实施例中风险防控决策处理服务器的硬件结构框图，该服务器可以是上述实施例中的风险防控决策装置、风险防控决策处理设备或系统。如图7所示，服务器10可以包括一个或多个(图中仅示出一个)处理器100(处理器100可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器200、以及用于通信功能的传输模块300。本邻域普通技术人员可以理解，图7所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器10还可包括比图7中所示更多或者更少的组件，例如还可以包括其他的处理硬件，如数据库或多级缓存、gpu，或者具有与图7所示不同的配置。

存储器200可用于存储应用软件的软件程序以及模块，如本说明书实施例中的风险防控决策方法对应的程序指令/模块，处理器100通过运行存储在存储器200内的软件程序以及模块，从而执行各种功能应用以及资源数据更新。存储器200可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器200可进一步包括相对于处理器100远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输模块300用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输模块300包括一个网络适配器(networkinterfacecontroller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输模块300可以为射频(radiofrequency，rf)模块，其用于通过无线方式与互联网进行通讯。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书提供的上述实施例所述的方法或装置可以通过计算机程序实现业务逻辑并记录在存储介质上，所述的存储介质可以计算机读取并执行，实现本说明书实施例所描述方案的效果。

所述存储介质可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质有可以包括：利用电能方式存储信息的装置如，各式存储器，如ram、rom等；利用磁能方式存储信息的装置如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、u盘；利用光学方式存储信息的装置如，cd或dvd。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。

本说明书实施例提供的上述风险防控决策方法或装置可以在计算机中由处理器执行相应的程序指令来实现，如使用windows操作系统的c++语言在pc端实现、linux系统实现，或其他例如使用android、ios系统程序设计语言在智能终端实现，以及基于量子计算机的处理逻辑实现等。

需要说明的是说明书上述所述的装置、计算机存储介质、系统根据相关方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照对应方法实施例的描述，在此不作一一赘述。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参考即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参考方法实施例的部分说明即可。

本说明书实施例并不局限于必须是符合行业通信标准、标准计算机资源数据更新和数据存储规则或本说明书一个或多个实施例所描述的情况。某些行业标准或者使用自定义方式或实施例描述的实施基础上略加修改后的实施方案也可以实现上述实施例相同、等同或相近、或变形后可预料的实施效果。应用这些修改或变形后的数据获取、存储、判断、处理方式等获取的实施例，仍然可以属于本说明书实施例的可选实施方案范围之内。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(programmablelogicdevice,pld)(例如现场可编程门阵列(fieldprogrammablegatearray，fpga))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片pld上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logiccompiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(hardwaredescriptionlanguage，hdl)，而hdl也并非仅有一种，而是有许多种，如abel(advancedbooleanexpressionlanguage)、ahdl(alterahardwaredescriptionlanguage)、confluence、cupl(cornelluniversityprogramminglanguage)、hdcal、jhdl(javahardwaredescriptionlanguage)、lava、lola、myhdl、palasm、rhdl(rubyhardwaredescriptionlanguage)等，目前最普遍使用的是vhdl(very-high-speedintegratedcircuithardwaredescriptionlanguage)与verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(applicationspecificintegratedcircuit，asic)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：arc625d、atmelat91sam、microchippic18f26k20以及siliconelabsc8051f320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

虽然本说明书一个或多个实施例提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或终端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式资源数据更新环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

本发明是参照根据本发明实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程资源数据更新设备的处理器以产生一个机器，使得通过计算机或其他可编程资源数据更新设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程资源数据更新设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程资源数据更新设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储、石墨烯存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

本领域技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参考即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参考方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

以上所述仅为本说明书一个或多个实施例的实施例而已，并不用于限制本说明书一个或多个实施例。对于本领域技术人员来说，本说明书一个或多个实施例可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在权利要求范围之内。