一种模型解释方法、装置、电子设备以及存储介质与流程

1.本发明涉及数据处理技术领域，尤其涉及一种模型解释方法、装置、电子设备以及存储介质。


背景技术：

2.在金融行业数字化转型的过程中，机器学习算法和人工智能模型的应用越来越广泛。机器学习模型在实际应用中，先用海量样本数据训练模型，再由训练完成的模型根据学习经验推算出结果，最后以模型输出的结果作为决策依据。例如，金融产品营销模型可以根据输入的用户信息，输出用户的信用评分、营销成功概率等。
3.机器学习模型的准确性和自动化程度更高，但是，其输出的结果缺乏可追溯性，决策过程对于用户来说往往过于抽象，难以理解。同时，机器学习模型的类型多样，例如机器学习模型可以是基于逻辑回归、随机森林以及xgboost等算法，因此，亟需一种不依赖于模型类型的模型解释方法，以便用户更充分的使用模型。


技术实现要素：

4.本发明提供了一种模型解释方法、装置、电子设备以及存储介质，以实现不依赖于模型类型，自动化生成模型的解释信息。
5.第一方面，本发明实施例提供了一种模型解释方法，该方法包括：
6.通过金融产品营销模型，得到与预测样本对应的预测结果；
7.通过机器学习模型解释工具，生成与所述金融产品营销模型匹配的影响力全局图和至少一张影响力趋势图，以及与所述预测样本匹配的至少一张特征解释图以及至少一张特征影响力图；
8.根据影响力全局图、影响力趋势图、特征解释图以及特征影响力图，生成模型解释报告，以使用户根据预测结果和模型解释报告进行金融产品营销。
9.第二方面，本发明实施例还提供了一种模型解释装置，该装置包括：
10.预测结果获取模块，用于通过金融产品营销模型，得到与预测样本对应的预测结果；
11.模型解释模块，用于通过机器学习模型解释工具，生成与所述金融产品营销模型匹配的影响力全局图和至少一张影响力趋势图，以及与所述预测样本匹配的至少一张特征解释图以及至少一张特征影响力图；
12.模型解释报告生成模块，根据影响力全局图、影响力趋势图、特征解释图以及特征影响力图，生成模型解释报告，以使用户根据预测结果和模型解释报告进行金融产品营销。
13.第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例中任一所述的模型解释方法。
14.第四方面，本发明实施例还提供了一种存储计算机可执行指令的存储介质，所述
计算机可执行指令在由计算机处理器执行时用于执行如本发明实施例中任一所述的模型解释方法。
15.本发明实施例的技术方案，通过利用机器学习模型解释技术，不依赖于模型类型，自动化生成模型的解释信息，提高模型解释报告生成效率。
16.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
17.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1是本发明实施例一提供的一种模型解释方法的流程图；
19.图2是本发明实施例一提供的一种影响力全局图；
20.图3是本发明实施例一提供的一种对特征月日均资产管理规模的特征解释图；
21.图4是本发明实施例一提供的一种特征影响力图；
22.图5是本发明实施例一提供的另一种特征影响力图；
23.图6是本发明实施例二提供的一种模型解释方法的流程图；
24.图7是本发明实施例二提供的一种对特征月日均资产管理规模的影响力趋势图；
25.图8是本发明实施例三提供的一种模型解释装置的结构示意图；
26.图9是本发明实施例四提供的一种电子设备的结构示意图。
具体实施方式
27.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
28.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
29.实施例一
30.图1为本发明实施例一提供了一种模型解释方法的流程图，本实施例可适用于生成金融产品营销模型的模型解释报告的情况，该方法可以由模型解释装置来执行，该模型解释装置可以采用硬件和/或软件的形式实现，该模型解释装置可配置于具有数据处理能
力的电子设备中。
31.如图1所示，该方法包括：
32.s110、通过金融产品营销模型，得到与预测样本对应的预测结果；
33.其中，金融产品营销模型可以是通过数据挖掘算法的机器学习模型训练得到的，具体可以是逻辑回归、随机森林、xgboost等，本技术对此不做限定。
34.预测样本可以是一些与预测对象对应的资产信息，如预测对象的个人资产，负债情况等，本技术对此不做限定。将预测样本输入金融产品营销模型中，模型对预测样本进行处理后得到与预测样本对应的预测结果，预测结果可以是营销成功概率或个人信用评级等，本技术对此不做限定。
35.s120、通过机器学习模型解释工具，生成与所述金融产品营销模型匹配的影响力全局图和至少一张影响力趋势图，以及与所述预测样本匹配的至少一张特征解释图以及至少一张特征影响力图；
36.其中，机器学习模型解释工具可以是使用模型无关方法的机器学习模型解释工具，模型无关方法的是不依赖于特定模型类型的模型可解释方法，相比于模型相关方法，可以应用到任何机器学习模型中。
37.本实施例采用模型无关方法，相比传统方法极大地提高了解释工具通用性和运算效率，建立模型的可信度和透明度，建立模型信任和帮助用户做出更好的营销决策。
38.本实施例优选机器学习模型解释工具为shap，shap(shapley additive explanations)是一种博弈论方法，用来解释任何机器学习模型的输出。
39.shap可以使用shap值来解释每个特征的重要性。
40.shap值讨论的是一组个体通过相互合作或者对抗进行博弈，最后受益如何分配的问题，shap方法根据每名参与者的贡献来确定，即每个特征相当于一名参与者，特征的系数(线性模型下)相当于贡献率，因此系数乘以平均值就是平均贡献值。对于单个实例xi,第j个特征对于预测的贡献φij就是xij的贡献减去平均值。
41.特征值j的shap值可解释为，与数据集的平均预测相比，第j个特征的值对这个特定实例的预测的贡献φj，shap值适用于对数据集进行分类和回归分析。每个特征值的shap值是在所有可能的特征值组合上加权求和，即对总预测的贡献：
[0042][0043]
其中s是模型中使用的特征的子集，x是要解释的实例的特征值的向量，p是特征的数量。val(s)是对集合s中的特征值的预测值，它是在集合s中将未包含的特征边缘化而得到的结果。
[0044]
金融产品营销模型在训练完成之后，通过shap工具生成与所述金融产品营销模型匹配的影响力全局图和至少一张影响力趋势图。
[0045]
在上述实施例的基础上，可选的，所述影响力全局图，用于表示金融产品营销模型的各特征，随特征值相对值的变化而对预测结果的影响力变化。
[0046]
其中，金融产品营销模型的特征可以包括：近期支出金额、投资性总金额等，本技术对此不做限定。
[0047]
各个特征的影响力可能产生正向影响也可能产生负向影响。
[0048]
在上述实施例的基础上，可选的，在通过金融产品营销模型，得到与预测样本对应的预测结果之前，还包括：
[0049]
在金融产品营销模型的各特征中，确定目标特征；
[0050]
用户可以在全部金融产品营销模型特征中选取一个或多个重要的特征作为目标特征，具体数量以实际操作需要为准，例如全部特征为100个，从中选取10个特征作为目标特征。
[0051]
通过机器学习模型解释工具，生成与所述金融产品营销模型匹配的至少一张影响力趋势图，包括：
[0052]
通过机器学习模型解释工具，分别生成与所述金融产品营销模型的目标特征对应的影响力趋势图。
[0053]
具体的，通过shap工具是选取指定的某一特征生成对应该特征的影响力趋势图。
[0054]
在上述实施例的基础上，可选的，所述影响力趋势图，用于表示目标特征对预测结果的影响力，随目标特征的特征值变化的趋势。
[0055]
随目标特征的特征值变化，目标特征对预测结果可能产生正面影响也可能产生负面影响，在一定区间范围内，可以观察到特征值在该区间起负面影响的概率较大还是起正面影响的概率较大。
[0056]
在模型实际运行过程中，将新的预测样本输入金融产品营销模型中后，再根据shap工具生成与该预测样本匹配的至少一张特征解释图以及至少一张特征影响力图。
[0057]
在上述实施例的基础上，可选的，所述特征解释图，用于表示金融产品营销模型对预测样本进行预测得到预测结果的过程中，目标特征对预测结果的影响力，随目标特征的特征值变化的趋势。
[0058]
在上述实施例的基础上，可选的，所述特征影响力图，用于表示金融产品营销模型对预测样本进行预测得到预测结果的过程中，各特征对预测结果的影响力贡献度，或者，候选特征对预测结果的影响力贡献度；
[0059]
其中，所述影响力贡献度包括正影响力贡献度和负影响力贡献度，所述候选特征为根据影响力贡献度的绝对值排名，在各特征中选取的预设数量个特征。
[0060]
其中，影响力贡献度有正有负，正值代表正面影响力贡献度，负值代表负面影响力贡献度，因此取绝对值体现影响力的大小，选取绝对值大小排名靠前的预设数量个特征，预设数量可以根据实际情况决定，可选的，预设数量小于全部特征的数量。
[0061]
s130、根据影响力全局图、影响力趋势图、特征解释图以及特征影响力图，生成模型解释报告，以使用户根据预测结果和模型解释报告进行金融产品营销。
[0062]
模型解释报告中包括影响力全局图、影响力趋势图、特征解释图以及特征影响力图以及对应的图像的量化分析解释。
[0063]
示例的，通过对影响力全局图进行量化分析生成报告。参考图2，通过归一化使特征值的shap值的在-1.25到0.75的区间内，颜色越黑代表负面影响概率更大，颜色越灰色代表正面影响更大，可以观察到，样本的最大流入资金交易金额(特征in_max)在区间内呈现灰黑两色均匀分布的现象，说明样本的近期收入金额对预测结果的影响很小，在报告生成后，用户可以根据该报告中对此项特征的说明，选择减小该特征在模型训练中的权重，或者
可以选择删去该特征；从图中还可以观察到，样本的近期支出金额(特征out_max)，在-0.25到0区间内，该项特征基本呈现黑色，在0到0.25区间内，该项特征基本呈现灰色，在说明样本的近期支出金额越大，对其营销成功概率的正面影响越大，用户可以选择对近期支出金额大的样本进行营销。另外还能从图中观察到，客户的投资性资金总额(特征tot_ivst_bal)越高，对其营销成功概率的负面影响反而越大，用户可以避免在该阶段对投资性总金额高的样本增加营销活动。
[0064]
示例的，通过对特征月日均资产管理规模(特征maver_aum_bal)的特征解释图进行量化分析生成报告。
[0065]
如图3，黑色代表负面影响，灰色代表正面影响，在可知，资产管理规模越小，对营销成功的影响越正面，越适合营销本款金融产品；反之资产管理规模越大，其影响越负面，越不推荐营销本款金融产品。
[0066]
示例的，还可以通过对某份样本的特征影响力图进行量化分析生成报告。
[0067]
如图4，黑色代表正面影响，灰色代表负面影响，颜色面积越大表示影响力越大。可以观察到，该样本的近三个月电子银行登录次数(特征ebank_last_3months_login_num)、最大流入资金交易金额(特征in_max)对其营销成功概率的正面贡献最大，当前资金管理规模(day_aum_bal)和投资性资金总额(tot_ivst_bal)对其营销成功概率的负面影响最大。
[0068]
还可以进一步的将该样本各项特征的完整影响力展开，如图5，黑色代表正面影响，灰色代表负面影响，从图5中可以更加明显的观察到，该样本近三个月电子银行登录次数(特征ebank_last_3months_logi n_num)处于较高水平，可能反映了该样本较高的资金操作需求，这有利于向其营销金融产品。用户可以有针对性地围绕这些信息展开营销，从而提高成功概率。
[0069]
本发明实施例的技术方案，通过影响力全局图、影响力趋势图、特征解释图以及特征影响力图，生成模型解释报告，解释性信息直观易读，便于应对事后审计，无论使用何种模型，都能够直接针对特征给出可解释性信息，解释效果好、调优成本低、自动化程度高。
[0070]
实施例二
[0071]
图6为本发明实施例二提供的一种模型解释方法的流程图，本实施例以上述实施例为基础进行优化。如图6所示，本实施例的方法具体包括如下步骤：
[0072]
s210、通过金融产品营销模型，得到与预测样本对应的预测结果。
[0073]
s220、通过机器学习模型解释工具，生成与所述金融产品营销模型匹配的影响力全局图和至少一张影响力趋势图，以及与所述预测样本匹配的至少一张特征解释图以及至少一张特征影响力图。
[0074]
s230、根据影响力全局图、影响力趋势图、特征解释图以及特征影响力图，生成模型解释报告，以使用户根据预测结果和模型解释报告进行金融产品营销。
[0075]
示例的，对影响力趋势图进行量化分析生成报告。如图7，黑色代表正向影响，灰色的代表负向影响，在区间60到80正向影响的概率比较大，在区间160到180负向影响的概率比较大。
[0076]
s240、根据至少一个模型解释报告，确定待调整特征；对所述金融产品营销模型中待调整特征的参数进行调整。
[0077]
参照图7，在60到80之间正向影响的概率大概在80％～90％之间，负向影响的概率
是10％～20％，但是如果在后续应用过程中发现大部分样本模型解释报告中在60到80的区间内负向影响概率比较大，可能说明模型得到的月日均资产管理规模(特征maver_aum_bal)的影响力趋势图准确度低，用户可以据此对模型中的月日均资产管理规模参数进行调整。在模型的应用的过程中也可能存在发现某个特征，特征值变化几乎不对模型产生影响，可以把该特征的权重适当降低，或者把这个特征删去。如果发现某一特征在实际的预测过程中对预测结果的影响力是比影响力趋势图中反映的影响力大，用户可以对该特征的权重进行调高。
[0078]
本实施例通过根据至少一个模型解释报告，确定待调整特征，对金融产品营销模型中待调整特征的参数进行调整，增加模型预测结果的精确性和有效性，提高用户体验。
[0079]
实施例三
[0080]
图8为本发明实施例三提供的一种模型解释装置的结构示意图。如图8所示，该装置包括：
[0081]
预测结果获取模块810，用于通过金融产品营销模型，得到与预测样本对应的预测结果；
[0082]
模型解释模块820，用于通过机器学习模型解释工具，生成与所述金融产品营销模型匹配的影响力全局图和至少一张影响力趋势图，以及与所述预测样本匹配的至少一张特征解释图以及至少一张特征影响力图；
[0083]
模型解释报告生成模块830，根据影响力全局图、影响力趋势图、特征解释图以及特征影响力图，生成模型解释报告，以使用户根据预测结果和模型解释报告进行金融产品营销。
[0084]
在上述实施例的基础上，可选的，所述影响力全局图，用于表示金融产品营销模型的各特征，随特征值相对值的变化而对预测结果的影响力变化。
[0085]
在上述实施例的基础上，可选的，所述装置，还包括：
[0086]
目标特征确定模块，用于在金融产品营销模型的各特征中，确定目标特征；
[0087]
模型解释模块820，包括：
[0088]
影响力趋势图生成单元，用于通过机器学习模型解释工具，分别生成与所述金融产品营销模型的目标特征对应的影响力趋势图。
[0089]
在上述实施例的基础上，可选的，所述影响力趋势图，用于表示目标特征对预测结果的影响力，随目标特征的特征值变化的趋势。
[0090]
在上述实施例的基础上，可选的，所述特征解释图，用于表示金融产品营销模型对预测样本进行预测得到预测结果的过程中，目标特征对预测结果的影响力，随目标特征的特征值变化的趋势。
[0091]
在上述实施例的基础上，可选的，所述特征影响力图，用于表示金融产品营销模型对预测样本进行预测得到预测结果的过程中，各特征对预测结果的影响力贡献度，或者，候选特征对预测结果的影响力贡献度；
[0092]
其中，所述影响力贡献度包括正影响力贡献度和负影响力贡献度，所述候选特征为根据影响力贡献度的绝对值排名，在各特征中选取的预设数量个特征。
[0093]
在上述实施例的基础上，可选的，所述装置还包括：
[0094]
待调整特征确定模块，用于根据至少一个模型解释报告，确定待调整特征；
[0095]
模型调整模块，用于对所述金融产品营销模型中待调整特征的参数进行调整。
[0096]
本发明实施例所提供的模型解释装置可执行本发明任意实施例所提供的模型解释方法，具备执行方法相应的功能模块和有益效果。
[0097]
实施例四
[0098]
图9示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
[0099]
如图9所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(rom)12、随机访问存储器(ram)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(rom)12中的计算机程序或者从存储单元18加载到随机访问存储器(ram)13中的计算机程序，来执行各种适当的动作和处理。在ram 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、rom 12以及ram 13通过总线14彼此相连。输入/输出(i/o)接口15也连接至总线14。
[0100]
电子设备10中的多个部件连接至i/o接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0101]
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(中央处理器)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如模型解释方法。
[0102]
在一些实施例中，模型解释方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由rom 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到ram 13并由处理器11执行时，可以执行上文描述的模型解释方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行模型解释方法。
[0103]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0104]
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0105]
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0106]
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0107]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、区块链网络和互联网。
[0108]
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。
[0109]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
[0110]
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。