用户投保意愿预测的方法、系统、电子装置和存储介质与流程

1.本技术涉及计算机领域，特别是涉及用户投保意愿预测的方法、系统、电子装置和存储介质。


背景技术：

2.用户投保意愿的预测，本质上是一个二分类建模的问题。具体地，首先对用户进行用户画像，并根据用户的静态属性、动态行为等对数据进行预处理和特征工程，接着，综合运用统计学和保险业务领域知识对数据进行特征提炼，并在业务上积累获取一定数量的正、负样本后，利用逻辑回归、决策树以及梯度提升树等集成学习算法，甚至是深度学习算法来建立模型，得到预测模型和相应的模型参数。最后根据使用场景的不同对模型进行离线或者在线部署，来预测带相关入模特征的新用户，得到预测结果。基于模型预测得到的结果会被推送给保险业务人员，为保险业务的精准营销提供基础。
3.在相关技术中，处理特征工程时需要对用户的行为进行分类，然后根据业务知识对不同类型的行为进行分时段的统计，从次数、频率、变化率等方面对用户进行多方面的描述以获取用户特征数据。因此，现有模型的预测效果严重依赖于特征工程所产生的特征质量，而特征工程又取决于数据质量和业务领域知识，尤其是业务领域知识，内容复杂且专业，对一些非本领域的工程师来说很难做到精确全面；此外，针对数据质量方面，需要对数据进行一系列的去噪等预处理，耗时比较大。
4.目前针对相关技术中，通过特征工程对用户投保意愿进行预测，存在的预测准确度不高、时间成本高的问题，尚未提出有效的解决方案。


技术实现要素：

5.本技术实施例提供了一种用户投保意愿预测的方法、系统、电子装置和存储介质，以至少解决相关技术中通过特征工程对用户投保意愿进行预测，存在的预测准确度不高、时间成本高的问题。
6.第一方面，本技术实施例提供了一种用户投保意愿预测的方法，所述方法包括：
7.根据用户行为序列词典，将用户行为序列数据转换成时间序列编码向量和行为序列编码向量；
8.通过cnn模块对低维稠密的行为序列编码向量进行特征提取，得到局部特征向量，并通过带注意力机制的transformer编码层模块，对低维稠密的时间序列编码向量和行为序列编码向量的结合向量进行特征提取，得到全局特征向量；
9.将所述局部特征向量和所述全局特征向量进行拼接，得到目标向量，并将所述目标向量输入dnn模块进行预测，输出得到待预测目标变量值。
10.在其中一些实施例中，在通过神经网络分别对低维稠密的时间序列编码向量和行为序列编码向量进行特征提取之前，所述方法包括：
11.通过embedding转换层将所述时间序列编码向量和所述行为序列编码向量，分别
转换为所述低维稠密的时间序列编码向量和行为序列编码向量。
12.在其中一些实施例中，在将用户行为序列数据转换成时间序列编码向量和行为序列编码向量之前，所述方法包括：
13.对所述用户行为序列词典中的所述用户行为序列数据进行编码。
14.在其中一些实施例中，在转换得到低维稠密的时间序列编码向量和行为序列编码向量之后，所述方法包括：
15.在所述低维稠密的时间序列编码向量和行为序列编码向量上分别添加不同的标签数据，组成完整的数据样本，预测不同业务场景中待预测目标变量值。
16.在其中一些实施例中，在对所述用户行为序列词典中的所述用户行为序列数据进行编码之前，所述方法包括：
17.获取所述用户行为序列词典并编号，其中，所述用户行为序列词典包括合作方编码和所述合作方编码涵盖的所有事件类型，并对所述事件类型进行排列组合。
18.第二方面，本技术实施例提供了一种用户投保意愿预测的系统，所述系统包括：
19.向量转换模块，用于根据用户行为序列词典，将用户行为序列数据转换成时间序列编码向量和行为序列编码向量；
20.特征提取模块，用于通过cnn模块对低维稠密的行为序列编码向量进行特征提取，得到局部特征向量，并通过带注意力机制的transformer编码层模块，对低维稠密的时间序列编码向量和行为序列编码向量的结合向量进行特征提取，得到全局特征向量；
21.预测模块，用于将所述局部特征向量和所述全局特征向量进行拼接，得到目标向量，并将所述目标向量输入dnn模块进行预测，输出得到待预测目标变量值。
22.在其中一些实施例中，所述系统还包括降维模块，在通过神经网络分别对低维稠密的时间序列编码向量和行为序列编码向量进行特征提取之前，
23.所述降维模块，用于通过embedding转换层将所述时间序列编码向量和所述行为序列编码向量，分别转换为所述低维稠密的时间序列编码向量和行为序列编码向量。
24.在其中一些实施例中，所述系统还包括编码模块，在将用户行为序列数据转换成时间序列编码向量和行为序列编码向量之前，
25.所述编码模块，用于对所述用户行为序列词典中的所述用户行为序列数据进行编码。
26.在其中一些实施例中，所述系统还包括标签模块，在转换得到低维稠密的时间序列编码向量和行为序列编码向量之后，
27.所述标签模块，用于在所述低维稠密的时间序列编码向量和行为序列编码向量上分别添加不同的标签数据，组成完整的数据样本，预测不同业务场景中待预测目标变量值。
28.在其中一些实施例中，所述系统还包括获取模块，在对所述用户行为序列词典中的所述用户行为序列数据进行编码之前，
29.所述获取模块，用于获取所述用户行为序列词典并编号，其中，所述用户行为序列词典包括合作方编码和所述合作方编码涵盖的所有事件类型，并对所述事件类型进行排列组合。
30.相比于相关技术，本技术实施例提供的用户投保意愿预测的方法，根据用户行为序列词典，将用户行为序列数据分为时间序列编码向量和行为序列编码向量；接着，通过
等类似词语并不表示数量限制，可表示单数或复数。本技术所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本技术所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本技术所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。本技术所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
41.本技术提供了一种用户投保意愿预测的方法，图1是根据本技术实施例的用户投保意愿预测的方法的流程图，如图1所示，该流程包括如下步骤：
42.步骤s101，根据用户行为序列词典，将用户行为序列数据转换成时间序列编码向量和行为序列编码向量；
43.在其中一些实施例中，在将用户行为序列数据转换成时间序列编码向量和行为序列编码向量之前，对用户行为序列词典中的用户行为序列数据进行编码。优选的，本实施例采用one
‑
hot编码的方法对用户行为序列数据进行编码。
44.在其中一些实施例中，在对用户行为序列词典中的用户行为序列数据进行编码之前，需要构建用户行为序列词典，将所有可能的合作方编码和每个合作方编码涵盖的所有事件类型进行排列组合，获取用户可能的行为序列词典并编号。
45.图2是根据本技术实施例的用户投保意愿预测神经网络结构流程图，如图2所示，本实施例中用户的行为序列编码向量在输入层input_7中，(none，81)表示输入的行为序列编码数据是一个按批次且长度为81的向量，用户的时间序列编码向量在输入层input_8中，(none，81)表示输入的时间序列编码数据是一个按批次且长度为81的向量，其中，时间序列以天为单位进行记录。
46.需要说明的是，上述用户行为序列数据的源数据，主要来源于各个合作方在对其用户的风险进行审核时在其自身业务各个流程中调用获取的数据，例如，一个客户在评估一个用户注册其信贷产品风险时，会调用贷前服务系统来评估该用户的风险，此次调用会形成一条事件记录，每一个用户的事件记录就构成了源数据，其中，主要有调用日期、调用合作方，以及业务流程环节等；
47.步骤s102，通过cnn模块对低维稠密的行为序列编码向量进行特征提取，得到局部特征向量，并通过带注意力机制的transformer编码层模块，对低维稠密的时间序列编码向量和行为序列编码向量的结合向量进行特征提取，得到全局特征向量；
48.优选的，本实施例中，通过cnn模块对低维稠密的行为序列编码向量进行特征提取，得到与待预测目标变量强相关的局部特征向量；此外，将低维稠密的时间序列编码向量和行为序列编码向量进行结合，通过带注意力机制的transformer编码层模块对结合向量进行特征提取，得到与待预测目标变量强相关的全局特征向量。具体地，由图2可知，cnn模块获取embedding转换层输出的低维稠密的行为序列编码向量(none，81，64)，通过一维卷积层conv1d_6：convid，将行为序列编码向量(none，81，64)进行卷积后生成输出向量，向量维度从(none，81，64)转化为(none，75，64)；接着，进入一维最大值池化层max_pooling1d_
3：maxpoolingid，将输入的二维向量在横轴的维度上分割成若干个子区域，然后取最大值，达到抽取特征的目的；然后，通过一维卷积层conv1d_7：convid进行卷积后生成输出向量，向量维度从(none，73，64)转化为(none，67，64)；最后，在一维全局最大值池化层global_max_pooling1d_6：globalmaxpoolingid中，将输入的二维向量分割成若干个子区域，取最大值，达到抽取特征和降维的目的，得到与待预测目标变量强相关的局部特征向量(none，64)。此外，由图2可知，transformer编码层模块获取embedding转换层输出的低维稠密的行为序列编码向量(none，81，64)和时间序列编码向量(none，81，64)，首先，通过向量加模块add_9：add，将行为序列编码向量(none，81，64)和时间序列编码向量(none，81，64)进行相加，得到第一结合向量(none，81，64)；接着，用核心功能子模块多头注意力机制模块multi
‑
head：multiheadattention提取序列的全局特征信息，得到(none，none，64)，其中，dropout_6：dropout用于在每次训练更新参数时，将输入单元按比率随机设置为0，这样有助于防止过拟合；然后，通过向量加模块add_10：add将add_9：add模块的输出向量经过多头注意力机制模块和dropout模块处理后的输出进行相加，得到第二结合向量(none，81，64)，模拟残差网络的特性；紧接着，进入层归一化网络layer_normalization_6：layernormalization减小过拟合，其中还需要通过一个全连接层的前向网络模块sequential_3：sequential和dropout_7：dropout，对第二结合向量进行处理后，输入向量加模块add_11：add，将add_10：add模块的输出和经过sequential_3子模块以及dropout以后的输出进行相加，得到第三结合向量；进一步地，进入层归一化网络layer_normalization_7：layernormalization，减小模型过拟合；最后通过一维全局最大值池化层global_max_pooling1d_7：globalmaxpoolingid，将输入的二维向量分割成若干个子区域，然后取最大值，达到抽取特征和降维的目的，得到与待预测目标变量强相关的全局特征向量(none，64)。
49.需要说明的是，cnn模块和transformer编码层模块是并列的，在理论上，只使用其中的任一一个模型，整个预测链路依然能够实现，但是预测效果却会大打折扣；此外，本实施例中无论是cnn模块还是transformer编码层模块，都是可以替代的，可以由其它神经网络结构来代替，比如lstm、残差网络、inception网络等，但是经过实验和对比，在综合考虑计算效率和模型效果的情况下，目前采用cnn模块和transformer编码层这两个模型并列再拼接起来的方式最优。
50.本实施例提出了分别用cnn模块和transformer编码层来捕捉用户行为序列与目标待预测变量之间的局部和全局关系，并综合利用了cnn网络和transformer网络中attention机制的优点，深度捕捉用户行为的局部和全局特征，发挥了各自网络的特点，兼顾了算法复杂度和模型效果，有效的提高了模型预测精度和效率；此外，本实施例采用用户时间序列向量代替原transformer编码层的positional embedding向量，现实意义更强且效果更好。
51.在其中一些实施例中，在通过神经网络分别对低维稠密的时间序列编码向量和行为序列编码向量进行特征提取，得到局部特征向量和全局特征向量之前，通过embedding转换层将时间序列编码向量和行为序列编码向量，分别转换为低维稠密的时间序列编码向量和行为序列编码向量；需要说明的是，由于大部分的用户存在行为不足或者行为较少的情况，因此经过one
‑
hot编码而来的序列编码向量是高维稀疏的向量，为了降低模型复杂度以
及便于数据进行后续模型的处理，本实施例通过embedding转换层将时间序列编码向量和行为序列编码向量，分别转换为低维稠密的时间序列编码向量和行为序列编码向量；
52.具体地，由图2可知，本实施例的embedding转换层embedding_6:embedding将输入行为序列编码的高维(具体维度取决于词典的长度)且长度为81的向量(none，81)转化为一个长度为64的低维稠密向量(none，81，64)，同理，embedding_7:embedding将输入的时间序列编码的高维(具体维度取决于词典的长度)且长度为81的向量(none，81)转化为一个长度为64的低维稠密向量(none，81，64)。需要说明的是，由于本实施例中输入向量本身就是长度为81的一维向量，因此，embedding转换层的作用就是将输入层的高维时间序列编码向量和行为序列编码向量转化成为低维稠密向量。
53.步骤s103，将局部特征向量和全局特征向量进行拼接，得到目标向量，并将目标向量输入dnn模块进行预测，输出得到待预测目标变量值。
54.在通过上述步骤s102得到局部特征向量和全局特征向量之后，将局部特征向量和全局特征向量进行拼接，得到目标向量。优选地，由图2可知，本实施例中通过拼接模块concatenate_3：concatenate，将上述得到的局部特征向量(none，64)和全局特征向量(none，64)进行拼接，得到目标向量(none，128)。该拼接后的目标向量输入后续深度神经网络(deep neural networks，简称dnn)模块进行目标值预测，输出得到待预测目标变量值，在本技术实施例中即为用户投保意愿的概率值。具体地，由图2可知，dnn模块获取目标向量(none，128)，分别通过dense_20：dense、h1_dropout：dropout、dense_21：dense、h2_dropout：dropout、dense_22：dense、h3_dropout：dropout和dense_23：dense，对目标向量(none，128)进行计算处理，输出得到待预测目标变量值。其中dropout层主要作用是将每次训练中一些单元的参数按比例随机置0，以减小模型过拟合；dense层是全连接前向网络层，在这个模块当中，全连接层的维度不断变小，从128
‑
>64
‑
>32
‑
>1，前面几个dense层的损失函数采用relu函数，最后一层dense_23：dense为了与二分类场景中待预测变量相适配，该层的损失函数采用sigmoid函数，输出是长度为1的向量，即为标量，得到待预测目标变量值。
55.通过上述步骤s101至步骤s103，本实施例利用word embedding技术直接将用户的每一个行为转化成一个向量，接着利用cnn模块来捕捉局部行为与用户投保意愿之间的关系，利用transformer网络编码层中的attention机制来捕捉全局或长程行为与用户投保意愿之间的关系，最后，再用相应的激活函数来预测用户的投保意愿，得到最后的投保意愿概率值，解决了相关技术中通过特征工程对用户投保意愿进行预测，存在的预测准确度不高、时间成本高的问题，提高了模型预测精度和效率，降低了时间成本，为保险业务的精准营销提供基础，提升保险营销获客的效率。
56.在其中一些实施例中，在转换得到低维稠密的时间序列编码向量和行为序列编码向量之后，在低维稠密的时间序列编码向量和行为序列编码向量上分别添加不同的标签数据，组成完整的数据样本，预测不同业务场景中待预测目标变量值。可选的，本技术实施例可以通过配置不同的标签数据将其应用到不同的二分类业务场景中。例如，假设源数据主要偏向信贷领域，那么获取的用户行为数据再配合用户是否逾期的标签数据，组成完整的数据样本，可以用来对用户的信用风险评估进行建模，来预测用户的逾期概率，该模型可以应用于信贷业务的贷前审核、贷中监控以及风险定价等。
57.需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
58.本实施例还提供了一种用户投保意愿预测的系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
59.图3是根据本技术实施例的用户投保意愿预测的系统的结构框图，如图3所示，该系统包括向量转换模块31、特征提取模块32和预测模块33：
60.向量转换模块31，用于根据用户行为序列词典，将用户行为序列数据转换成时间序列编码向量和行为序列编码向量；特征提取模块32，用于通过cnn模块对低维稠密的行为序列编码向量进行特征提取，得到局部特征向量，并通过带注意力机制的transformer编码层模块，对低维稠密的时间序列编码向量和行为序列编码向量的结合向量进行特征提取，得到全局特征向量；；预测模块33，用于将局部特征向量和全局特征向量进行拼接，得到目标向量，并将目标向量输入dnn模块进行预测，输出得到待预测目标变量值。
61.通过上述系统，本实施例利用向量转换模块31将用户行为数据转化为编码向量，并将向量输入特征提取模块32，利用cnn模块来捕捉局部行为与用户投保意愿之间的关系，利用transformer网络编码层中的attention机制来捕捉全局或长程行为与用户投保意愿之间的关系，最后通过预测模块33中相应的激活函数来预测用户的投保意愿，得到最后的投保意愿概率值，解决了相关技术中通过特征工程对用户投保意愿进行预测，存在的预测准确度不高、时间成本高的问题，提高了模型预测精度和效率，降低了时间成本，为保险业务的精准营销提供基础，提升保险营销获客的效率。
62.需要说明的是，本技术中其他一些实施例中的具体示例可以参考上述一种用户投保意愿预测的方法中的实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
63.此外，需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
64.本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
65.可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
66.另外，结合上述实施例中的用户投保意愿预测的方法，本技术实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种用户投保意愿预测的方法。
67.在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存
储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种用户投保意愿预测的方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
68.在一个实施例中，图4是根据本技术实施例的电子设备的内部结构示意图，如图4所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图4所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器，其中，该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力，网络接口用于与外部的终端通过网络连接通信，内存储器用于为操作系统和计算机程序的运行提供环境，计算机程序被处理器执行时以实现一种用户投保意愿预测的方法，数据库用于存储数据。
69.本领域技术人员可以理解，图4中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
70.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
71.本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
72.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。