基于用户连续行为序列特征的智能理财推荐方法与流程

本发明涉及理财智能推荐系统技术领域，尤其涉及基于用户连续行为序列特征的智能理财推荐方法。

背景技术：

随着普惠金融的更加深入，人们对银行金融产品的需求量越来越高，而与以往的银行金融产品的单一性不同，当前银行产品存在种类丰富、可选择性高、购买门槛低等特点，金融产品变成了大众可参与的资产增值渠道之一，同时，银行金融产品种类丰富，存在收益率、持有周期，风险定级等多维度的数据特征，因此，智能理财推荐成为了银行挖掘客户潜力、针对客户进行个性化精确推荐的重要诉求，在过去的五年里，基于深度学习的方法已经用于智能理财推荐系统。

智能理财推荐中，一些理财产品被选择出来作为候选集，然后需要学习一个预测模型系统来预测用户点击给定候选理财产品的概率，以往的方法通常采用嵌入式和多层感知机的范式：将大量的原始特征嵌入到低维向量中，然后输入到全连接层，即多层感知机结构中以预测用户是否会点击某个理财产品。

然而，这些较新的智能推荐方法框架中存在如下不足之处：这些只能推荐方法实践中的最后结果推荐理财产品的购买率远不能令人满意，导致银行金融理财产品的业务量急剧下滑，同时以往只是连接不同的特征，却忽略了用户行为的连续性这种非常重要的序列信号，导致推荐的金融理财产品无法满足不同的个性化用户需求。

技术实现要素：

本发明的目的是为了解决现有技术中存在的缺点，而提出的基于用户连续行为序列特征的智能理财推荐方法。

为了实现上述目的，本发明采用了如下技术方案：基于用户连续行为序列特征的智能理财推荐方法，包括以下步骤：

s01：获取理财产品属性数据与用户属性数据，获取理财产品的属性信息多维度数据和用户的属性信息多维度数据，其中，重点的是要获取用户对理财产品点击购买的历史行为数据；

s02：数据清洗与规范化管理，对获取的数据进行规范化预处理，预处理包括筛选、清理、缺失值处理、奇异值处理；

s03：对数据进行分类，从总体上来说，将获取的数据划分为训练集和验证集；

s04：对数据进行transformer模型架构训练，用transformer模型架构对训练集的数据与验证集的数据进行模型训练；

s05：将信息输入到训练好的模型，模型输出个人理财推荐，将用户信息数据、理财产品信息输入到训练好的模型中，模型将自动给出用户最合适点击和购买的针对性理财产品，并推荐给目标客户；

s06：通过多渠道向用户推荐，并获取反馈信息，通过短信和电话相结合的营销方式向目标客户推荐理财产品，并获取推荐用户的反馈信息。

作为上述技术方案的进一步描述：

所述步骤s01中，用户对理财产品点击购买的历史行为数据包括用户对各个理财产品历史上的点击与购买的时间序列。

作为上述技术方案的进一步描述：

所述步骤s02中，理财产品的属性信息多维度以及用户属性信息多维度数据的规范化处理，包括对用户属性信息多维度以及理财产品的属性信息多维度进行布尔型数据规范化处理，得到符合预设格式的量化数据。

作为上述技术方案的进一步描述：

所述步骤s02中，筛选、清理、缺失值处理、奇异值处理方法包括以下步骤：

s02.1：对空数据补齐，做插值平滑处理，使数据保持一致；

s02.2：奇异值数据处理，若为异常高点或者异常低点，可剔除该条数据。

作为上述技术方案的进一步描述：

所述步骤s04中，transformer模型的具体架构为三层，分别为嵌入层、transformer层和多层感知器层。

作为上述技术方案的进一步描述：

所述嵌入层可以将所有输入特征嵌入到固定大小的低维向量中去，创建并嵌入矩阵。

作为上述技术方案的进一步描述：

所述transformer层可以将嵌入层的输出输入到该层，然后捕获行为序列与理财产品的关系，进而用来学习更深入的表征。

作为上述技术方案的进一步描述：

所述多层感知器层可以将上一层的输出结果输入到该层，该层用三个完全连接层来进一步学习稠密特征之间的交叉特征，从而来预测用户是否点击推荐的理财产品。

作为上述技术方案的进一步描述：

所述步骤s03中，把总数据的75％设置为训练集，余下的25％设置为验证集，并可进行交叉验证处理，确保数据分类的准确全面。

作为上述技术方案的进一步描述：

所述步骤s01中，用户信息多维度数据包括性别、年龄和城市信息，理财产品信息多维度数据包括类别、标签和售卖点信息。

有益效果

本发明提供了基于用户连续行为序列特征的智能理财推荐方法。具备以下有益效果：

(1)：该智能理财推荐方法通过对用户终端上传的用户信息数据进行特征提取，特别是使用transformer新架构模型捕获用户行为序列的序列信号，结合用户之前的行为序列特征提高了对用户推荐理财产品的精准性，从而自动提升了用户对理财产品的点击率与购买率，供智能理财推荐系统的安全使用。

(2)：该智能理财推荐方法可有效提高银行营销准确率，实现银行金融产品的个性化精准推荐，极大的增强了用户与银行金融产品之间的相识相知度，消解用户对银行金融产品的误解，在提高银行金融产品业务量的同时，也保护了用户自身的金融收益。

附图说明

图1为本发明提出的基于用户连续行为序列特征的智能理财推荐方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

如图1所示，基于用户连续行为序列特征的智能理财推荐方法，包括以下步骤：

s01：获取理财产品属性数据与用户属性数据，获取理财产品的属性信息多维度数据和用户的属性信息多维度数据，其中，重点的是要获取用户对理财产品点击购买的历史行为数据；

s02：数据清洗与规范化管理，对获取的数据进行规范化预处理，预处理包括筛选、清理、缺失值处理、奇异值处理；

s03：对数据进行分类，从总体上来说，将获取的数据划分为训练集和验证集；

s04：对数据进行transformer模型架构训练，用transformer模型架构对训练集的数据与验证集的数据进行模型训练；

s05：将信息输入到训练好的模型，模型输出个人理财推荐，将用户信息数据、理财产品信息输入到训练好的模型中，模型将自动给出用户最合适点击和购买的针对性理财产品，并推荐给目标客户；

s06：通过多渠道向用户推荐，并获取反馈信息，通过短信和电话相结合的营销方式向目标客户推荐理财产品，并获取推荐用户的反馈信息。

步骤s01中，用户对理财产品点击购买的历史行为数据包括用户对各个理财产品历史上的点击与购买的时间序列。

步骤s02中，理财产品的属性信息多维度以及用户属性信息多维度数据的规范化处理，包括对用户属性信息多维度以及理财产品的属性信息多维度进行布尔型数据规范化处理，得到符合预设格式的量化数据。

步骤s02中，筛选、清理、缺失值处理、奇异值处理方法包括以下步骤：

s02.1：对空数据补齐，做插值平滑处理，使数据保持一致；

s02.2：奇异值数据处理，若为异常高点或者异常低点，可剔除该条数据。

步骤s04中，transformer模型的具体架构为三层，分别为嵌入层、transformer层和多层感知器层。

嵌入层可以将所有输入特征嵌入到固定大小的低维向量中去，创建并嵌入矩阵。

传统的特征包括用户画像特征、理财产品特征、上下文特征以及各种不同的组合特征等，对于这些特征，创建一个嵌入矩阵wo表示；

将用户对理财产品点击购买的历史行为序列特征，例如产品名、类别名等与用户点击购买理财产品时间顺序位置特征相结合，生成嵌入矩阵wv，其中用户点击购买理财产品vi的位置特征值计算为：

pos(vi)＝t(vt)-t(vi)；

t(vt)表示推荐的时刻；

t(vi)表示用户点击理财产品vi时的时间戳。

transformer层可以将嵌入层的输出输入到该层，然后捕获行为序列与理财产品的关系，进而用来学习更深入的表征；

建立自注意力机制模型：

其中，q表示模型生成的查询矩阵；

k表示模型生成的键矩阵；

v表示模型生成的值矩阵；

将嵌入层的嵌入作为输入，通过线性投影将他们转换为三个矩阵，并将他们输入到注意力层，并采用多头注意力机制：

s＝mh(e)＝concat(head1,head2,…,headh)w^h，headi＝attention(ew^q,ew^k,ew^v)

前馈网络层：将注意力机制模型层的输出输入该层，进一步增强模型的非线性能力，采用dropout和leakyrelu机制，输出如下：

s’＝layernorm(s+dropout(mh(s)))；

f＝layernorm(s？+dropout(leakyrelu(s'w⁽¹⁾+b⁽¹⁾)w⁽²⁾+b⁽²⁾))；

其中，w⁽¹⁾、b⁽¹⁾、w⁽²⁾、b⁽²⁾都是可学习的参数，和layernorm层是标准的归一化层。

多层感知器层可以将上一层的输出结果输入到该层，该层用三个完全连接层来进一步学习稠密特征之间的交叉特征，从而来预测用户是否点击推荐的理财产品；

将其建模为一个二元分类问题，使用sigmoid函数作为输出单元，用交叉熵损失函数来训练这个模型：

其中，d代表所有的理财产品；

y∈{0,1}为标签标示用户是否点击了某个推荐的理财产品；

p(x)是经过sigmoid单元之后的网络输出的概率值，标示理财产品x被点击的预测概率，将概率值最大的理财产品推荐给目标客户。

步骤s03中，把总数据的75％设置为训练集，余下的25％设置为验证集，并可进行交叉验证处理，确保数据分类的准确全面。

步骤s01中，用户信息多维度数据包括性别、年龄和城市信息，理财产品信息多维度数据包括类别、标签和售卖点信息。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。